경량 AI 핵심 개념과 설계 원리

지연·메모리·전력 제약을 성능으로 바꾸는 경량 AI 설계

지식이야기 제작팀 지음

지식이야기 2026년 01월 02일 출간

작품소개

책소개

이 책은 경량 AI를 처음 체계적으로 이해하려는 독자를 위해, “작은 모델”을 만드는 기술을 넘어 제약 조건 아래에서 성능을 설계하는 원리를 정리한 기초 안내서다. 경량 AI를 지연, 메모리, 전력이라는 현실적 한계와 정확도, 안정성, 운영성이라는 품질 요구가 만나는 지점으로 보고, 모델·런타임·하드웨어가 어떻게 연결되는지 한 흐름으로 설명한다.

내용은 목표와 제약을 정의하고 평가 기준을 세우는 것에서 출발해, 모델 복잡도와 일반화의 관계, 연산량과 메모리 비용을 어떻게 분해해 병목을 찾는지 다룬다. 이어서 구조적 경량화 관점에서 아키텍처 선택이 지연과 병렬성에 어떤 영향을 주는지 설명하고, 양자화가 정밀도와 정확도 사이의 균형을 어떻게 바꾸는지 정리한다. 또한 프루닝과 희소성, 지식 증류를 통해 작은 모델의 성능을 확보하는 학습 논리를 다루고, 연산자 퓨전과 그래프 변환 같은 런타임 최적화가 실제 실행 비용에 미치는 영향을 연결한다. 마지막으로 CPU·GPU·NPU 등 하드웨어 특성과 배포 제약, 그리고 품질 보증과 운영 모니터링을 통해 경량 AI가 실제 환경에서 유지되기 위한 조건을 체계적으로 제시한다.

이 책은 개인 경험이나 특정 도구 사용법, 고급 응용 기법을 전제로 하지 않는다. 대신 표준적인 개념과 설계 원리를 기반으로, 독자가 제약을 수치로 해석하고 선택의 근거를 설명 가능한 형태로 정리할 수 있도록 돕는다. 독자는 이 책을 통해 경량 AI를 “압축 기법의 모음”이 아니라, 제약을 성능으로 전환하는 시스템 설계 문제로 이해하게 된다.

목차

1장 경량 AI를 정의하는 제약과 목표
지연, 메모리, 전력의 제약 구조
정확도와 효율의 균형 관점
모델 크기와 실행 비용의 관계
온디바이스와 서버 추론의 차이
워크로드 특성과 병목의 위치
평가 기준과 성공 조건 설정

2장 모델 복잡도와 일반화의 연결
파라미터 수와 표현력의 의미
과적합과 일반화의 균형
용량 제어와 정규화의 역할
데이터 분포 변화에 대한 취약성
작은 모델에서의 편향-분산 관점
모델 선택의 기준 구조

3장 연산량과 메모리 비용의 분해
FLOPs와 실제 실행 시간의 차이
활성화 메모리와 가중치 메모리
배치 크기와 지연의 상호작용
연산자별 비용 특성과 병목
데이터 이동과 캐시 효과
프로파일링으로 보는 비용 구성

4장 구조적 경량화와 아키텍처 선택
깊이와 너비의 트레이드오프
모바일 친화적 블록의 기본 논리
병렬성 친화 구조와 지연
어텐션의 비용 구조와 단순화 관점
재사용과 스킵 연결이 주는 효과
아키텍처가 하드웨어에 맞는 조건

5장 양자화의 원리와 정확도 영향
정밀도 감소가 만드는 이득
스케일링과 클리핑의 의미
대칭과 비대칭 양자화의 차이
정적 양자화와 동적 양자화의 대비
양자화 오차와 민감도
캘리브레이션 데이터의 역할

6장 프루닝과 희소성의 활용
가중치 프루닝과 구조적 프루닝
희소성이 속도로 이어지는 조건
프루닝 기준과 손실 변화
재학습과 복원 과정의 의미
희소 행렬 연산의 제약
희소성 유지와 배포 일관성

7장 지식 증류와 작은 모델 학습
교사-학생 구조의 기본 아이디어
로짓 증류와 온도 파라미터 의미
특징 증류와 중간 표현 정렬
데이터 품질과 증류 성능의 관계
증류가 일반화에 주는 효과
증류 실패가 생기는 조건

8장 런타임 최적화와 그래프 변환
연산자 퓨전이 주는 효과
상수 폴딩과 불필요 연산 제거
메모리 계획과 텐서 재사용
커널 선택과 벡터화의 의미
정밀도 혼합 실행의 조건
컴파일과 최적화가 결과를 바꾸는 지점

9장 하드웨어 특성과 배포 제약
CPU, GPU, NPU의 강점과 한계
메모리 대역폭과 지연의 영향
전력 예산과 열 제약의 의미
모델 포맷과 런타임 호환성
입출력 파이프라인의 병목
장치 다양성이 만드는 운영 문제

10장 품질 보증과 운영 모니터링
오프라인 평가와 온라인 성능의 차이
지연, 실패율, 전력 지표의 설정
데이터 드리프트와 성능 저하 감지
재현성과 버전 관리의 기본 구조
안전성과 편향 점검의 관점
업데이트와 롤백의 기준

인물정보

저자(글) 지식이야기 제작팀

다양한 지식콘텐츠 서적을 만들고 있습니다.