대규모 언어모델로 다시 쓰는 NLP 기초

LLM 관점으로 정리한 자연어 처리 핵심 원리

지식이야기 IT팀 지음

지식이야기 2026년 01월 15일 출간

작품소개

책소개

대규모 언어모델로 다시 쓰는 NLP 기초는 자연어 처리의 핵심 원리를 대규모 언어모델의 관점에서 재구성한 기초 안내서다. 텍스트를 데이터로 다루는 출발점부터 토큰화, 벡터 표현, 언어 모델링, 트랜스포머 구조, 사전학습과 생성 메커니즘, 정렬과 평가의 기본 관점까지를 하나의 흐름으로 연결해 설명한다.

이 책은 특정 도구 사용법이나 개인 경험을 전제로 하지 않는다. 대신 개념이 왜 등장했는지, 어떤 가정 위에서 동작하는지, 무엇을 할 수 있고 무엇은 하기 어려운지에 초점을 맞춘다. ‘작동 원리의 언어’로 자연어 처리를 이해하게 함으로써, 표면적인 용어 암기나 따라 하기식 설명을 넘어서는 탄탄한 기초를 제공한다.

또한 대규모 언어모델이 바꿔 놓은 자연어 처리의 지형을 과장 없이 정리한다. 생성이 한 단계씩 이루어지는 방식, 확률 분포를 다루는 선택 규칙, 컨텍스트 길이가 의미하는 기억의 성질, 지시 따르기와 안전 제약이 출력에 미치는 영향, 평가 지표가 품질을 어떻게 비추는지 등을 기본 개념으로 다룬다.

자연어 처리의 기초를 처음부터 체계적으로 이해하고 싶은 독자, LLM을 사용하면서도 내부 원리에 대한 감각을 갖추고 싶은 독자에게 이 책은 안정적인 길잡이가 될 것이다.

*생성형 인공지능을 활용하여 제작하고 편집 과정을 거쳤습니다. 편집자의 최종 검토를 거쳐 제작되었습니다.

목차

챕터 1 언어와 텍스트를 다루는 방식의 기초
텍스트를 데이터로 본다는 관점
문자, 형태소, 단어, 문장 단위의 차이
표기와 인코딩이 의미에 미치는 영향
정규화와 전처리의 범위와 한계
말뭉치와 샘플의 대표성
언어적 모호성과 다의성

챕터 2 토큰화와 분절의 원리
공백 기반 분절이 충분하지 않은 이유
규칙 기반 토큰화의 장단점
서브워드 분절의 핵심 아이디어
BPE와 유사 기법의 동작 방식
희귀어와 신조어 처리 관점
토큰 길이와 정보 손실의 관계

챕터 3 벡터 표현과 의미 공간
원핫 표현의 한계
분산 표현이 의미를 담는 방식
유사도와 거리의 해석
문맥 없는 임베딩과 문맥 임베딩
차원, 정규화, 내적의 의미
표현 붕괴와 구분 가능성

챕터 4 신경망 기반 언어 모델의 출발점
언어 모델이 계산하는 대상
확률적 생성과 조건부 예측
n-그램 가정과 한계
순환 구조의 직관적 역할
기울기 소실과 장기 의존성 문제
평가에서의 퍼플렉서티 해석

챕터 5 어텐션과 트랜스포머의 핵심 구조
어텐션이 수행하는 계산의 의미
쿼리, 키, 값의 역할
멀티헤드가 주는 표현상의 이점
포지셔널 정보의 주입 방식
잔차 연결과 정규화가 필요한 이유
마스킹과 정보 흐름 제어

챕터 6 사전학습의 목적과 학습 목표
자기지도학습이라는 설정
다음 토큰 예측의 의미
마스킹 기반 목표의 의미
학습 데이터의 분포와 편향
용량, 데이터, 학습의 균형
손실 함수가 유도하는 행동

챕터 7 대규모 언어모델의 생성 메커니즘
생성이 한 단계씩 진행되는 과정
디코딩에서 선택 규칙의 차이
온도와 확률 분포의 변화
반복과 장황함이 생기는 이유
컨텍스트 길이와 기억의 성질
추론 시 계산과 학습의 차이

챕터 8 지시 따르기와 정렬의 기초 개념
지도 미세조정의 역할
선호 학습이 바꾸는 출력 성향
안전 제약과 표현의 변화
도움됨과 정확성의 긴장 관계
환각이 발생하는 구조적 이유
평가가 모델 행동에 미치는 영향

챕터 9 평가와 품질을 보는 관점
정확도 중심 평가의 한계
유사도 기반 지표의 성격
생성 품질의 일관성 문제
편향과 유해성 점검의 기본 관점
재현성과 변동성의 이해
오류 유형을 나누는 방식

챕터 10 LLM 기반 NLP의 기본 활용 형태
분류와 판별을 생성으로 구현하기
추출과 요약의 정보 보존 관점
질의응답의 조건 설정
대화 맥락에서 의미 유지
제약 조건을 텍스트로 표현하는 법
입력 설계가 결과를 바꾸는 이유

인물정보

저자(글) 지식이야기 IT팀

자연어 처리에 대한 관심을 바탕으로 독자 니즈와 시장 흐름을 꾸준히 연구하며, 복잡한 내용을 핵심 개념 중심으로 쉽게 정리한 지식콘텐츠를 성실히 제작하고 있습니다.