AI 모델을 위한 자연어추론 데이터

한국어 통사-의미 속성 기반 NLI 추론쌍 구축을 위한 78가지 언어학적 유형 연구

남지순 지음

리니토북스 2025년 01월 20일 출간 국내도서 : 2025년 01월 20일 출간

작품소개

책소개

인간이 다른 사람의 말을 듣고, 이해하며, 이에 응답하기 위해서는 여러 가지 지적 능력을 필요로 한다. 우리들의 일상 대화는 이렇게 무수히 축적된 언어적 또는 언어외적 지식의 토대 위에서 수행되는데, 추론(inference)이란 바로 이러한 복합적인 지적 프로세싱을 가능하게 하는 수많은 논리적 퍼즐 조각들로 이루어진다. 이 책은 현재 놀라운 성능으로 인간과 대화를 수행하는 AI 언어 모델(language model)이 아직도 여전히 많은 부분에서 인간과 같은 추론 능력을 보이지 못하는 현상이 어디에서 비롯되는 것인지에 대한 성찰에서 출발하였다. 이를 위한 신뢰할 수 있는 학습데이터가 제공될 때 AI 모델의 추론 능력이 향상될 수 있을 것이라는 데에는 이견이 없지만, 과연 이를 위한 ‘자연어추론(Natural Language Inference: NLI)’ 데이터가 어떻게 구성되어야 할 것인가의 문제에 대해서는 아직도 밝혀내야 할 내용이 산재해 있기 때문이다.

이 책에서는 AI 언어 모델의 자연어추론 능력 학습을 위해 제안된 NLI 데이터셋의 연구 동향을 소개하고, 현재 지적되는 한계점들을 극복하기 위해서 자연언어의 어떠한 특징들이 고려되어야 하는지에 대해서 고찰하였다. 특히 한국어에 특화된 NLI 데이터셋을 설계하기 위해서, 어떠한 한국어 고유의 언어적 속성들이 기술되어야 하는지를 심층적으로 논의하였다. 이 책은 다음 세 부분으로 구성된다. 제1장에서는 현재 자연어추론 데이터셋 구축 연구 동향을 고찰하고, 제2장에서는 한국어의 통사ㆍ의미적 속성에 기반한 자연어추론 데이터셋 구축에 중요하다고 판단되는 언어학적 현상들을 78개 유형으로 분류하여 논의한다. 끝으로 제3장에서는 이 유형별 속성을 통해 제안된 자연어추론 스키마 KOLINS와 이에 따라 구축된 한국어 추론데이터 KOLIN(버전 V_1.0)에 대한 소개 및 성능 평가가 진행된다.

이 책은 한국어에 특화된 다양한 태스크의 AI 모델을 개발하고자 하는 개발군 연구자들뿐 아니라 자연어이해를 위한 언어데이터 구축에 관심이 있는 데이터언어학 연구자들, 그리고 한국어의 추론 관계에 관여하는 어휘ㆍ통사ㆍ의미적 속성들에 대한 언어학적 연구를 수행하고자 하는 이론언어학 및 한국어학 연구자들을 대상으로 하였다. 이 책은 대학에서의 강의와 연구를 바탕으로 시작되었으나, 언어 모델의 파인 튜닝(fine-tuning)을 위한 학습데이터셋 구축에 필요한 실제 스키마를 제안하는 역할을 함께 수행할 수 있게 되었다. 본 연구에서 분류하여 제안하는 한국어의 언어학적 속성 유형별 분석을 통해, 향후 언어 모델이 어떠한 통사ㆍ의미적 언어 현상 이해에 특히 취약한 양상을 보이는가를 파악하고, 이를 위한 맞춤형 데이터 증강이 가능할 것으로 판단된다. 이를 통해 ‘설명 가능한 AI(eXplainable AI: XAI)’를 구현하기 위해 왜 이와 같은 ‘언어학적 접근법(symbolic approach)’이 반드시 함께 병행되어야 하는지를 다시 한번 성찰할 수 있는 기회가 되기를 기대한다.

목차

목차

머리말 | 저자 서문 ii
책의 구성 | 목차 iv

제 1장. 자연어추론 데이터셋 연구 동향 1
1 자연어추론(Natural Language Inference) 3
1.1 자연어추론의 정의 3
1.2 자연어추론(NLI)과 초기 언어학적 고찰 8
2 자연어추론 데이터셋과 벤치마크 29
2.1 텍스트함의인식(RTE) 데이터셋 30
2.2 대규모 자연어추론 벤치마크의 등장 32
2.3 어휘∙논리∙통사 기반 데이터셋 연구 44
2.4 상식ㆍ문맥에 기반한 자연어추론 데이터셋 연구 60
2.5 국내 자연어추론 학습데이터셋의 연구 79
3 자연어추론 데이터셋 구축 접근법 86
3.1 웹문서 기반 전제문과 크라우드워커의 가설문 86
3.2 언어학적 특징을 고려한 데이터셋의 설계 88

제 2장. 언어학적 속성 기반 한국어 추론 데이터 연구 91

I. 논항 변환 스키마 97
♛ 논항 교차 99
♛ 논항 변형 113
♛ 논항 삭제 129
♛ 논항 등위접속 154

II. 술어 변환 스키마 167
♛ 술어 부정 169
♛ 술어 변형 183
♛ 술어 삭제 202
♛ 술어 등위접속 217

III. 수식성분 변환 스키마 227
♛ 관형어 변형 229
♛ 관형어 등위접속 247
♛ 관계절 변형 257
♛ 부사절 변형 271
♛ 부사어 변형 286

IV. 어휘∙지식 변환 스키마 293
♛ 유의어/반의어 변형 295
♛ 상위어/하위어 변형
♛ 지식/상식표현 변형

제 3장. KOLINS 스키마 & KOLIN 데이터셋 345
1 KOLINS 한국어추론 데이터 스키마 347
2 KOLIN 한국어추론 데이터셋 구축 353
3 KOLIN 데이터셋 성능 평가 364
참고문헌 371

작가정보

저자(글) 남지순

남지순 (Jeesun Nam)

연세대학교에서 학사 및 석사 학위 후 프랑스 파리 제7대학(University Paris 7)에서 이론형식언어학 박사 학위를 받았다. 이후 파리이스트대학교(UPEM)에서 컴퓨터언어학 아빌리타시옹(Habilitation) 학위를 취득하였다. 귀국 후 KAIST 인공지능연구센터(CAIR) 선임연구원을 거쳐 현재 한국외국어대학교 언어인지과학과 교수로 재직 중에 있다. 한국외대 디지털언어지식콘텐츠연구센터(DICORA) 센터장을 맡고 있으며, 캐나다 몬트리올대학교(UDEM) 및 맥길대학교(McGill University), 파리이스트대학교(UPEM)에서 초빙교수를 역임하였다. 한국어 전자사전과 어휘문법 연구, 부분문법 방법론에 대한 연구를 진행하고 있으며, 감성분석, 챗봇대화, 자연어 이해 등의 영역에서 필요로 하는 언어 자원 및 자연어 데이터 구축 방법론에 대한 연구를 수행하고 있다.