계속적 학습을 위한 치명적 망각을 극복할 수 있는 새로운 전략 탐구

• 영문명: New Strategy To Overcome Catastrophic Forgetting for Continual Learning
• 발행기관: 한국과학영재교육학회
• 저자명: 이서환(Seohwan Lee) 이윤재(Yoonjae Lee) 채상미(Sangmi Chae)
• 간행물 정보: 『과학영재교육』제17권 제1호, 50~63쪽, 전체 14쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.04.30

국문 초록

계속적 학습이란 모델이 점진적으로 새로운 정보를 학습하면서도 이전에 배운 지식을 잃지 않고 유지하는 것을 의미한다. 치명적 망각은 모델이 새로운 정보를학습할 때, 이전에 학습한 정보를 잊어버리는 현상으로, 이는 계속적 학습을 구현하는 데 있어 해결해야 할 주요 과제 중 하나이다. 본 연구에서는 기존의 선행연구들의 문제점을 개선한 TTED(Test & Train Exemplar with Distillation) 모델을 개발하였다. TTED 모델은 리허설과 지식 증류 기법을 이용해 만들어졌다. 본 연구에서는 모델의 성능을 평가하기 위해 CIFAR-100 데이터셋을 이용한 태스크별 비교 실험을 진행하였다. 실험 결과, TTED 모델이 기존의 계속적 학습을 위한 모델들보다 우수함을 확인할 수 있었다.

영문 초록

Continuous learning means that a model gradually learns new information while retaining previously learned knowledge. Catastrophic Forgetting is the phenomenon that when a model learns new information, it forgets previously learned information, which is one of the major challenges in implementing Continuous Learning. In this study, we develop a TTED (Test & Train Exemplar with Distillation) model that improves the problems of previous studies. The TTED model was created using Rehearsal and Distillation techniques. In this study, we conducted a task-by-task comparison experiment using the CIFAR-100 dataset to evaluate the performance of the model. The experimental results show that the TTED model is superior to the existing models for continuous learning.

목차

Ⅰ. 연구의 필요성 및 목적

Ⅱ. 이론적 배경

Ⅲ. 모델 제안

Ⅳ. 연구실험

Ⅴ. 결론

참고문헌

키워드

계속적 학습 치명적 망각 지식 증류 리허설 continual learning catastrophic forgetting knowledge distillation rehearsal