데이터 증강 방법에 따른 에세이 자동채점 모델의 성능 검증

• 영문명: Performance Evaluation of Automated Essay Scoring Models According to Data Augmentation Methods
• 발행기관: 한국교육평가학회
• 저자명: 홍익현(Ikhyeon Hong) 이용상(Yongsang Lee)
• 간행물 정보: 『교육평가연구』제38권 제2호, 415~438쪽, 전체 24쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.06.30

국문 초록

한국어 에세이 자동채점 시스템이 충분한 성능을 보장하기 위해서는 대량의 양질 데이터가 필요하지만 현실적으로 이러한 데이터를 확보하는 것에는 많은 어려움이 따른다. 따라서 부족한 데이터 확보 방안으로 데이터 증강에 대한 관심이 높아지고 있으며 이에 본 연구에서는 대규모 언어 모델 기반 데이터 증강 기법이 자동채점 모델 성능에 미치는 영향을 탐색하였다. 500개의 대학생 에세이 답안을 활용하여 점수대별 150개가 되도록 균형을 맞춰 증강하는 방식과 원데이터를 2배수 증강하는 2가지 방식 간에 자동채점 모델의 성능을 비교하였다. 방식별 10회의 독립적 반복 실험 결과, 점수별로 균등하게 증강한 방식이 2배수 증강 방식보다 더 좋은 성능을 보였으며, 특히 원본 데이터에서 부족했던 점수대의 예측 성능이 크게 향상되었다. 이는 단순히 데이터양을 늘리는 것보다 점수대 간 균형을 맞춰 데이터 불균형 문제를 해소하는 전략이 더 효과적임을 시사한다.

영문 초록

Automated essay scoring systems for Korean essays require large amounts of quality data to ensure adequate performance, but securing such data in reality poses many challenges. Therefore, interest in data augmentation as a solution for insufficient data is growing, and this study explored the impact of large language model-based data augmentation techniques on automated scoring model performance. Using 500 college student essay responses, we compared two augmentation methods: balancing to achieve 150 samples per score level versus doubling the original dataset. After 10 independent repetitions of experiments for each method, the balanced augmentation approach showed better performance than simply doubling the dataset, with significant improvements in prediction accuracy for previously underrepresented score levels. This suggests that strategies addressing data imbalance by equalizing score distributions are more effective than merely increasing data volume.

목차

Ⅰ. 서론

Ⅱ. 선행 연구 분석

Ⅲ. 연구방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

참고문헌

키워드

에세이 자동채점 데이터 증강 데이터 불균형 대규모 언어 모델 Automated Essay Scoring Data Augmentation Data Imbalance Large Language Models