논술형 평가 자동채점을 위한 머신러닝, 임베딩 벡터, 사전학습 언어모델 기반 분류기의 성능 비교 연구

• 영문명: Performance Comparison Study of Machine Learning, Embedding Vector, and Pre-trained Language Model for Automated Essay Scoring
• 발행기관: 한국교육평가학회
• 저자명: 박종임(Jong-im Park) 김길재(Giljae Kim) 박강윤(Kangyun Park) 최숙기(Sook-ki Choi)
• 간행물 정보: 『교육평가연구』제38권 제3호, 795~822쪽, 전체 28쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.09.30

국문 초록

본 연구는 한국어 논술형 평가 자동채점 모델의 성능을 비교하기 위해 채점자질 기반 머신러닝 모델(Extra Trees, Random Forest, LightGBM), 임베딩 벡터 기반 심층신경망 모델(OpenAI Embedding, Sentence-BERT, Universal Sentence Encoder), 사전 학습 모델(KLUE-RoBERTa-base, XLM-RoBERTa-base)을 활용하였다. 중등학생 논술형 응답 데이터셋(9,762편)을 기반으로 모델을 학습 및 평가한 결과, 사전 학습 모델 중 XLM-RoBERTa-base가 최고 성능을 보였고, 임베딩 기반 모델에서는 OpenAI Embedding 모델이 최고 성능을 보였으며, 채점자질 기반 모델에서는 Extra Trees 모델이 가장 우수했다. 결과적으로 정확도를 기준으로 하는 성능 비교에서는 사전 학습 모델이 가장 우수하지만 자동채점의 활용 상황과 모델의 해석 가능성 등을 함께 고려하여 선택될 필요가 있고, 향후에는 한 가지 모델이 아닌 하이브리드 모델 개발의 필요성을 제안한다.

영문 초록

This study utilized scoring feature-based machine learning models(Extra Trees, Random Forest, LightGBM), embedding vector-based deep neural network models(OpenAI Embedding, Sentence-BERT, Universal Sentence Encoder), and pre-trained models(KLUE-RoBERTa-base, XLM-RoBERTa-base) to compare the performance of automated scoring models for Korean essay-type responses. Based on a dataset of 9,762 argumentative writing samples from middle and high school students, the models were trained and evaluated. The results showed that among the pre-trained models, XLM-RoBERTa-base achieved the highest accuracy among the embedding-based models, OpenAI Embedding demonstrated the highest accuracy and among the scoring feature-based models, Extra Trees performed the best with an accuracy. Furthermore, although pre-trained models showed the superior performance in the comparison, model selection should consider interpretability in conjunction with the purpose of automated scoring, and the development of hybrid models rather than single models is proposed for the future.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

참고문헌

키워드

논술형 평가 자동채점 채점자질 머신러닝 임베딩 사전학습 언어모델 Automated essay scoring scoring features machine learning embeddings pre-trained language models

참고문헌

• 청람어문교육
• 청람어문교육
• 한국정보과학회 언어공학연구회, 제34회 한글 및 한국어 정보처리 학술대회 논문집
• 작문연구
• The Journal of Technology, Learning and Assessment
• Transactions of the Association for Computational Linguistics
• Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics
• TESOL Quarterly
• Scientific Studies of Reading
• Computers in Human Behavior
• Journal of Technology, Learning, and Assessment
• Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017)
• Educational Researcher
• IEEE Access
• Advances in Neural Information Processing Systems
• Assessing Writing
• Research Methods in Applied Linguistics
• Computational Linguistics
• Phi Delta Kappan
• Journal of Experimental Education
• In M. D. Shermis & J. C. Burstein (Eds.), Automated essay scoring: A cross-disciplinary perspective
• Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)
• Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)
• ETS Research Report Series
• Journal of Machine Learning Research
• Journal of Educational Technology
• Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing
• Journal of Information Technology Education
• Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017
• Journal of Student Research