다국면라쉬모형을 활용한 ChatGPT-4o의 논술형 평가 자동채점 정확도 및 채점자 효과 분석

• 영문명: Analysis of ChatGPT-4o’s Automated Essay Scoring Accuracy and Rater Effects Using the Many-Facet Rasch Model
• 발행기관: 한국교육평가학회
• 저자명: 오유경(Youkyoung Oh) 김경선(Kyung Sun Kim)
• 간행물 정보: 『교육평가연구』제38권 제3호, 769~793쪽, 전체 25쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.09.30

국문 초록

본 연구는 자동채점의 활용 가능성을 탐색하고자 거대언어모델 기반 논술평 평가 자동채점의 정확성과 채점자 효과를 실증적으로 분석하는 데 목적이 있다. 이를 위해 중학교 3학년 학생의 논술형 평가 응답 자료를 기반으로 인간 채점자와 ChatGPT 간의 채점 일치도를 분석하고, 다국면라쉬모형을 적용하여 채점자 특성을 비교하였다. 주요 분석 결과는 다음과 같다. 첫째, ChatGPT는 일부 항목에서 특정 점수에 집중하여 점수를 부여하는 경향을 보였다. 둘째, 인간 채점자와 자동채점 간 일치도는 ‘과제 수행’과 ‘근거의 타당성’ 등 구조화된 채점 기준을 가진 항목에서는 비교적 높은 수준을 보였으나 다른 항목에서는 전반적으로 낮은 수준이었다. 셋째, 일부 인간 채점자에게서는 부적합과 과적합 사례가 확인된 반면 ChatGPT는 허용 가능한 범위 내의 적합도를 보였다. 이러한 결과는 ChatGPT 기반 자동채점이 채점 신뢰도 제고에 일정 부분 기여할 수 있으나 정교한 판단과 맥락적 해석이 요구되는 항목에서는 추가적으로 기술적 보완이 필요함을 시사한다.

영문 초록

This study aims to explore the potential application of automated scoring in educational settings by empirically analyzing the accuracy and rater effects associated with an essay-type assessment conducted by a large language model (LLM), specifically ChatGPT. To this end, the agreement between human raters and ChatGPT was examined. Furthermore, the Many-Facet Rasch Model was applied to compare rater characteristics. The key findings are as follows. First, ChatGPT tended to concentrate its scores on specific values in certain criteria. Second, the level of agreement between human and automated ratings was relatively high for criteria with structured scoring rubrics such as “task completion” and “validity of evidence,” but generally low in other criteria. Third, while some human raters demonstrated misfit or overfit behaviors, ChatGPT displayed a slightly lenient scoring pattern but remained within an acceptable range of model fit. These findings indicate that ChatGPT-based automated scoring may contribute to improving scoring consistency. However, further technical refinement is needed for criteria that require nuanced judgment and contextual interpretation.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 결론 및 제언

참고문헌

키워드

논술형 평가 자동채점 거대언어모델 채점자 효과 다국면라쉬모형 Automated Essay Scoring(AES) Large Language Model Rater Effects Many-Facet Rasch Model