GPT 기반 초등학교 서술형 평가 자동채점 서비스 개발 및 적용

• 영문명: Development and Application of a GPT-based Automated Scoring Service for Constructed-Response Assessments in Elementary School
• 발행기관: 한국교육평가학회
• 저자명: 강신조(Shinjo Kang) 박정(Jung Park) 박정(Cheong Park) 백남정(Namjeong Baeck)
• 간행물 정보: 『교육평가연구』제38권 제2호, 385~413쪽, 전체 29쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.06.30

국문 초록

본 연구는 초등학교 서술형 평가의 채점 부담을 완화하고 평가의 신뢰성을 높이기 위해 인공지능 기반 자동채점 서비스를 개발하고 그 효과성을 검증하였다. 이를 위해 한국교육과정평가원이 개발한 초등학교 5학년 국어과 서술형 평가 문항을 활용하여 맞춤형 GPT 모델을 구축하고, Google Workspace 플랫폼과 연동한 자동채점 서비스를 개발하였다. 개발된 서비스의 성능을 검증하기 위해 101명의 학생 답안을 대상으로 교사 평가, 자동채점 서비스, ChatGPT 세 가지 방식으로 채점을 수행하고 그 결과를 비교·분석하였다. 분석 결과 자동채점 서비스는 대부분의 문항에서 교사 평가와 높은 일치도(이차 가중 카파계수 0.63 ~ 0.83)를 보였으며, 특히 평가 기준이 명확하고 구조화된 문항에서 우수한 성능을 나타냈다. 또한 ChatGPT와 비교했을 때 교과 특화된 문항에서 더 높은 신뢰도를 보여 맞춤형 GPT 기반 자동채점 서비스의 효과성을 확인할 수 있었다. 다만 학생의 개별 경험이나 배경지식을 반영해야 하는 문항에서는 교사 평가와의 일치도가 다른 문항에 비해 다소 낮았다(이차 가중 카파계수 0.43~0.51). 이는 자동채점 서비스가 교사의 최종 평가를 보조하는 도구로 활용되어야 하며, 평가의 특성에 따라 교사의 검토와 조정이 필요함을 시사한다. 본 연구는 학교 현장에 즉시 활용할 수 있도록 인공지능 기술을 활용한 자동채점 서비스를 실제적으로 개발하고 적용 가능성을 탐색했다는 점에서 의의가 있으며, 향후 서비스의 고도화 방향과 교육 현장에서의 활용 방안을 제언하였다.

영문 초록

This study aimed to develop an AI-based automated scoring service to reduce the grading burden of descriptive assessments in elementary schools and to improve evaluation reliability. To this end, a customized GPT model was constructed using descriptive assessment items for 5th-grade Korean language education developed by the Korea Institute for Curriculum and Evaluation (KICE). The automated scoring service was designed to integrate seamlessly with the Google Workspace platform for practical classroom use. To verify the performance of the developed service, 101 student responses were evaluated using three methods: teacher scoring, the automated scoring service, and ChatGPT. The results showed that the automated scoring service achieved a high level of agreement with teacher scoring across most items, with quadratic weighted kappa coefficients ranging from 0.63 to 0.83. It performed especially well on items that were clearly structured and based on well-defined evaluation criteria. Compared to ChatGPT, the customized GPT model also demonstrated higher reliability in subject-specific items, confirming its effectiveness. However, for items requiring consideration of students’ individual experiences or background knowledge, the agreement with teacher evaluations was relatively lower (quadratic weighted kappa: 0.43-0.51). These findings suggest that the automated scoring service should serve as a supportive tool for teachers’ final evaluations, and that teacher review and adjustment remain necessary depending on assessment characteristics. This study is meaningful in that it developed and applied an AI-powered scoring service that can be immediately implemented in school settings. It also provides recommendations for future enhancement of the service and its practical applications in educational contexts.

목차

Ⅰ. 서론

Ⅱ. 인공지능 자동채점 기술과 연구 동향

Ⅲ. GPT 기반 자동채점 서비스 개발

Ⅳ. GPT 기반 자동채점 서비스 적용 결과 분석

Ⅴ. 결론 및 제언

참고문헌

키워드

서술형 평가 자동채점 인공지능 교육평가 Constructed-response assessment automated scoring artificial intelligence ChatGPT educational assessment