생성형 AI 기반 자동 채점을 적용한 서술형 교직 적·인성 평가 도구 개발

• 영문명: Development of an Essay-type Assessment for Teaching Aptitude and Personality Using Generative AI-based Automated Scoring
• 발행기관: 한국교육학회
• 저자명: 최인희 박소영 이유경
• 간행물 정보: 『교육학연구』제63권 제6호, 215~250쪽, 전체 36쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.10.31

국문 초록

본 연구는 자기 보고식 교직 적·인성 검사가 갖는 응답 왜곡 등의 한계를 보완할 수 있는 시나리오 기반 서술형 평가의 현장 적용 가능성을 탐색하였다. 그동안 서술형 평가는 채점에 수반되는 시간과 비용, 신뢰도 확보의 어려움으로 인해 실용성에 한계를 보여 왔다. 이에 본 연구는 이러한 문제를 해결하기 위한 통합적 접근으로, 먼저 예비 교원의 교육적 문제해결 역량에 초점을 맞춘 서술형 교직적·인성 검사 도구를 개발하고, 나아가 개발된 도구에 생성형 인공지능(ChatGPT-4) 기반의 자동 채점을 적용하여 그 신뢰성과 타당성을 검증하였다. 서울 시내 한 대학의 교직 이수자를 대상으로 한 연구 결과, 자동 채점이 인간 채점보다 관대한 경향을 보였으나 채점 결과의 내적 일관성 및 안정성은 더 높게 나타났다. 또한, 개발된 도구는 기존 자기 보고식 검사와 낮은 상관을 보여 변별되는 타당성을 확보했으며, 학점과의 상관을 통해 구인 타당성의 일부 근거를 확인하였다. 이러한 결과는 AI 자동 채점을 결합한 서술형 교직 적·인성 검사라는 통합적 평가 체제의 현장 적용 가능성과 효율성을 시사한다.

영문 초록

This study aimed to enhance the practical applicability of essay-type assessments for pre-service teachers' teaching aptitude and personality, complementing the limitations of existing self-report measures. However, the viability of such assessments has been historically challenged by the time, cost, and reliability issues inherent in human scoring. To address this, the study adopted an integrated approach: first, developing a scenario-based assessment focused on educational problem-solving skills, and second, validating the application of generative AI (ChatGPT-4) for its automated scoring. A study with pre-service teachers revealed that while automated scoring was more lenient than human scoring, it demonstrated higher internal consistency and stability. The developed assessment showed discriminant validity through low correlations with self-report measures and convergent validity through its correlation with academic grades. These findings suggest the practical applicability and efficiency of an integrated assessment system that combines a scenario-based essay test with AI-powered scoring.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 논의 및 결론

참고문헌

키워드

교직 적·인성 서술형 검사 시나리오 생성형 AI ChatGPT 자동 채점 Teaching Aptitude and Personality Essay-type Assessment Scenario Generative AI ChatGPT Automated Scoring