인공지능을 이용한 과학 그림 평가 방법 탐색

• 영문명: Exploring Methods for Evaluating Scientific Drawings Using Artificial Intelligence
• 발행기관: 학습자중심교과교육학회
• 저자명: 심예지(Ye Jee Sim) 박일우(Il Woo Park)
• 간행물 정보: 『학습자중심교과교육연구』제25권 9호, 49~67쪽, 전체 19쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.05.15

국문 초록

목적 본 연구에서는 과학 그림 평가에서 인공지능을 활용할 가능성에 대하여 탐색하고 인공지능을 활용한 과학 그림 평가에 대한 시사점을 얻고자 하였다. 방법 이를 위하여 그림 평가 문항과 평가 기준을 개발하여 초등학교 6학년 학생 40명에게 투입하여 응답을 유형화하여 분석하였다. 학생 응답을 교사 5명이 평가하였고 인공지능도 같은 답변에 대하여 5번 평가하도록 하였다. 인공지능은 그림 평가에 특화된 인공지능인 Custom GPT를 개발하여 적용하였다. 교사와 인공지능의 평가 결과의 일치도를 분석하기 위하여 Fleiss' Kappa 계수와 Cohen's Kappa 계수를 산출하여 비교·분석하였으며, 교사들에게 인공지능의 평가 결과에 대한 생각을 설문하여 분석하였다. 결과 학생 응답이 무응답 유형인 경우에는 3문항 모두 교사와 인공지능의 평가 결과가 완전히 일치하였다. 글 유형에서는 3문항 중 2문항에서 교사와 인공지능의 평가 결과가 완전히 일치하였다. 그림 유형과 그림과 글 유형에서는 교사와 인공지능의 평가 결과가 대체로 매우 약한 일치를 보였다. 인공지능이 학생 답변을 평가하여 작성한 피드백에 대해서 교사들은 대체로 동의하였다. 결론 현재의 기술로는 과학 그림 평가를 인공지능에 온전히 맡기는 것에는 무리가 있지만 과학 그림 평가에 인공지능을 활용하는 것에 대한 방안을 제시하고자 한다.

영문 초록

Objectives This study aims to explore the potential of utilizing artificial intelligence (AI) in evaluating scientific drawings and to derive implications for the application of AI in this context. Methods For this study, assessment items and criteria for evaluating scientific drawings were developed and administered to 40 sixth-grade elementary school students. The students' responses were categorized by type and analyzed accordingly. Five teachers evaluated the students' responses, and an artificial intelligence model conducted five rounds of evaluation on the same responses. A custom GPT model, specifically developed for scientific drawing assessment, was applied as the AI evaluator. To analyze the agreement between the evaluations made by teachers and the AI, Fleiss' Kappa and Cohen's Kappa coefficients were calculated and compared. Additionally, a survey was conducted with the teachers to collect their opinions on the AI-generated evaluation results. Results When student responses were categorized as non-responsive, the evaluation results of both teachers and artificial intelligence (AI) were in complete agreement for all three items. In the text-based response type, the evaluation results of teachers and AI showed complete agreement in two out of three items. For the image-based and combined image-and-text response types, the evaluation results demonstrated very weak agreement between teachers and AI. Overall, teachers generally agreed with the feedback generated by the AI based on its evaluation of student responses. Conclusions The findings suggest that while it is currently impractical to entirely delegate the evaluation of scientific drawings to AI, this study provides insights into strategies for integrating AI into the evaluation process.

목차

Ⅰ. 서론

Ⅱ. 연구 방법

Ⅲ. 연구 결과 및 논의

Ⅳ. 결론 및 제언

참고문헌

키워드

과학 그림 평가 인공지능 평가 맞춤형 인공지능 교사와 인공지능의 평가 일치도 scientific drawing evaluation AI assessment custom GPT evaluation agreement between teachers and AI