본문 바로가기

추천 검색어

실시간 인기 검색어

학술논문

ChatGPT를 활용한 쓰기 채점 및 피드백 방안 - 프롬프트 전략을 중심으로

이용수 157

영문명
A Study on Writing Scoring and Feedback Practices Using ChatGPT : Focusing on Prompting Strategies
발행기관
한국국어교육학회
저자명
권태현(Taehyun Kwon)
간행물 정보
『새국어교육』141호, 7~42쪽, 전체 36쪽
주제분류
인문학 > 언어학
파일형태
PDF
발행일자
2024.12.31
이용가능 이용불가
  • sam무제한 이용권 으로 학술논문 이용이 가능합니다.
  • 이 학술논문 정보는 (주)교보문고와 각 발행기관 사이에 저작물 이용 계약이 체결된 것으로, 교보문고를 통해 제공되고 있습니다. 1:1 문의
논문 표지

국문 초록

목적: 이 연구의 목적은 ChatGPT를 활용한 쓰기 채점과 피드백 프롬프트 전략을 탐색하는 것이다. 방법: 고등학생의 논설문 37편을 대상으로 인간과 ChatGPT의 채점 및 피드백 결과를 비교 분석하였다. 결과: 1) 맥락 내 학습 전략에 따른 채점 수행 결과, 제로샷과 원샷의 채점 정확도(QWK)는 큰 차이가 없었으나 퓨샷 러닝에서 QWK가 유의하게 향상되었다. 2) 내용과 조직 영역의 QWK가 비교적 높게 나타난 반면 표현 영역의 QWK는 낮게 나타났다. 3) ChatGPT가 생성하는 피드백의 질은 평가 항목 제공, 단독 피드백, 채점기준 제공 프롬프트의 순으로 높게 나타났다. 4) 채점과 피드백의 상호작용을 확인한 결과, 피드백을 먼저 수행하고 단계적으로 채점을 수행한 피드백CoT채점 프롬프트의 채점 일치도가 가장 높게 나타났다. 결론: 작문 평가 도구로서 ChatGPT를 활용하기 위해서는 채점 척도별로 다양한 예시를 활용하는 퓨샷 러닝의 과정이 필요하며, 특히 표현 영역의 채점 일치도를 보완할 필요가 있다. 또한 피드백 산출시에는 피드백을 먼저 산출하도록 하고 그에 따라 채점을 수행하는 프롬프트가 효과적이다.

영문 초록

Purpose: The purpose of this study was to explore prompting strategies for writing scoring and feedback using ChatGPT. Methods: A comparative analysis of human and ChatGPT scoring and feedback results was conducted on 37 pieces of writing from high school students. Results: 1) the results showed that the scoring accuracy of zero-shot and one-shot was not significantly different, but the scoring accuracy was significantly improved in the fushot learning. 2) the agreement in the content and organisation domain was relatively high, while the agreement in the expression domain was low. 3) the quality of feedback generated by ChatGPT was higher in the order of providing evaluation items, feedback alone, and prompting for scoring criteria. 4) we examined the interaction between grading and feedback, and found that grading agreement was higher for the feedback-cotrading prompts where feedback was given first and grading was done in stages. Conclusion: In order to use ChatGPT as a writing assessment tool, it is necessary to provide a variety of examples for each scoring scale, especially to complement the scoring process in the expressive domain. It is effective to generate feedback first and grade accordingly.

목차

1. 서론
2. 생성형 인공지능을 활용한 쓰기 평가 현황
3. 연구 방법
4. 연구 결과
5. 결론
참고문헌

키워드

해당간행물 수록 논문

참고문헌

  • 한국지리학회지
  • 현대영미어문학
  • 교육혁신연구
  • 청람어문교육
  • 제 82회 국어교육학회 전국학술대회 자료집
  • 리터러시연구
  • Journal of Artificial Intelligence and Technology
  • Handbook of Automated Essay Evaluation: Current Applications and New Directions
  • Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation
  • 2023 IEEE International Conference on Advanced Learning Technologies
  • International Journal of Educational Technology in Higher Education
  • International Joint Conferences on Artificial Intelligence
  • Advances in Neural Information Processing Systems
  • Computers and Education: Artificial Intelligence
  • Research Methods in Applied Linguistics
  • Computers and Education: Artificial Intelligence
  • Journal of Nursing Education
  • Artificial Intelligence Review
  • Handbook of Automated Essay Evaluation
  • Learning and Instruction
최근 이용한 논문
교보eBook 첫 방문을 환영 합니다!

신규가입 혜택 지급이 완료 되었습니다.

바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!

교보e캐시 1,000원
TOP
인용하기
APA

권태현(Taehyun Kwon). (2024).ChatGPT를 활용한 쓰기 채점 및 피드백 방안 - 프롬프트 전략을 중심으로. 새국어교육, (), 7-42

MLA

권태현(Taehyun Kwon). "ChatGPT를 활용한 쓰기 채점 및 피드백 방안 - 프롬프트 전략을 중심으로." 새국어교육, (2024): 7-42

sam 이용권 선택
님이 보유하신 이용권입니다.
차감하실 sam이용권을 선택하세요.