EBB scale 을 적용한 초급 채점자 훈련에 관한 연구

• 영문명: Implementing an EBB Scale as a Novice Rater Training Tool
• 발행기관: 학습자중심교과교육학회
• 저자명: 지영신(Youngshin Chi)
• 간행물 정보: 『학습자중심교과교육연구』제18권 21호, 665~687쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2018.11.15

국문 초록

본 연구는 EBB 척도가 잠재적인 교육 도구로서 전문적인 채점 경험이 없는 학생들을 대상으로 효과적인 교육이 가능한지 대해 그리고 그들이 어떻게 평가기준을 통합하고 이해하는지에 대해서 탐구적 연구를 실시하였다. EBB 척도를 통해 어떻게 채점자들이 시험 기준에 대한 개념을 이해하고 그 척도에 대한 그들의 과점에 연구의 방향을 맞추고 그들이 어떻게 채점하는지에 대해 연구하였다. 14명의 학생들이 세 그룹으로 나뉘어 EBB 척도를 만들어보고 그룹 토론을 통해 샘플 글을 평가하고 초보 훈련에 어떻게 도움이 되는지에 대하여 분석하였다. 조사 결과, 초보 채점자들은 다양한 EBB 모델을 보여주었고, 각기 다른 모델은 그들의 이해를 반영하였다. 이러한 다양한 EBB 척도 모델은 초보 채점자들이 그들 만의 평가 체계를 확립하기 위한 교육 과정이 필요하다는 것을 뒷받침했다. EBB 척도를 교육의 과정으로 사용하는 것은 특히 초보 채점자들에게 그들이 각자의 위계적인 평가모 델을 구축할 수 있는 잠재적인 이익을 주며, 다른 채점자들과의 토론을 통해 루브릭을 이해를 공유할 수 있는 기회를 제공한다. 이 훈련과정은 다른 훈련 방법보다 시간이 소요되 지만, 초보 채점자들의 기준에 대한 관점을 정확하게 확립시켜 줄 수 있다는 것과 채점자의 잠재적 변동성을 줄일 수 있는 가능성을 제시하였다.

영문 초록

This exploratory study was conducted to students who did not have any professional experience in ratings to seek the potential of using empirically derived, binary choice, boundary definition (EBB) scale as a training tool and to find how they integrate assessment criteria to the EBB. For the study, the data were collected from 14 university graduate students taking an English assessment course. Students were asked to rate writing samples, to participate EBB training session, and to create EBB trees with group members. By using their EBB creations and analyzing notes from group discussions, findings emerge which provide insights into how raters evaluated sample writings and created their models into EBB scales and how the rating scale development process can be beneficial for novice rater training. Findings exhibited that raters have shown various EBB models, which reflected their understanding of the assessment. Various models supported that novice raters need a training process to establish their mental model of the target assessment. Using EBB scales have potential benefit to the novice raters especially helping them realizing their rating process and provide opportunities to share and discuss their rubric comprehension with other raters.

목차

Ⅰ. Introduction

Ⅱ. Research Design

Ⅲ. Results

Ⅳ. Discussion & Conclusion

키워드

EBB 척도 초보 채점자 훈련 채점 과정 평가 척도 영어글쓰기 EBB rating scale novice rater training rating process second language writing assessment criteria