다국면 라쉬모형을 적용한 논술 채점 상황에서 채점 설계 및 채점자 특성이 채점의 정확성에 미치는 효과

• 영문명: Effects of Using Mani-Faceted Rasch Model on Accuracy of Essay Scoring Under Various Scoring Designs and Rater Characteristics
• 발행기관: 한국교육평가학회
• 저자명: 이현숙(Hyun Sook Yi)
• 간행물 정보: 『교육평가연구』제21권 제4호, 129~152쪽, 전체 24쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2008.12.31

국문 초록

본 연구는 다국면 라쉬모형을 적용하여 채점자 특성을 사후에 보정하는 논술 채점 상황에서 다양한 채점 설계 방식 및 채점자 특성이 채점의 정확성에 어떠한 영향을 미치는 지를 탐색하기 위하여 채점자 수, 채점자 배치 방식, 채점자간 엄격성 차이의 정도, 채점자내 일관성 수준, 피험자 점수 산출 방식 등 5가지 요인을 고려하여 모의실험을 수행하였다. 각 조건하에서 산출된 채점 결과의 정확성을 피험자의 진점수를 기준으로 비교한 결과 다음과 같은 결론을 도출하였다. 첫째, 채점자간 엄격성 차이가 존재할 경우 라쉬보정 방식을 적용하면 채점자간 엄격성 차이가 크고 채점자내 일관성 수준이 낮다 할지라도 채점의 정확성을 상당 부분 확보할 수 있으며 이러한 결과는 채점 설계 및 합격선을 변화시켜도 일관되게 관측되었다. 둘째, 무보정 방식 적용시에는 채점자 수와 관계없이 채점자를 무선 배치하는 설계가 군집 배치 설계에 비해 채점의 정확성이 대체로 높았으며, 라쉬보정 적용시에는 채점자 엄격성 차이가 매우 큰 경우를 제외하고는 채점자 배치방식에 관계없이 채점자수를 증가시키는 것이 보다 효과적이었다. 셋째, 무보정 방식 적용시에는 채점자간 엄격성 차이의 효과가 채점자내 일관성 수준의 효과에 비해 채점의 정확성에 큰 영향을 미친 반면, 라쉬보정을 적용한 경우 동일한 채점자내 일관성 수준 내에서 채점자간 엄격성 차이는 상대적으로 크지 않은 것으로 나타났다.

영문 초록

This study investigated effects of making score adjustments using the many-faceted Rasch model on the accuracy of essay scoring under various simulation conditions, considering factors such as the number of raters, the way raters are assigned, the level of inter-rater and intra-rater consistency, and score adjustment methods. Performances of Rasch measurement under each condition was compared against those based on true scores under various degrees of differences in average rating severity and intra-rater consistency. The following observations were made from this study. First, even in situations where the level of inter-rater and the intra-rater consistency was fairly low, the accuracy of Rasch measurement was high regardless of scoring designs and pass rates. Second, the random assignment design performed better than the cluster assignment design regardless of the number of raters, when scores were produced without adjustments, whereas increasing the number of raters produced more accurate results regardless of rater assignment designs under the Rasch measurement. Third, inter-rater consistency was more influential than the intra-rater consistency on the accuracy of scoring when no adjustments were made, whereas the opposite pattern was observed under the Rasch measurement.

키워드

논술 채점 채점자 엄격성 채점자내 일관성 점수 보정 다국면 라쉬 모형 Essay scoring rater severity score adjustment many-faceted Rasch model