An Application of Anchoring Vignettes for Improving Interpersonal Comparability of Student Self-reported Teamwork Scores

• 발행기관: 한국교육평가학회
• 저자명: Eun Hye Ham(함 은 혜) Richard D. Roberts
• 간행물 정보: 『교육평가연구』제28권 제4호, 1107~1128쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2015.12.01

국문 초록

이 연구는 가교 이야기 문항을 활용하여 학생들의 자기보고식 팀워크 점수를 교정하는 방법을 소개하고, 가교 이야기 문항의 활용이 학생들 간 자기보고식 팀워크 점수 비교의 효율성을 높이는지를 평가하기 위한 것이다. 이를 위해 중학생 약 2,600명의 자기보고식 팀워크 검사 및 가교 이야기 문항에 대한 응답이 분석에 활용되었으며, 주요 연구 결과 는 다음과 같다. 첫째, 가교 이야기 문항을 활용하여 점수를 교정한 후에도, 검사의 원래 요인 구조는 변하지 않았다. 둘째, 문항 수준의 분산 분해 결과, 교정 후에 학생 간 분산이 크게 증가한 반면, 잔차 분산은 감소했다. 셋째, 등급반응모형에 적합시킨 결과, 교정후 문항의 변별도 및 검사 정보가 크게 증가하였다. 넷째, 준거 점수와의 상관은 교정 후 에 미미하게 감소하였다. 마지막으로 가교 이야기 문항의 활용 및 향후 연구 방향이 논의되었다.

영문 초록

This study aims to illustrate an example of applying anchoring vignettes to adjust students' self-reported teamwork scores, and to evaluate whether this adjustment improved interpersonal comparability of the scores. Approximately 2,600 middle school students' responses in a self-reported teamwork assessment were recoded in comparison with their ratings of three anchoring vignettes. Psychometric properties of the assessment were examined before and after the adjustment, and main findings are as follows: First, the adjustment did not alter the original factor structure of the assessment. Second, as a result of item-level variance decomposition, the proportion of between-student variance increased, while that of residual variance decreased, after the adjustment. Third, fitting the graded response models, item discrimination increased and thus test information increased after the adjustment. Fourth, correlations to criterion variables marginally dropped after the adjustment. Implications of applying the anchoring vignettes to student non-cognitive assessments and further research questions were discussed.

목차

I. Introduction

Ⅱ. Anchoring vignettes adjustment

Ⅲ. Methods

Ⅳ. Results

키워드

Anchoring vignettes Self-reported rating scale Student teamwork Interpersonal comparability 가교 이야기 문항 자기보고식 검사 학생 팀워크 개인 간 점수 비교