행렬표집가교문항설계의 대규모시험에서 베이지안 IRT 동등화의 최적 사전정보 탐색

• 영문명: Searching for optimal prior information to the Bayesian IRT equating in large-scale assessment with matrix-sampled anchor items design
• 발행기관: 한국교육평가학회
• 저자명: 남현우(Hyun-Woo Nam)
• 간행물 정보: 『교육평가연구』제26권 제4호, 823~844쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2013.12.30

국문 초록

행렬표집가교문항설계의 대규모 고부담 시험에서 베이지안 IRT 동등화의 최적 사전 정보를 탐색해 보았다. 단순 가교검사설계로 수집된 국가수준학업성취도평가 2007년 고1 영어 시험의 가교 문항들을 문항 형태와 채점 범주 수를 감안하여 최대 8 개의 구획을 가진 행렬 표집 설계로 변형하고, 사전 정보 수준을 달리하는 5 가지 베이지안 IRT 동등화 결과를 평균자승편차, 추정의 표준오차, 동등화 관계 양상 등으로 비교했다. 베이지안 방식이 기존의 IRT 방식들을 개선해 줄 수 있다는 증거를 발견하였다. 사전 정보의 정확도를 일정 수준 낮춤으로써 동등화 관계를 개선할 수 있었다. 정확도 수준을 너무 높게 하거나 너무 낮게 하는 것은 IRT 동등화를 개선하는데 도움이 되지 않았다. 사전 정보 분포를 다양하게 가정해 보거나, 정확도에 관한 상위 사전 정보를 가정하는 등의 추가 노력이 필요함을 제언했다.

영문 초록

This research was performed to investigate the optimal prior information to the Bayesian IRT equating in a large-scale assessment with matrix-sampled anchor items design. The K-NAEA(Korean National Assessment of Educational Achievement) English Test for 10th grade students, originally designed with the Non-equivalent Group Anchor Test Design, was modified to the Common plus Matrix-sampled Anchor Items Design with 8 blocks at most, considering item formats and scoring categories. Bayesian IRT equating approaches were compared each other by calculating RMSD(Root Mean Squared Difference) and SEE(Standard Error of Estimates), and by depicting the equating relationships. Each approaches was invented by changing the precision levels of prior information. The Bayesian IRT equating approaches could improve the equating relationships in large-scale assessment with matrix-sampled anchor items design. By lowering the precision to the reasonable level in informative priors did improve the equating relationships. But too high or too low precision level of priors was not helpful for reducing equating errors in matrix-sampled design with many blocks. Cautiously concluded that the Bayesian IRT equating with a little bit low informative prior is the best for the matrix-sampled anchor items design for now.

목차

국문초록

Ⅰ. 연구의 필요성 및 목적

Ⅱ. 이론적 배경

Ⅲ. 연구방법 및 내용

Ⅳ. 연구 결과 및 해석

Ⅴ. 논의 및 결론

참고문헌

[부록]

키워드

행렬표집설계 베이지안 IRT 동등화 사전정보 가교검사설계 Matrix-sampled design Bayesian IRT Test equating Prior information Anchor test design