A Follow-Up Study of Psychometric Properties of IRT Proficiency Estimates

• 영문명: 문항반응이론(IRT) 능력 추정치들의 측정학적 특성에 관한 추수 연구
• 발행기관: 한국교육평가학회
• 저자명: 김성훈(Seonghoon Kim)
• 간행물 정보: 『교육평가연구』제25권 제4호, 829~849쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2012.12.30

국문 초록

본 연구는 Kolen과 Tong(2010)의 추수 연구(follow-up study)로서, 네 가지 문항반응이론(IRT) 능력 추정량(proficiency estimators)의 측정학적 특성을 보다 심도 있게 탐구하였다. 관심 네 가지 추정량은 최대우도(ML), 검사특성곡선(TCF), 베이지언 사후기대(EAP), 합산점수(summed score)에 기초한 사후기대(sEAP) 추정량이었다. 네 능력 추정량의 조건부 편향(bias), 오차분산, 평균제곱오차(MSE) 및 주변적 신뢰도(marginal reliability)에 있어서의 상대적 기능을 다양한 유형의 선다형 문항 검사 조건에서 검토하였다. 전반적으로, ML 및 TCF 추정량의 기능은 EAP 및 sEAP 추정량의 기능과 뚜렷한 대조를 보였다. ML 및 TCF 추정량의 편향은 능력모수와 정적 상관을 보인 반면, EAP 및 sEAP 추정량의 편향은 능력모수와 부적 상관을 보였다. 모든 검사 조건에서 ML 추정량은 EAP 추정량보다 더 작은 절대편향을, 더 큰 오차분산을, 그리고 더 낮은 신뢰도를 산출하였다. EAP 추정량의 조건부 MSE와 비교하여, ML 추정량은 능력모수의 중간 지점들에서 더 큰 MSE를 산출한 반면 양극단 지점들에서는 더 작은 MSE를 산출하였다. 조건부 및 주변적 측정의 정확성에 있어, 문항반응패턴에 기초한 ML 및 EAP 추정량은 합산점수에 기초하고 있는 TCF 및 sEAP 추정량보다 근소하게 우수한 기능을 보였다.

영문 초록

As a follow-up study of Kolen and Tong (2010), this paper investigates more deeply the psychological properties of the four item response theory (IRT) proficiency estimators, the maximum likelihood (ML), test characteristic function (TCF), Bayesian expected a posteriori (EAP), and summed score based EAP (sEAP) estimators. Relative performances in conditional bias, error variance, and mean squared error (MSE) and marginal reliability of the four estimators were examined with various multiple-choice item tests through computer simulations. Overall, the performances of the ML and TCF estimators were distinct from those of the EAP and sEAP estimators. The biases of the ML and TCF estimators each were positively correlated with the true proficiency Ɵ, while the biases of the EAP and sEAP estimators each were negatively correlated with Ɵ. With all the tests considered, the ML estimator had smaller (absolute) bias, larger error variance, and lower reliability than the EAP estimator. The conditional MSE of the ML estimator was larger at most middle points of Ɵ but smaller at few extreme points than that of the EAP estimator. The ML and EAP estimators based on pattern-scoring slightly outperformed, in conditional and marginal measurement precision, their respective summed-scoring counterparts, the TCF and sEAP estimators.

목차

Ⅰ. Introduction

Ⅱ. Modeling, and Measurement Precision Quantities, of Proficiency Estimates

Ⅲ. Methods

Ⅳ. Results

Ⅴ. Summary and Discussion

References

저자소개

〈요약〉

키워드

문항반응이론 능력 추정치 측정학적 특성 Item Response Theory Proficiency Estimates Psychometric Properties