A Comparative Study on Coefficient Alpha and Congeneric-Model-Based Reliability Estimators for Tests Composed of Clusters of Items

• 영문명: 문항군집으로 구성된 검사의 신뢰도 추정을 위한 알파 계수와 동종모형 신뢰도 추정량의 비교 연구
• 발행기관: 한국교육평가학회
• 저자명: 김성훈(Seonghoon Kim) Leonard S. Feldt
• 간행물 정보: 『교육평가연구』제24권 제4호, 1061~1084쪽, 전체 24쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.12.30

국문 초록

다수의 부분검사(test parts)로 구성된 전체 검사의 자료가 주어질 때, 전체 검사점수의 내적 일관성 신뢰도를 추정하기 위해 개발된 각 통계량은 부분검사들의 공분산 구조에 대해서 각각 특유의 모형에 기초한다. Cronbach 알파(alpha), Feldt 고전적 동종-모형(classical congeneric model) 계수, Feldt-Gilmer 동종-모형(congeneric model) 계수는 부분검사들 간의 유사성에 대해 제 각각의 모형에 기초하고 있으며, 이 세 추정량 모두는 부분검사의 오차 점수들 간에 무상관(uncorrelated-error)을 가정한다. 이와 달리, 구조방정식 모형(SEM)에 기초한 추정 방법의 경우, 신뢰도 추정량은 부분검사들에 대해 (Feldt-Gilmer 추정량처럼) 동종 모형을 가정하여 개발될 수 있지만 오차점수들 간에 상관이 없다는 강한 가정을 반드시 필요로 하지 않는다. 본 연구의 목적은 문항들의 군집(cluster of items)들로 구성된 검사에 대해 1) Cronbach 알파, 2) Feldt, 3) Feldt-Gilmer, 4) 오차-무상관(uncorrelated-error: UE) SEM, 그리고 5) 오차-상관(correlated-error: CE) SEM 신뢰도 추정량들의 대소 관계(inequality)와 편향성(bias)에 있어 상대적 기능을 이론적 및 경험적으로 밝히는 것이었다. 검사점수 분석의 단위(문항 혹은 군집)가 동일한 상태에서, 알파 계수 값은 Feldt, Feldt-Gilmer, UE SEM 추정량들의 값보다 일반적으로 작거나 같았다. 후자의 세 가지 추정량은 매우 유사한 신뢰도 계수 값을 산출하였다. 검사점수 분석의 단위가 문항이고 군집-내 문항들 간에 정적(양의) 오차 상관이 존재할 때, CE SEM 추정량을 제외한 다른 모든 추정량들은 신뢰도를 과대 추정하는 경향을 보였다.

영문 초록

Given sample data from multiple test parts, each reliability estimator is developed with a specific model for the covariance structure of the parts. The alpha, Feldt, and Feldt-Gilmer reliability coefficients are based on their respective models for the parts, all assuming uncorrelated part-test errors. In the approach based on structural equation modeling (SEM), the reliability estimator may be developed with the congeneric model but without the strong assumption of uncorrelated errors. For tests composed of clusters of items, the performances of the alpha, Feldt, Feldt-Gilmer, uncorrelated-error (UE) SEM, and correlated-error (CE) SEM reliability estimators were investigated in inequality and bias theoretically and empirically. When applied to the same test data, the alpha coefficient was generally lower than or equal to the Feldt, Feldt-Gilmer, and UE SEM estimators. The latter three estimates were very close to each other. All the estimators except the CE SEM estimator tended to overestimate the reliability when items were the test parts for analysis and positive error covariances were present among within-cluster items.

목차

Ⅰ. Introduction

Ⅱ. The Congeneric Measurement Model

Ⅲ. Estimation of Test Score Reliability Using the Congeneric Model

Ⅳ. Theoretical Considerations on the Performance of the Reliability Estimators

Ⅴ. Applications to Contrived Item-Cluster Test Data

Ⅵ. Conclusion

References

저자소개

〈요약〉

키워드

검사점수 신뢰도 동종 모형 오차의 상관 문항 군집 Test Score Reliability Congeneric Model Correlated Errors Clusters of Items