서답형이 포함된 행렬표집 가교문항 설계에서 베이지안 IRT 동등화의 위계적 모형화 가능성 *

• 영문명: A Bayesian hierarchical modeling for IRT equating in the matrix-sampled anchor items design with mixed-format test
• 발행기관: 한국교육평가학회
• 저자명: 남현우()
• 간행물 정보: 『교육평가연구』제30권 제4호, 639~664쪽, 전체 26쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2017.12.30

국문 초록

특정 구획에 배정된 피험자의 능력 수준이 같지 않으며, 문항 유형이 섞여 있고 단일 차원을 가정하기 어려운 검사의 가교 문항들이 행렬 방식으로 표집 될 때에도 안정적으로 모수를 추정하고 동등화를 수행할 수 있는 위계적 상위 사전 정보 방안을 찾고자 하는 목적으로 이 연구가 수행되었다. 국가 수준학업성취도평가 2006년-2007년의 고1 영어 검사 자료를 바탕으로 모의 자료를 생성했다. 모의 자료 생성 조건은 가교 문항의 표집 방식, 구획 간 피험자 능력의 차이, 검사의 차원성 등이었다. 상위 사전 정보를 위계적으로 고려하는 방식이 특정 값으로 상위 모수를 고정하는 방식에 비해 모수 추정과 동등화 오차를 줄일 수 있는지를 알아봤다. 양분 문항은 2-로지스틱 모형을, 다분 문항은 등급반응 모형을 가정하여 WinBUGS 프로그램으로 IRT 모수를 추정하고 동등화를 수행했다. 연구 결과는 평균 제곱편차를 계산해서 평가했다. 상위 모수 고정 방식보다는 위계적 사전 정보 방식이 더 효과적이라는 선행 연구의 일반적인 결과와 달리, 가교 문항의 모수를 점 사전 정보 방식으로 부여하고 채점 문항의 모수를 추정하고 동등화하는 본 연구는 위계적 방식보다 고정 방식이 더 효과적인 것으로 나타났다. 별난 데이터인 경우에는 위계적 방식이 더 효과적이지만, 활용될만한 사전 정보가 존재하고 또 그 정보가 적절하다면 분산을 작게 하는 상위 모수 고정 방식도 잘 작동된다는 선행 연구와 상충되지 않는 다는 결론에 도달했다.

영문 초록

The purpose of this study is to find a hierarchical hyper priors approach that can estimate the parameters and perform equating in a stable manner, even when the examinee’s ability level assigned to a particular block is not the same, and the test items are mixed with question types and difficult to assume a single dimension. Simulation data were generated based on the 10 th grade English test data from the Korean National Assessment of Educational Achievement from 2006 to 2007. The simulated data generation conditions were the sampling method of anchor items, the difference of examinee’s ability between the blocks, and the test dimensionality. I have examined whether the hierarchical approach of the hyper priors can reduce the parameter estimation and the equating error compared to the method of fixing the hyper parameter by a specific value. Assuming the two-parameter logistic model for dichotomous items and the grade response model for polytomous items, the IRT parameters were estimated and equated using the WinBUGS program. The results were evaluated by calculating the root mean squared difference. Unlike the general result of previous research that the hierarchical hyper priors approach is more effective than the hyper parameter fixing method, this study, which gives the parameters of anchor items using point priors and estimates and equates the parameters of scoring items, shows that the fixed method is more effective than the hierarchical method. I have come to the conclusion that this result does not conflict with that of previous study. The hierarchical approach is more effective in the case of unusual data, but the hyper parameter fixing method with small variance works well if the hyper priors is available and appropriate.

목차

. 서 론

. 이론적 배경

. 연구 방법

. 논의 및 결론

키워드

Bayesian IRT Equating Priors Hierarchical Hyper Priors Fixed Hyper Parameters Matrix-sampled Anchor Items Design Multidimensionality WinBUGS