다차원 적응형 검사에서 신규 문항의 잠재 특성 예측 정확도 비교

• 영문명: A Comparison of the Prediction Accuracy for Latent Traits of Replenished Items in Multidimensional Adaptive Testing
• 발행기관: 한국교육평가학회
• 저자명: 정정교(Jungkyo Jung) 정혜원(Hyewon Chung)
• 간행물 정보: 『교육평가연구』제38권 제3호, 499~526쪽, 전체 28쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2025.09.30

국문 초록

본 연구는 다차원 적응형 검사에서 새롭게 추가된 신규 문항이 측정하는 잠재 특성(Latent-Traits)을 확인하는 것이 피험자의 능력 추정에 영향을 미친다는 선행 연구(Sun & Ye, 2019)에 근거하여 신규 문항의 잠재 특성을 예측하여 정확도를 비교하고자 수행되었다. 이를 위하여 검사 길이, 문항 변별도 수준, 잠재 능력 간 상관, 문항 선택 방법을 조합하여 모의실험 자료를 생성하였으며, 변수 선택이 가능하다는 장점을 지닌 머신러닝 기법의 하나인 LASSO 방법을 적용하여 모의실험을 수행하였다. 최적의 조건을 탐색하고자 분류 정확도, 능력 추정의 평균 제곱근 오차, 검사 중복도, 문항 노출 편향성의 결과를 확인하였다. 주요 연구결과는 다음과 같다. 첫째, 대부분 조건에서 분류 정확도가 80% 이상으로 나타났다. 둘째, 전통적인 정보량 기반의 문항 선택 방법에 비해 다차원 적응형 검사에 최적화된 문항 선택 방법의 분류 정확도, 능력 모수 추정, 문항 노출의 결과가 우수하였다. 셋째, 피험자 능력의 사전 분포를 고려한 문항 선택 방법의 분류 정확도는 짧은 검사 길이에서도 높은 정확도를 보이는 것으로 나타났다. 넷째, 검사 길이가 길수록 피험자 능력 추정의 오차와 문항 노출 관련 지표가 우수한 결과를 보였다. 이와 같은 연구결과를 바탕으로 다차원 적응형 검사에서 LASSO 방법을 활용한 잠재 특성 예측의 활용 가능성을 제시하고 후속 연구를 위한 제언을 제시하였다.

영문 초록

The purpose of this study was to predict latent traits of replenished items in multidimensional adaptive testing. To do this, a simulation study was conducted using LASSO method to predict the latent traits of items measured. Simulation data were generated by combining test length, item discrimination, covariance matrices and item selection methods. This study evaluated correct specification rate, item parameter estimation accuracy, test overlap ratio and item exposure bias to determine optimal testing condition. The main results are as follows. First, correct specification accuracy exceeded 80% across most conditions. Second, item selection methods optimized for multidimensional adaptive testing are better than traditional method in every conditions. Third, correct specification rate of item selection method that considered prior distribution showed high even with short test lengths. Fourth, longer test length, better item parameter estimation accuracy, test overlap ratio and item exposure. Based on these findings, implications for predicting the latent traits of new items and suggestions for future research are discussed.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 결론 및 논의

참고문헌

키워드

다차원 적응형 검사 신규 문항 잠재 특성 예측 정확도 Multidimensional Adaptive Testing Replenished Items Latent Traits LASSO Prediction Accuracy