인지진단 컴퓨터화 적응 검사에서 모수적 및 비모수적 문항선택 방법에 따른 분류 정확성 비교

• 영문명: A Comparison of Parametric and Nonparametric Item Selection methods in Classification Accuracy of Cognitive Diagnostic Computerized Adaptive Testing
• 발행기관: 한국교육평가학회
• 저자명: 한정아(Junga Han) 이규민(Guemin Lee)
• 간행물 정보: 『교육평가연구』제33권 제1호, 129~159쪽, 전체 31쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2020.03.30

국문 초록

최근 교육평가 분야에서 검사의 효율성과 추정의 정확성을 향상시키고 피험자에 대한 진단정보를 제공하기 위해 인지진단이론에 컴퓨터화 적응 검사를 적용한 인지진단 컴퓨터화 적응 검사가 주목받고 있다. 본 연구에서는 인지진단 컴퓨터화 적응 검사 상황에서 모수적, 비모수적 문항선택 방법에 따른 분류 정확성을 다양한 검사 조건(인지요소의 수, Q행렬의 구성, 문항의 진단성, 문제은행 구축 시 피험자의 수)에서 비교하고자 하였다. 인지진단 컴퓨터화 적응 검사의 문제은행은 DINA 모형을 적용하여 구축하였다. 연구 결과, 인지요소의 수가 많을수록, 문항의 진단성이 낮을수록 모수적 및 비모수적 문항선택방법 모두 분류 정확성이 감소하였다. Q행렬의 구성이 복잡할수록 모수적 문항선택 방법에서 분류 정확성이 감소하였으나, 비모수적 문항선택 방법에서는 Q행렬의 구성에 따른 분류 정확성 차이가 크게 나타나지 않았다. 인지진단 컴퓨터화 적응 검사를 시행하기 전문제은행 구축 단계에서 많은 인원을 확보할 수 없어 적은 인원으로 문항 모수를 추정하는 경우에는 비모수적 문항선택 방법을 적용할 때 분류 정확성을 더 높일 수 있다.

영문 초록

Cognitive diagnostic computerized adaptive testing (CD-CAT) has been focused and investigated recently in the field of educational measurement. The CD-CAT applies the similar schemes of computerized adaptive testing to the context of cognitive diagnosis theory for improving testing efficiency and estimation accuracy. The purpose of this study were to compare parametric and nonparametric item selection methods in classification accuracy under various test conditions of CD-CAT, and to identify the effects of several factors such as number of attributes, Q-matrix composition, item diagnosticity, number of examinees for estimating item parameter. The DINA model was chosen as a basic model for parameter estimation in constructing item bank. The main conclusions can be made as follows. The greater the number of attributes and the lower the item diagnosticity, the lower the classification accuracy. As the Q-matrix composition become more complex, the classification accuracy decreased in the parametric item selection methods. But this conclusion can not be applied to the nonparametric item selection method. The examinee’s attribute pattern or mastery status were more accurately estimated in the nonparametric item selection method, when estimating item parameters with a small number of examinees.

목차

Ⅰ. 서 론

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

참고문헌

키워드

인지진단 컴퓨터화 적응 검사 문항선택 방법 분류 정확성 인지진단모형 Cognitive Diagnostic Computerized Adaptive Testing (CD-CAT) Item Selection method Classification Accuracy Cognitive Diagnostic model