자료크기와 집단 간 피험자 수의 차이가 차별기능문항 추출의 제1종 오류에 미치는 영향

• 영문명: Effects of sample sizes and unequal examinee ratios on the type I error rates of DIF detection
• 발행기관: 한국교육평가학회
• 저자명: 강태훈(Tae hoon Kang)
• 간행물 정보: 『교육평가연구』제28권 제2호, 577~600쪽, 전체 24쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2015.06.30

국문 초록

본 연구에서는 국내 일반 학생들과 다문화가정 학생들의 경우처럼 전체 연구 표본의 크기가 제한적이거나 두 집단 간 사례 수 차이가 나는 경우 그리고 집단 간 능력 차이가 존재하는 경우 등에 있어서 차별기능문항 추출의 경험적 제1종 오류가 어떠한가를 조사하였다. 차별기능문항은 검사타당도 저해 문항으로 볼 수도 있지만 각 집단의 특성을 심도 있게 이해하는 수단이 되기도 한다. 따라서 차별기능문항이 아님에도 차별기능문항으로 검정되는 문항이 다수 존재한다면 이와 같은 집단 특성에 대한 이해를 심각하게 저해 할 수 있을 것이다. 또한 차별기능문항을 찾고 이를 기반으로 집단별 특성을 해석하고자 하는 일단의 국내 연구들에서는 흔히 두 가지 차별기능문항 추출 방법을 함께 사용하는 경향이 있기 때문에, 본 연구에서는 이러한 경우에서의 제1종 오류 양상도 함께 조사하였다. 결과적으로, 우도비 검정 방법은 본 연구에서 고려된 모든 모의실험 조건에 있어서 제1종 오류를 명목 유의수준 안에서 통제하는 것으로 나타났다. 두 방법 하에서 모두 차별기능문항으로 추출되어야 최종적으로 차별기능문항으로 보는 경우, 매우 낮은 수준의 제1종 오류가 발생함을 확인하였다. 하지만 로지스틱 회귀분석 방법은 집단 간 평균 차이가 존재할 때 제1종 오류를 제대로 통제하지 못하는 것으로 나타났다.

영문 초록

This study investigated the effects of sample sizes, unequal examinee ratios, and ability differences between examinee groups on the type I error rates of DIF detection. Such situations tend to happen when DIF study is conducted between general domestic students and multicultural-family students. Although DIF items could be the source of low test validity, they also could become the means to deeply understand the characteristics of each examinee group. Therefore, if DIF items are detected as the results of type I error, it would be able to seriously inhibit the understanding of the group characteristics. In this study, the type I error problem was also investigated when two DIF detection methods are used together to detect DIF items, because such application has been adopted in a series of domestic DIF studies. The results showed that the likelihood-ratio method could control the type I error rates around the nominal significance level in all the simulation conditions. Also, when an item is detected as DIF when both DIF detection methods find the item shows DIF, the type I error rates tend to appear in the very low level. The logistic regression method, however, appeared not to appropriately control the type I error rates, when there exists ability mean difference between two examinee groups.

목차

요약

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

참고문헌

키워드

차별기능문항 다문화가정 학생 우도비 검정 로지스틱 회귀분석 방법 differential item functioning multicurtural-family students likelihood-ratio test logistic regression method