국제학업성취도 평가의 DIF 원인 탐색을 위한 로지스틱 회귀분석의 적용

• 영문명: Exploring Potential Sources of DIF for PISA 2006 Mathematics Literacy Items: Application of Logistic Regression Analysis
• 발행기관: 한국교육평가학회
• 저자명: 손원숙(Wonsook Sohn)
• 간행물 정보: 『교육평가연구』제23권 제2호, 371~390쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2010.06.30

국문 초록

최근 국제비교연구에서 집단 간 비교를 위한 전제조건인 측정학적 동등성을 확립하기 위한 방안을 모색하는 연구가 급증하고 있다. 특히 집단 간 발생하는 비동등성의 원인을 밝혀내기 위하여 차별기능문항(Differential Item Functioning: DIF) 기법을 적용하는 연구들이 이루어지고 있다. 선행연구 결과, 국제비교연구에서 발생하는 DIF의 원인은 번역, 문화, 및 교육과정 등의 차이로써 이해되고 있지만, DIF는문항의 고정된 특성이 아니라 검사 상황 및 목적에 따라서 유동적인 특성을 갖고 있다. 따라서 새로운검사 개발 및 적용 시 집단 간 측정의 동등성 검토 작업은 선행되어야 하고, 보다 타당한 검사 개발및 활용을 위하여 비동등성의 소재를 파악하는 것은 중요한 작업으로 인식된다. 본 연구에서는 PISA2006 수학 문항에서 나타나는 우리나라와 핀란드 집단 간의 DIF를 파악하고, 이 두 집단에서 발생하는 DIF의 원인을 탐색하고자 한다. 이를 위해 로지스틱 회귀분석(Swaminathan & Rogers, 1990)을 적용하고,가능한 DIF의 원인을 크게 검사 문항의 내적인 특성과 외적인 특성으로 분류하여 탐색하였다. 구체적으로 가능한 DIF 원인으로는 각 문항의 (1) 내용 영역, (2) 인지적 과정, (3) 문항 유형 및 (4) 교육관련문화적 요인으로 ‘방과후 학습시간’의 효과를 검토하였다. 특히 DIF의 원인으로써 검사 외적 요인의영향을 탐색하기 위하여 위계적인 DIF 모형을 설정하고, 다변량 대응변수 기법을 적용하였다. 본 연구는 DIF의 원인을 파악하기 위한 방법론을 제안함과 동시에 국제비교연구를 위한 검사의 개발 및 활용시 참고할 수 있는 정보를 제공하는데 그 의의가 있다.

영문 초록

The purpose of this study is twofold: (a) to propose a methodology for identifying a source of DIF and (b) to examine how some item features and students' cultural variable can functioning as a source of DIF for the Korean and Finnish students' performance on PISA 2006 Mathematics Items. Specifically this study investigated the relationships between differential item functioning(DIF) across countries and the potential sources of DIF: (a) the sub-dimensions defined in PISA mathematical framework : content and competencies, (b) item formats, and (c) extra lesson hours after school. This study also introduced the multivariate matching method using Logistic Regression Analysis(Swaminathan & Rogers, 1990) to explore the utility of the external variable for the source of DIF. The results showed that (a) cognitive skills or contents measured by the items, (b) item formats, and (c) education related cultural factor are possible sources of DIF between the Korean and Finnish groups. It also indicated that systematic a-priory analyses of the item content may help anticipate items with DIF in a cross-cultural or lingual comparison. Findings form this study provide a potentially valuable contribution to the development and application of tests for international use.

목차

Ⅰ. 서 론

Ⅱ. 연구방법

Ⅲ. 연구결과

Ⅳ. 요약 및 논의

키워드

차별기능문항분석 다변량 대응변수 기법 로지스틱회귀분석 국제비교연구 DIF 원인 PISA 2006 differential item functioning multivariate matching logistic regression analysis international assessments cross-cultural studies