다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색

• 영문명: Investigation on optimal conditions and error variance in standard setting using multivariate generalizability analysis
• 발행기관: 한국교육평가학회
• 저자명: 김성숙(Sungsook Kim) 송미영(Mi-Young Song) 박인용(In-Yong Park)
• 간행물 정보: 『교육평가연구』제25권 제4호, 679~700쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2012.12.30

국문 초록

준거참조평가 체제에서 평가 결과의 보고와 평가 주기에 따른 추이 파악에 성취수준의 분할점수는 매우 중요한 역할을 하므로, 분할점수에 대한 측정학적인 검토는 필수적이다. 이 연구에서는 국가수준 학업성취도 평가의 성취수준 설정 과정에서 발생하는 오차요인을 분석하고, 효율적인 측정 조건을 탐색하였다. 다변량 일반화가능도 이론을 적용하여 다수의 성취수준을 구분하기 위한 분할점수를 설정하는 과정에서의 오차요인과 크기를 분석하였으며, 각 성취수준의 분할점수별로 적정 수준의 효율적인 측정조건을 제시하였다. 연구결과 학교급(초, 중, 고), 교과(국어, 수학, 영어), 성취수준별(우수학력, 보통학력, 기초학력)로 오차요인의 상대적 영향력과 오차를 줄이는 측정조건이 다르게 나타났는데, 특히, 국어에서 다른 교과보다 많은 수의 평정자 및 라운드가 필요한 것으로 분석되었으며, 수학과 영어에서는 상대적으로 일반화가능도 계수가 높게 산출되었다. 또한, 국가수준 학업성취도 평가에서의 성취수준 설정과정의 일치도는 0.8 이상으로 매우 높았다.

영문 초록

Cut scores is very important to report achievement level and to analyze trends for criterion-referenced assessment. Thus it should be performed to examine valididy and reliability of cut scores. This study investigated sources of error and measurement conditions for standard setting to obtain high generalizability coefficient using multivariate generalizability theory. The results shows that the effect size of error of judgement differ depending on subjects and levels across graders. In Korean language, there is needed relatively more number of raters and rounds than other subjects for getting high reliability coefficients. In Mathematics and English, judgment of item correct-probability yielded the relatively high reliability coefficients under condition of few raters and rounds. The measurement conditions of NAEA standard setting had high generalizability coefficients which yielded more than 0.8, and was highly consistent.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 분석결과

Ⅴ. 결론 및 제언

참고문헌

저자소개

〈ABSTRACT〉

키워드

준거참조평가 국가수준 학업성취도 평가 성취수준 설정 다변량 일반화가능도 이론 고정효과 criterion-referenced test National Assessment of Educational Achievement(NAEA) standard setting multivariate generalizability tyeory fixed effects