기초학력 진단검사의 기준설정 결과 내적 타당도 연구: 중학교 역사과 패널리스트의 내적 일관성 분석을 중심으로

• 영문명: Internal Validity of the Standard Setting Results for Diagnostic Tests of Basic Skills History Test: Focusing on Internal Consistency of Panelists
• 발행기관: 한국교육평가학회
• 저자명: 우중호(Jung-Ho Woo) 김 선(Kim Sun) 박공훈(Gong-Hoon Park) 김수진(Su-Jin Kim)
• 간행물 정보: 『교육평가연구』제30권 제4호, 817~836쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2017.12.30

국문 초록

연구의 목적은 2017학년도 기초학력 진단검사 중학교 역사① 교과를 수정된 앵고프 기준설정 방법으로 기준설정 한 결과의 내적 타당도를 탐구하는 데 있다. 이를 위해 본연구에서는 첫째, 패널리스트내 일관성은 어느 정도인지, 둘째, 기준설정 절차에서 집단 논의와 피드백이 패널리스트내 일관성 및 패널리스트간 일치도를 높이는지, 셋째, 분할점 수의 산출 시 패널리스트에게 일관성 지수에 비례하여 가중치를 주거나 일관성이 낮은 패널리스트를 제외하는 것이 분할점수 추정에 얼마나 영향을 미치는가를 분석하였다. 연구 결과 라운드별 패널리스트내 일관성 지수인 상관계수 평균은 1라운드 .2082, 2라운드 .3450, 3라운드 .4618이었다. 기준설정 패널리스트의 내적 일관성은 라운드를 진행하면서 높아졌고 패널리스트간 일치도 지수인 분할점수의 표준편차는 줄었는데 이는 집단 논의와 피드백이 적절히 작용한 결과로 보인다. 또한 패널리스트의 일관성 지수의 크기와 유의성을 기준으로 가중치를 주어 분할점수를 산출하였는데, 가중치를 부여하지 않은 경우와 가중치를 부여한 경우 분할점수 간의 최대 차이가 1라운드는 1.4837, 2라운드는 1.1908, 3라운드는 .1297이었다. 3라운드 이후에는 패널리스트의 내적 일관성이 높아졌으 며, 가중치를 부여 하더라도 가중치를 부여하지 않았을 때와 분할점수의 차이는 작았다.

영문 초록

The purpose of this study is to investigate the internal validity of the modified Angoff standard setting results using the 2017 Diagnostic Tests of Basic Skills(DTBS) History tests for middle school students. In this study, we analyzed the internal consistencies of the intrapanelists, the effects of the group discussions among panelists and the feedbacks to panelists on the intrapanelist and interpanelist consistencies, and the effects of differential weights using the intrapanelist consistencies on the estimates of cutscores. Results indicated that the averages of correlations, a measure of intrapanelist consistency, were .2082, .3450, and .4618 in each round. Also, as the round proceeded, the standard deviations of the cutscores among the panelists decreased, while the internal consistencies of the panelists increased. When we computed the cutscores using the various weights proportional to the internal consistencies of the panelists, the maximum differences among the cutscores was 1.4837, 1.1908, and 0.1297 in each round. After the 3rd round, the cutscore with the no weight method and the cutscores with various weighting methods had small differences because the internal consistencies of the panelist were improved.

목차

Ⅰ. 서 론

Ⅱ. 수정된 앵고프 기준설정 방법과 내적 타당도

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

키워드

수정된 앵고프 기준설정 내적 타당도 내적 일관성 기초학력 진단검사 modified-Angoff Standard Setting Internal Validity Internal Consistency Diagnostic Tests of Basic Skills