초등학교 학업성취도평가의 기준설정을 위한 Angoff와 Bookmark 방법의 비교

• 영문명: The Comparison for the Standard Setting methods of the Assessment of Educational Achievement in Elementary School using the Modified Angoff and Bookmark Methods
• 발행기관: 학습자중심교과교육학회
• 저자명: 홍소영(Hong So young)
• 간행물 정보: 『학습자중심교과교육연구』제11권 4호, 495~523쪽, 전체 29쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.12.30

국문 초록

본 연구의 목적은 초등학교 6학년 지역수준 학업성취도평가 수학검사를 대상으로 앵고프 방법과 북마크 방법에 의해 설정된 분할점수를 비교하고, 내적, 외적, 절차적 준거를 바탕으로 두 가지 기준설정 방법의 현장 적용 가능성에 대하여 논하는 것이다. 이러한 목적을 달성하기 위하여 D지역수준 초등학교 6학년 학업성취도평가 수학검사 문항의 응답 자료를 바탕으로 앵고프 방법과 북마크 방법을 적용하여 분할점수를 설정하였다. 또한 설정한 분할점수의 타당성을 검증하기 위해 각 기준설정 방 법을 내적, 외적, 절차적 준거에 따라 평가하였다. 각 기준설정 방법에 의한 분할점수 설정 결과, ‘우수-보통’과 ‘보통-기초’ 수준의 분할점수는 앵고프 방법이, ‘기초-기초미달’ 수준의 분할점수는 북마크 방법이 높게 설정되는 경향이 있었다. 내적 준거에 의한 평가 결과, 기준설정 참여자내 분류일치도, 기준설정 참여자간 분류일치도, 기준설정 방법내 분류일치도는 두 방법 모두 높게 산출되었다. 외적 준거에 의한 평가 결과 기준설정 방법간 분류일치도는 평정이 진행될수록 높아지는 경향을 보였으나, 국가수준 학업성취도평가와의 분류일치도는 대체로 낮은 것으로 나타났다. 절차적 준거에 의한 평가 결과, 대체로 명확성, 실행가능성, 이행절차의 합리성 등을 만족하고 있다.

영문 초록

The purpose of this study was to establish the cut scores for the assessment of educational achievement in mathematics for the 6th grade using the modified Angoff and Bookmark methods. The standard setting methods were evaluated by external, internal and procedural criteria, Additionally, this study was designed to determine Whether the methods for setting standards can be applied in educational circumstances. The mathematics items and respond data of the Assessment of Educational Achievement conducted in D were used for it. The results of this study were as follows: (1) There was a difference between the cut scores established by the Angoff method and that established by the Bookmark method. For the advanced-proficient level, the cut score established by the Angoff method was higher than that established by the Bookmark method, However, for the basic-below basic level, the cut score established by the Bookmark method was higher than that established by the Angoff method. (2) The consistency of intra-panelist is relatively high in both, but the consistency of inter-panelists was higher consistency for the Bookmark method. (3) The consistency of intra-methods was with a .9 in both. (4) The consistency of inter-methods increased as the rounds went on. but, there was a difference in the proportion of students classified by achievement level in two methods. Also, the consistency of the proportion of students classified by achievement level was low between nationwide and regional assessments of educational achievement. (5) Most panelists chose the Bookmark method an easier way to conduct the procedure of setting standards; possibility of the application of the school environment.

목차

<국문초록>

Ⅰ. 서론

Ⅱ. 연구방법

Ⅲ. 결과

Ⅳ. 논의 및 결론

참고문헌

키워드

기준설정 분할점수 앵고프 방법 북마크 방법 Standard-setting cut-score Angoff method Bookmark method