임상수행능력평가(CPX)의 오차요인 탐색과 신뢰도 연구

• 영문명: A study of investigating error sources and reliability for clinical performance examination(CPX)
• 발행기관: 한국교육평가학회
• 저자명: 임형(Hyung IM) 김성숙(Sungsook KIM)
• 간행물 정보: 『교육평가연구』제18권 제1호, 27~46쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2005.05.01

국문 초록

최근 의과대학에서 확대 적용되고 있는 임상수행능력평가(CPX)는 표준화환자를 활용하여 학생들의 임상수행능력을 점검하는 수행평가이다. CPX와 같이 관찰에 의해서 점수가 부여되는 평가 방식은 주관적 판단을 포함하고 있을 뿐 아니라 측정상황에서 발생할 수 있는 오류의 종류가 다양하므로 점수결과의 신뢰도 확보가 전제되어야 한다. 이 연구는 의과대학의 CPX자료에 일반화가능도 이론을 적용하여 임상수행능력 평가 상황에서 발생 가능한 오차를 설명하고 신뢰도를 높일 수 있는 측정조건을 제시하였다. 분석결과 문항간의 상관이 낮게 계산되어 한 문항을 잘 수행하는 것과 다른 문항을 잘 수행하는 것과는 별개로 나타났으며 관찰기회에 대한 변동이 높아서 시행일에 따라 점수차이가 크게 나타났다. 한편 의사(채점자) 차이에서 오는 변동이 상대적으로 크게 산출된 되어 채점자가 문항에 반응하는 수준이 매우 크다고 해석 할 수 있으므로 의사의 채점기준, 특히 채점자간 그리고 채점자내 일관성을 유지할 수 있도록 훈련하는 것이 무엇보다 중요한 것으로 나타났다. 신뢰로운 평가 결과를 확보하기 위해 몇 명의 채점자와 몇 개의 문항을 정하는가는 임상수행능력평가를 적용하는 시점에서 반드시 고려되어야 할 측정조건인 것으로 파악되었다.

영문 초록

The Clinical Performance Examination is a performance assessment tool, which evaluates students' clinical skills through the use of standardized patients. Assessment tests that evaluate students based on observation, such as the CPX, include a subjective judgment component. Therefore, measurement errors stemming from the measurement procedures are diverse in nature; these must be rectified to improve the reliability of these tests. A process of rating each performance especially contains a number of potential sources of error associated with raters, with items, with occasion, with rating criteria, with different scales, and with their combinations. The purpose of this study, therefore, is to analyze data from a performance assessment to investigate relative influence of each facet on a measure and the reliability of decision estimating from data collection. This study uses the professor assessment results from a CPX test administered at the Korea University Medical College, in combination with descriptive statistics and generalizability theory, in an effort to study and explain the errors that arise in the Clinical Performance Examination, and to increase reliability of CPX. The results show that G theory is useful in detecting various error components in performance assessment. G theory is clearly a comprehensive method for designing, assessing, and improving the dependability of measurement procedures.

목차

요약

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

참고문헌

ABSTRACT

부록