영어 평가 문항 개발의 실제

이상기 , 이영주 , 황은경 , 이정원 , 배주경 , 김정옥, 이송은, 이동주 , 이송은 , 이동주 지음

한국문화사 2021년 07월 08일 출간 종이책 : 2017년 03월 01일 출간

작품소개

책소개

[영어 평가 문항 개발의 이론과 실제]는 한국영어교과교육학회에서 기획한 총서시리즈 제4권이다. 그간 영어교육을 위한 화용론(2011년), 영어 수업 지도안 작성의 이론과 실제(2014년), 영어교과교육 핵심 의사소통 활동책(2015년) 등 세 권의 도서가 이미 출간되어 영어교육 현장의 실천적 노력에 의미 있는 기여를 해오고 있다. 제1장에서는 평가의 개념과 유형에 대해 살피고, 좋은 평가 도구를 확보할 때 고려해야 하는 사항과 평가 결과를 다루는 방법을 알아보게 된다.

이어지는 제2장부터 제7장까지는 영어 능력의 하위 범주를 고려하여 듣기와 말하기의 음성 언어 능력에 대한 평가(각각 제2장과 제3장), 읽기와 쓰기의 문자 언어 능력에 대한 평가(각각 제4장과 제5장), 어휘 능력에 대한 평가(제6장), 문법 능력에 대한 평가(제7장)를 더욱 면밀히 살핀다. 각 능력 범주에 대한 평가는 어떠한 점을 유의해야 하는지, 활용 가능한 구체적인 평가 유형은 무엇이고 각 유형에 해당하는 평가 문항의 개발은 어떠한 절차를 거쳐 이뤄지게 되는지 등을 두루 알아본다. 마지막 제8장은 최근 들어 그 중요성이 더욱 부각되어 가고 있는 수행 평가를 따로 구분하여 다룬다. 영어교육과 영어교육 평가에 관심 있는 학생, 교사, 예비 교사, 학부모, 그리고 연구자들에게 모쪼록 쓸모가 있는 책으로 기억되길 바라며 서문을 갈무리하고자 한다.

목차

▣ 서문 /
제1장 평가의 기본 개념과 원리___ 이상기
제2장 듣기 평가___ 이영주
제3장 말하기 평가___ 황은경
제4장 읽기 평가___ 이정원
제5장 쓰기 평가__ 배주경
제6장 어휘 평가___ 김정옥
제7장 문법 평가___ 이송은
제8장 수행 평가___ 이동주

▣ 찾아보기 / 307

책 속으로

[머리말]

이 책은 한국영어교과교육학회에서 기획한 총서시리즈 제4권이다. 그간 영어교육을 위한 화용론(2011년), 영어 수업 지도안 작성의 이론과 실제(2014년), 영어교과교육 핵심 의사소통 활동책(2015년) 등 세 권의 도서가 이미 출간되어 영어교육 현장의 실천적 노력에 의미 있는 기여를 해오고 있다.
이번 도서를 기획하면서 우리나라 영어교육을 올바르게 이끄는 길에 아직도 적지 않은 과제가 남겨져 있음을 절감했다. 몇 번을 설왕설래한 끝에 평가라는 주제를 앞세워 다루기로 하였다. 평가는 절차상으로 영어교육 프로그램의 최종 단계에 위치하게 되지만, 평가를 미리 염두에 두지 않는 프로그램은 사실상 아무런 의미가 없다는 판단이다. 무엇을, 어떻게, 그리고 왜 평가할지에 대한 섬세한 계획이 영어교육 프로그램의 기획과 실행에 앞서 먼저 이뤄져야 할 일이다.
평가는 교육과 관련한 주체 모두에게 지대한 관심의 대상이다. 평가 결과에 대해 일희일비하는 학생, 교사, 학부모를 어렵지 않게 만나볼 수 있으며, 각 급의 교육기관 관계자 역시 그에 대해 촉각을 세우기는 마찬가지이다. 결국 영어교육에서의 평가는 영어교육과 조금이라도 관련 있는 모든 이의 공통된 주요 관심사 중의 하나이다. 이 책은 그만큼 중요한 평가라는 주제를, 그 본연의 의미는 무엇인지, 평가에 대한 계획과 실행에 있어 어떠한 부분에 각별한 마음을 기울여야 할지를 살피고자 하였다.
이 책은 총 여덟 개의 장으로 구분되어 있다. 제1장에서는 평가의 개념과 유형에 대해 살피고, 좋은 평가 도구를 확보할 때 고려해야 하는 사항과 평가 결과를 다루는 방법을 알아보게 된다. 이어지는 제2장부터 제7장까지는 영어 능력의 하위 범주를 고려하여 듣기와 말하기의 음성 언어 능력에 대한 평가(각각 제2장과 제3장), 읽기와 쓰기의 문자 언어 능력에 대한 평가(각각 제4장과 제5장), 어휘 능력에 대한 평가(제6장), 문법 능력에 대한 평가(제7장)를 더욱 면밀히 살핀다. 각 능력 범주에 대한 평가는 어떠한 점을 유의해야 하는지, 활용 가능한 구체적인 평가 유형은 무엇이고 각 유형에 해당하는 평가 문항의 개발은 어떠한 절차를 거쳐 이뤄지게 되는지 등을 두루 알아본다. 마지막 제8장은 최근 들어 그 중요성이 더욱 부각되어 가고 있는 수행 평가를 따로 구분하여 다룬다.
이 책의 출간은 많은 분의 지지와 후원 속에서 가능했다. 아낌없는 도움을 주셨던 한국문화사 측에 우선 감사의 마음을 전한다. 한국영어교과교육학회의 임원께서도 묵묵히 믿고 기다려 주셨다. 초고를 꼼꼼히 읽고 검토해준 낙동고등학교의 최돈기 선생님께서도 이 책의 몫을 나눠가지셔야 옳다. 영어교육과 영어교육 평가에 관심 있는 학생, 교사, 예비 교사, 학부모, 그리고 연구자들에게 모쪼록 쓸모가 있는 책으로 기억되길 바라며 서문을 갈무리하고자 한다.

2017년 3월
필진을 대표하여 이상기

출판사 서평

책속으로 추가

제1장. 평가의 기본 개념과 원리

1.1 들어가며

일반인에게 “평가”라는 말은 으레 “시험”이란 말을 떠올리게 한다. 어떤 이들은 대학을 졸업하면서 “이제 내 인생에 더 이상의 시험은 없다.”라고 외치며 평가에서 비로소 자유롭게 된 자신에 대해 축복하는 장면을 연출하기도 한다. 그런데 안타깝게도 평가는 시험과 온전히 등치되는 개념은 아니어서 우리의 삶은 사실상 평가의 연속이다. 예컨대, 직장에서 이뤄지는 각종 평가는 물론이요, 가정 내에서는 부모로서, 자식으로서, 또 배우자로서 끊임없이 이뤄지는 평가를 감내해야 한다. 평가란 무엇일까?
평가의 사전적 정의는 평가 대상의 가치나 수준을 평하는 행위를 이른다. 시험이란 말이 그에 근접한 의미의 어휘로서 자리 잡고 있는 것은 분명하지만, 그보다는 “측정(measurement)”이란 말이 평가의 개념에 보다 가깝다. 측정의 개념은 일정한 양을 기준으로 같은 종류의 다른 양의 크기를 재는 행위로 정의된다.
평가의 사전적 정의를 적용하면, 우리가 본서에서 주목하여 살피고자 하는 “영어 능력 평가”는 영어 능력의 가치나 수준을 평하는 행위로 이해된다. 그리고 측정의 개념을 도입하자면, 영어 능력의 크기를 재는 행위가 되는데, 이때 같은 종류(즉, 영어 능력)의 기준이 필요하다. 다시 말해 영어 능력 기준을 토대로 영어 능력을 재는 행위가 영어 능력 측정이다.
정확한 평가나 측정은 생각보다 복잡하고 어렵다. 어떤 사람의 키가 170cm라 하였을 때, 이에 대한 평가는 평가 맥락에 따라 달라지기 마련이다. 그 사람이 남자인가 여자인가에 따라 달라지고, 초등학생인가 대학생인가에 따라 평가가 달라진다. 키에 대한 정확한 측정 역시 어렵긴 매한가지이다. 아침에 재는 키가 저녁에 재는 키보다 더 클 것이다. 자세에 따라서, 근육의 경직도에 따라서도 잴 때마다 키가 다르게 측정되곤 한다. 즉, 키 자체가 상황 맥락에 따라 변화하는 것이다. 그런데 이에 더해 우리를 더욱 난처하게 하는 것은 동일한 시간대에, 동일한 자세와 근육 경직도 수준에서 측정을 할 수 있다손 치더라도 어떻게 측정을 하느냐에 따라서 그 결과 값이 달라진다는 사실이다. 벽에 기대에 서서 키를 재느냐, 누워서 키를 재느냐, 다른 사람과 등을 맞대고 키를 재느냐, 줄자와 같은 도구를 활용하여 키를 재느냐에 따라 키의 값이 다르게 측정되는 것이다.
키는 우리가 평가하고자 하는 대상이다. 비교적 명확해 보이는 평가 대상인 키마저도 정확한 평가가 어렵다는 말을 새겨들을 필요가 있다. 우리가 본격적으로 논의하고자 하는 영어 능력 평가는 생각보다 훨씬 더 어려운 개념이어서 그를 위해서는 많은 고민과 철저한 준비가 있어야 할 것이다. 키 자체가 변화를 겪는 것 이상으로 영어 능력 평가는 평가 맥락에 따라 더 큰 부침을 겪게 될 것이 자명하다. 키를 측정하는 방법에 따라서도 그 결과가 달라질 수 있다는 사실 역시 영어 능력 평가 작업에 그대로 적용된다. 어떠한 방식을 통해 영어 능력을 측정하느냐에 따라서 그 결과가 다르게 나타날 것이 분명하다. 이제 평가에 대해서, 보다 구체적으로는 영어 능력 평가에 대해서 본격적으로 살펴보자.

1.2 평가의 종류
일반인에게 평가의 결과는 흔히 “줄 세우기”로 이해된다. 평가 결과를 토대로 순위가 매겨지며, 저 앞쪽의 1등부터 저 아래쪽의 순위까지 하나의 선상에 쭉 나열된다. 앞쪽에 서면 기분이 우쭐해지고, 저 뒤쪽에 서게 되면 낙담하여 어깨가 쳐진다. 다른 평가 대상자와의 비교가 이뤄지기 때문이다. 그런데 이것이 평가의 전부는 아니다. 줄 세우기로 이해되는 평가는 상대 평가(norm-referenced test; 또는 “규준 지향 평가”)에서 적용되는 내용인데, 평가에는 상대 평가만이 있는 것은 아니어서, 절대 평가(criterion-referenced test; 또는 “준거 지향 평가”)의 경우에는 다른 평가 대상자와의 상대적인 비교를 목적으로 평가가 이뤄지지 않는다. 그보다는 학습자가 애초에 설정한 학습 목표에 얼마만큼 도달하였는지가 평가의 중요한 근거가 된다.
상대 평가는 〈그림 1-1〉에 예시된 바와 같은 정규 분포(normal distribution)라는 개념과 관련된다. 정규 분포란 인간과 자연 세상에서 일어나는 일에 대해 충분한 사례가 반복적으로 축적되었을 때 만날 수 있는 분포를 말한다. 어느 교정에 30 그루의 나무가 있다고 했을 때, 그것들의 크기를 측정하여 분포를 조사한다고 해보자. 그런 경우 대부분의 나무는 평균값에 위치하게 되며, 분포의 양쪽 끝으로 갈수록 사례의 수가 체계적으로 줄어들게 된다. 평가에서도 마찬가지이다. 학생들의 점수가 충분히 축적되면, 평균값에 가장 많은 수의 학생들이 위치하게 되고, 양 극단으로 갈수록 학생의 수가 점차 줄어들게 된다. 정규 분포의 개념에 기반을 두는 상대 평가에서는 특정 학생의 실제 점수가 어떠한가보다는 그 점수가 다른 학생의 점수에 비추어 어느 정도인가, 그리고 그것이 평균에서 얼마나 떨어져 위치하게 되는 것인가에 더욱 큰 의미가 부여된다.

절대 평가는 평가 대상자가 주어진 과업의 목표를 어느 정도 달성하였는가에 초점을 둔다. 달성해야 하는 목표가 100이라 하였을 때, 그중 실제로 얼마를 달성하였는지에 대해 평가가 이뤄지는 것이다. 따라서 다른 학생과의 상대적인 점수의 비교 혹은 평균 점수로부터 특정 점수가 위치하는 거리가 아니라 실제 얻은 점수 그 자체에 더욱 큰 의미가 부여된다.
절대 평가의 경우, 학습 이전과 이후의 점수 분포가 〈그림 1-2〉에 예시된 바와 같이 왜곡 분포 형태로 나타나기 마련이다. 〈그림 1-2〉에서 왼쪽의 분포가 학습 이전의 경우라면, 학습 후에는 오른쪽과 같은 분포가 나타나는 것이 바람직하다. “줄 세우기”가 목적인 상대 평가에서는 학생들이 구체적 평가 내용에 대한 이해가 결여되어 있는 것이 일반적이다. 반면에 절대 평가에서는 학생들이 무엇을 평가받게 되는지에 대해 사전에 인지를 하게 되므로, 학습이 온전히 이루어진 경우에는 만점을 받는 것이 지극히 당연하다. 한편, 〈그림 1-2〉에서 왼쪽의 분포를 정적 왜곡 분포(positively-skewed distribution), 오른쪽의 분포를 부적 왜곡 분포(negatively-skewed distribution)라 이른다. 꼬리의 방향을 보면 그 이름에 대한 이해가 쉽다.

평가의 종류를 말할 때 이상과 같이 상대 평가와 절대 평가로 양분하기도 하거니와, 또 다른 측면에서는 다음의 네 가지 종류로 평가를 구분하기도 한다.

가. 능숙도 평가(proficiency test): 특정 학습자의 전반적인 능력을 파악하여 다른 학습자들의 수준과 비교하기 위한 평가. TOEFL, TOEIC, TEPS 등의 표준화 평가가 이에 해당함
나. 배치 평가(placement test): 학습자의 수준을 파악하여 동질한 능력 수준의 집단을 구성하고자 실시하는 평가
다. 진단 평가(diagnostic test): 교수 목표에 비추어 학습자가 이미 알고 있는 영역과 미흡한 영역을 파악하여 그에 대한 정보를 제공하고자 하는 평가
라. 성취도 평가(achievement test): 목표 대비 학습한 정도를 측정하기 위한 평가

앞서 기술한 상대 평가와 절대 평가의 특성을 이해한다면, 능숙도 평가와 배치 평가는 상대 평가적인 속성을, 진단 평가와 성취도 평가는 절대 평가적인 속성을 가지게 됨을 쉽게 이해할 수 있다. 한편, 앞으로의 논의는 절대 평가보다는 상대 평가의 관점에서 이뤄질 것이다. 상대 평가가 우리나라 교육 환경에서 더 많은 쓰임새를 가지고 더욱 널리 적용되고 있는 탓이다.

1.3 신뢰도와 타당도
흔히 신뢰도(reliability)와 타당도(validity), 그리고 실용도(practicality)를 평가의 3요소라 말한다(Harris, 1969). 여기에서는 순서를 좀 뒤집어 실용도의 개념을 먼저 살펴보자.
실용도는 다시 (1) 구성과 시행에 있어서의 용이성, (2) 채점에 있어서의 용이성, (3) 해석과 적용에 있어서의 용이성의 세 가지 측면에서 이해될 수 있다. 실용도가 높은 평가는 세 가지 측면에서의 용이성이 높은 평가를 의미하는 것이다. 그런데 이 세 가지 측면에서의 용이성을 두루 확보하는 일이 결코 쉽지가 않다. 특히 구성과 시행에 있어서의 용이성과 채점에 있어서의 용이성은 상호 간 긴장 관계를 형성한다. 대개의 경우 문항의 구성과 시행이 용이한 경우 그 결과에 대한 채점이 어렵기 때문이다. 예컨대, 읽기 평가에서 요약하기와 같은 개방형 문항은 다지 선다형 문항에 비해 문항의 구성 및 시행이 매우 용이하다. 그런데 채점 과정에서는 그 상황이 역전되어 요약하기 문항에 대한 채점이 다지 선다형 문항에 대한 채점보다 훨씬 더 복잡하고 어렵기 마련인 것이다.
해석과 적용에 있어서의 용이성은 평가의 목적에 비추어 따져볼 수 있다. 예를 들어 상대 평가의 경우 앞서 살펴본 바대로 그 목적이 학생들의 점수를 상호 비교하고 또 특정 점수가 평균 점수로부터 어느 정도
떨어져 있는가를 살펴보는 것에 있음을 고려할 때, 그러한 목적에 마땅
히 부합하는 평가가 해석과 적용에 있어서의 용이성이 높은 평가가 된
다. 예컨대 학생들의 점수가 정규 분포를 이루기를 기대하는 상황에서
그들의 실제 점수의 분포가 정적 왜곡 분포 혹은 부적 왜곡 분포를 이
루게 되었다면, 그때 적용된 평가는 해석과 적용에 있어서의 용이성 측
면에서 높은 점수를 주기 어렵다.
실용도에 대한 논의는 이쯤에서 거두고, 이어서 평가와 관련하여 필수적인 고려 사항으로 널리 논의되곤 하는 신뢰도와 타당도에 대해 보다 자세히 살펴보도록 하자. 좋은 평가를 가늠할 때 두 가지의 조건만 따져보라면 단연코 해당 평가의 신뢰도와 타당도를 물어야 할 일이다.

작가정보

저자(글) 이상기

저자 이상기는
- 서울대학교 영어교육과 학사/석사
- 미국 Univ. of Hawai at Manoa 응용언어학 박사
- (현) 한국교원대학교 영어교육과 교수

저자(글) 이영주

저자 이영주는
- 숙명여자대학교 영어영문학과 학사/고려대학교 영어영문학과 석사
- 미국 Univ. of Los Angleles at California 응용언어학 석사
- 미국 Univ. of Illinois at Urbana-Champaign 영어교육 박사
- (현) 한밭대학교 영어영문학과 교수

저자(글) 황은경

저자 황은경은
- 단국대학교 불어불문학과 학사
- 미국 Univ. of Pennsylvania TESOL 석사
- 숙명여자대학교 영어영문학과 영어교육 박사
- (현) 명지대학교(서울캠ㅍ허스) 방목기초교육대학 영어과 교수

저자(글) 이정원

저자 이정원은
- 충남대학교 영어영문학과 학사
- 미국 Sephen F. Austin State university 영어학 석사
- 미국 Univ. of Texas at Austin 영어교육 박사
- (현) 충남대학교 영어교육과 교수

저자(글) 배주경

저자 배주경은
- 부산대학교 영어영문학과 학사 / 부산대학교 영어학 석사
- 미국 Indiana univ. Bloomington 교육공학(I.S.T) 석사
- 한양대학교 영어교육학 박사
- (현) 한국교육과정평가원 부연구위원

저자(글) 김정옥, 이송은, 이동주

저자 : 김정옥
- 전남대학교 영어교육과 학사
- 미국 Univ. of Colorado at Denver TESOL 석사
- 공주대학교 영어교육 박사
- (현)원광대학교 교양교육대학 교수

저자 : 이송은
- 공주대학교 영어교육과 학사
- 미국 Purdue university 영어교육 석사
- (현) 미국 Purdue university 영어교육 박사 수료
- (현) 충남교육청 소속 중등 영어 교사

저자 : 이동주
- 한국교원대학교 영어교육과 학사 / 동대학교 대학원 영어교육 석사/박사 수료
- 영국 Univ. of Birmingham MA in TEFL/TESL
- 영국 Univ. of Essex PhD in ELT
- (현) 한국교원대학교 영어교육과 교수

저자(글) 이송은

저자(글) 이동주