실험 및 준실험적 정책평가 1(기초편)

손호성 지음

박영사 2018년 03월 01일 출간 국내도서 : 2017년 06월 30일 출간

작품소개

책소개

『실험 및 준실험적 정책평가. 1(기초편)』에서 다루게 될 내용은 크게 두 가지입니다. 하나는 실험 및 준실험적 연구방법론을 공부하기 위해 반드시 알고 있어야 할 통계학 이론이고 나머지 하 나는 그 통계학 이론에 기반해서 배우게 될 계량경제학의 기초입니다.

목차

제1장: 자료의 분포(DISTRIBUTION) 검토 1
1 모집단과 표본 2
2 자료의 특성 검토: 분포(DISTRIBUTION) 3
2.1 왜 자료의 분포를 검토해야 하는가? Outliers! 4
2.2 자료의 분포를 검토할 때 사용하는 방법 1: 표와 그래프(그림을 이용한 표현) 5
2.3 자료의 분포를 검토할 때 사용하는 방법 2: 요약 통계량(수치를 이용한 표현) 9
2.4 자료의 분포를 검토할 때 사용하는 방법 3: 밀도곡선(Den-sity Curve) 16

제2장: 변수 간의 통계적 관계 29
1 관계(RELATIONSHIP) 29
2 산점도(SCATTERPLOT) 31
3 상관관계(CORRELATION) 35
4 최소제곱(LEAST-SQUARES) 회귀선 41
5 상관관계와 회귀선과 관련해서 유의해야 할 점 46
6 상관관계 VS. 인과관계 48
6.1 인과관계 증명을 어렵게 하는 요인 49
6.2 어떤 연구를 할 것인가? 51
6.3 인과관계를 어떻게 증명할 것인가? 52
6.4 결론 54

제3장: 자료(DATA)의 생성 및 질(QUALITY) 확보 55
1 자료의 출처(SOURCE) 56
1.1 일화 56
1.2 공용 자료 57
1.3 표본조사(Sample Survey) 58
1.4 실험 58
2 실험설계(EXPERIMENTAL DESIGN) 59
2.1 처리(Treatment)집단과 통제(Control)집단 60
2.2 위약 효과(Placebo Effect) 61
2.3 선택 편향(Selection Bias) 63
3 무작위 통제 실험(RCT) 64
3.1 처리변수의 무작위 배정(Random Assignment) 64
3.2 무작위 배정 방법 65
3.3 무작위 통제 실험의 한계점 66
3.4 무작위 통제 실험의 개요 70
4 추출설계(SAMPLING DESIGN) 72
4.1 자발적 응탑 표본(Voluntary Response Sample) 72
4.2 확률표본(Probability Sample) 74
4.3 표본 조사의 문제점 76
5 통계적 추론의 기초 78
5.1 모수(Parameter)와 통계량(Statistic) 80
5.2 추출변이(Sampling Variability) 81
5.3 추출분포(Sampling Distribution) 83
5.4 편향(Bias)과 변이(Variability) 88
5.5 통계량의 변이와 모집단의 크기 간의 관계 92

제4장: 확률이론 95
1 임의성(RANDOMNESS)과 확률모형 96
1.1 확률모형(Probability Model) 98
1.2 확률의 규칙 101
1.3 독립(Independence)과 승볍(Multiplicative) 규칙 105
2 확률변수(RANDOM VARIABLE) 108
2.1 이산확률변수(Discrete Random Variable) 109
2.2 연속확률변수(Continuous Random Variable) 113
2.3 연속확률분포의 또 다른 예: 정규분포 116
3 확률변수의 기대값과 분산 119
3.1 확률변수의 중앙: 기대값(Expected Value) 119
3.2 통계적 추정과 대수의 볍칙(Law of Large Numbers) . . . 123 3.3 확률변수의 기대값의 규칙 126
3.4 확률변수의 변이: 분산(Variance) 129
3.5 분산의 규칙 131
4 조건부(CONDITIONAL) 확률 134

제5장: 추출분포(SAMPLING DISTRIBUTION) 137
1 표본 평균의 추출분포 139

1.1 통계량 x?의 추출분포의 중앙(Mean) 빛 분산(Variance) . . 140
1.2 중심극한정리(Central Limit Theorem, CLT) . . . . . . . 145
1.3 추출분포 결론 . . . . . . . . . . . . . . . . . . . . . . . . 153

제6장: 통계적 추론(STATISTICAL INFERENCE) 155
1 신뢰구간을 이용한 통계적 추론 . . . . . . . . . . . . . . . . . . 156
1.1 통계적 신뢰성 . . . . . . . . . . . . . . . . . . . . . . . . 157
1.2 신뢰구간(Confidence Interval) . . . . . . . . . . . . . . . 158
1.3 모집단 평균의 신뢰구간 161
1.4 신뢰구간의 결정요인 164
1.5 신뢰구간과 관련해서 유의해야 할 점 165
2 통계적 유의성 검정 167
2.1 유의성 검정의 논리 167
2.2 가설 설정 169
2.3 검정 통계량(Test Statistics) 170
2.4 p값(p-value) 172
2.5 통계적 유의미성(Statistical Significance) 175
3 유의성 검정과 관련해서 유의해야 할 점 178
3.1 유의수준의 선택 178
3.2 통계적으로 유의미하다는 것이 의미하는 것 179
3.3 통계적으로 유의미하지 않다는 것이 의미하는 것 181
3.4 통계적 추론 기법은 모든 종류의 자료에 적용할 수 있지 않음 182
4 σ를 모른 상태에서 모집단 평균(?)에 대한 추론 183
4.1 t분포 183
4.2 t분포를 이용한 신뢰구간 추정 186
4.3 t분포를 이용한 유의성 검정 188
4.4 t검정의 강건성(Robustness) 190

제7장: 수라통계학(MATHEMATICAL STATISTICS)의 기초 193
1 추정량의 유한 표본(FINITE SAMPLE) 성질 194
1.1 추정량(Estimator) vs. 추정값(Estimate) 194
1.2 비편향성(Unbiasedness) 196
1.3 효율성(Efficiency) 202
2 추정량의 대표본(LARGE SAMPLE) 성질 205

제8장: 회귀분석(REGRESSION ANALYSIS)의 기초 209
1 OLS 추정량의 대수(ALGEBRAIC) 성질 212
1.1 적합값(Fitted Values)과 잔차(Residuals) 212
1.2 OLS 통계량의 대수 성질 213
1.3 적합도(Goodness-of-Fit) 218
2 OLS 추정량의 유한 표본 성질 220
2.1 조건부 기대값(Conditional Expectation) 220
2.2 기대값의 반복 법칙(Law of Iterated Expectation, LIE) 222
2.3 OLS 추정량의 비편향성(β?의 추출분포의 중앙) 224
2.4 OLS 추정량의 분산 및 효율성(β?의 추출분포의 변이) . . . 237
3 OLS 추정량의 대표본 성질: 일치성 243
4 OLS 추정량에 대한 통계적 추론 247
4.1 OLS 추정량의 추출분포의 모양 247
4.2 OLS 추정량의 신뢰구간 250
4.3 OLS 추정량에 대한 유의성 겸정 251

색인(INDEX) 255

책 속으로

들어가며
제가 이 책을 쓴 이유는 두 가지입니다. 첫째, 현재 전 세계적으로 ‘중거’에 기반한 정책 결정(evidence-based policymaking)을 해야 한다는 논의가 학계 빛 정부에서 활발히 논의되고 있습니다. 예를 들어 현재 미국은 “The Commission on Evidence-Based Policymaking”이라는 위원회를 통해 정책 결정을 증거에 기반해서 하고자 많은 노력을 기울이고 있습니다.1 이 ‘증거에 기반한 정책 결정’ 과 관련해서 논의되고 있는 내용 중에 가장 큰 이슈가 되고 있는 것이 바로 정책 평가를 엄밀한 과학적 방법을 통해 수행해야 한다는 것입니다. 정책 평가를 하 는 방법에는 여러 가지가 있습니다만 여기서 말하는 과학적으로 엄밀한 방법은 바로 실험(experimental) 빛 준실험적(quasi-experimental) 연구설계를 토대로 정책을 평가하는 것을 말합니다. 이런 움직임 때문에 현재 실험 빛 준실험적 연구 방법론에 대한 수요가 굉장히 많아지고 있습니다. 그래서 그런지 해외에는 실험 빛 준실험적 연구설계 방법을 다루고 있는 책들이 꽤 많이 출판되어 있습니다. 하 지만 아직 국내에는 이러한 방법론을 다루고 있는 교재가 많지 않습니다. 그래서 이 책을 쓰게 되었습니다.
둘째, 제가 그동안 실험 빛 준실험적 연구방법론 관련 내용을 공부하면서 그리고 또 이들 방법론을 제 연구에 활용하면서, 이러한 방법론을 ‘정확하게’ 이 해하고 또 정책 평가 관련 연구에 ‘올바로’ 응용하기 위해서는 통계학(statistics)과 계량경제학(econometrics)의 기초가 굉장히 중요하다는 것을 깨달았습니다. 건물을 세울 때 기초 공사가 가장 중요하듯이 실험 및 준실험적 연구방법론을 제대로 익히기 위해서는 통계학의 기본을 반드시 갖추고 있어야 합니다. 그래 서 우선 이 책에서는 실험 및 준실험적 연구방법론을 배우기 위해 반드시 알고 있어야 하는 통계학과 계량경제학의 기초를 다루었습니다. 아직은 계획 단계에 있습니다만 차후에 실험 및 준실험적 정책평가 II(기본편), 실험 및 준실험적 정 책평가 III(사례를 통한 실전편), 실험 및 준실험적 정책평가 IV(통계 패커지를 이용한 응용편) 등으로 출간을 할 계획입니다.

출판사 서평

이 책에서 다루게 될 내용은 크게 두 가지입니다. 하나는 실험 및 준실험적 연구방법론을 공부하기 위해 반드시 알고 있어야 할 통계학 이론이고 나머지 하 나는 그 통계학 이론에 기반해서 배우게 될 계량경제학의 기초입니다. 통계학과 계량경제학이라는 학문을 정의하면, 저는 숫자로 되어 있는 사실(data)을 i) 수 집하고 ii) 정리를 해서 iii) 그 정리한 내용을 해석하는 학문이라고 생각합니다. 간단하게 얘기해서 이 두 학문은 data를 만지작거리는 것을 연구하는 학문인데, 그럼 도대체 이 학문을 왜 배워야 하느냐 하는 질문을 할 수 있습니다. 당연히 그 이유는 실험 및 준실험적 연구방법론을 익히기 위해서입니다. 이건 1차원적인 이유이고요, 더 중요한 이유가 있습니다. 연구자들은 연구를 통해서 남들을 설 득하는 사람인데 설득하는 과정에서 이 두 학문이 우리에게 굉장히 큰 설득력을 확보해 주기 때문입니다. 물론 굳이 이 두 학문을 활용하지 않아도 남들은 설득할 수 있습니다. 하지만 그러기에는 이 두 학문에서 사용되고 있는 과학적 논리가 너무나도 강하다는 사실입니다. 이 두 학문의 논리가 굉장히 강하기 때문에 대부 분의 학문(물리학, 화학, 경제학, 정치학 등)에서 진리 추구를 할 때 이 두 학문의 논리를 사용하는 것입니다. 따라서 이 책을 통해서 도대체 이 두 학문이 사용하고 있는 논리는 무엇이고 왜 그것이 강력한지를 여러분들에게 설득하고자 합니다.

이 책을 모두 공부한 후에 독자 분들이 다음과 같은 질문에 ‘정확하게’ 탑을
할 수 있다면 제가 책을 잘 쓴 것으로 간주하려고 합니다.

ㆍ표준편차(standard deviation)와 표준오차(standard error)의 차이점?
ㆍ분산(variance)과 추출분산(sampling variance)의 차이점?
ㆍ95% 선뢰구간의 의미?
ㆍp값이 0.03이라는 것의 의미?
ㆍOLS 추정량(estimator)이 비편향(unbiased)이라는 것의 의미?
ㆍ중심극한정리(central limit theorem)가 무엇인지? 왜 중요한지?
ㆍ중심극한정리와 대수의 법칙의 차이점은?
ㆍn, 즉 표본 수가 많아야 한다고 하는데 왜 많아야 하는지? 실제로 많아야 하는지?
ㆍ정규분포(normal distribution)인지 아닌지를 왜 알아야 하는지?

만약 현 시점에서 위 질문에 정말 ‘정확하게’ 탑을 할 수 있다면 그런 분들 은 이 책을 공부할 필요가 없지 않나 하는 생각을 해 봅니다. 그런 분들은 실험 빛 준실험적 연구방법론을 바로 공부하셔도 된다고 생각합니다. 창피한 얘기지 만 저는 위에 제시한 질문에 정확하게 탑을 할 수 있게 된 지 한 3년 됐습니다. 참고로 4년 전에 박사 학위를 취득하였습니다.

계량경제학 전에 통계학?
아시는지는 모르겠습니다만 모든 대학의 교과과정에서(물론 제가 다 조사하 지는 않았습니다) 통계학 과목이 계량경제학의 선수과목으로 지정이 되어 있습니 다. 계량경제학을 공부하기 전 그리고 심지어 계량경제학을 다 공부하고 나서도

많은 사람들이 ‘왜 통계학을 배워야 하지?’ ‘계량경제학 공부할 때 꼭 통계학 을 알아야 하나?’ 이런 질문을 합니다. 저도 예전에는 그런 의문점을 품었습니다. 그런데 박사학위를 취득하고 한 1년 정도 지나고 나서야 비로소 통계학이 왜 계량 경제학의 선수과목인지를 깨달을 수 있었습니다. 참고로 전 학부과정, 석사과정, 그리고 박사과정 동안 총 10개가 넘는 통계·계량 관련 과목을 수강하였습니다. 어쨌든 그때의 깨달음이 너무나도 충격적이어서 전 계량경제학을 공부하고자 하는 사람에게 반드시 통계학을 먼저 공부할 것을 강력하게 주장합니다. 지금은 이해를 하실 수 없더라도 계량경제학을 공부하기에 앞서 통계학을 먼저 다루는 것에 대해서 부디 아무 의심 없이 받아주셨으면 좋겠습니다.

수학 복습
통계학과 계량경제학은 말할 것도 없고 이 두 학문을 토대로 발전한 실험 및 준실험적 연구방법론을 제대로 익히기 위해서는 어느 정도 기초적인 수학 지식 을 갖추고 있어야 합니다. 그 이유는 이들 학문이 결국 응용수학의 한 학문이기 때문입니다. 물론 그렇다고 이 책을 읽기 위해서 선형대수학(linear algebra), 미 적분학(calculus), 해석학(real analysis)과 같이 사람 토 나오게 하는 수학지식을 갖춰야 하는 건 아닙니다. 통계학과 계량경제학에서 사용하는 기본적인 논리를 배우는 데 필요한 수학은 중·고등학교 수준, 그 중에서도 기초적인 수준의 수학 지식입니다. 그래서 지금부터 이 책을 읽기 위해 최소한으로 필요한 수학 지식에 대해서 알려드리려고 합니다.

이상입니다. 제 생각에 위에서 언급한 수학지식만 알고 있다면 통계학과 계 량경제학의 기초 및 논리에 대해서 충분히 공부할 수 있다고 생각합니다. 물론 위에서 제시한 수학지식보다 더 필요한 수학지식이 있습니다. 그런 내용들은 책 중간 중간에 필요할 때마다 다루었습니다. 아무튼 수학과 관련해서 말0크 드리고 싶은 것은 결코 고급 수학크 알고 있어야 하는 것은 아니라는 점입니다.

당부의 말씀
뭐 이건 누구나 강조를 하는 진리이지만 그래도 워낙에 중요한 진리이니 강조를 하고 념어가고자 합니다. 책은 책에 불과합니다. 책을 통해 뭔가 크게 얻기 위해서는 책을 ‘잘’ 공부해야 합니다. 똑같은 책을 어떻게 읽었느냐에 따 라 깨닫는 지식의 수준은 사람마다 천차만별입니다. 그런 측면에서 두 가지를 당부드리겠습니다.

1. 책을 읽으면서 ‘왜?’라는 질문을 많이 하시길 바랍니다. 통계학이나 계량 경제학에 나오는 내용 중에 이유가 없는 게 없습니다. 그렇기 때문에 책을 읽으면서 스스로 질문을 많이 하시길 바랍니다. ‘이게 왜 이렇게 도출이 되지?’ ‘이건 아닐 것 같은데?’ 이런 식으로요. 솔직히 처음에는 자기가 뭘 모르는지도 모르는 경우가 허다합니다. 뭘 질문을 해야 할지 모르는 거죠. 저도 그랬습니다. 제가 그래서 책 중간 중간에 ‘Why?’라고 표시를 해놨 습니다. 그런 부분이 나오면 그 Why에 답을 할 수 있을 때까지 진도를 나가지 말길 바랍니다.

2. 이 책을 읽으면서 모르는 부분이 있을 때 그 부분을 반드시 정확하게 알 고 념어가야 합니다. 통계학과 계량경제학은 굉장히 논리적인 학문이기 때문에 앞에서 배운 논리가 끊임 없이 차후에 배울 내용에 활용이 됩니 다. 따라서 공부를 하다가 어떤 부분이 잘 이해가 안 가서 그 부분을 대충 이해하고 념어가면 차후에 배우게 되는 논리를 계속 이해를 못하게 되 는 악순환이 발생하게 됩니다. 결국 책을 다 읽고 나서 ‘내가 뭘 배웠지?’ 하는 그런 어처구니 없는 상황이 발생하게 됩니다. 이해가 안 되는 부분 이 있으면 어떤 수단을 강구해서라도 이해를 하고 념어가는 그런 습관을 들이셨으면 좋겠습니다.

저는 이 두 학문의 논리를 토대로 발전한 실험 및 준실험적 연구 방법론을 배우고 나서 이 방법론의 논리에 굉장히 큰 매력을 느꼈고 제 연구에 활용하지 않을 수가 없었습니다. 여러분들도 그런 매력을 느꼈으면 좋겠습니다.

인물정보

저자(글) 손호성

저자 손호성(孫豪成)은 2013년에 캘리포니아대학교 버클리캠퍼스(University of California, Berkeley) 골드만 스쿨(Goldman School of Public Policy)에서 정책학 박사학위(Ph.D., Public Policy)를 취득하고, 현재 한국보건사회연구원 부연구위원으로 재직 중이다. 전공은 실험(experimental) 및 준실험적(quasi-experimental) 연구설계기법을 활용한 정책 분석 및 평가이며 공공재정 및 사회보장 관련 정책의 효과성을 인과적으로 분석하는 데 주로 관심을 갖고 연구를 수행하고 있다. 또한 행정학 이론을 실험 및 준실험적 방법을 활용해 실증적으로 검정하는 데에도 큰 관심을 갖고 연구 중이다. 앞으로는 계속해서 발전이 되고 있는 실험 및 준실험적 연구설계기법을 쉽게 풀어서 소개해서 좀 더 많은 연구자들이 이러한 연구설계기법을 활용할 수 있도록 하는 데 기여하고자 한다([e-mail]).

학 력
University of California, Berkeley(Goldman School of Public Policy) 졸업(정책학 박사)
University of California, Berkeley(Goldman School of Public Policy) 졸업(정책학 석사)
서울대학교 행정대학원 행정학과 졸업(행정학 석사)
한국외국어대학교 경제학과 졸업(경제학 학사)

경 력
현) 한국보건사회연구원 부연구위원
Syracuse University Center for Policy Research 박사후 연구원
Syracuse University Whitman School of Management 재무학과 강사
Syracuse University Maxwell School of Citizenship and Public Affairs 행정학과 강사

수 상
미국 공공정책분석 및 관리 학회(Association for Public Policy Analysis and Management, APPAM) 2013년도 박사학위 논문상(Honorable Mention)
한국외국어대학교 경제학과 수석 졸업