AB 테스트 무작정 따라하기

오서준 지음

작가와 2025년 06월 18일 출간

작품소개

책소개

아이디어는 넘쳐나지만, 확신은 부족한가요?
우리는 직감에 기대지만… 결국 검증이 답을 줍니다.

프로덕트를 만들다 보면 번뜩이는 아이디어가 떠오르기 마련입니다. 하지만 그 아이디어가 정말 효과적인지, 사용자들에게 어떤 영향을 미칠지는 A/B 테스트를 통해서만 알 수 있습니다.

A/B 테스트는 단순히 실험 도구가 아닙니다. 우리가 세운 가설이 맞는지 검증하는 도구이자, 더 나은 가설로 나아가기 위한 학습의 시작점입니다. 직감에만 의존해 결정을 내리던 방식에서 벗어나, 데이터를 근거로 프로덕트를 개선해나가기 위한 필수 도구입니다.

이 책은 “A/B 테스트를 왜 해야 하는지”부터 “어떻게 해야 진짜 도움이 되는 실험을 설계할 수 있는지”까지 실무 중심으로 차근차근 풀어낸 안내서입니다. 수식보다 예제, 이론보다 맥락에 집중했습니다. 실험 설계, 지표 정의, 결과 해석, 실험 간섭 통제까지 실무자가 매일 마주치는 고민들을 하나하나 짚어드립니다.

목차

1 머리말
2 A/B 테스트란?
3 A/B 테스트를 해야 하는 이유
4 A/B 테스트를 하기 위한 조건
4-1 가설 수립
4-2 지표 정의
4-2-1 목표 지표
4-2-2 요인 지표
4-2-3 방어 지표
4-3 실험 환경 구축
4-3-1 원하는 실험 단위를 사용할 수 있어야 함
4-3-2 실험 단위들을 실험안에 무작위로 할당할 수 있어야 함
4-3-3 필요 데이터를 수집할 수 있음
5 가설 검정이란?
6 A/B 테스트를 하는 방법
6-1 실험 설계
6-1-1 실험안
6-1-2 측정 지표
6-1-3 실험 단위
6-1-4 실험 대상
6-1-5 통계 변수
6-1-6 실험 기간
6-1-7 장기 효과를 측정하는 대안적 방법
6-1-8 실험간 영향 통제 수단
6-2 실험 진행
6-3 실험 결과 분석 및 출시 결정
6-3-1 실험 유효성 검수
6-3-2 실험 지표 분석
6-3-3 실험 결과 해석 및 출시 결정
6-3-4 실험 결과 기록, 공유 및 후속 실험 진행
7 P-hacking
8 마치며

작가정보

저자(글) 오서준

성균관대학교와 인디애나대학교에서 경영학을 전공하고, SK텔레콤과 쿠팡에서 프로덕트 매니저로 일했다. 이후 시카고대학교에서 MBA와 컴퓨터공학 석사를 마친 뒤, Amazon Web Services(AWS)에서 클라우드 기반 신규 서비스를 기획했다. 현재는 미국에서 데이터 프로덕트 매니저로 활동 중이며, 광고 기술, 사용자 경험, 실험 플랫폼, 내비게이션 등 다양한 분야의 제품을 기획해 왔다. 실무에서 수백 건의 A/B 테스트를 직접 설계하고 운영한 경험을 바탕으로 이 책을 집필했다.