본문 바로가기

추천 검색어

실시간 인기 검색어

A/B 테스트

신뢰할 수 있는 온라인 종합 대조 실험
에이콘 검색마케팅 웹 분석 시리즈
에이콘출판

2023년 04월 24일 출간

종이책 : 2022년 06월 30일 출간

(개의 리뷰)
( 0% 의 구매자)
eBook 상품 정보
파일 정보 pdf (11.45MB)
ISBN 9791161757544
듣기(TTS) 가능
TTS 란?
텍스트를 음성으로 읽어주는 기술입니다.
  • 전자책의 편집 상태에 따라 본문의 흐름과 다르게 텍스트를​ 읽을 수 있습니다.
  • 전자책 화면에 표기된 주석 등을 모두 읽어 줍니다.
  • 이미지 형태로 제작된 전자책 (예 : ZIP 파일)은 TTS 기능을 지원하지 않습니다.
  • '교보 ebook' 앱을 최신 버전으로 설치해야 이용 가능합니다. (Android v3.0.26, iOS v3.0.09,PC v1.2 버전 이상)
소득공제
소장
정가 : 24,000원

쿠폰적용가 21,600

10% 할인 | 5%P 적립

이 상품은 배송되지 않는 디지털 상품이며,
교보eBook앱이나 웹뷰어에서 바로 이용가능합니다.

카드&결제 혜택

  • 5만원 이상 구매 시 추가 2,000P
  • 3만원 이상 구매 시, 등급별 2~4% 추가 최대 416P
  • 리뷰 작성 시, e교환권 추가 최대 300원

작품소개

이 상품이 속한 분야

신뢰도 높은 실험을 설계하는 가이드를 제공한다. 특히 각각 과정이 더욱 정확하게 측정가능한 온라인을 대상으로 한다. 구글, 링크드인과 마이크로소프트의 빅테크 기업에서 전 세계인을 대상으로 실행해온 수많은 실험의 노하우를 책에 담았다.
전반부는 온라인 실험에 대한 이론적인 내용을 담고 있으며, 후반부는 이를 실제로 적용할 때 발생할 수 있는 다양한 상황을 다루는 법을 알려준다.
웹 페이지나 앱 외에도 온라인상에서 수행하는 다양한 실험에 대한 조언을 담고 있다. 최근 관심을 받고 있는 메타버스는 높은 자유도를 지녔으며 현실과 매우 유사한 디지털화 된 세계다. 디지털화된 세계에서는 모든 것을 측정할 수 있기 때문에 이를 운영하는 플랫폼은 더욱 다양한 온라인 실험을 수행하고 결과를 활용할 수 있다. 이런 점에서 온라인 웹사이트를 기획하는 기획자, PO, 데이터 과학자뿐만 아니라 온라인 서비스를 운영하고자 하는 회사 대표나 투자자도 이 책을 통해 미래를 대비할 수 있을 것이다.
1부. 모두를 위한 입문 주제
1장. 소개와 동기
2장. 실험의 실행과 분석-엔드-투-엔드 예제
3장. 트위먼의 법칙과 실험의 신뢰도
4장. 실험 플랫폼과 문화

2부 모두를 위해 선택된 주제
5장. 속도의 중요성: 엔드-투-엔드 사례 연구
6장. 조직 운영을 위한 지표
7장. 실험을 위한 지표와 종합 평가 기준
8장. 제도적 기억과 메타 분석
9장. 종합 대조 실험의 윤리

3부 종합 대조 실험에 대한 보완 및 대체 기법들
10장. 보완 기법들
11장. 관측 인과 연구

4부 실험 플랫폼 구축을 위한 고급 주제
12장. 클라이언트 측 실험
13장. 계측
14장. 랜덤화 단위 선택
15장. 실험 노출 증가시키기: 속도, 품질 및 위험의 트레이드오프
16장. 실험 분석 확장

5부 실험 분석을 위한 고급 주제
17장. 온라인 종합 대조 실험에 사용되는 통계 이론
18장. 분산 추정 및 민감도 개선: 함정 및 해결책
19장. A/A 테스트
20장. 민감도 향상을 위한 트리거링
21장. 샘플 비율 불일치 및 기타 신뢰 관련 가드레일 지표
22장. 실험 간의 누출 및 간섭
23장. 장기 실험효과 측정

◈ 이 책에서 다루는 내용 ◈

◆ 과학적 방법을 사용한 종합 대조 실험을 통해 가설 평가
◆ 주요 메트릭 및 전반적인 평가 기준 정의
◆ 결과의 신뢰도를 검증하고, 실험자들에게 위배된 가정에 대한 경고 제공
◆ 실험 결과의 빠른 해석과 반복 실험
◆ 주요 사업목표를 보호하기 위한 가드레일 구축
◆ 실험의 한계 비용을 0에 가깝게 낮추는 확장 가능한 플랫폼 구축
◆ 이월 효과, 트위먼의 법칙, 심슨의 역설, 네트워크 상호작용과 같은 흔한 실수 피하기
◆ 일반적인 가정 위반을 포함해 통계 문제 처리 이해

◈ 이 책의 구성 ◈

1부는 배경에 상관없이 모든 사람이 읽을 수 있도록 설계됐으며, 총 4장으로 구성돼 있다.
1장에서는 온라인 종합 대조 실험 실행의 이점을 간략히 설명하고 실험 용어를 소개한다.
2장에서는 예를 들어 엔드-투-엔드로 실험을 실행하는 과정을 살펴본다.
3장에서는 일반적인 함정 및 실험 신뢰도 구축 방법을 설명한다.
4장에서는 실험 플랫폼을 구축하고 온라인 실험을 확장하기 위해 필요한 사항을 개략적으로 설명한다.
2부에서 5부까지는 필요에 따라 모든 사람이 이용할 수 있지만, 각 장은 특정 청중에 초점을 두고 작성됐다. 2부에는 조직 지표와 같은 펀더멘털에 관한 5개의 장들이 포함돼 있다. 2부에서는 특히 리더와 임원 모두에게 권장되는 내용을 다룬다.
3부의 2개 장은 리더, 데이터 과학자, 엔지니어, 분석가, 제품 관리자들이 온라인 종합 대조 실험을 보완하는 기법을 소개한다. 이 기법은 자원 및 시간을 투자할 때, 유용한 지침으로 사용될 수 있을 것이다.
4부는 실험 플랫폼 구축에 중점을 두고 엔지니어를 대상으로 설명한다.
마지막으로, 5부에서는 고급 분석 주제를 파고들어 데이터 과학자를 대상으로 한다.

◈ 옮긴이의 말 ◈

이 책은 빙(Bing)에서의 광고 페이지 속 한 줄의 변화로 전체 매출의 10%를 향상시킨 놀라운 사례로 시작한다. 단순한 A/B 테스트의 기술서가 아닌 마이크로소프트, 구글, 링크드인에서 수년간 온라인 종합 대조 실험을 주도했던 저자들의 경험과 교훈을 공유하는 책이다.
숫자를 얻는 것은 쉽다. 하지만 믿을 수 있는 숫자를 얻는 것은 어렵다. 실험 결과를 단순한 숫자로 얻는 것이 아니라 믿을 수 있는 숫자를 얻을 수 있도록 신뢰도 높은 온라인 종합 대조 실험을 설계하고, A/B 테스트를 사용해 혁신을 가속화하는 방법에 대해 이야기하고 있다. 저자들은 현재 연간 20,000건 이상의 종합 대조 실험을 실행하는 각 기업에서의 경험을 바탕으로 학생과 업계 전문가가 실험을 시작할 수 있도록 예시, 빠지기 쉬운 실수 및 조언을 공유하고 있을 뿐만 아니라 데이터 기반 의사결정 방식을 개선하고자 하는 숙련된 실무자들에게도 도움될 심화 주제에 대해서도 깊이 있게 논의한다.
온라인 종합 대조 실험인 A/B 테스트는 2000년 중반부터 시작된 테크기업들의 문화적 혁신, 예를 들면 에릭 리스의 린 스타트업(Lean Startup) 및 MVP(최소 기능 제품)의 개념과 그 맥을 같이 한다. 기능 또는 서비스의 작은 변화를 지속적으로 온라인에서 테스트하면서 조금씩 기능 또는 서비스를 개선한다. A/B 테스트는 과거의 설계-개발-테스트-배포의 상품개발이 3년의 주기에 걸쳐 진행되던 행태를 해방시켜 이제는 빠르게 기능 또는 서비스를 출시하고 이를 지속적으로 테스트해 고객과 실시간으로 소통할 수 있도록 한다. 또한 이러한 점에서 A/B 테스트는 개인화된 서비스를 중시하는 여러 분야에서 전통적인 설문조사나 시장조사를 탈피해 실제 상황에서 고객의 취향을 가장 잘 반영하는 서비스와 추천을 가장 효율적으로 달성시킬 수 있는 방법이기도 하다.
A/B 테스트의 기능 중 가장 중요한 것은 한꺼번에 모든 것을 테스트하는 것이 아니라 조금씩 테스트하는 것이다. 통제된 상황에서 이를 실행하는데, 이는 온라인상의 통제이므로 실제 상황을 반영하는 통제이다. 따라서 연관분석(예를 들어 장바구니 분석)에서와 같이 상관관계를 발견하는 것을 넘어서 원인과 결과를 밝히는 설명력이 가능한 인과성을 발견하고자 하는 것이 주된 목적이다. (그래서 그 테스트 대상은 작은 무엇인가가 될 것이다.) 이러한 발견은 보다 설명력이 있기 때문에 테스트의 승자가 상품 또는 서비스의 개선을 위해 큰 신뢰도로 강건하게 도입될 수 있는 것이다. 이에 대한 많은 예제가 이 책에 담겨있으니 독자들은 이를 즐기기를 바란다.

작가정보

저자(글) 론 코하비

Ron Kohavi
에어비앤비의 상무 이사이자 기술 펠로우이다. 이 책은 마이크로소프트의 기술 펠로우이자 본사 상무 이사로 있을 때 쓴 것으로, 그 이전에는 아마존의 데이터 마이닝 및 개인화 책임자였다. 스탠포드 대학교에서 컴퓨터 과학 박사 학위를 받았다. 그의 논문은 40,000개 이상의 인용됐으며, 그중 3개가 컴퓨터 과학에서 가장 많이 인용된 상위 1,000개의 논문에 속한다.

저자(글) 다이앤 탕

Diane Tang
대규모 데이터 분석 및 인프라, 온라인 종합 대조 실험 및 광고 시스템에 대한 전문 지식을 보유한 구글 연구원이다. 하버드 대학교에서 학사를, 스탠포드 대학교에서 석사 및 박사 학위를 취득했으며 모바일 네트워킹, 정보 시각화, 실험 방법론, 데이터 인프라, 데이터 마이닝, 대용량 데이터에 대한 특허를 받았으며, 관련 저서를 썼다.

저자(글) 야 쉬

Ya Xu
링크드인에서 데이터 과학 및 실험을 주관한다. 실험에 관한 여러 논문을 발표했으며, 탑티어 콘퍼런스와 대학에서 종종 발표를 한다. 이전에 마이크로소프트에서 일했으며 스탠포드 대학교에서 통계학 박사 학위를 받았다.

카네기멜론대학교에서 석사 학위를 받았고, 피츠버그대학교의 Finance Ph.D, CFA, FRM이자 금융, 투자, 경제 분석 전문가다. 삼성생명, HSBC, 새마을금고중앙회, 한국투자공사 등과 같은 국내 유수의 금융기관, 금융 공기업에서 자산 운용 포트폴리오 매니저로 근무했으며 현재 딥러닝과 강화학습을 금융에 접목시켜 이를 전파하고 저변을 확대하는 것을 보람으로 삼고 있다. 저서로는 『엑셀 VBA로 쉽게 배우는 금융공학 프로그래밍』(한빛미디어, 2009)이 있으며, 번역서로는 『포트폴리오 성공 운용』(미래에셋투자교육연구소, 2010), 『딥러닝 부트캠프 with 케라스』(길벗, 2017), 『프로그래머를 위한 기초 해석학』(길벗, 2018)과 에이콘출판사에서 펴낸 『실용 최적화 알고리즘』(2020), 『초과 수익을 찾아서 2/e』(2020), 『자산운용을 위한 금융 머신러닝』(2021), 『존 헐의 비즈니스 금융 머신러닝 2/e』(2021), 『퀀트 투자를 위한 머신러닝ㆍ딥러닝 알고리듬 트레이딩 2/e』(2021), 『자동머신러닝』(2021), 『금융 머신러닝』(2022), 『퇴직 연금 전략』(2022) 등이 있다. 누구나 자유롭게 머신러닝과 딥러닝을 자신의 연구나 업무에 적용해 활용하는 그날이 오기를 바라며 매진하고 있다.

서울대학교 기계항공공학부를 졸업한 뒤 동대학원에서 유체역학, 응용수학 분야 연구로 박사 학위를 받았다. 이후 디지털 마케팅 플랫폼에서 인공지능 기반 웹데이터 분석 솔루션을 만들었으며 금융 데이터 분석 전문 회사에서 인공지능 연구소장으로 다양한 기업 및 결제 데이터를 분석하고 활용하는 일을 했다. 현재는 인공지능 기술을 개발 및 서비스하는 아티피셜 소사이어티(Artificial Society)의 대표로 메타버스와 헬스케어를 결합한 서비스를 운영하고 있다.

작가의 말

아마존과 마이크로소프트(Ron), 구글(Diane), 마이크로소프트와 링크드인(Ya)에서 수십 년 동안 온라인 종합 대조 실험(online controlled experiment)을 여러 규모로 실행해온 경험에서 얻은 실질적인 교훈을 공유하는 것이 이 책의 목표다. 구글, 링크드인 또는 마이크로소프트의 담당자가 아닌 한 개인으로써 이 책을 집필하는 동안, 수년간에 걸쳐 마주했던 중요한 교훈과 함정을 뽑아, HiPPO(Highest Paid Person’s Opinion, 최고 보수를 받는 자의 의견), 즉 최고경영자의 의견에 의존하는 것이 아니라 그들에게 정보를 제공하는 데이터 기반 문화를 구축하기 위해 소프트웨어 플랫폼과 기업 문화 측면 모두에 대한 지침을 제공하고자 한다. 이러한 많은 교훈이 온라인 환경, 대기업 또는 중소기업, 심지어 회사 내의 팀과 조직에도 적용된다고 믿으며, 우리 모두는 실험 결과의 신뢰도를 평가할 필요가 있다고 생각한다. 흥미로워 보이거나 다르게 보이는 어떤 수치는 대체로 틀린다. 독자들이 다시 한 번 결과를 확인하고, 특히 획기적이고 긍정적인 결과를 위해 유효성 검사를 실행하도록 장려한다. 숫자를 얻는 것은 쉽지만, 믿을 수 있는 숫자를 얻는 것은 어렵다.

이 상품의 총서

Klover리뷰 (0)

Klover리뷰 안내
Klover(Kyobo-lover)는 교보를 애용해 주시는 고객님들이 남겨주신 평점과 감상을 바탕으로, 다양한 정보를 전달하는 교보문고의 리뷰 서비스입니다.
1. 리워드 안내
구매 후 90일 이내에 평점 작성 시 e교환권 100원을 적립해 드립니다.
  • - e교환권은 적립일로부터 180일 동안 사용 가능합니다.
  • - 리워드는 1,000원 이상 eBook, 오디오북, 동영상에 한해 다운로드 완료 후 리뷰 작성 시 익일 제공됩니다.
  • - 리워드는 한 상품에 최초 1회만 제공됩니다.
  • - sam 이용권 구매 상품 / 선물받은 eBook은 리워드 대상에서 제외됩니다.
2. 운영 원칙 안내
Klover리뷰를 통한 리뷰를 작성해 주셔서 감사합니다. 자유로운 의사 표현의 공간인 만큼 타인에 대한 배려를 부탁합니다. 일부 타인의 권리를 침해하거나 불편을 끼치는 것을 방지하기 위해 아래에 해당하는 Klover 리뷰는 별도의 통보 없이 삭제될 수 있습니다.
  • 도서나 타인에 대해 근거 없이 비방을 하거나 타인의 명예를 훼손할 수 있는 리뷰
  • 도서와 무관한 내용의 리뷰
  • 인신공격이나 욕설, 비속어, 혐오 발언이 개재된 리뷰
  • 의성어나 의태어 등 내용의 의미가 없는 리뷰

구매 후 리뷰 작성 시, e교환권 100원 적립

문장수집

문장수집 안내
문장수집은 고객님들이 직접 선정한 책의 좋은 문장을 보여 주는 교보문고의 새로운 서비스 입니다. 교보eBook 앱에서 도서 열람 후 문장 하이라이트 하시면 직접 타이핑 하실 필요 없이 보다 편하게 남길 수 있습니다. 마음을 두드린 문장들을 기록하고 좋은 글귀들은 ‘좋아요’ 하여 모아보세요. 도서 문장과 무관한 내용 등록 시 별도 통보없이 삭제될 수 있습니다.
리워드 안내
  • 구매 후 90일 이내에 문장 수집 등록 시 e교환권 100원을 적립해 드립니다.
  • e교환권은 적립일로부터 180일 동안 사용 가능합니다.
  • 리워드는 1,000원 이상 eBook에 한해 다운로드 완료 후 문장수집 등록 시 제공됩니다.
  • 리워드는 한 상품에 최초 1회만 제공됩니다.
  • sam 이용권 구매 상품/오디오북·동영상 상품/주문취소/환불 시 리워드 대상에서 제외됩니다.

구매 후 문장수집 작성 시, e교환권 100원 적립

    교보eBook 첫 방문을 환영 합니다!

    신규가입 혜택 지급이 완료 되었습니다.

    바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
    지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!

    교보e캐시 1,000원
    TOP
    신간 알림 안내
    A/B 테스트 웹툰 신간 알림이 신청되었습니다.
    신간 알림 안내
    A/B 테스트 웹툰 신간 알림이 취소되었습니다.
    리뷰작성
    • 구매 후 90일 이내 작성 시, e교환권 100원 (최초1회)
    • 리워드 제외 상품 : 마이 > 라이브러리 > Klover리뷰 > 리워드 안내 참고
    • 콘텐츠 다운로드 또는 바로보기 완료 후 리뷰 작성 시 익일 제공
    감성 태그

    가장 와 닿는 하나의 키워드를 선택해주세요.

    사진 첨부(선택) 0 / 5

    총 5MB 이하로 jpg,jpeg,png 파일만 업로드 가능합니다.

    신고/차단

    신고 사유를 선택해주세요.
    신고 내용은 이용약관 및 정책에 의해 처리됩니다.

    허위 신고일 경우, 신고자의 서비스 활동이 제한될 수
    있으니 유의하시어 신중하게 신고해주세요.


    이 글을 작성한 작성자의 모든 글은 블라인드 처리 됩니다.

    문장수집 작성

    구매 후 90일 이내 작성 시, e교환권 100원 적립

    eBook 문장수집은 웹에서 직접 타이핑 가능하나, 모바일 앱에서 도서를 열람하여 문장을 드래그하시면 직접 타이핑 하실 필요 없이 보다 편하게 남길 수 있습니다.

    P.
    A/B 테스트
    신뢰할 수 있는 온라인 종합 대조 실험
    저자 모두보기
    낭독자 모두보기
    sam 이용권 선택
    님이 보유하신 이용권입니다.
    차감하실 sam이용권을 선택하세요.
    sam 이용권 선택
    님이 보유하신 이용권입니다.
    차감하실 sam이용권을 선택하세요.
    sam 이용권 선택
    님이 보유하신 프리미엄 이용권입니다.
    선물하실 sam이용권을 선택하세요.
    결제완료
    e캐시 원 결제 계속 하시겠습니까?
    교보 e캐시 간편 결제
    sam 열람권 선물하기
    • 보유 권수 / 선물할 권수
      0권 / 1
    • 받는사람 이름
      받는사람 휴대전화
    • 구매한 이용권의 대한 잔여권수를 선물할 수 있습니다.
    • 열람권은 1인당 1권씩 선물 가능합니다.
    • 선물한 열람권이 ‘미등록’ 상태일 경우에만 ‘열람권 선물내역’화면에서 선물취소 가능합니다.
    • 선물한 열람권의 등록유효기간은 14일 입니다.
      (상대방이 기한내에 등록하지 않을 경우 소멸됩니다.)
    • 무제한 이용권일 경우 열람권 선물이 불가합니다.
    이 상품의 총서 전체보기
    네이버 책을 통해서 교보eBook 첫 구매 시
    교보e캐시 지급해 드립니다.
    교보e캐시 1,000원
    • 첫 구매 후 3일 이내 다운로드 시 익일 자동 지급
    • 한 ID당 최초 1회 지급 / sam 이용권 제외
    • 네이버 책을 통해 교보eBook 구매 이력이 없는 회원 대상
    • 교보e캐시 1,000원 지급 (유효기간 지급일로부터 7일)
    구글북액션을 통해서 교보eBook
    첫 구매 시 교보e캐시 지급해 드립니다.
    교보e캐시 1,000원
    • 첫 구매 후 3일 이내 다운로드 시 익일 자동 지급
    • 한 ID당 최초 1회 지급 / sam 이용권 제외
    • 구글북액션을 통해 교보eBook 구매 이력이 없는 회원 대상
    • 교보e캐시 1,000원 지급 (유효기간 지급일로부터 7일)