마케터라면 누구나 A/B 테스트의 중요성을 알고 있습니다. 그런데 흥미로운 역설이 있습니다. 테스트를 많이 하는 조직이 반드시 빠르게 성장하는 것은 아니라는 점입니다. 오히려 테스트 결과 앞에서 망설이는 시간이 길어지면서, 실험이 의사결정을 돕기는커녕 지연시키는 경우를 적지 않게 봐왔습니다. 문제는 테스트의 양이 아니라 설계부터 판단까지 이어지는 구조에 있습니다. 오늘은 그 구조를 어떻게 만들 수 있는지 이야기해보려 합니다.
테스트는 돌리지만 결정은 못 하는 조직
Ron Kohavi와 Stefan Thomke가 Harvard Business Review(2017)에서 소개한 사례는 시사하는 바가 큽니다. 마이크로소프트 Bing의 한 직원이 제안한 헤드라인 변경안은 ‘우선순위가 낮다’는 이유로 수개월간 방치되었습니다. 그런데 이 제안을 실제로 A/B 테스트했을 때, 연간 1억 달러에 달하는 매출 증가로 이어졌습니다. Bing 역사상 가장 큰 수익을 창출한 아이디어가 테스트 대기열에서 먼지를 뒤집어쓰고 있었던 셈입니다.
이런 일이 벌어지는 이유는 명확합니다. 대부분의 조직에서 A/B 테스트의 병목은 기술적 실행이 아니라 의사결정 구조에 있습니다. 어떤 가설을 먼저 검증할지, 언제 테스트를 종료할지, 결과를 어떻게 해석할지에 대한 합의가 없으면 테스트는 끝없이 ‘돌아가기만’ 합니다. Kohavi와 Thomke의 조사에 따르면, 마이크로소프트, 아마존, 구글 같은 기업들은 연간 1만 건 이상의 온라인 실험을 수행합니다. 이들이 그만큼의 실험을 소화할 수 있는 것은 단순히 트래픽이 많아서가 아니라, 실험의 설계-실행-판단 사이클을 구조화했기 때문입니다.
반증 가능한 가설이 속도를 만든다
여기서 한 가지 철학적 원칙을 끌어오고 싶습니다. 칼 포퍼는 『과학적 발견의 논리』(1934)에서 과학적 이론의 핵심 조건으로 반증 가능성(falsifiability)을 제시했습니다. 어떤 주장이 과학적이려면, 그것이 틀릴 수 있는 조건이 명확해야 한다는 것입니다. 포퍼의 표현을 빌리면, “이론을 끊임없이 증명하려 하기보다 반증하려 시도해야” 합니다.
이 원칙은 A/B 테스트 설계에 그대로 적용됩니다. “이 크리에이티브가 더 나을 것 같다”는 느낌이 아니라, “이 헤드라인 변경이 CTR을 최소 5% 이상 높일 것이다”처럼 틀릴 수 있는 형태로 가설을 세워야 합니다. 반증 가능한 가설은 테스트 종료 시점과 성공 기준을 사전에 결정하게 만들기 때문에, 결과 해석에서의 모호함을 크게 줄여줍니다.
문제는 우리의 뇌가 이런 엄밀함을 본능적으로 회피한다는 것입니다. 대니얼 카너먼은 『생각에 관한 생각』(2011)에서 인간의 사고를 시스템 1(빠르고 직관적)과 시스템 2(느리고 분석적)로 구분했습니다. 대시보드에서 승리 변이를 확인하는 순간, 시스템 1이 즉각적으로 결론을 내립니다. “역시 내 가설이 맞았어.” 이것이 바로 확증 편향입니다. 제대로 된 A/B 테스트 프로세스는 이 시스템 1의 성급한 판단을 억제하고, 시스템 2를 작동시키는 구조적 장치입니다.
속도를 높이는 세 가지 구조
첫째, 가설 문서화와 사전 합의
테스트를 시작하기 전에 반드시 문서화해야 할 것들이 있습니다. 가설, 주요 측정 지표(primary metric), 성공 기준, 예상 실험 기간, 그리고 결과에 따른 행동 계획입니다. 이것을 사전에 팀과 합의해두면, 테스트 종료 후 “이 지표도 한번 보자”, “좀 더 돌려보자”라는 끝없는 논의를 차단할 수 있습니다.
제가 직접 경험한 사례인데요. 이커머스 서비스의 상세페이지 전환율이 낮아서 콘텐츠 구조를 개선하는 프로젝트를 진행한 적이 있습니다. 100명 이상의 고객 서베이를 먼저 실시해서 구매 결정 요인을 분석하고, 그 결과를 바탕으로 메시지 구조를 재설계한 뒤 A/B 테스트에 들어갔습니다. 핵심은 테스트 전에 “전환율 2.8%를 5% 이상으로 끌어올리는 것이 성공 기준”이라고 명확히 정의해둔 것이었습니다. 결과적으로 전환율이 6.0%까지 올랐는데, 사전 기준이 있었기에 추가 논의 없이 바로 적용할 수 있었습니다.
둘째, 엿보기 문제를 구조로 해결한다
A/B 테스트에서 가장 흔하면서도 치명적인 실수가 엿보기(peeking)입니다. Johari, Koomen, Pekelis, Walsh가 ACM SIGKDD(2017)에서 발표한 연구에 따르면, 진행 중인 실험을 10번 중간 확인하면 1% 유의수준이라고 생각한 것이 실제로는 5% 수준에 불과합니다. 다시 말해, 통계적으로 유의미하다고 판단한 결과가 사실은 우연일 가능성이 다섯 배나 높아지는 것입니다.
이 문제를 해결하는 방법은 두 가지입니다. 하나는 테스트 기간을 사전에 고정하고 중간에 절대 결과를 보지 않는 것이고, 다른 하나는 순차 검정(sequential testing) 방법을 도입하는 것입니다. Johari 등이 제안한 혼합 순차 확률비 검정(mSPRT)은 언제 확인하더라도 유효한 추론을 보장합니다. 도구 차원에서는 대부분의 실험 플랫폼이 이미 이런 보정 기능을 제공하고 있으므로, 중요한 것은 팀원 전체가 “중간에 들여다보고 판단하면 안 된다”는 원칙을 공유하는 것입니다.
셋째, MDE 기반으로 실험 우선순위를 정한다
모든 가설을 동시에 테스트할 수는 없습니다. 여기서 최소 감지 효과(Minimum Detectable Effect, MDE)가 우선순위 결정의 기준이 됩니다. MDE는 실험이 신뢰성 있게 감지할 수 있는 최소한의 변화량으로, 트래픽 규모와 실험 기간에 의해 결정됩니다.
실무적으로 이를 활용하는 방법은 간단합니다. 예상되는 효과가 큰 가설부터 테스트하되, 현재 트래픽으로 해당 효과를 감지할 수 있는지를 먼저 확인하는 것입니다. 몇 년 전 B2C 서비스의 퍼포먼스 마케팅을 담당하던 시절, 광고 크리에이티브의 A/B 테스트를 체계적으로 운영한 적이 있습니다. 타겟별 맞춤형 메시지와 디자인을 조합해 테스트했는데, 핵심은 효과 크기가 클 것으로 예상되는 조합부터 우선 검증하는 것이었습니다. 이런 우선순위 체계 덕분에 ROAS 913%라는 성과를 이끌어낼 수 있었고, 후속 캠페인에서도 ROAS 780%, CTR 2.1%를 달성하며 지속적으로 효율을 높여갈 수 있었습니다.
실험 속도는 문화의 문제다
Booking.com은 하루에 1,000개 이상의 실험을 동시에 운영하고, 연간 약 25,000건의 테스트를 수행합니다(Kaufman, Pitchforth 외, 2017). 이들의 핵심 원칙은 실험의 민주화입니다. 조직 내 누구든 실험을 설계하고 실행하고 분석할 수 있는 구조를 만들었습니다. 성공과 실패 모두를 기록하는 중앙 저장소를 운영하고, 실험 코드와 비즈니스 로직을 느슨하게 결합해 실험의 기술적 부담을 최소화했습니다.
돌이켜보면, A/B 테스트의 속도를 결정하는 것은 도구가 아니라 팀의 합의 구조였습니다. 가설을 어떻게 세울 것인가, 언제 멈출 것인가, 결과를 어떻게 행동으로 옮길 것인가. 이 세 가지 질문에 대한 답이 사전에 합의되어 있으면, 테스트 한 건의 사이클은 놀랍도록 짧아집니다.
포퍼가 말한 것처럼, 좋은 실험은 자신의 가설을 증명하려는 것이 아니라 반증하려는 시도입니다. 그리고 카너먼이 경고한 것처럼, 우리의 직관은 데이터를 있는 그대로 보지 못하게 방해합니다. 결국 A/B 테스트의 본질은 기술적 방법론이 아니라, 불확실성 앞에서 구조적으로 판단하는 훈련입니다. 여러분의 팀은 지금, 테스트를 돌리고 있나요, 아니면 결정을 내리고 있나요?
참고 자료
- Kohavi, R. & Thomke, S. (2017). “The Surprising Power of Online Experiments.” Harvard Business Review, September-October 2017.
- Johari, R., Koomen, P., Pekelis, L. & Walsh, D. (2017). “Peeking at A/B Tests: Why it Matters, and What to Do About It.” Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.
- Kaufman, L., Pitchforth, J. et al. (2017). “Democratizing Online Controlled Experiments at Booking.com.” arXiv:1710.08217.
- Kahneman, D. (2011). 『생각에 관한 생각』(Thinking, Fast and Slow). Farrar, Straus and Giroux.
- Popper, K. (1959). 『과학적 발견의 논리』(The Logic of Scientific Discovery). Routledge.
- Kahneman, D. & Tversky, A. (1974). “Judgment under Uncertainty: Heuristics and Biases.” Science, 185(4157), 1124-1131.
무료로 시작하기
