A/B 테스트, 진실을 말하는 숫자

몇 주간의 밤샘 개발 끝에, ‘다이내믹 리타겟팅’ 시스템의 첫 번째 버전이 완성되었다. 추천 엔진은 사용자의 행동과 상품 피드를 분석하여 최적의 상품을 골라냈고, 렌더링 엔진은 그 정보를 바탕으로 매끄러운 광고 소재를 실시간으로 만들어냈다. 내부 테스트 결과는 성공적이었다.

하지만 팀원들의 얼굴에는 긴장감이 흘렀다. 진짜 시험은 이제부터였다. 아무리 기술적으로 뛰어나다고 주장해도, 광고주의 언어, 즉 ‘성과’로 증명하지 못하면 아무 의미가 없었다.

데이비드는 팀 전체 회의에서 다음 단계를 발표했다.

“이제 우리가 만든 무기가 얼마나 강력한지 실전에서 증명할 시간이다. 대규모 A/B 테스트를 진행한다.”

A/B 테스트. 알렉스도 그 개념은 잘 알고 있었다. 동일한 조건의 두 사용자 그룹을 나누어, 한 그룹(A그룹, 대조군)에게는 기존 방식을, 다른 그룹(B그룹, 실험군)에게는 새로운 방식을 적용하여 그 결과를 비교하는 가장 과학적인 실험 방법.

데이비드는 구체적인 테스트 계획을 설명했다.

“우리의 첫 번째 파트너는 최근 급성장 중인 온라인 가구 쇼핑몰 ‘리빙앤코(Living & Co.)’다. 그들의 동의를 얻어, 사이트 방문자들을 두 그룹으로 나눌 것이다.”

• A그룹 (대조군): 기존의 일반 배너 광고를 보게 된다. (타겟팅 없는 광고 혹은 단순 세그먼트 타겟팅 광고)
• B그룹 (실험군): 우리의 새로운 ‘다이내믹 리타겟팅’ 광고를 보게 된다.

“테스트는 2주간 진행한다. 우리가 측정할 핵심 지표(KPI)는 두 가지다.”

그는 화이트보드에 두 가지 지표를 썼다.

1. 클릭률 (CTR: Click-Through Rate): 광고 노출 대비 클릭 비율. 광고가 얼마나 사용자들의 관심을 끌었는지를 보여준다.
2. 전환율 (CVR: Conversion Rate): 광고를 클릭한 사용자가 실제로 구매까지 완료한 비율. 광고의 실질적인 효과를 증명한다.

“이 테스트의 설계와 결과 분석은 알렉스와 사라가 주도하도록 한다.”

알렉스는 자신의 이름이 불리자 심장이 쿵 하고 내려앉는 것을 느꼈다. 단순히 모듈을 개발하는 것을 넘어, 자신들이 만든 기술의 성패를 직접 분석하고 판정하는 막중한 책임이 주어진 것이다.

그날부터 알렉스는 데이터 과학의 세계에 깊이 빠져들었다. 그는 먼저 테스트의 신뢰도를 확보하기 위해 심혈을 기울였다. 두 그룹의 사용자 규모가 통계적으로 유의미한 차이를 만들어낼 만큼 충분한지, 사용자 분배가 무작위로 공정하게 이루어지는지, 외부 변수(예: 특정 기간의 할인 이벤트)가 결과에 영향을 미치지 않는지 꼼꼼하게 점검했다.

마침내 테스트가 시작되었다.

알렉스는 실시간으로 집계되는 데이터를 볼 수 있는 내부 대시보드를 하루에도 수십 번씩 들여다봤다. 첫날, 두 그룹의 CTR 그래프는 큰 차이를 보이지 않았다. 알렉스의 마음이 초조해졌다.

하지만 이틀, 사흘이 지나면서 변화가 나타나기 시작했다.

B그룹의 CTR 그래프가 미세하지만 꾸준하게 A그룹을 앞지르기 시작했다. 사용자들이 자신들이 봤던 가구나, 혹은 그와 관련된 추천 상품에 더 적극적으로 반응하고 있다는 신호였다.

알렉스는 주말에도 노트북을 손에서 놓지 못했다. 테스트 1주 차가 지났을 때, CTR의 차이는 이제 누구도 부인할 수 없을 만큼 명확해졌다. 하지만 더 중요한 것은 전환율이었다.

그는 데이터베이스에 직접 쿼리를 날려, 두 그룹의 구매 완료 데이터를 비교 분석했다. 그리고 마침내 패턴을 발견했다.

A그룹 사용자들은 광고를 클릭하더라도 구매로 이어지는 경우가 드물었다. 반면 B그룹 사용자들은 광고를 통해 사이트에 재방문했을 때, 훨씬 높은 비율로 장바구니에 상품을 담고 결제를 완료했다. ‘당신이 보던 소파와 어울리는 사이드 테이블’이라는 제안이 사용자의 닫혔던 지갑을 다시 열게 만들고 있었다.

숫자는 거짓말을 하지 않았다. 그것은 감정이나 주관적인 믿음이 아닌, 차갑고 명백한 진실을 이야기하고 있었다. 알렉스는 자신이 지금 목격하고 있는 이 숫자들이, 프로그래머틱 광고의 새로운 역사를 써 내려가고 있음을 직감했다.