머신러닝, 새로운 무기

알렉스가 찾아낸 패턴 기반의 탐지 규칙은 즉시 시스템에 적용되었다. ‘새벽 시간대의 비정상적인 클릭’, ‘일정한 클릭 간격’, ‘데이터센터 IP 주소’ 등 몇 가지 명확한 규칙 필터를 통해, 명백한 봇 트래픽을 실시간으로 걸러내기 시작했다.

효과는 즉각적이었다. 나이키 캠페인의 비정상적인 CTR은 급격히 떨어졌고, 광고주들의 불만도 눈에 띄게 줄어들었다. 팀은 한숨 돌릴 수 있었다.

하지만 그 평화는 오래가지 않았다.

몇 주 후, 다시 비슷한 문제가 고개를 들기 시작했다. 이번에는 양상이 달랐다. CTR이 30%까지 치솟는 극단적인 경우는 없었지만, 2~3%대의 의심스럽게 높은 CTR을 보이는 캠페인들이 여러 곳에서 발견되었다. 전환율은 여전히 바닥을 기었다.

사기꾼들이 돌아온 것이다. 그리고 그들은 더 영리해져 있었다.

광고 사기 탐지 TF는 다시 비상 체제에 돌입했다. 알렉스는 새로운 의심 트래픽에 대한 로그 분석에 착수했다. 하지만 이번에는 뚜렷한 패턴을 찾기가 훨씬 어려웠다.

클릭이 발생하는 시간대는 더 이상 특정 새벽 시간대에 집중되지 않고, 24시간에 걸쳐 무작위로 분포되어 있었다. 클릭 간격 역시 불규칙했다. IP 주소는 더 이상 특정 데이터센터의 것이 아니었다. 전 세계에 흩어진 수천, 수만 개의 일반 가정용 IP처럼 보이는 주소들이었다.

“이건… 봇넷(Botnet)입니다.”

알렉스가 분석 결과를 공유하며 말했다.
“사기꾼들이 단순한 서버 몇 대로 공격하는 게 아닙니다. 악성코드에 감염된 수많은 일반 사용자들의 컴퓨터를 원격으로 조종해서, 마치 실제 사용자인 것처럼 광고를 클릭하게 만드는 겁니다. 감염된 PC들이 좀비처럼 이용당하는 거죠.”

팀원들의 얼굴이 굳어졌다. 이것은 이전과는 차원이 다른 문제였다. 상대는 더 이상 어설픈 발자국을 남기지 않았다. 그들은 수만 명의 실제 사용자들 사이에 교묘하게 숨어, 진짜와 가짜를 구분하기 어렵게 만들고 있었다.

사라가 입을 열었다.
“우리가 만든 규칙 기반 필터링은 이제 한계에 부딪혔습니다. ‘새벽 2시에 클릭하면 봇이다’ 같은 단순한 규칙으로는, 이제 인간처럼 행동하도록 프로그래밍된 지능적인 봇을 막을 수 없어요.”

데이비드는 깊은 생각에 잠겨 있었다. 그는 화이트보드로 걸어가, 기존의 ‘규칙 기반 탐지(Rule-based Detection)’라는 단어 위에 줄을 그었다. 그리고 그 아래에 새로운 단어를 썼다.

Machine Learning (머신러닝)

“우리가 직접 규칙을 만드는 시대는 끝났다. 이제는 기계가 스스로 규칙을 배우게 만들어야 한다.”

그것은 팀의 접근 방식을 근본적으로 바꾸는 선언이었다.

데이비드는 개념을 설명했다.
“우리에겐 수십억 건의 ‘확실한 정상 클릭’ 데이터와, 알렉스가 지난번에 찾아낸 ‘확실한 봇 클릭’ 데이터가 있다. 이 두 종류의 데이터를 기계에게 학습시키는 거다.”

“기계는 이 데이터들을 분석해서, 인간은 미처 발견하지 못했던 수백, 수천 가지의 미세한 특징(feature)들의 조합을 스스로 찾아낼 거야. 예를 들면, ‘마우스 커서의 움직임 속도’, ‘페이지에 머무는 시간’, ‘클릭 위치의 정밀도’ 같은 것들 말이지. 봇은 인간의 미세한 손 떨림이나 불규칙한 시선 이동까지는 완벽하게 흉내 내지 못하거든.”

“학습이 끝난 머신러닝 모델은 일종의 ‘봇 판별사’가 되는 거야. 새로운 클릭이 들어왔을 때, 이 모델은 수백 가지 특징을 종합적으로 판단해서 ‘이 클릭이 봇일 확률은 98.5%’ 와 같은 확률 값을 내놓게 되지. 우리는 그 확률이 일정 수준 이상이면 사기로 간주하고 걸러내는 거야.”

알렉스는 그 거대한 발상에 압도당했다. 이것은 더 이상 인간이 범죄의 패턴을 분석하는 수준이 아니었다. 인간의 뇌를 뛰어넘는 기계의 지능으로, 인간을 흉내 내는 또 다른 기계를 잡아내는, 미래적인 싸움이었다.

팀의 역할은 이제 규칙을 만드는 ‘수사관’에서, 기계를 가르치는 ‘트레이너’이자 ‘교사’로 바뀌어야 했다.

데이비드는 팀을 재편했다. 일부는 정상/비정상 데이터를 분류하고 정제하는 ‘레이블링(Labeling)’ 작업을, 알렉스를 포함한 핵심 엔지니어들은 머신러닝 모델을 설계하고 학습시키는 작업에 투입되었다.

광고 사기와의 전쟁은 2라운드에 접어들었다. 인간의 규칙과 봇의 위장의 싸움에서, 이제는 기계의 지능과 봇의 지능이 맞붙는, 한 차원 높은 전쟁이 시작된 것이다.