팀은 전쟁에 돌입했다. 사무실은 밤늦도록 불이 꺼지지 않았고, 화이트보드는 각 시스템 구간별로 측정된 지연 시간 값들로 가득 찼다. 하지만 원인은 오리무중이었다. “네트워크 자체는 문제가 없어. 데이터센터 간 핑(ping)은 수 밀리초에 불과해.” “경매 로직? 단순한 최고가 비교 알고리즘인데, 마이크로초 단위에서 끝나.” “데이터베이스 조회? 알렉스가 만든 모듈도 캐싱(caching)을 적용하면 병목이 될 리가 없어.” 모든 시니어 엔지니어들은 자신들이 구축한 복잡한 시스템 아키텍처와 네트워크 토폴로지(topology) 사이를 헤매고 있었다. 그들은 더 거대하고, 더 복잡한 곳에 문제가 있을 거라 확신했다. 마치 거대한 댐의 누수 원인을 찾기 위해 댐의 구조 설계 도면만 들여다보는 것과 같았다. 알렉스는 회의에서 한 발짝 떨어져 있었다. 그는 아직 전체 시스템을 속속들이 알지 못했고, 시니어들의 대화에 끼어들기 어려웠다. 대신 그는 가장 기본적인 것을 다시 들여다보기로 했다. 바로 ‘데이터’ 그 자체였다. ‘애드 익스체인지와 DSP 사이를 오가는 데이터는 어떤 모습일까?’ 그는 자신이 작성했던 DSP 연동 규격서를 다시 열었다. 거기에는 DSP에게 보내는 입찰 요청(Bid Request)에 담겨야 할 수많은 정보들이 정의되어 있었다. * `user_id`: 사용자를 식별하는 암호화된 ID * `ip_address`: 사용자의 IP 주소 * `url`: 사용자가 보고 있는 페이지의 주소 * `ad_unit_id`: 광고 지면의 ID * `size`: 광고 지면의 크기 (e.g., “300x250”) * … 등등 수십 개의 필드. 시스템은 이 정보들을 ‘XML(Extensible Markup Language)’ 형식으로 변환하여 DSP로 전송하고 있었다. XML은 당시 웹 서비스 간 데이터 교환의 표준과도 같은 방식이었다. 사람이 읽기 쉽고, 구조가 명확하다는 장점이 있었다. 알렉스는 실제 테스트에서 생성된 XML 데이터를 살펴보았다. ```xml a1b2c3d4e5f6 123.45.67.89 http://globalherald.com/sports/main ... ``` 데이터 자체에는 문제가 없어 보였다. 하지만 알렉스의 머릿속에 작은 의문이 피어올랐다. ‘0.1초 안에 수십만 건을 처리해야 하는 시스템이다. 그런데 기계가 읽을 데이터를, 굳이 사람이 읽기 편한 형태로 만들 필요가 있을까?’ 그는 ``, ``, ``, `` 같은 태그(tag)들을 유심히 보았다. 이 태그들은 데이터의 구조를 설명하기 위해 존재했지만, 정작 실제 데이터 값(`a1b2c3d4e5f6`)보다 훨씬 더 많은 자릿수를 차지하고 있었다. 데이터의 본질보다 포장지가 더 큰 셈이었다. 이 거대한 XML 텍스트를 생성하는 과정(직렬화, Serialization)과, DSP 측에서 다시 이 텍스트를 해석하여 데이터를 추출하는 과정(역직렬화, Deserialization)에서 보이지 않는 시간 낭비가 일어나고 있을지도 모른다는 생각이 들었다. 그는 조심스럽게 사라에게 다가갔다. “사라, 혹시… 데이터 직렬화 과정에서 소요되는 시간을 측정해 본 적이 있습니까?” 사라는 복잡한 네트워크 다이어그램에서 눈을 떼고 의아한 표정으로 알렉스를 보았다. “직렬화? 그건 CPU 연산이라 거의 시간이 걸리지 않아. 병목은 네트워크 I/O(입출력)나 디스크 I/O에서 생기는 거지, CPU 내부에서 생기는 게 아니야.” 경험 많은 엔지니어의 일반적인 답변이었다. 하지만 알렉스는 포기하지 않았다. “하지만 초당 수십만 건을 처리해야 한다면, 그 작은 시간들이 모여서 큰 차이를 만들 수도 있지 않을까요? 특히 XML처럼 텍스트 기반의 비효율적인 포맷을 사용한다면요.” 그의 끈질긴 태도에 사라는 잠시 생각에 잠겼다. 그녀는 신입의 엉뚱하지만 논리적인 의심을 무시하지 않았다. “좋아, 알렉스. 네 말이 맞는지 한번 보자. 네가 직접 증명해봐.” 알렉스는 즉시 작은 테스트 코드를 작성했다. 동일한 데이터를 XML 형식과, 구글 내부에서 사용하던 훨씬 간결한 이진(binary) 데이터 포맷인 ‘프로토콜 버퍼(Protocol Buffers)’ 형식으로 각각 백만 번씩 생성하고 파싱하는 데 걸리는 시간을 측정하는 코드였다. 결과는 충격적이었다. XML 방식 평균 처리 시간: 780 마이크로초 프로토콜 버퍼 방식 평균 처리 시간: 25 마이크로초 무려 30배 이상의 성능 차이. 개별적으로는 1밀리초도 안 되는 미미한 시간이었지만, 이 연산이 경매 요청 한 건당 여러 번 반복되고, 그것이 초당 수만 건씩 쌓인다면, 그 차이는 수백 밀리초에 달하는 거대한 눈덩이가 될 수 있었다. 모두가 댐의 구조적 결함을 찾고 있을 때, 신입사원 알렉스는 댐의 수문을 통과하는 물 분자 자체의 비효율성을 발견한 것이다. 그는 떨리는 손으로 결과 데이터를 정리해 데이비드와 사라에게 보냈다.

Ads World

회차 목록

실리콘밸리의 심장, 구글플렉스

원시 시대의 광고, 그리고 규모의 저주

발상의 전환, 광고 거래소

0.1초의 전쟁, 실시간 입찰

첫 번째 코드, 첫 번째 기여

광고주를 위한 조종석, DSP

매체사를 위한 방패, SSP

생태계의 탄생

첫 번째 위기, Latency와의 사투

신입의 발견

작지만 위대한 최적화

이 광고는 누가 봐야 하는가?

데이터의 연금술, DMP

쿠키라는 이름의 빵 부스러기

라이벌의 출현

리타겟팅의 마법

구글의 반격, 다이내믹 리타겟팅

A/B 테스트, 진실을 말하는 숫자

승리의 보고서

보이지 않는 적, 광고 사기

사기꾼을 잡아라

머신러닝, 새로운 무기

뷰어빌리티(Viewability)라는 숙제

1픽셀의 추적자

모바일 혁명, 판이 뒤집히다

새로운 신분증, ADID와 IDFA

영상의 시대, 유튜브 광고

헤더 비딩의 역습

포용 혹은 고립

소셜 제국의 공습

벽으로 둘러싸인 정원 (Walled Garden)

데이터 전쟁의 서막

새로운 동맹, 제3자 데이터

개인정보 보호라는 그림자

유럽에서 불어온 태풍, GDPR

패닉에 빠진 광고팀

동의 관리 플랫폼(CMP)의 탄생

위기를 기회로

네이티브 광고의 부상

VIP를 위한 경매장, PMP

자동화된 악수, Programmatic Guaranteed

어트리뷰션 전쟁

AI, 광고를 만들다

알렉스, 팀 리드가 되다

리더의 무게

오프라인과의 연결, CTV와 DOOH

제3자 쿠키의 종말 예고

쿠키 아포칼립스

대안을 찾아서, 프라이버시 샌드박스

통일 ID 솔루션의 도전

거인의 새로운 놀이터, 리테일 미디어

리테일 미디어 솔루션의 부상

1자 데이터, 새로운 금광

데이터 클린룸

컨텍스트 타겟팅의 귀환

알렉스의 비전

후배의 성장

텅 빈 캔버스, 생성형 AI

기계 속의 유령

보이지 않는 경매사, 강화학습

신뢰의 사슬, 블록체인

AI 윤리 위원회

인간과 기계의 공생

AI 네이티브의 습격

세기의 대결

전쟁의 서막, 첫 번째 보고서

설명 가능한 AI의 힘

블랙박스의 역습

장기적 가치의 증명

승자의 저주

되돌아보는 길, 어떻게 여기까지 왔죠?

연대기의 시작, 돌도끼와 엑셀

빅뱅, 거래소와 0.1초의 전쟁

지성의 탄생, 쿠키와 DMP

시스템의 그림자, 사기와 투명성

두 개의 세계, 모바일과 벽의 정원

대심판과 종말, GDPR과 쿠키의 황혼

세상 밖으로 퍼져나간 이야기