기존 광고 시스템은 개별 단위로 드러나는 사용자 의도에 반응하도록 구축되어 있습니다. 사용자가 온라인에서 무언가를 검색하거나 조회하면 광고 시스템은 검색어와 페이지 조회를 이벤트로 받아, 이를 바탕으로 적합한 광고를 찾습니다. ChatGPT용 광고 스택을 구축하는 일은 달랐습니다. 사용자의 의도는 여러 대화에 걸쳐 형성되고 한 대화 안에서도 여러 턴에 걸쳐 달라지며, 때로는 광고를 보여주기에 적절한 순간이 전혀 없기도 합니다. 이 새로운 패러다임을 지원하기 위해 저희는 맞춤형 광고 전달 시스템을 구축했습니다. 이 새로운 유형의 광고 스택은 맞춤형 사후 훈련을 거친 프런티어 LLM을 기반으로 합니다. 이 모델은 도구를 호출해 검색(최적의 후보 식별), 순위 지정(사용자 참여 예측), 관련성 평가(광고의 유용성 평가), 최종 광고 선정 및 가격 책정을 위한 경매를 수행합니다.
저희 광고 시스템은 변화하는 사용자 목표의 미묘한 차이를 반영하기 위해 세 가지 핵심 설계 결정을 내렸습니다. 1) 대화의 여러 턴과 여러 대화에 걸쳐 정보를 기억하는 상태 유지형 광고 세션을 구현합니다. 2) 도구 호출 아키텍처를 사용하는 맞춤형 사후 훈련 LLM으로 대화 맥락과 그 안에 담긴 의도를 해석하고, 광고를 효과적으로 선택하고 순위를 매겨 전달합니다. 3) 광고 선택 과정을 ChatGPT의 답변 생성과 분리된 별도 서비스에서 실행해 광고가 답변에 영향을 주지 않도록 하고 ChatGPT의 중립적인 어조를 유지합니다. 저희는 사후 훈련된 LLM으로 전체 광고 흐름을 조율하며, 사용자의 현재 턴과 대화 기록을 함께 고려해 적절한 시점에 보여줄 적합한 광고를 결정합니다. 이처럼 스스로 개선하는 광고 시스템을 처음부터 구축하려면 과거에는 수년이 걸렸습니다. 하지만 ChatGPT 광고는 출시 후 200일도 되기 전에 연환산 매출 10억 달러를 달성했습니다. 현재까지 출시 이후 ChatGPT에서 광고를 집행한 광고주는 10만 곳을 넘었습니다.
기존의 광고 요청은 보통 명확히 정의된 이벤트에서 시작됩니다. 사용자가 검색어를 입력하거나 웹페이지를 열면 광고 시스템이 요청을 받습니다. 이러한 시스템의 구조는 비교적 간단합니다. 광고 후보를 검색하고 순위를 매긴 뒤, 경매를 통해 해당 광고 기회의 적정 가격을 정하고 선정된 광고를 사용자에게 보여줍니다. ChatGPT에서는 이렇게 명확한 시점이 자연스럽게 생기지 않습니다.
사람들은 ChatGPT와 대화할 때 한 번의 답으로 끝날 검색어보다는 어떤 목표를 가지고 찾아옵니다. 여행을 계획하거나, 업무용 소프트웨어를 고르거나, 집에 놓을 가구를 알아보거나, 새로운 취미를 배우려는 것일 수 있습니다. 이 모든 일이 대화 한 턴에 이루어지지는 않습니다. ChatGPT는 대화 과정에서 사용자가 무엇이 중요한지 명확히 파악하도록 돕곤 합니다.
예를 들어 저희 엔지니어링 팀은 달리기 대회를 준비하는 훈련 방법을 ChatGPT에 물었습니다. 대화는 달리기에 대한 일반적인 질문으로 시작됩니다. 몇 턴이 지난 뒤에는 훈련에 도움이 될 신발에 관해 묻습니다. 새로운 조건이 추가될 때마다 대화의 상업적 의미가 달라지며, 이러한 개인화된 맥락은 여러 세션에 걸쳐 발전합니다. 첫 메시지만 보고 작동하는 시스템은 의도를 완전히 잘못 파악한 채 검색할 수 있고, 그 결과 사용자 경험을 저해하거나 사용자의 활동을 방해할 수 있습니다.
저희 광고 시스템을 구축하려면 요청-응답 방식의 광고 아키텍처를 넘어야 했습니다. 사용자의 신뢰와 가치를 우선시하면서 잠재적인 경제적 기회를 찾을 수 있도록 광고 스택을 처음부터 새로 만들었습니다.
기존 광고 시스템처럼 모든 메시지를 독립된 요청으로 처리하면 채팅 환경에서는 몇 가지 위험이 생깁니다. 1) 사용자의 목표를 지나치게 단순화해 잘못 해석할 수 있습니다. 2) 사용자의 실제 요구가 명확해지기도 전에 광고 흐름을 시작할 수 있습니다. 3) 사용자의 여정을 돕기보다 방해하는 광고를 보여줄 수 있습니다. 4) 요청이 바뀔 때마다 광고 흐름을 비효율적으로 다시 실행해 불필요한 처리를 늘리고 비용을 낭비할 수 있습니다. 검색, 순위 지정, 전달로 구성된 광고 시스템은 개별 이벤트를 중심으로 작동하는 대신 상태 유지형 세션을 유지합니다. 즉, 광고 게재가 가능한 턴이 진행되는 동안 광고 세션이 실행되며, 변화하는 정보를 기억하고 갱신합니다. ChatGPT는 최초 요청의 맥락을 광고 서버로 보냅니다. 광고 시스템은 하나로 단순화된 쿼리에 의존하지 않고, 이어지는 대화를 따라가며 변화에 맞춥니다.
광고 선택 과정은 ChatGPT의 일반 응답 생성과 병렬로 실행되어 광고 흐름이 ChatGPT 응답에 영향을 주지 않도록 합니다. 광고는 대화를 입력받는 별도 시스템에서 자체 적격성, 품질, 전달 제약 조건에 따라 필터링되고 선택됩니다. 서로 다른 서비스가 별도의 모델과 코드를 사용하는 이러한 중요한 아키텍처 경계 덕분에 핵심 ChatGPT 서버는 일반 응답 생성에 집중할 수 있습니다. 한편 광고 시스템은 적절한 광고 기회가 있는지 독립적으로 평가하고, 기회가 있다면 별도의 게재 과정을 통해 스폰서 광고를 준비합니다.
광고는 ChatGPT 답변 경로와 병렬로 실행됩니다.
이러한 분리는 사용자 경험을 보호하는 것 외에도 몇 가지 실질적인 효과를 가져옵니다. ChatGPT는 광고 시스템에 의존하지 않습니다. 두 서비스는 어떤 방식으로도 얽혀 있지 않으며, 콘텐츠 생성 모델도 공유하지 않습니다. 따라서 광고 게재 시스템을 사용할 수 없거나 속도가 느려져도 ChatGPT의 일반 응답은 영향을 받지 않고 계속 생성됩니다. 즉, 광고 시스템 때문에 ChatGPT 서비스가 중단되거나 지연되는 일은 없습니다. 이러한 분리의 또 다른 이점은 광고가 제공해야 할 가치에 대해 매우 높은 기준을 유지할 수 있다는 것입니다. 광고를 반환하지 않는 것도 정상적이고 성공적인 결과입니다. 시스템은 사용자와 광고주에게 분명한 이점이 있을 때만 광고를 전달합니다.
광고 스택 아키텍처의 또 다른 핵심 구성 요소는 대화를 해석하고 에이전트 루프 안에서 전체 광고 흐름을 실행하는 사후 훈련된 LLM입니다. 이 모델은 검색부터 순위 지정, 경매, 최종 전달에 이르기까지 광고 시스템의 핵심 기능을 도구 호출로 실행합니다. 이 LLM을 오케스트레이터라고 부릅니다.
광고 흐름은 사용자 의도를 파악하고 검색을 시작하는 것으로 출발합니다. 검색은 나중에 필터링할 광고 후보를 의도적으로 폭넓게, 빠르게 수집하는 과정입니다. 대화 내용을 점진적으로 받으면 검색에 활용할 정보는 풍부해지지만 모호함도 커집니다. 광고 시스템이 현재 의도와 더 이상 유효하지 않은 맥락을 구분해야 하기 때문입니다. 오케스트레이터는 이전 메시지를 가리키는 표현을 해석하고, 사용자가 가정해서 말하는 상황을 알아차려야 합니다. 또한 제품이나 서비스를 언급할 때마다 무언가를 구매하려는 요청으로 받아들여서는 안 됩니다.
광고 오케스트레이터는 이용 가능한 대화 및 사용자 맥락을 활용해 좋은 광고를 반복적으로 탐색하고, 어떤 도구를 언제 호출할지 계속 선택합니다. 그 바탕에는 해당 대화와 맥락에 가장 적합한 광고, 즉 사용자와 광고주 모두에게 높은 가치를 균형 있게 제공하는 광고를 찾는다는 목표가 있습니다. 사용자가 광고 개인화를 선택하면 오케스트레이터는 사용자의 과거 대화에서 이용 가능한 비민감 정보도 고려해 가장 잘 맞는 광고를 찾습니다.
광고 오케스트레이터는 가치 있는 광고를 찾기 위해 광고 전달 도구를 반복적으로 호출합니다.
대화가 진행되면서 광고 오케스트레이터가 새로운 정보를 받으면, 갱신된 맥락을 바탕으로 도구를 다시 호출해 더 나은 광고를 찾아 클라이언트에 반환할 수 있습니다. 클라이언트는 이 광고가 제때 도착하면 사용할 수 있습니다.
오케스트레이터는 항상 사용자를 최우선으로 두면서 사용자 가치와 광고주 가치의 균형을 맞추도록 설계되었습니다.
광고 시스템은 개별 도구로 구성되며, 오케스트레이터는 대화에 가장 적합한 광고를 찾기 위해 이 도구들을 반복적으로 호출합니다. 전체 흐름을 보면, 오케스트레이터는 대화를 짧은 텍스트로 요약하고 이를 의미 임베딩, 즉 광고 시스템이 쉽게 탐색할 수 있도록 의미를 저장한 형태로 변환합니다. 이 임베딩으로 광고 후보를 검색한 뒤 예산, 사용자 설정, 기타 사전 점검을 바탕으로 적격성을 필터링하고 품질과 관련성을 평가합니다. 마지막으로 순위를 매겨 채팅 응답 끝에 배치할 가치가 높은 광고를 찾습니다. 따라서 각 광고는 적격성과 관련성에 대한 높은 기준을 충족해야 게재될 수 있습니다.
오케스트레이터 LLM은 먼저 관련 상업적 의도를 나타내는 쿼리를 하나 이상 준비합니다. 이 과정에는 대화 맥락을 다시 작성해 일대일로 대응하는 검색 쿼리를 넘어 상업적 가능성을 넓힌 뒤, 의미 표현을 만드는 작업이 포함될 수 있습니다. 오케스트레이터는 여러 턴에 걸친 대화를 검색 시스템용 요약으로 압축해 데이터베이스에서 광고를 집중적으로 검색합니다.
사용자의 의도를 깊이 이해했을 때만 광고를 표시하면 사용자와 광고주 모두에게 더 나은 광고 경험을 제공할 수 있습니다. 쿼리를 여러 개 사용하면 의도의 다양한 측면을 보존할 수 있습니다. 예를 들어 여행 계획에 관한 대화에는 교통, 숙박, 액티비티에 대한 서로 다른 요구가 담길 수 있습니다. 검색 시스템은 대화 전체를 하나의 검색 문자열로 단순화하지 않고 이러한 서로 다른 요구를 구분해 유지할 수 있습니다.
예를 들어 등산화에 관해 다음과 같은 대화가 이어질 수 있습니다.
요세미티에 2일 동안 여행을 가는데 어디를 둘러보면 좋을까?
다음 주에 추울까?
[브랜드명 삽입]에서 새로 나온 제품 라인은 뭐가 있어?
사용자가 신발 브랜드에 대한 질문을 요세미티 여행과 직접 연결하지는 않았지만, 광고 시스템은 이 대화를 [하이킹 여행에 적합한 신발]과 [여행에 적합한 [브랜드]의 신제품 라인업] 같은 두 개의 쿼리로 표현할 수 있습니다. 이는 첫 번째 시도에 불과할 수 있습니다. 오케스트레이터는 보유 광고 중에서 사용자에게 매우 가치 있는 광고를 찾을 때까지 이러한 표현을 반복적으로 다듬도록 설계되었습니다.
검색은 의도적으로 폭넓은 광고 후보군을 만드는 과정입니다. 후보는 서로 다른 검색 전략을 통해 수집될 수 있으며, 이후 동일한 게재 제약 조건 아래에서 경쟁할 수 있습니다. 저희는 각기 다른 시스템 및 제품 제약 조건에 최적화된 여러 인덱스를 구축합니다. 예를 들어 제품 피드 광고용 인덱스는 최선의 광고를 가져올 때 긍정적·부정적 제품 리뷰를 고려하도록 설계되었습니다. 이는 관련 리뷰가 없을 수도 있는 다른 광고에는 적용되지 않습니다. 각 인덱스는 사용자 의도를 나타내는 임베딩을 활용하며, 특정 방식의 근사 최근접 이웃(ANN) 검색에 최적화되어 있습니다. 이 ANN 검색은 대규모 의미 인덱스를 검색하는 근사 알고리즘입니다. ‘정답’을 찾기보다는 좋은 해답에 근접하는 방식으로 관련 후보 대부분을 유지하면서 광고를 매우 빠르게 가져옵니다.
광고 시스템은 광고 검색 과정에서 재작성한 쿼리로 의미 임베딩을 생성하고 폭넓은 광고 후보군을 만듭니다.
필터링의 목표는 관련성, 입찰가, 예산 측면에서 게재 기준을 충족하지 못하는 모든 광고 후보를 검토 대상에서 제외하는 것입니다. 후보와 설정에 따라 필터링 단계에서 다음 사항을 점검할 수 있습니다. 소재 및 캠페인 가용성(캠페인이나 광고 소재가 활성 상태인지), 캠페인 타겟팅(예: 캠페인 운영이 허용되는 지역), 정책 제한(광고 가능한 대상에 관한 규정 준수 요건), 예산 가용성(캠페인에 집행 가능한 예산이 남아 있는지), 집행 속도 조절(하루 중 다른 시간이 아닌 지금 예산을 집행해야 하는지), 게재 적합성(이 광고를 게재할 수 있는 대화 유형), 광고주 및 캠페인 수준의 중복 제거(기업 간 공정한 참여를 보장하기 위해 광고주별로 적절한 수의 광고를 선택하는 것)입니다.
적격성 검사를 통과한 후보는 점수 산정 단계로 넘어갑니다. 이 단계에서 오케스트레이터는 다양한 점수 산정 시스템을 도구 호출로 실행해 게재에 필요한 요소를 평가합니다. 여기에는 의미적 관련성(사용자의 목표와 관련 있는 광고인가?), 예상 참여도(광고 조회와 클릭, 광고주가 원하는 결과로의 전환이 일어날 가능성이 높은가?), 과거 성과(지금까지 사용자에게 표시되었을 때 성과가 좋았는가?) 등이 포함됩니다. 오케스트레이터는 경매 전에 광고를 필터링해 관련성과 안전성도 확보합니다. 이 시스템들은 경매에 참여할 수 있는 더 작은 후보군으로 대상을 좁히지만, 이 단계에서도 최종 전달할 광고를 결정하지는 않습니다.
오케스트레이터는 준비된 후보를 대화 맥락에 비추어 평가하고, 최종 경매에 참여시킬 만큼 적합한 광고 후보를 선택합니다. 오케스트레이터가 게재할 광고를 직접 결정하거나 가격을 정하지는 않습니다. 맥락에 적합한 후보를 추천하면 경매 도구가 이를 평가합니다.
경매에서는 최종 게재를 위한 절차를 적용합니다. 여기에는 경매 참여 자격 확인(관련성과 가치의 최소 기준 통과), 집행 속도 조절(광고 예산을 더 균등하게 집행), 입찰가 및 경매 특성 계산, 품질을 반영한 순위 조정, 가격 책정, 최종 선정이 포함됩니다.
경매 후에도 광고가 전달되지 않을 수 있는 경우가 두 가지 있습니다. 둘 다 ChatGPT라는 대화형 매체의 특성에서 비롯됩니다.
채팅 맥락에서 광고가 부적절하게 느껴질 수 있습니다: 무결성 모델(광고를 게재하기에 적절한 시점을 판단하는 모델)이 대화 자체는 광고를 게재해도 안전하다고 판단하고, 광고 자체도 정책을 준수한다고 판정했더라도 특정 대화의 맥락에서는 광고가 부적절하게 느껴질 수 있습니다. 오케스트레이터는 이런 광고가 표시되지 않도록 차단합니다.
광고 요청이 제시간에 도착하지 않을 수 있습니다: ChatGPT 모델은 응답할 준비가 되었는데 광고는 아직 게재할 준비가 되지 않았다면, 광고 요청은 시간 초과로 처리되고 광고는 전달되지 않습니다. 따라서 광고 시스템의 목표 중 하나는 최대한 빠르게 실행되는 것입니다. ChatGPT 모델의 응답 시간은 상황에 따라 달라지며, 광고 로딩을 기다리기 위해 채팅 응답을 늦추지는 않습니다.
위의 모든 검사를 통과하면 렌더링을 위해 광고를 프런트엔드로 보냅니다. 이를 서버 측 광고 전달로 간주하지만, 이후에도 사용자에게 광고가 표시되지 않을 수 있습니다. 이는 의도된 설계입니다.
ChatGPT 같은 대화형 제품에서는 서버 측에서 광고 소재를 전달했다고 해서 광고 표시가 보장되지는 않습니다. 광고가 현재 턴에 포함될 수 있도록 제시간에 도착해야 합니다. 광고 소재에는 제목, 설명, 도착 페이지 링크, 행동 유도 문구 등이 포함됩니다. 광고 시스템은 모델이 생성한 안내 문구도 함께 반환합니다. 광고가 대화와 어떻게 관련되는지 중립적으로 설명하는 짧은 소개입니다. 안내 문구를 광고 소재와 분리하면 광고주의 메시지를 보존하면서도 ChatGPT의 중립적인 어조를 유지할 수 있습니다.
ChatGPT 프런트엔드는 안내 문구와 광고 소재를 하나의 묶음으로 받습니다. 이 묶음이 ChatGPT 응답 생성이 완료되기 전에 도착하면, 프런트엔드는 ChatGPT 응답 아래에 스폰서 광고임을 명확히 표시해 광고를 보여줍니다. 너무 늦게 도착하면 해당 턴에서는 광고를 표시하지 않습니다. 이것이 서버 측 광고 전달과 사용자에게 실제로 표시되는 광고 노출의 차이입니다.
낙찰 광고 선정과 전달은 별개의 이벤트입니다. 선정된 광고는 ChatGPT가 게재를 승인하고 표시한 뒤 전달 확인까지 이루어져야 전달된 것으로 간주됩니다.
저희 광고 스택은 전통적인 로깅 및 데이터 파이프라인을 사용하며, 여기에는 세 가지 주요 이점이 있습니다. 광고주는 기존 시스템을 저희 스택과 더 쉽게 통합하고 보고 데이터를 통해 전략을 개선할 수 있으며, 저희 팀은 시스템에서 개선이 필요한 부분을 찾을 수 있습니다. 이러한 보고 및 최적화 도구 외에도 고품질 모델을 배포해 광고 전달을 평가하고 다른 광고 모델을 훈련함으로써 강력한 자기 개선 루프를 만듭니다.
발생한 일을 세부적으로 분석하면 광고 시스템의 각 부분을 개별적으로 이해하고 개선할 수 있습니다. 로그 처리 시스템은 다음과 같은 세부 결과도 기록합니다.
해당 턴이 광고 게재에 적합하지 않았습니다.
광고 세션이 시작되었지만 검색 요청은 없었습니다.
검색에서 반환된 후보가 없었습니다.
후보를 검색했지만 상세 데이터 로드에 실패하거나 적격성 검사를 통과하지 못했습니다.
광고가 전달되었고 이후 사용자 상호작용이 발생했습니다.
이러한 세부 분석을 통해 광고 게재 시스템의 각 부분을 개별적으로 개선할 수 있습니다. 광고 기회 감지를 개선하는 데 필요한 근거는 검색, 후보 품질, 경매 참여, 전달 안정성을 개선하는 데 필요한 근거와 다릅니다.
전달, 게재, 품질 시스템은 각각 광고 수명 주기의 서로 다른 부분을 관찰합니다. 개인정보 보호 통제가 적용된 처리 과정을 통해 측정과 모델 개선에 사용할 수 있는 데이터를 결정합니다.
모델 기반 평가의 핵심은 성능과 추론 능력이 가장 뛰어난 모델이 시스템의 결과를 관찰하고 판단한 뒤, 사후 훈련된 LLM이 더 잘 수행하도록 훈련해 개선하는 것입니다. 예를 들어 가장 강력한 모델이 피드백을 수집하고 작은 작업 모델들이 최선의 성과를 내도록 훈련한다면, 오케스트레이션이나 검색에는 더 작고 효율적인 모델 또는 추론 능력이 낮은 모델을 사용할 수 있습니다.
저희는 사용자의 클릭과 숨기기 같은 피드백을 비롯해 사용자 설문과 광고 관리자를 통해 전달되는 광고주의 직접적인 피드백을 수집하고 반영합니다. 개발 과정에서도 저희 팀에 피드백을 전달할 수 있도록 하며, ChatGPT 사용자와 광고주가 원하는 바를 직접 듣습니다. 이러한 피드백은 모델의 관찰에 기반한 피드백보다 저희의 방향 설정에 더 큰 영향을 미칩니다. 또한 빠르게 개선을 거듭하며 올바른 제품 결정을 내릴 수 있었던 요인 중 하나입니다. 모델은 사용자의 의도를 이해하고 비판적으로 사고해 가치 있는 결과를 제공할 수 있지만, 무엇이 좋은 경험인지에 대한 감각은 사람이 만들어 갑니다.
1년 전만 해도 저희에게는 광고 시스템이 없었고, 이 영역을 고민하는 사람도 몇 명뿐이었습니다. 지금은 LLM 기반 오케스트레이터가 광고 흐름을 운영하는 견고한 광고 시스템을 갖추었고, 이를 통해 연환산 매출 10억 달러 이상을 달성하고 있습니다. Codex는 저희 역량을 크게 높인 핵심 동력이었습니다. 덕분에 시스템을 처음부터 구축하고 전례 없는 속도로 이 중요한 이용 규모의 이정표를 달성할 수 있었습니다. 처음부터 Codex를 활용해 시스템을 빠르게 구축하고 확장할 수 있도록 팀과 개발 워크플로를 구성했습니다. Codex가 코드를 안정적이고 안전하게 배포할 수 있도록 가드레일을 구축했습니다. 동시에 Codex용 데이터 인프라 플러그인을 마련해 인사이트를 수집하고 시스템에 개선 사항을 반영하는 주기를 크게 단축했습니다. 여기에는 새로운 제품 기능, 품질 개선, 시스템 성능 향상이 포함됩니다.
저희 광고 원칙에 기반한 시스템 경계와 LLM 기반 오케스트레이터를 결합하면, 모든 대화를 광고 요청으로 취급하지 않으면서도 유용한 광고를 제공할 수 있습니다. 앞으로도 더 역동적인 광고 형식을 실험하며 사용자 가치와 광고주 가치를 높여 나가겠습니다. 예를 들어 사용자가 광고를 통해 기업과 직접 대화할 수 있는 기능을 생각해 볼 수 있습니다. OpenAI 모델과 지속적인 피드백 루프를 기반으로 구축한 스택의 자기 개선 아키텍처는 시간이 지날수록 관련성과 개인화를 계속 개선하는 속도를 높여 줄 것입니다.
