傳統廣告系統的設計，是回應用戶個別而獨立的意圖。用戶在網上搜尋或瀏覽內容時，廣告系統會將這些查詢和網頁瀏覽接收為事件，再根據這些事件尋找匹配的廣告。為 ChatGPT 建立廣告技術架構則不同：用戶意圖會在不同對話中逐漸形成，也會在一段對話的多輪交流中轉變，有時根本沒有合適的廣告展示時機。為支援這種新模式，我們建立了專門設計的廣告投放系統。這種新型廣告技術架構以一個經過自訂後訓練的前沿 LLM 為基礎。它會透過工具調用執行檢索（找出最佳選項）、排序（預測用戶互動）、相關性評估（衡量廣告的實用性），以及競價，以選出最終廣告並定價。
我們的廣告系統透過三項關鍵設計決策，掌握用戶目標不斷演變時的細微差異：1）實作有狀態的廣告工作階段，讓資訊能在同一對話的不同輪次，以及多段對話之間保留；2）採用經過自訂後訓練的 LLM，利用工具調用架構解讀對話上下文和潛在意圖，再有效地選擇、排序及投放廣告；3）讓廣告選擇程序在獨立服務中執行，與 ChatGPT 的回答生成分開，避免廣告影響回答，並維持 ChatGPT 的中立語氣。我們使用經過後訓練的 LLM 協調整個廣告流程，根據用戶當前一輪對話及對話記錄，決定在適當時機展示合適的廣告。過去，從零建立這種能自我改進的廣告系統往往需要數年；ChatGPT Ads 則在推出後不到 200 天，便達到 10 億美元的年化營收規模。如今，自推出以來，已有超過 10 萬個廣告商在 ChatGPT 投放廣告。
傳統廣告請求通常由一個定義明確的事件觸發。用戶提交搜尋查詢或開啟網頁，廣告系統便會收到請求。這類系統相當簡單：先檢索潛在候選廣告，將它們排序，再透過競價為這次廣告機會適當定價，最後向用戶展示勝出的廣告。ChatGPT 並不會自然產生這樣明確的時機。
在 ChatGPT 對話中，人們帶來的是目標，而不是只求一個答案的搜尋查詢。他們可能正在規劃旅程、為公司選擇軟件、佈置家居，或培養新的興趣。這些事情不會只靠一輪對話就完成。ChatGPT 往往會在過程中協助用戶釐清重點。
例如，我們的工程團隊曾向 ChatGPT 詢問如何備戰跑步比賽：對話先從一個關於跑步的一般問題開始。幾輪交流後，他們才問到有助訓練的跑鞋。每增加一項限制條件，對話的商業含義都會改變，而這些個人化背景資訊也會在多個工作階段中持續演變。如果系統只根據第一則訊息採取行動，就可能完全誤判意圖，檢索出不合適的廣告，從而降低用戶體驗，甚至妨礙他們。
要建立我們的廣告系統，就必須突破請求與回應式的廣告架構，從零打造廣告技術架構，在優先保障用戶信任和用戶價值的同時，尋找潛在商機。
如果像傳統廣告系統一樣，將每則訊息都轉成獨立請求，在我們的對話應用場景中會帶來幾項風險：1）過度簡化而誤解用戶目標；2）在用戶真正的需求尚未明朗前，過早啟動廣告流程；3）展示的廣告妨礙而非協助用戶完成目標；4）每次請求改變都低效地重新執行廣告流程，產生雜訊並浪費成本。廣告系統（由檢索、排序和投放組成）不是圍繞個別事件建立，而是維持一個有狀態的工作階段。也就是說，廣告工作階段會在符合資格的一輪對話期間持續運行，隨着資訊變化而記住並更新內容。ChatGPT 會將初始請求的上下文傳送至廣告伺服器。廣告系統會跟隨對話的發展並作出調整，而不是依賴單一、被簡化的查詢。
廣告選擇程序與 ChatGPT 的正常回覆生成並行運作，確保廣告流程不會影響 ChatGPT 的回覆。廣告由獨立系統篩選和挑選；該系統會讀取對話內容，並遵守自身的資格、品質和投放限制。這項重要的架構界線，讓不同服務各自使用獨立的模型和程式碼：ChatGPT 核心伺服器負責生成非廣告回覆；與此同時，廣告系統獨立評估是否有合適的廣告機會，如有，便透過獨立的投放流程準備贊助廣告版位。
廣告流程與 ChatGPT 回答路徑並行運作。
除了保障用戶體驗，這種分離設計也帶來一些實際效益。ChatGPT 不依賴廣告系統；兩項服務完全獨立，也不共用內容生成模型。因此，即使廣告投放系統無法使用或速度緩慢，ChatGPT 的非廣告回覆仍不受影響。這表示廣告系統不會導致 ChatGPT 產品停擺或延誤。這種分離設計的另一個好處，是為真正具價值的廣告設立了極高標準。系統不投放任何廣告，本身就是一種常態而成功的結果。只有當廣告對用戶及廣告商皆有明顯助益時，系統才會予以投放。
我們廣告技術架構的另一個關鍵組件，是經過後訓練的 LLM。它會解讀對話，並以智能代理循環運行整個廣告流程，透過調用廣告系統的核心功能工具，逐步完成檢索、排序、競價以至最終投放。我們將這個 LLM 稱為協調器。
廣告流程的第一步是理解用戶意圖，藉此啟動檢索程序，快速而有意地廣泛蒐集潛在廣告，供後續篩選。逐步接收對話內容，讓檢索所依據的資訊更豐富，卻也更難判斷，因為廣告系統需要區分當前意圖和已過時的上下文。協調器必須理解對先前訊息的指涉，辨別用戶何時只是在談論假設情境，並避免將每次提及產品或服務都視為購買需求。
廣告協調器利用可用的對話和用戶背景資訊，反覆尋找合適的廣告，並在過程中不斷決定何時調用哪個工具。其根本目標是為當前對話和情境找出最合適的廣告，也就是對用戶和廣告商雙方都有高價值的廣告。如果用戶選擇個人化廣告，協調器也會參考用戶過往對話中可用的非敏感資訊，找出最匹配的廣告。
廣告協調器會反覆調用廣告投放工具，尋找有價值的廣告。
隨着對話推進，廣告協調器取得更多最新資訊後，便可根據更新的上下文執行新一輪工具調用，找出更合適的廣告並傳回用戶端。只要這些新廣告及時送達，用戶端便可採用。
協調器的設計旨在平衡用戶與廣告商價值，同時始終以用戶為先。
廣告系統由多個獨立工具組成，協調器會反覆調用這些工具，為對話找出最合適的廣告。概括而言，協調器會先將對話轉成簡短的文字摘要，再轉成語義嵌入向量（以便於廣告系統篩選的形式儲存語義），然後利用這些向量檢索候選廣告，按資格加以篩選（依據預算、用戶設定和其他初步檢查），評估其品質和相關性，最後排序，找出適合在對話回覆末尾展示廣告的高價值機會。因此，每則廣告都必須在資格和相關性方面達到高標準，才有資格展示。
協調器 LLM 會先準備一個或多個查詢，反映相關的商業意圖。這可能包括改寫對話上下文，以拓展商業可能性，而不局限於一對一對應的搜尋查詢，然後建立語義表示。在這個過程中，協調器會將多輪對話提煉成摘要，供檢索系統使用，從資料庫中有針對性地檢索廣告。
只有在深入理解用戶意圖後才展示廣告，對用戶和廣告商都更有利。使用多個查詢，可以保留意圖的不同面向。例如，規劃旅程的對話可能包含交通、住宿或活動方面的不同需求。檢索系統可以保留這些差異，而不是將整段對話壓縮成單一的字面字串。
舉例來說，以下是一段可能涉及行山鞋的對話：
去優勝美地玩兩天，應該安排哪些行程？
下星期會冷嗎？
[insert brand] 有甚麼新產品系列？
雖然用戶沒有將鞋履品牌的問題與優勝美地之旅連結起來，但我們的廣告系統可能會以兩個查詢來表示這段對話，例如 [shoes appropriate for hiking trip] 和 [new [brand] product lines good for travel]。這可能只是第一次嘗試；協調器的設計容許它反覆調整這些表示方式，直到從廣告庫中找到對用戶極具價值的廣告。
檢索是有意建立廣泛廣告選項池的過程。候選廣告可能來自不同的檢索策略，之後可在相同的投放限制下競爭。我們建立多個索引，分別針對不同的系統和產品限制進行最佳化。例如，產品資料摘要廣告的索引在擷取最合適的廣告時，會考慮產品的正面或負面評價；其他廣告可能沒有相關評價，因此無須考慮這一點。每個索引都針對某種近似最近鄰（ANN）搜尋進行最佳化，並使用代表用戶意圖的嵌入向量。這種 ANN 搜尋是在大型語義索引上執行檢索的近似演算法。它能在極短時間內找出貼近理想條件的廣告方案，而非執著於尋找唯一「正解」，又可保留大部分高相關度的候選廣告。
在廣告檢索過程中，廣告系統會利用改寫後的查詢建立語義嵌入向量，產生涵蓋廣泛的候選廣告池。
篩選的目標，是將所有在相關性、出價和預算方面未達展示標準的候選廣告排除。視乎候選廣告和設定，篩選檢查可包括：廣告素材及廣告活動的可用性（廣告活動或素材當前是否生效）、廣告活動目標對象設定（例如允許在哪些地區投放）、政策限制（可刊登內容的合規要求）、可用預算（廣告活動是否仍有預算可用）、投放節奏（廣告活動應在此刻還是當天其他時間花費預算）、版位相容性（這則廣告適合哪些類型的對話），以及廣告商和廣告活動層級的去重處理（為每個廣告商選取適當數量的廣告，確保各企業公平參與）。
通過資格審查的候選廣告會進入評分階段。協調器會透過工具調用使用各種評分系統，評估投放所需考量的因素，例如語義相關性（廣告是否與用戶的目標相關？）、預測互動情況（廣告是否可能被瀏覽、點擊，並轉化為廣告商期望的結果？），以及過往成效（廣告至今向用戶展示時，成效是否良好？）。協調器也會在競價前篩選廣告，確保其相關性和安全性。這些系統會縮小候選廣告池，為競價做好準備，但仍不會決定最終投放哪則廣告。
協調器會根據對話情境評估已準備好的候選廣告，選出足夠合適、可進入最終競價的廣告。協調器不會直接決定投放哪則廣告，也不會定價。它會提名符合情境的候選廣告，交由競價工具評估。
競價程序會套用最終投放機制，包括競價准入（達到相關性和價值的最低門檻）、投放節奏（更平均地花費廣告預算）、出價和競價特徵計算、按品質調整排序、定價，以及最終選擇。
競價結束後，廣告仍可能因兩種情況而未能投放，兩者都是 ChatGPT 對話媒介特有的情況。
廣告在對話中可能顯得不合宜：即使安全合規模型（負責判斷何時適合投放廣告的模型）認為對話本身適合安全地展示廣告，而廣告本身亦符合政策，放在某些對話情境中仍可能顯得不合宜。協調器會阻止這些廣告展示。
廣告請求可能未能及時完成：如果 ChatGPT 模型已準備好回覆，但廣告仍未準備好展示，廣告請求便會逾時，廣告亦不會投放。因此，廣告系統的目標之一，是盡可能快速運作。ChatGPT 模型的回覆時間會動態變化，我們不會為了等待廣告載入而延遲對話回覆。
如果通過以上所有檢查，我們便會將廣告傳送至前端進行呈現。我們將這視為伺服器端的廣告投放，但仍可能不會向用戶展示廣告，而這正是設計的一部分。
在 ChatGPT 這類對話式產品中，伺服器端投放了廣告素材，並不保證廣告一定會展示；廣告還必須及時送達，才能納入當前這一輪對話。廣告素材包括標題、描述、目標連結，以及任何行動呼籲。此外，廣告系統也會傳回由模型生成的引言，以簡短、中立的文字說明廣告與對話的關聯。將引言與廣告素材分開，既能保留廣告商的訊息，也能維持 ChatGPT 的中立語氣。
ChatGPT 前端會接收打包在一起的引言和廣告素材。如果這組內容在 ChatGPT 回覆完全生成前送達，前端便會在 ChatGPT 回覆下方展示廣告，並清楚標示為贊助內容。如果送達得太遲，這一輪對話就不會展示廣告。這就是伺服器端廣告投放與面向用戶的廣告曝光之間的分別。
選出勝出廣告與投放廣告是兩個獨立事件。獲選廣告只有在 ChatGPT 批准並展示版位，且投放獲得確認後，才算完成投放。
我們的廣告技術架構採用傳統的記錄及資料管道，帶來三項主要好處：廣告商更容易將現有系統與我們的架構整合；廣告商可利用報告數據改善策略；我們的團隊也能找出系統中有待改善的部分。除了這些報告和最佳化工具，我們還部署了高品質模型，評估廣告投放情況並訓練其他廣告模型，形成強大的自我改進循環。
詳細分析已發生的情況，有助我們獨立理解和改善廣告系統的各個部分。記錄處理系統也會記下細緻的結果，例如：
該輪對話不符合廣告展示資格。
廣告工作階段已啟動，但未提出檢索請求。
檢索未傳回任何候選廣告。
已檢索到候選廣告，但未能完成資料補全或通過資格審查。
廣告已投放，之後獲得用戶互動。
這些詳細分析有助我們獨立改善廣告投放系統的各個部分。改善廣告機會偵測所需的依據，與改善檢索、候選廣告品質、競價參與或投放可靠性所需的依據並不相同。
投放、伺服和品質系統各自觀察生命週期的不同部分。受私隱管控的處理程序會決定哪些資料可用於成效衡量和模型改進。
以模型為本的評估理念，是讓我們能力最強、推理能力最高的模型觀察並評判系統結果，再透過訓練提升經過後訓練的 LLM 的表現。例如，只要我們最強大的模型負責收集反饋，並訓練負責執行任務的小型模型盡力做好工作，我們就能使用更小、更高效或推理能力較低的模型，來執行協調或檢索任務。
我們收集真人反饋並據此採取行動，包括用戶的點擊和隱藏廣告操作、用戶問卷調查，以及廣告商透過廣告管理平台提供的直接反饋。在開發過程中，我們的團隊也隨時聽取反饋，直接了解 ChatGPT 用戶和廣告商的需求。這些反饋對我們方向的影響，甚至大於模型觀察所得的反饋，也是我們能快速迭代、作出正確產品決策的原因之一。模型或許能理解用戶意圖，並運用批判性思考提供有價值的內容，但賦予產品品味與格調的，始終是人。
一年前，我們還沒有廣告系統，只有幾個人在思考這個領域的問題。如今，我們已擁有穩健的廣告系統，由以 LLM 為基礎的協調器執行廣告流程，支撐超過 10 億美元的年化營收規模。Codex 是大幅提升我們工作效能的關鍵，讓我們能從零建立系統，並以前所未有的速度達成這項重要的使用規模里程碑。從一開始，我們便在團隊配置和開發流程中納入 Codex，以快速建立系統並擴展規模。我們為 Codex 建立了防護機制，讓它能可靠、安全地交付程式碼。同時，我們也為 Codex 設置資料基礎設施外掛程式，大幅縮短從獲取洞察到落實系統改進的週期，涵蓋新產品功能、品質提升和系統效能改善。
我們將系統界線（以我們的廣告原則為依據）與以 LLM 為基礎的協調器結合，讓廣告發揮實用價值，而不會將每段對話都視為廣告請求。展望未來，我們會繼續嘗試更具動態性的廣告形式，提升用戶價值（例如讓用戶能透過廣告直接與企業對話）及廣告商價值。這套技術架構以 OpenAI 模型為基礎，透過持續的反饋循環自我改進，將加快我們持續提升相關性和個人化程度的步伐。
