Güven ve alaka düzeyi için ChatGPT’nin yeni reklam altyapısını nasıl kurduk?

Geleneksel reklam sistemleri, kullanıcı niyetinin birbirinden bağımsız sinyallerine yanıt verecek şekilde kurulur. Kullanıcı internette bir şey arar veya görüntüler; reklam sistemi bu sorguları ve sayfa görüntülemelerini olay olarak alır ve bunlara göre eşleşen reklamlar arar. ChatGPT için reklam altyapısı kurmak ise farklıydı: Kullanıcının niyeti sohbetler boyunca şekillenir ve bir sohbetin farklı turlarında değişir. Bazen reklam için uygun bir an hiç oluşmaz. Bu yeni yaklaşımı desteklemek için özel bir reklam iletim sistemi geliştirdik. Bu yeni tür reklam altyapısı, özel olarak ön eğitim sonrası eğitilmiş, en üst seviye bir LLM’ye dayanıyor. Bu model; getirme (en iyi seçenekleri belirleme), sıralama (kullanıcı etkileşimini tahmin etme), alaka düzeyi (reklamın faydasını değerlendirme) ve nihai reklam seçimi ile fiyatlandırma için açık artırmaları yürütme amacıyla araç çağrıları yapıyor.

Reklam sistemimiz, değişen kullanıcı hedeflerinin inceliklerini üç temel tasarım kararıyla ele alıyor: 1) Durum bilgisi tutan reklam oturumları uygulamak; yani bilgilerin hem bir sohbetin turları arasında hem de farklı sohbetler boyunca hatırlanmasını sağlamak. 2) Sohbetin bağlamını ve altında yatan niyeti yorumlamak, ardından reklamları etkili biçimde seçmek, sıralamak ve iletmek için araç çağrısı mimarisi kullanan, özel olarak ön eğitim sonrası eğitilmiş bir LLM’den yararlanmak. 3) Reklamların yanıtları etkilemesini önlemek ve ChatGPT’nin tarafsız üslubunu korumak için reklam seçimini ChatGPT’nin yanıt üretiminden ayrı, kendi hizmetinde yürütmek. Ön eğitim sonrası eğitilmiş LLM’mizi, tüm reklam akışını yönetmek için kullanıyoruz. Böylece hem kullanıcının mevcut sohbet turuna hem de sohbet geçmişine göre doğru zamanda gösterilecek doğru reklamı belirliyoruz. Kendini geliştiren böyle bir reklam sistemini sıfırdan kurmak eskiden yıllar alırken ChatGPT Ads, kullanıma sunulmasından 200 gün bile geçmeden yıllıklandırılmış 1 milyar dolar gelir hızına ulaştı. Bugün itibarıyla, kullanıma sunulduğundan bu yana 100.000’den fazla reklamveren ChatGPT’de reklam yayınladı.

Geleneksel bir reklam isteği genellikle net biçimde tanımlanmış bir olayla başlar. Kullanıcı bir arama sorgusu gönderir veya bir web sayfası açar; reklam sistemi de bir istek alır. Bu tür bir sistem oldukça basittir: Olası reklam adaylarını getirir, sıralar, reklam fırsatını uygun biçimde fiyatlandırmak için açık artırma yapar ve seçilen reklamı kullanıcıya gösterir. ChatGPT’de ise doğal olarak böyle belirgin bir an oluşmaz.

İnsanlar ChatGPT sohbetine, tek yanıtlık bir arama sorgusundan ziyade hedeflerle gelir. Bir seyahat planlıyor, işletmeleri için yazılım seçiyor, ev döşüyor veya yeni bir hobi öğreniyor olabilirler. Bunların hepsi tek bir sohbet turunda gerçekleşmez. ChatGPT, süreç boyunca kullanıcının kendisi için neyin önemli olduğunu netleştirmesine sık sık yardımcı olur.

Örneğin mühendislik ekibimiz, ChatGPT’ye bir yarışa nasıl hazırlanacaklarını sordu: Sohbet, koşuyla ilgili genel bir soruyla başlıyor. Birkaç tur sonra, antrenmana yardımcı olacak ayakkabıları soruyorlar. Her yeni kısıtla birlikte sohbetin ticari anlamı değişiyor ve bu kişiselleştirilmiş bağlam, birden fazla oturum boyunca gelişiyor. İlk mesaja göre harekete geçen bir sistem, kullanıcının niyetini tamamen yanlış yorumlayabilir; bu da kullanıcının deneyimini kötüleştirebilir ve yapmak istediği şeyi engelleyebilir.

Reklam sistemimizi kurmak için istek-yanıt temelli reklam mimarisinin ötesine geçmemiz gerekti. Kullanıcı güvenini ve kullanıcıya sağlanan değeri ön planda tutarken olası ekonomik fırsatları bulacak bir reklam altyapısını sıfırdan geliştirdik.

Geleneksel bir reklam sistemindeki gibi her mesajı bağımsız bir isteğe dönüştürmek, sohbet kullanımımızda bazı riskler yaratırdı: 1) Kullanıcının hedefini aşırı basitleştirerek yanlış yorumlamak. 2) Kullanıcının gerçek ihtiyacı netleşmeden reklam akışını çok erken başlatmak. 3) Kullanıcı yolculuğunu desteklemek yerine engelleyen reklamlar göstermek. 4) İstek her değiştiğinde reklam akışını verimsiz biçimde yeniden çalıştırarak gereksiz işlem yükü ve maliyet oluşturmak. Getirme, sıralama ve iletimden oluşan reklam sistemi, tekil olaylar etrafında kurulmak yerine durum bilgisi tutan bir oturumu sürdürür. Yani reklam oturumu, uygun bir sohbet turu boyunca çalışır; bilgileri hatırlar ve değiştikçe günceller. ChatGPT, ilk isteğin bağlamını reklam sunucusuna gönderir. Reklam sistemi, tek bir düzleştirilmiş sorguya dayanmak yerine gelişen diyaloğu takip eder ve ona uyum sağlar.

Reklam seçimi, reklam akışının ChatGPT yanıtlarını etkilememesi için ChatGPT’nin normal yanıt üretimiyle paralel yürür. Reklamlar, sohbeti kendi uygunluk, kalite ve iletim kısıtları altında işleyen ayrı bir sistem tarafından filtrelenir ve seçilir. Ayrı modeller ve ayrı kod kullanan farklı hizmetler arasındaki bu önemli mimari sınır, organik yanıt üretimini ana ChatGPT sunucularına bırakır. Bu sırada reklam sistemi, uygun bir reklam fırsatı olup olmadığını bağımsız olarak değerlendirir ve varsa ayrı bir sunum süreciyle sponsorlu bir yerleşim hazırlar.

Bu ayrım, kullanıcı deneyimini korumanın ötesinde, uygulamada da bazı sonuçlar doğuruyor. ChatGPT, reklam sistemine bağımlı değildir. Bu hizmetler hiçbir şekilde iç içe geçmez ve ortak bir içerik üretim modeli kullanmaz. Dolayısıyla reklam sunum sistemi kullanılamadığında veya yavaşladığında, ChatGPT’nin organik yanıt üretimi bundan etkilenmeden devam eder. Yani reklam sistemi, ChatGPT ürününü devre dışı bırakamaz veya geciktiremez. Bu ayrımın bir diğer faydası, reklamların sağladığı değer konusunda çıtayı çok yüksek tutmasıdır. Hiç reklam döndürülmemesi de olağan ve başarılı bir sonuçtur. Sistem, yalnızca kullanıcılara ve reklamverenlere açıkça fayda sağlayan reklamları iletir.

Reklam altyapımızın diğer temel mimari bileşeni, sohbetleri yorumlayan ve tüm reklam akışını bir ajan döngüsü içinde yürüten, ön eğitim sonrası eğitilmiş LLM’dir. Bu model, reklamları getirme aşamasından sıralamaya, açık artırmaya ve nihayet iletime kadar reklam sisteminin temel işlevlerine araç çağrıları yapar. Bu LLM’ye orkestratör diyoruz.

Reklam akışının ilk adımı, getirme sürecini başlatmak için kullanıcının niyetini anlamaktır. Getirme süreci, daha sonra filtrelenecek olası reklamları hızlı ve bilinçli olarak geniş kapsamlı biçimde toplar. Sohbetin parça parça alınması, getirme sürecini daha zengin ama daha belirsiz bir probleme dönüştürür. Çünkü reklam sisteminin güncel niyeti, artık geçerli olmayan bağlamdan ayırması gerekir. Orkestratör, önceki mesajlara yapılan göndermeleri yorumlamalı, kullanıcının ne zaman varsayımsal konuştuğunu anlamalı ve bir ürün veya hizmetten her söz edilişini satın alma isteği olarak değerlendirmemelidir.

Reklam orkestratörü, mevcut sohbet ve kullanıcı bağlamından yararlanarak iyi reklamlar bulmak için yinelemeler yapar ve hangi aracı ne zaman çağıracağını tekrar tekrar seçer. Temel amacı, o sohbet ve bağlam için en uygun reklamı, yani kullanıcıya ve reklamverene sağlanan yüksek değeri dengeleyen reklamı bulmaktır. Kullanıcı reklamları kişiselleştirmeyi seçerse orkestratör, en uygun reklam eşleşmelerini bulmak için kullanıcının geçmiş sohbetleriyle ilgili mevcut, hassas olmayan bilgileri de dikkate alır.

Sohbet ilerledikçe ve reklam orkestratörü daha güncel bilgiler aldıkça, güncellenen bağlamla yeni bir dizi araç çağrısı yaparak daha iyi reklamlar bulabilir ve bunları istemciye döndürebilir. İstemci de zamanında ulaşmaları hâlinde bu yeni reklamları kullanabilir.

Orkestratör, kullanıcıları her zaman ön planda tutarak kullanıcıya ve reklamverene sağlanan değeri dengeleyecek şekilde tasarlanmıştır.

Reklam sistemi ayrı araçlardan oluşur. Orkestratör, bir sohbet için en iyi reklamları bulmak üzere bu araçları yinelemeli olarak çağırır. Genel olarak orkestratör, sohbetleri kısa metin özetlerine dönüştürür. Bu özetler de anlamsal gömmelere, yani reklam sisteminin daha kolay tarayabileceği, saklanan anlam temsillerine dönüştürülür. Orkestratör bu gömmelerle reklam adaylarını getirir, adayları uygunluk açısından filtreler (bütçe, kullanıcı ayarları ve diğer ön kontrollere göre), kalitelerini ve alaka düzeylerini değerlendirir. Son olarak, sohbet yanıtının sonuna yerleştirilecek ve yüksek değer sağlayacak reklamları belirlemek için nihai bir sıralama yapar. Bu nedenle her reklamın, yerleştirilebilmek için uygunluk ve alaka düzeyi açısından yüksek standartları karşılaması gerekir.

Orkestratör LLM, önce ilgili ticari niyeti temsil eden bir veya daha fazla sorgu hazırlar. Bu işlem, ticari olasılıkları bire bir arama sorgularının ötesine taşımak için sohbet bağlamını yeniden yazmayı ve ardından anlamsal temsiller oluşturmayı içerebilir. Orkestratör, getirme sistemi için birden fazla turdan oluşan sohbeti özetler; böylece veritabanımızdan amaca odaklı biçimde reklamlar getirilir.

Reklamlar yalnızca kullanıcının niyeti derinlemesine anlaşıldığında gösterilirse hem kullanıcılar hem de reklamverenler için daha iyi sonuçlar verir. Birden fazla sorgu, niyetin farklı yönlerinin korunmasını sağlayabilir. Örneğin seyahat planlamayla ilgili bir sohbet; ulaşım, konaklama veya etkinliklere ilişkin ayrı ihtiyaçlar içerebilir. Getirme sistemi, tüm sohbeti tek bir düz metin dizesine sıkıştırmak yerine bu ayrımları koruyabilir.

Örnek olarak, doğa yürüyüşü ayakkabılarıyla ilgili olası bir sohbet dizisine bakalım:

1. Yosemite'ye iki günlük gezide neler yapmalıyım?

2. Gelecek hafta hava soğuk olacak mı?

3. [Marka ekleyin] markasının yeni ürün serileri neler?

Kullanıcı, ayakkabı markasıyla ilgili sorusunu Yosemite seyahatiyle ilişkilendirmemiş olsa da bu sohbet, reklam sistemimizde [doğa yürüyüşüne uygun ayakkabılar] ve [seyahate uygun yeni [marka] ürün serileri] gibi iki sorguyla temsil edilebilir. Bu yalnızca ilk deneme olabilir. Orkestratör, envanterimizde kullanıcıya yüksek değer sağlayan reklamlar bulana kadar bu temsilleri yinelemeli olarak geliştirecek şekilde tasarlanmıştır.

Getirme, bilinçli olarak geniş tutulan bir reklam seçenekleri havuzu oluşturma sürecidir. Adaylar farklı getirme stratejilerinden gelebilir ve daha sonra aynı sunum kısıtları altında rekabet edebilir. Farklı sistem ve ürün kısıtlarına göre optimize edilmiş birden fazla dizin oluşturuyoruz. Örneğin, ürün feed’i reklamlarına yönelik dizin, mümkün olan en iyi reklamları getirirken olumlu veya olumsuz ürün yorumlarını dikkate alacak şekilde tasarlanmıştır. Bu, kendileriyle ilişkili yorumlar bulunmayabilen diğer reklamlar için geçerli değildir. Her dizin, kullanıcının niyetini temsil eden gömmelerle çalışan bir yaklaşık en yakın komşu (ANN) araması türü için optimize edilmiştir. Bu ANN araması, büyük anlamsal dizinlerden veri getirmeye yönelik bir yaklaşım algoritmasıdır. Yani “doğru” çözümü aramak yerine iyi bir çözüme yaklaşarak ve ilgili adayların çoğunu koruyarak reklamların çok hızlı getirilmesini sağlar.

Filtrelemenin amacı, alaka düzeyi, teklifler ve bütçe bakımından yerleştirme standartlarını karşılamayan tüm reklam adaylarını değerlendirme dışı bırakmaktır. Adaya ve yapılandırmaya bağlı olarak filtreleme kontrolleri şunları kapsayabilir: reklam materyali ve kampanya kullanılabilirliği (kampanyanın veya reklam materyallerinin etkin olup olmadığı), kampanya hedeflemesi (ör. kampanyanın hangi yerel ayarlarda yayınlanabileceği), politika kısıtlamaları (nelerin reklamının yapılabileceğine ilişkin uyumluluk gereklilikleri), bütçe kullanılabilirliği (kampanyanın harcanabilecek bütçesinin kalıp kalmadığı), harcama temposu (kampanyanın bütçesini şimdi mi yoksa günün başka bir saatinde mi harcaması gerektiği), yerleşim uyumluluğu (reklamın hangi tür sohbetler için uygun olduğu) ve reklamveren ile kampanya düzeyinde tekilleştirme (işletmelerin adil katılımını sağlamak için reklamveren başına uygun sayıda reklam seçilmesi).

Uygunluk kontrollerini geçen adaylar puanlama aşamasına ilerler. Orkestratör burada çeşitli puanlama sistemlerine araç çağrıları yapar. Bu sistemler; anlamsal alaka düzeyi (reklam kullanıcının amacıyla ilgili mi?), tahmin edilen etkileşim (reklamın görüntülenmesi, tıklanması ve reklamverenin istediği sonuca dönüşmesi olası mı?) ve geçmiş performans (reklam şimdiye kadar kullanıcılara gösterildiğinde iyi performans sergiledi mi?) gibi sunum ölçütlerini değerlendirir. Orkestratör, açık artırmadan önce alaka düzeyini ve güvenliği sağlamak için reklamları da filtreler. Bu sistemler seçenekleri daraltarak açık artırmaya hazır, daha küçük bir aday havuzu oluşturur. Ancak iletilecek nihai reklamı henüz belirlemez.

Orkestratör, hazırlanan adayları sohbet bağlamında değerlendirir ve hangi reklam adaylarının son açık artırmaya girebilecek kadar uygun olduğunu seçer. Orkestratör, hangi reklamın sunulacağına doğrudan karar vermez ve fiyat belirlemez. Açık artırma aracının değerlendirmesi için bağlama uygun adayları önerir.

Açık artırma, nihai sunum mekanizmalarını uygular. Bunlar; açık artırmaya kabul (asgari alaka düzeyi ve değer eşiğini geçme), harcama temposu (reklam bütçesini daha dengeli harcama), teklif ve açık artırma özelliklerinin hesaplanması, kaliteye göre ayarlanmış sıralama, fiyatlandırma ve nihai seçimdir.

Açık artırmadan sonra, her ikisi de ChatGPT’nin sohbet ortamına özgü olan iki durum reklamın iletilmesini engelleyebilir.

1. Reklam, sohbette uygunsuz görünebilir: Bütünlük modelleri (reklam sunmanın ne zaman uygun olduğuna karar veren modeller) sohbeti reklam yerleştirmek için güvenli bulmuş ve reklamın kendisi de politikalara uygun kabul edilmiş olsa bile, reklam bazı sohbetlerin bağlamında uygunsuz görünebilir. Orkestratör bu reklamların gösterilmesini engeller.

2. Reklam isteği zamanında ulaşmayabilir: ChatGPT modeli yanıt vermeye hazır olduğunda reklam henüz yerleştirilmeye hazır değilse, reklam isteği zaman aşımına uğrar ve reklam iletilmez. Bu nedenle reklam sisteminin amaçlarından biri, mümkün olduğunca hızlı çalışmaktır. ChatGPT modelinin yanıt süresi değişkendir ve reklamların yüklenmesini beklemek için sohbet yanıtlarını geciktirmeyiz.

Yukarıdaki tüm kontroller geçilirse reklamı görüntülenmek üzere ön yüze göndeririz. Bunu sunucu tarafında reklam iletimi olarak kabul ederiz. Ancak yine de reklamı kullanıcıya göstermeyebiliriz; bu, bilinçli bir tasarım tercihidir.

ChatGPT gibi sohbete dayalı bir üründe, reklam materyalinin sunucu tarafından iletilmesi reklamın gösterileceğini garanti etmez. Reklamın, mevcut sohbet turuna dahil edilebilecek kadar erken ulaşması da gerekir. Reklam materyali; başlık, açıklama, hedef bağlantı ve varsa eylem çağrısını içerir. Reklam sistemi ayrıca, reklamın sohbetle ilişkisini açıklayan kısa ve tarafsız bir giriş metni döndürür. Bu metin model tarafından oluşturulur. Giriş metninin reklam materyalinden ayrı tutulması, reklamverenin mesajını korurken ChatGPT’nin tarafsız üslubunu sürdürmesini sağlar.

ChatGPT’nin ön yüzü, giriş metnini ve reklam materyalini bir paket olarak alır. Paket, ChatGPT’nin yanıtı tamamen oluşturulmadan önce ulaşırsa ön yüz, reklamı ChatGPT yanıtının altında sponsorlu olduğunu açıkça belirterek gösterir. Çok geç ulaşırsa reklam o sohbet turunda gösterilmez. Sunucu tarafında reklam iletimi ile kullanıcının gördüğü bir reklam gösterimi arasındaki fark budur.

Reklam altyapımız, geleneksel günlük kaydı ve veri işleme hatlarını kullanır. Bunun üç temel faydası vardır: reklamverenler mevcut sistemlerini altyapımızla daha kolay entegre edebilir, raporlama verileriyle stratejilerini geliştirebilir ve ekibimiz sistemin iyileştirilebilecek alanlarını belirleyebilir. Bu raporlama ve optimizasyon araçlarının ötesinde, iletimimizi değerlendirmek ve diğer reklam modellerini eğitmek için yüksek kaliteli bir model kullanarak güçlü bir kendini geliştirme döngüsü oluşturuyoruz.

Gerçekleşen işlemlerin ayrıntılı dökümleri, reklam sisteminin her parçasını ayrı ayrı anlamamıza ve geliştirmemize yardımcı olur. Günlük işleme sistemi, aşağıdakiler gibi ayrıntılı sonuçları da kaydeder:

• Sohbet turu reklam için uygun değildi.

• Bir reklam oturumu başladı ancak getirme isteği yapılmadı.

• Getirme işlemi hiçbir aday döndürmedi.

• Adaylar getirildi ancak verilerinin tamamlanması veya uygunluk kontrolü başarısız oldu.

• Bir reklam iletildi ve daha sonra etkileşim aldı.

Bu ayrıntılı dökümler, reklam sunum sisteminin her parçasını ayrı ayrı geliştirmemize yardımcı olur. Fırsat tespitini geliştirmek için gereken bulgular; getirme, aday kalitesi, açık artırmaya katılım veya iletim güvenilirliğini geliştirmek için gerekenlerden farklıdır.

Model tabanlı değerlendirmenin temelinde, en güçlü ve akıl yürütme kapasitesi en yüksek modellerimizin sistem sonuçlarını gözlemleyip değerlendirmesi, ardından ön eğitim sonrası eğitilmiş LLM’yi daha iyi performans göstermesi için eğiterek geliştirmesi yatar. Örneğin, en güçlü modelimiz geri bildirim toplayıp daha küçük modelleri mümkün olan en iyi işi yapacak şekilde eğitirse orkestrasyon veya getirme için daha küçük ve verimli ya da akıl yürütme kapasitesi daha düşük modeller kullanabiliriz.

Kullanıcıların tıklama ve gizleme eylemleriyle verdikleri geri bildirimleri, kullanıcı anketlerini ve Ads Manager üzerinden reklamverenlerden gelen doğrudan geri bildirimleri toplar, bunlara göre harekete geçeriz. Geliştirme süreci boyunca ekibimizi de geri bildirimlere açık tutar, hem ChatGPT kullanıcılarının hem de reklamverenlerin ne istediğini doğrudan dinleriz. Bu geri bildirim kaynağı, modelin gözleme dayalı geri bildiriminden bile daha fazla yön verir. Doğru ürün kararlarına hızlı yinelemelerle ulaşmamızı sağlayan etkenlerden biri de budur. Model, kullanıcının niyetini anlayıp değerli bir şey sunmak için eleştirel düşünebilir; ancak neyin yerinde ve beğenilir olduğunu insanlar belirler.

Bir yıl önce reklam sistemimiz yoktu ve bu problem alanı üzerine düşünen yalnızca birkaç kişiydik. Bugün ise reklam akışını LLM tabanlı bir orkestratörün yönettiği, yıllıklandırılmış gelir hızı 1 milyar doları aşan sağlam bir reklam sistemimiz var. Codex, sistemimizi sıfırdan kurup bu önemli kullanım eşiğine benzersiz bir hızla ulaşmamızı sağlayan, gücümüzü katlayan temel bir etkendi. En başından itibaren ekibi ve geliştirme iş akışlarını, sistemi hızla kurup ölçeklendirmek için Codex’ten yararlanacak şekilde düzenledik. Codex’in kodu güvenilir ve güvenli biçimde yayına alabilmesi için koruyucu önlemler oluşturduk. Buna paralel olarak, Codex için veri altyapısı eklentileri kurduk. Böylece içgörü elde etme ve bunları sisteme iyileştirme olarak yansıtma döngüsünü büyük ölçüde kısalttık. Bu iyileştirmeler arasında yeni ürün özellikleri, kalite artışı ve daha iyi sistem performansı da yer alıyor.

Sistemimizin (reklam ilkelerimize⁠ dayanan) sınırları ile LLM tabanlı orkestratörümüzün birleşimi, her sohbeti bir reklam isteği olarak görmeden reklamları faydalı hâle getirmemizi sağlıyor. Önümüzdeki dönemde, kullanıcıya ve reklamverene sağlanan değeri artırmak için daha dinamik reklam biçimlerini denemeyi sürdüreceğiz. Örneğin, kullanıcılara reklamlar üzerinden işletmelerle doğrudan konuşma olanağı sunabiliriz. Altyapımızın OpenAI modelleri ve sürekli geri bildirim döngüleri üzerine kurulu, kendini geliştiren mimarisi; alaka düzeyini ve kişiselleştirmeyi zaman içinde daha da iyileştirmemizi hızlandıracak.