Cara kami membina sistem iklan baharu ChatGPT demi kepercayaan pengguna dan kerelevanan

Sistem pengiklanan konvensional dibina untuk bertindak balas terhadap unit niat pengguna yang berasingan. Apabila pengguna mencari atau melihat sesuatu dalam talian, sistem iklan menerima pertanyaan dan paparan halaman itu sebagai peristiwa, lalu mencari iklan yang sepadan berdasarkan peristiwa tersebut. Membina susunan iklan untuk ChatGPT berbeza: niat pengguna berkembang merentas perbualan dan berubah sepanjang berbilang giliran perbualan, kadangkala tanpa detik yang sesuai untuk pengiklanan. Untuk menyokong paradigma baharu ini, kami membina sistem penghantaran iklan yang direka khas. Susunan iklan jenis baharu ini berasaskan LLM termaju dan tersuai yang menjalani latihan lanjutan. LLM ini membuat panggilan alat untuk pemerolehan (mengenal pasti pilihan terbaik), pemeringkatan (meramalkan interaksi pengguna), kerelevanan (menilai kegunaan iklan), serta menjalankan lelongan untuk pemilihan iklan akhir dan penetapan harga.

Sistem iklan kami mengambil kira kehalusan matlamat pengguna yang berkembang melalui tiga keputusan reka bentuk utama: 1) melaksanakan sesi iklan yang mengekalkan keadaan, iaitu maklumat diingati merentas giliran dalam satu perbualan dan merentas berbilang perbualan, 2) bergantung pada LLM tersuai yang menjalani latihan lanjutan dan menggunakan seni bina panggilan alat untuk mentafsir konteks serta niat tersirat perbualan, kemudian memilih, memeringkat dan menghantar iklan dengan berkesan, dan 3) menjalankan proses pemilihan iklan secara berasingan daripada penjanaan jawapan ChatGPT, dalam perkhidmatannya sendiri, supaya iklan tidak mempengaruhi jawapan dan nada neutral ChatGPT dikekalkan. Kami menggunakan LLM yang menjalani latihan lanjutan untuk menyelaraskan seluruh aliran iklan, menentukan iklan yang tepat untuk dipaparkan pada masa yang sesuai berdasarkan giliran semasa pengguna serta sejarah perbualan. Dahulu, membina sistem iklan yang mampu menambah baik dirinya sendiri seperti ini dari awal mengambil masa bertahun-tahun. Namun, Iklan ChatGPT mencapai kadar hasil tahunan $1 bilion dalam tempoh kurang 200 hari selepas pelancaran; kini, lebih 100,000 pengiklan telah menyiarkan iklan di ChatGPT sejak pelancarannya.

Permintaan pengiklanan konvensional biasanya bermula dengan peristiwa yang jelas. Pengguna menghantar pertanyaan carian atau membuka halaman web, lalu sistem iklan menerima permintaan. Sistem jenis ini agak mudah: sistem mendapatkan calon iklan berpotensi, memeringkatnya, menjalankan lelongan untuk menetapkan harga yang sesuai bagi peluang itu, kemudian memaparkan iklan terpilih kepada pengguna. ChatGPT secara semula jadinya tidak menghasilkan detik yang begitu jelas.

Dalam perbualan ChatGPT, orang datang dengan matlamat, bukan sekadar pertanyaan carian yang memerlukan satu jawapan. Mereka mungkin merancang perjalanan, memilih perisian untuk perniagaan, melengkapkan rumah dengan perabot atau mempelajari hobi baharu. Semua ini tidak berlaku dalam satu giliran perbualan. ChatGPT sering membantu pengguna memperjelas perkara yang penting sepanjang proses itu.

Contohnya, pasukan kejuruteraan kami bertanya kepada ChatGPT tentang cara berlatih untuk perlumbaan: perbualan bermula dengan soalan umum tentang larian. Beberapa giliran kemudian, mereka bertanya tentang kasut untuk membantu latihan. Makna komersial perbualan berubah apabila setiap kekangan baharu dinyatakan—dan konteks peribadi ini berkembang merentas berbilang sesi. Sistem yang terus bertindak berdasarkan mesej pertama boleh membuat pemerolehan berdasarkan niat yang sama sekali salah, lalu berpotensi menjejaskan pengalaman pengguna dan mengganggu urusan mereka.

Untuk membina sistem iklan kami, kami perlu beralih daripada seni bina pengiklanan permintaan-respons dan membina susunan iklan dari awal bagi mencari peluang ekonomi berpotensi serta mengutamakan kepercayaan dan nilai untuk pengguna.

Menjadikan setiap mesej sebagai permintaan tersendiri, seperti dalam sistem iklan konvensional, membawa beberapa risiko bagi penggunaan sembang kami: 1) salah mentafsir matlamat pengguna kerana terlalu memudahkannya, 2) memulakan aliran pengiklanan terlalu awal, sebelum keperluan sebenar pengguna jelas, 3) memaparkan iklan yang mengganggu dan bukannya menyokong perjalanan pengguna, dan 4) menjalankan semula aliran iklan secara tidak cekap setiap kali permintaan berubah, lalu menimbulkan gangguan dan membazirkan kos. Daripada dibina berasaskan peristiwa individu, sistem iklan (yang merangkumi pemerolehan, pemeringkatan dan penghantaran) mengekalkan sesi berkeadaan. Ini bermakna sesi iklan berjalan sepanjang giliran yang layak, sambil mengingati dan mengemas kini maklumat apabila maklumat itu berubah. ChatGPT menghantar konteks permintaan awal kepada pelayan iklan. Sistem iklan mengikuti dan menyesuaikan diri dengan perkembangan perbualan, bukannya bergantung pada satu pertanyaan yang diringkaskan secara menyeluruh.

Proses pemilihan iklan berjalan selari dengan penjanaan respons biasa ChatGPT untuk memastikan aliran iklan tidak mempengaruhi respons ChatGPT. Iklan ditapis dan dipilih melalui sistem berasingan yang memproses perbualan mengikut kekangan kelayakan, kualiti dan penghantarannya sendiri. Pemisahan seni bina yang penting ini—perkhidmatan berbeza yang menggunakan model dan kod berasingan—membolehkan pelayan teras ChatGPT mengendalikan penjanaan respons organik. Sementara itu, sistem iklan menilai secara bebas sama ada terdapat peluang pengiklanan yang sesuai dan, jika ada, menyediakan penempatan tajaan melalui proses penyampaian berasingan.

Selain melindungi pengalaman pengguna, pemisahan ini mempunyai beberapa kesan praktikal. ChatGPT tidak bergantung pada sistem iklan—perkhidmatan ini langsung tidak saling terikat dan tidak berkongsi model penjanaan kandungan. Jadi, jika sistem penyampaian iklan tidak tersedia atau perlahan, respons organik ChatGPT tetap berjalan tanpa terjejas. Ini bermakna sistem iklan tidak boleh menyebabkan produk ChatGPT tergendala atau menjadi perlahan. Satu lagi manfaat pemisahan ini ialah piawaian yang sangat tinggi dikekalkan untuk memastikan iklan benar-benar bernilai. Tidak memulangkan sebarang iklan ialah hasil yang biasa dan dianggap berjaya. Sistem hanya menghantar iklan jika iklan itu jelas bermanfaat kepada pengguna dan pengiklan.

Satu lagi komponen seni bina utama dalam susunan teknologi iklan kami ialah LLM yang menjalani latihan lanjutan. LLM ini mentafsir perbualan dan menjalankan seluruh aliran iklan dalam gelung berasaskan ejen—membuat panggilan alat kepada fungsi teras sistem iklan, daripada peringkat pemerolehan kepada pemeringkatan, lelongan dan akhirnya penghantaran. Kami memanggil LLM ini penyelaras.

Bahagian pertama aliran iklan ialah memahami niat pengguna untuk memulakan proses pemerolehan, iaitu pencarian pantas yang sengaja diperluas untuk mendapatkan iklan berpotensi yang akan ditapis kemudian. Penerimaan perbualan secara beransur-ansur menjadikan tugas pemerolehan lebih kaya dengan maklumat tetapi juga lebih kabur, kerana sistem iklan perlu membezakan niat semasa daripada konteks yang tidak lagi relevan. Penyelaras mesti mentafsir rujukan kepada mesej terdahulu, mengenal pasti apabila pengguna bercakap secara hipotesis, dan tidak menganggap setiap sebutan produk atau perkhidmatan sebagai permintaan untuk membeli sesuatu.

Penyelaras iklan menggunakan konteks perbualan dan pengguna yang tersedia, mengulangi proses untuk mencari iklan yang baik serta menentukan alat yang perlu dipanggil dan waktunya. Matlamat utamanya ialah mencari iklan paling sesuai bagi perbualan dan konteks itu, yang mengimbangi nilai tinggi untuk pengguna dan pengiklan. Jika pengguna memilih untuk memperibadikan iklan, penyelaras turut mempertimbangkan maklumat tidak sensitif yang tersedia tentang perbualan pengguna yang untuk mencari padanan iklan terbaik.

Apabila perbualan berlanjutan dan penyelaras iklan menerima maklumat terkini, penyelaras boleh menjalankan set panggilan alat baharu dengan konteks yang dikemas kini untuk mencari iklan lebih baik dan memulangkannya kepada klien. Klien kemudian boleh menggunakan iklan baharu ini jika diterima tepat pada masanya.

Penyelaras direka untuk mengimbangi nilai untuk pengguna dan pengiklan, dengan sentiasa mengutamakan pengguna.

Sistem iklan terdiri daripada alat-alat berasingan, dan penyelaras memanggilnya secara berulang untuk mencari iklan terbaik bagi sesuatu perbualan. Secara umum, penyelaras menukar perbualan kepada ringkasan teks pendek, yang kemudian ditukar kepada pembenaman semantik (makna tersimpan yang lebih mudah diteliti oleh sistem iklan). Penyelaras mendapatkan calon iklan menggunakan pembenaman semantik tersebut, menapis kelayakannya (berdasarkan belanjawan, tetapan pengguna dan semakan awal lain), menilai kualiti serta kerelevanannya, dan melakukan pemeringkatan akhir untuk mengenal pasti peluang penempatan bernilai tinggi pada penghujung respons sembang. Oleh itu, setiap iklan mesti memenuhi piawaian kelayakan dan kerelevanan yang tinggi untuk layak ditempatkan.

LLM penyelaras mula-mula menyediakan satu atau lebih pertanyaan yang mewakili niat komersial yang relevan. Ini boleh merangkumi penulisan semula konteks perbualan untuk meluaskan kemungkinan komersial melangkaui pertanyaan carian satu dengan satu, kemudian menghasilkan perwakilan semantik. Penyelaras merumuskan perbualan berbilang giliran untuk sistem pemerolehan, supaya iklan daripada pangkalan data kami dapat diperoleh secara terarah.

Penempatan iklan akan lebih bermanfaat kepada pengguna dan pengiklan jika iklan hanya muncul apabila niat pengguna difahami secara mendalam. Penggunaan berbilang pertanyaan dapat mengekalkan aspek niat yang berbeza. Contohnya, perbualan tentang perancangan perjalanan mungkin mengandungi keperluan berbeza berkaitan pengangkutan, penginapan atau aktiviti. Sistem pemerolehan boleh mengekalkan perbezaan ini dan bukannya memampatkan seluruh perbualan menjadi satu rentetan literal.

Contohnya, mari lihat urutan perbualan yang mungkin berlaku tentang kasut mendaki:

1. Apakah tempat yang patut saya kunjungi semasa lawatan dua hari ke Yosemite?

2. Adakah cuaca akan sejuk minggu depan?

3. Barisan produk baharu [masukkan jenama?]

Walaupun pengguna belum mengaitkan soalan tentang jenama kasut dengan perjalanan ke Yosemite, perbualan ini mungkin diwakili dalam sistem iklan kami oleh dua pertanyaan, seperti [Kasut yang sesuai untuk aktiviti mendaki.] dan [Barisan produk baharu [jenama] yang sesuai untuk perjalanan]. Ini mungkin hanya percubaan pertama; penyelaras direka untuk terus memperhalus perwakilan ini sehingga menemui iklan dalam inventori kami yang sangat bernilai kepada pengguna.

Pemerolehan ialah proses membentuk kumpulan pilihan iklan yang sengaja diperluas. Calon boleh diperoleh melalui strategi pemerolehan berbeza dan kemudiannya bersaing di bawah kekangan penyampaian yang sama. Kami membina berbilang indeks yang dioptimumkan untuk kekangan sistem dan produk yang berbeza. Contohnya, indeks bagi iklan suapan produk direka untuk mengambil kira ulasan produk positif atau negatif semasa mendapatkan iklan terbaik. Ini tidak relevan bagi iklan lain yang mungkin tidak mempunyai ulasan berkaitan. Setiap indeks dioptimumkan untuk suatu versi carian jiran terdekat anggaran (ANN), menggunakan pembenaman yang mewakili niat pengguna. Carian ANN ini ialah algoritma penghampiran untuk pemerolehan merentas indeks semantik yang besar. Ini bermakna iklan diperoleh dengan sangat pantas dengan menghampiri penyelesaian yang baik, bukannya mencari penyelesaian yang “tepat”, sambil mengekalkan kebanyakan calon yang relevan.

Tujuan penapisan adalah untuk mengetepikan semua calon iklan yang tidak memenuhi piawaian penempatan dari segi kerelevanan, bida dan belanjawan. Bergantung pada calon dan konfigurasi, semakan penapisan boleh merangkumi ketersediaan bahan kreatif dan kempen (sama ada kempen atau bahan kreatif iklan aktif), penyasaran kempen (contohnya, lokal yang dibenarkan untuk kempen), sekatan dasar (syarat pematuhan tentang perkara yang boleh diiklankan), ketersediaan belanjawan (sama ada kempen masih mempunyai baki untuk dibelanjakan), kawalan kadar perbelanjaan (sama ada belanjawan kempen patut dibelanjakan sekarang atau pada waktu lain hari itu), kesesuaian penempatan (jenis perbualan yang layak untuk iklan ini), serta penyahduplikasian pada peringkat pengiklan dan kempen (memilih bilangan iklan yang sesuai bagi setiap pengiklan untuk memastikan penyertaan adil antara perniagaan).

Calon yang lulus semakan kelayakan beralih ke fasa pemarkahan. Pada fasa ini, penyelaras membuat panggilan alat kepada pelbagai sistem pemarkahan untuk mempertimbangkan faktor penyampaian seperti kerelevanan semantik (adakah iklan relevan dengan matlamat pengguna?), ramalan interaksi (adakah iklan berkemungkinan dilihat, diklik dan menghasilkan tindakan yang diingini pengiklan?), serta prestasi terdahulu (adakah iklan menunjukkan prestasi baik apabila dipaparkan kepada pengguna setakat ini?). Penyelaras turut menapis iklan untuk memastikan kerelevanan dan keselamatan sebelum lelongan. Sistem ini mengecilkan pilihan kepada kumpulan calon yang sedia untuk lelongan, tetapi masih belum menentukan iklan akhir yang akan dihantar.

Penyelaras menilai calon yang telah disediakan dalam konteks perbualan dan memilih calon iklan yang cukup sesuai untuk menyertai lelongan akhir. Penyelaras tidak menentukan secara langsung iklan yang akan disajikan dan tidak menetapkan harganya. Penyelaras mencalonkan iklan yang sesuai dengan konteks untuk dinilai oleh alat lelongan.

Lelongan menerapkan mekanisme penyampaian akhir, termasuk kelayakan menyertai lelongan (melepasi ambang minimum kerelevanan dan nilai), kawalan kadar perbelanjaan (membelanjakan belanjawan iklan dengan lebih sekata), pengiraan bida dan ciri lelongan, pemeringkatan terlaras mengikut kualiti, penetapan harga serta pemilihan akhir.

Selepas lelongan, iklan mungkin gagal dihantar atas dua sebab yang khusus kepada medium perbualan ChatGPT.

1. Iklan mungkin dirasakan tidak sesuai dalam sembang: Walaupun perbualan itu sendiri dianggap selamat untuk penempatan iklan oleh model integriti (model yang menentukan bila iklan sesuai disajikan), dan iklan itu sendiri dianggap mematuhi dasar, ada kalanya iklan mungkin dirasakan tidak sesuai dalam konteks perbualan tertentu. Penyelaras menyekat iklan-iklan ini daripada dipaparkan.

2. Permintaan iklan mungkin tidak tiba tepat pada masanya: Jika model ChatGPT sudah sedia untuk memberikan respons tetapi iklan belum sedia untuk ditempatkan, permintaan iklan tamat masa dan iklan tidak dihantar. Oleh itu, salah satu matlamat sistem iklan ialah beroperasi sepantas mungkin. Masa respons model ChatGPT bersifat dinamik, dan kami tidak melambatkan respons sembang untuk menunggu iklan dimuatkan.

Jika semua semakan di atas dipenuhi, kami menghantar iklan kepada bahagian hadapan untuk dipaparkan. Kami menganggap ini sebagai penghantaran iklan kepada pihak pelayan, tetapi kami masih mungkin tidak memaparkan iklan kepada pengguna—dan ini memang disengajakan.

Dalam produk perbualan seperti ChatGPT, penghantaran bahan kreatif iklan kepada pihak pelayan tidak menjamin iklan akan dipaparkan; iklan juga mesti tiba tepat pada masanya untuk disertakan dalam giliran semasa. Bahan kreatif iklan merangkumi tajuk, penerangan, pautan destinasi dan sebarang seruan tindakan. Selain itu, sistem iklan turut memulangkan mukadimah yang dijana oleh model, iaitu pengenalan ringkas dan neutral yang menerangkan kaitan iklan dengan perbualan. Memisahkan mukadimah daripada bahan kreatif mengekalkan mesej pengiklan serta memastikan nada ChatGPT kekal neutral.

Bahagian hadapan ChatGPT menerima mukadimah dan bahan kreatif iklan dalam satu pakej. Jika pakej itu tiba sebelum respons ChatGPT selesai dijana, bahagian hadapan memaparkan iklan di bawah respons ChatGPT dengan label tajaan yang jelas. Jika tiba terlalu lewat, iklan tidak dipaparkan untuk giliran itu. Inilah perbezaan antara penyampaian iklan pada bahagian pelayan dengan paparan iklan kepada pengguna.

Susunan teknologi pengiklanan kami menggunakan saluran pengelogan dan data konvensional yang mempunyai tiga manfaat utama: pengiklan lebih mudah menyepadukan sistem sedia ada mereka dengan teknologi kami, pengiklan boleh menambah baik strategi menggunakan data pelaporan, dan pasukan kami boleh mengenal pasti bahagian sistem yang perlu ditambah baik. Selain alat pelaporan dan pengoptimuman ini, kami menggunakan model berkualiti tinggi untuk menilai penghantaran iklan kami dan melatih model iklan lain, lalu membentuk gelung penambahbaikan kendiri yang berkesan.

Perincian tentang perkara yang berlaku membantu kami memahami dan menambah baik setiap bahagian sistem iklan secara berasingan. Sistem pemprosesan log turut merekodkan hasil terperinci seperti:

• Giliran itu tidak layak untuk pengiklanan.

• Sesi iklan bermula tetapi tiada pemerolehan diminta.

• Pemerolehan tidak menemukan sebarang calon.

• Calon diperoleh tetapi gagal dalam proses pelengkapan data atau tidak memenuhi kriteria kelayakan.

• Iklan dihantar dan kemudiannya menerima interaksi.

Perincian ini membantu kami menambah baik setiap bahagian sistem penyampaian iklan secara berasingan. Penambahbaikan pengesanan peluang memerlukan bukti yang berbeza daripada penambahbaikan pemerolehan, kualiti calon, penyertaan lelongan atau kebolehpercayaan penghantaran.

Idea di sebalik penilaian berasaskan model ialah model kami yang paling berkeupayaan, dengan tahap penaakulan tertinggi, memerhati dan menilai hasil sistem kami. Model ini kemudian menambah baik LLM yang menjalani latihan lanjutan dengan melatihnya untuk berprestasi lebih baik. Contohnya, kami boleh menggunakan model lebih kecil dan cekap atau model dengan tahap penaakulan lebih rendah untuk penyelarasan atau pemerolehan jika model kami yang paling berkeupayaan mengumpulkan maklum balas dan melatih model kecil ini untuk menjalankan tugas sebaik mungkin.

Kami mengumpulkan dan mengambil tindakan berdasarkan maklum balas manusia (klik dan tindakan menyembunyikan iklan oleh pengguna), serta tinjauan pengguna dan maklum balas langsung pengiklan melalui Pengurus Iklan kami. Pasukan kami juga sedia menerima maklum balas sepanjang proses pembangunan, dan mendengar secara langsung kehendak pengguna ChatGPT serta pengiklan. Sumber maklum balas ini lebih mempengaruhi hala tuju kami berbanding maklum balas pemerhatian model, dan merupakan salah satu faktor yang membolehkan kami membuat penambahbaikan berulang dengan pantas sehingga mencapai keputusan produk yang tepat. Model mungkin mampu memahami niat pengguna dan berfikir secara kritis untuk menyampaikan sesuatu yang bernilai, tetapi manusia yang membentuk pertimbangan tentang apa yang sesuai.

Setahun lalu, kami belum mempunyai sistem iklan dan hanya beberapa orang yang memikirkan bidang masalah ini. Kini kami mempunyai sistem iklan mantap yang menjana hasil pada kadar tahunan melebihi $1 bilion, dengan penyelaras berasaskan LLM yang menjalankan aliran iklan. Codex memainkan peranan penting dalam melipatgandakan keupayaan kami, membolehkan kami membina sistem dari awal hingga mencapai pencapaian penggunaan besar ini dengan kepantasan yang tiada tandingan. Sejak awal, kami menyusun pasukan dan aliran kerja pembangunan untuk menggunakan Codex bagi membina dan memperluas sistem dengan pantas. Kami membina kawalan keselamatan supaya Codex dapat mengeluarkan kod dengan selamat dan boleh dipercayai. Pada masa yang sama, kami menyediakan pemalam infrastruktur data untuk Codex bagi memendekkan dengan ketara kitaran pengumpulan cerapan dan pelaksanaan penambahbaikan sistem, termasuk ciri produk baharu, peningkatan kualiti dan prestasi sistem yang lebih baik.

Gabungan batas sistem kami (yang berlandaskan prinsip pengiklanan⁠ kami) dan penyelaras berasaskan LLM membolehkan kami menjadikan pengiklanan berguna tanpa menganggap setiap perbualan sebagai permintaan iklan. Pada masa hadapan, kami akan terus menguji format iklan yang lebih dinamik untuk meningkatkan nilai untuk pengguna (contohnya, membolehkan pengguna bercakap terus dengan perniagaan melalui iklan) dan pengiklan. Seni bina susunan ini mampu menambah baik dirinya sendiri, dibina berasaskan model OpenAI dengan gelung maklum balas berterusan. Ini akan mempercepat usaha kami untuk terus meningkatkan kerelevanan dan pemperibadian dari semasa ke semasa.