Meramalkan tingkah laku model sebelum keluaran melalui simulasi penerapan

Sebelum mengeluarkan model baharu, makmal perlu memahami bukan sahaja apa yang boleh dilakukannya, tetapi juga bagaimana ia berkemungkinan berkelakuan dalam penggunaan dunia sebenar, termasuk tempat ia mungkin memperkenalkan risiko baharu. Ini menjadi lebih penting apabila keupayaan meningkat. Sebagai sebahagian daripada semakan keselamatan prapenerapan kami, kami memanfaatkan penilaian bersasar, red-teaming dan semakan lain untuk memahami tingkah laku model. Kami kini mula menggunakan kaedah untuk mensimulasikan penerapan model sebelum ia berlaku, yang menambah isyarat pelengkap: pratonton seperti penerapan tentang bagaimana model calon mungkin berkelakuan sebelum sampai kepada pengguna.

Simulasi Penerapan ialah kaedah untuk mensimulasikan penerapan masa depan sebelum ia berlaku. Kami melakukannya dengan memainkan semula perbualan terdahulu secara memelihara privasi menggunakan model calon baharu. Ini membolehkan kami mengkaji cara model baharu bertindak balas dalam konteks realistik sebelum keluaran, termasuk sama ada tingkah laku tidak diingini baharu muncul dan seberapa kerap ia mungkin berlaku.

Merentas beberapa penerapan Thinking siri GPT‑5, Simulasi Penerapan menambah baik anggaran kadar tingkah laku model yang tidak diingini, membantu menimbulkan bentuk salah jajaran baharu sebelum keluaran, dan membantu mengurangkan risiko bahawa model dapat mengetahui bahawa ia sedang diuji. Kami juga menggunakan kaedah ini pada pelancaran agentik yang mencabar, menunjukkan bahawa ia boleh melangkaui sembang standard kepada tetapan ejen yang lebih kompleks yang melibatkan penggunaan alat, dan juga boleh digunakan untuk penilaian risiko sebelum penerapan model dalaman.

Kami telah pun menggunakan cerapan daripada Simulasi Penerapan semasa pembangunan model untuk mengenal pasti titik buta dalam penilaian tradisional serta memaklumkan mitigasi dan keputusan penerapan. Apabila kami menjadikan saluran paip ini lebih mudah dijalankan, kami menjangka ia akan memainkan peranan lebih besar dalam proses pembangunan model pada masa depan.

Penilaian prapenerapan yang digunakan merentas industri biasanya terdiri daripada gabungan prompt sintetik, ditulis secara manual atau daripada produksi yang sengaja dipilih kerana sukar, berkeparahan tinggi atau bersifat adversarial. Penilaian ini umumnya mempunyai dua matlamat yang saling berkait: menilai cara model bertindak balas apabila diuji tekanan dalam situasi yang berkemungkinan sangat kecil berlaku dalam trafik penerapan, dan memperoleh pemahaman umum tentang tingkah laku model yang tidak diingini, termasuk mencari tingkah laku tidak diingini baharu dan meramalkan kekerapannya pada masa penerapan.

Walaupun penilaian tradisional kekal penting untuk matlamat pertama, Simulasi Penerapan mewakili langkah besar ke hadapan bagi matlamat kedua untuk risiko bukan-ekor (dalam eksperimen kami, pendekatan kami tidak boleh dijangka mengukur tingkah laku yang berlaku dengan kekerapan kurang daripada 1 dalam 200,000 mesej). Kekuatan Simulasi Penerapan datang daripada mengelakkan beberapa cabaran teras dalam penilaian tradisional:

• Litupan: sukar untuk yakin bahawa prompt penilaian akan meliputi semua jenis tingkah laku model yang tidak diingini. Mengukur jenis tingkah laku tidak diingini yang baharu memerlukan penciptaan penilaian baharu, serta mengetahui bahaya yang perlu diukur. Ini boleh memakan masa dan tenaga kerja, dan penilaian boleh menjadi tepu dari masa ke masa.
• Bias pemilihan: penilaian tradisional biasanya dibina dengan tingkah laku model tidak diingini yang khusus dalam fikiran, dipilih dengan cara yang berat sebelah terhadap konteks yang pernah berlaku sebelum ini. Ini boleh menjadikan anggarannya kurang bermaklumat tentang kejadian tingkah laku sedemikian dalam keseluruhan keluasan taburan penerapan.
• Dapat dikenali sebagai ujian oleh model: model semakin mampu menentukan bahawa ia sedang diuji, yang boleh memesongkan tingkah lakunya dan ukuran hiliran kami tentang keselamatannya. Walaupun banyak penilaian tradisional yang kami gunakan di OpenAI juga diambil daripada trafik produksi dan tidak mengalami isu ini, ini ialah kebimbangan biasa bagi banyak penilaian tradisional yang digunakan merentas industri.

Teknik utama di sebalik Simulasi Penerapan adalah mudah: kami mengambil perbualan terkini daripada penerapan, membuang respons pembantu asal daripada model lama, dan menjana semulanya dengan model calon yang akan dikeluarkan. Kami menilai pelengkapan dengan mencari mod kegagalan baharu, dan menganggar kekerapan tingkah laku tidak diingini pada masa penerapan berdasarkan kekerapan dalam taburan seperti penerapan ini. Kami boleh melakukan ukuran yang sama selepas keluaran pada trafik penerapan sebenar, membolehkan kami mengesahkan ramalan prapenerapan kami.

Simulasi Penerapan mengurangkan dengan ketara tiga batasan yang disenaraikan di atas: bias pensampelan ditangani dengan menggunakan taburan prompt penilaian yang mewakili penggunaan terkini. Simulasi Penerapan dengan prompt yang mewakili juga boleh mengurangkan kebimbangan tentang litupan: kami mendapat litupan lebih besar terhadap tingkah laku model yang tidak diingini hanya dengan mensimulasikan lebih banyak trafik. Pertukaran antara pengiraan dan litupan ini penting, kerana ia menjadikan kualiti paksi penilaian risiko ini berskala dengan pengiraan, bukannya usaha manual yang diperlukan untuk membina lebih banyak penilaian. Model juga nampaknya tidak dapat membezakan antara perbualan yang diperoleh melalui simulasi penerapan dengan trafik penerapan sebenar.

Untuk menilai Simulasi Penerapan, kami mendaftarkan terlebih dahulu ramalan bagi kekerapan pada masa penerapan untuk 20 jenis tingkah laku tidak diingini bagi GPT‑5.4 Thinking. Kami juga menjalankan kajian retrospektif merentas penerapan lain model Thinking siri GPT‑5. Tingkah laku model yang kami analisis meliputi kedua-dua salah jajaran dan kategori kandungan yang tidak dibenarkan yang telah kami laporkan dalam kad sistem (cth. model berbohong tentang alat, atau mengeluarkan kandungan seksual yang tidak dibenarkan). Walaupun untuk keputusan ini kami hanya menjejaki 20 kategori tingkah laku model yang tidak diingini, dan hanya mencari tingkah laku salah jajaran baharu, Simulasi Penerapan ialah teknik umum yang boleh digunakan untuk mensimulasikan sebarang sifat model pada masa penerapan.

Trafik produksi yang kami manfaatkan juga daripada model Thinking siri GPT‑5. Sebelum menjalankan penilaian, kami secara automatik membuang pengecam berkaitan akaun dan maklumat yang boleh dikenal pasti. Selaras dengan dasar privasi kami, kami hanya menganalisis trafik ChatGPT daripada pengguna yang membenarkan data mereka digunakan untuk penambahbaikan model. Kami hanya melaporkan dapatan agregat daripada penilaian ini. Secara keseluruhan, kami menganalisis kira-kira 1.3 juta perbualan yang telah dinyahkenal pasti merentas penerapan GPT‑5 Thinking hingga GPT‑5.4, dari Ogos 2025 hingga Mac 2026.

Kami menilai kualiti penilaian risiko prapenerapan yang dihasilkan oleh Simulasi Penerapan dalam tiga cara utama:

• Litupan taksonomi: adakah pengauditan selepas keluaran menimbulkan sebarang tingkah laku salah jajaran penting yang tiada dalam taksonomi tingkah laku buruk awal kami?
• Ketepatan arah: adakah simulasi meramalkan dengan betul sama ada prevalens penerapan akan meningkat atau menurun bagi tingkah laku yang diketahui?
• Penentukuran kadar: adakah anggaran prapenerapan kami hampir dengan kadar yang kami perhatikan kemudian dalam penerapan? Mencapai penentukuran kadar yang baik memerlukan lebih daripada ketepatan arah, menjadikannya standard kualiti tertinggi yang mungkin.

Kami juga mengukur sejauh mana model dapat mengetahui bahawa ia berada dalam penilaian semasa Simulasi Penerapan, dan menguji keteguhan kaedah ini terhadap pelbagai bentuk trafik penerapan serta tetapan penggunaan alat yang mencabar.

Merentas penerapan Thinking siri GPT‑5, Simulasi Penerapan mengatasi garis dasar prompt mencabar dalam menentukan kadar risiko sebenar, dapat menimbulkan penggodaman kalkulator sebelum keluaran, dan kelihatan berpotensi tidak dapat dibezakan daripada penerapan oleh model.

Gambaran keseluruhan ramalan kami. Untuk visualisasi semua ramalan bagi penerapan model Thinking siri GPT‑5, lihat Rajah 2. Ramalan untuk GPT‑5.4 Thinking telah didaftarkan terlebih dahulu, manakala yang lain ialah ramalan retroaktif. Secara agregat, ramalan kami mempunyai ralat pendaraban median 1.5x (cth. jika kadar tingkah laku tidak diingini ialah 10 dalam 100k, ini bersamaan dengan menganggarkan kadar 15 atau 6.67 dalam 100k). Walaupun ralat ekor kaedah kami boleh kira-kira 10x lebih besar, kami menjangka ia boleh dikurangkan dengan ketara melalui penambahbaikan lanjut pada saluran paip simulasi kami, seperti dibincangkan di bawah.

Membandingkan ramalan Simulasi Penerapan dengan garis dasar. Kategori paling penting untuk dianggarkan dengan betul bagi penilaian risiko prapenerapan ialah kategori yang mengalami perubahan besar dalam kejadian selepas penerapan model (cth. >= 1.5x). Pada subset ini, Simulasi Penerapan jauh lebih baik daripada garis dasar dalam meramalkan sama ada tingkah laku tidak diingini tertentu akan meningkat atau menurun dalam prevalens dengan penerapan model (Rajah 3, kiri), dan dalam menganggarkan kejadian tepatnya pada masa penerapan (Rajah 3, kanan). Kami menggunakan dua garis dasar utama: garis dasar Prompt Mencabar yang kini kami gunakan untuk kad sistem dan keputusan pelancaran, serta garis dasar naif yang menggunakan kadar daripada penerapan sebelumnya sebagai anggaran untuk model baharu.

Sumber ralat simulasi dalam saluran paip kami. Kami juga mengkaji sumber ralat semasa dalam saluran paip kami. Khususnya, ralat ekor yang besar menjadikan saluran paip kurang boleh dipercayai untuk keputusan penerapan: contohnya, apabila melihat peningkatan besar yang diramalkan dalam tingkah laku tidak diingini jenis tertentu, jika saluran paip diketahui mempunyai ralat besar walaupun sekali-sekala, ia menimbulkan keraguan sama ada ini anggaran yang boleh dipercayai atau artifak saluran paip. Terdapat dua sumber utama ralat yang mungkin:

• Ralat kesetiaan persekitaran pensampelan semula: untuk menganggarkan kadar produksi dengan tepat, saluran paip simulasi kami perlu serealistik mungkin. Ini sebahagiannya masalah kejuruteraan (mensampel daripada model menggunakan saluran paip yang sama seperti trafik produksi), dan sebahagiannya cabaran menarik untuk alat yang memerlukan akses baca/tulis kepada sumber luaran yang sentiasa berubah (cth. carian web atau interaksi dengan fail setempat). Kami boleh mengasingkan ralat kesetiaan simulasi dengan membandingkan ramalan daripada penerapan sebenar dan simulasinya (iaitu, mensimulasikan penerapan model yang sudah diterapkan).
• Ralat anjakan taburan prompt: kebimbangan utama dengan Simulasi Penerapan ialah bahawa penerapan mana-mana model akan menyebabkan anjakan taburan dalam input, terutama jika pengguna menyesuaikan diri dengan affordance model baharu. Kami mengasingkan ralat taburan prompt dengan membandingkan anggaran apabila mensimulasikan penerapan menggunakan gesaan terkini berbanding prompt daripada penerapan yang direalisasikan.

Seperti dilihat dalam Rajah 4, kami mendapati bahawa sebahagian besar ralat dalam saluran paip kami–terutamanya untuk ralat ekor–pada masa ini disebabkan oleh kesetiaan simulasi. Ini berita baik, kerana kami menjangka kesetiaan simulasi umumnya lebih mudah ditambah baik berbanding mengurangkan anjakan taburan prompt. Kami juga mendapati bahawa ralat anjakan taburan prompt boleh dikurangkan dengan menggunakan data paling terkini daripada penerapan sebelumnya. Butiran lanjut boleh didapati dalam kertas penyelidikan.

Pengauditan automatik menemui satu salah jajaran baharu yang diperkenalkan dalam penerapan ini. Dalam tetingkap penerapan yang kami kaji, saluran paip pengauditan automatik kami berdasarkan penerapan tersimulasi akan menimbulkan ‘penggodaman kalkulator’ sebelum keluaran, iaitu satu-satunya salah jajaran baharu yang kami kenal pasti dalam trafik ChatGPT yang dianalisis. Penggodaman kalkulator ialah satu bentuk penggodaman ganjaran yang melibatkan model menggunakan alat pelayar sebagai kalkulator sambil mempersembahkan tindakan itu sebagai carian. Ini tidak bermakna pengauditan berskala besar akan menangkap setiap kegagalan baharu, tetapi ia menunjukkan mengapa konteks realistik penting: ia boleh mencetuskan tingkah laku yang mungkin tidak pernah ditimbulkan secara langsung oleh set eval yang lebih sempit, walaupun ia tidak wujud dalam trafik asal yang digunakan untuk menyemai simulasi.

Satu lagi kelebihan menggunakan konteks seperti penerapan ialah ia boleh mengurangkan herotan yang timbul apabila model mengenali bahawa ia sedang diuji. Dalam penyelidikan terdahulu, kami serta pihak lain⁠(dibuka dalam tetingkap baru) mendapati bahawa model sering sedar apabila ia sedang diuji. Contohnya, model mungkin menaakul dalam rantaian fikirannya tentang apa yang sedang diuji, apa yang mungkin disukai penilai, dan – jika ia berkelakuan buruk – sama ada ia akan ditangkap. Ini menimbulkan masalah bagi penilaian penjajaran: jika model hanya berkelakuan baik kerana ia fikir ia sedang diuji, bagaimana kita membina keyakinan bahawa ia akan berkelakuan selamat setelah mengetahui ia telah diterapkan?

Kami menunjukkan bahawa Simulasi Penerapan mengurangkan dengan ketara tahap kesedaran penilaian yang dipamerkan oleh model berbanding penilaian tradisional yang tidak berdasarkan data penerapan sebenar. Kami mengukur kesedaran penilaian dalam tiga cara: dengan meminta model mengelaskan sama ada trajektori datang daripada produksi atau penilaian, memantau rantaian fikiran untuk pernyataan jelas tentang dinilai bagi penjajaran, serta untuk metagaming⁠(dibuka dalam tetingkap baru): sebarang penaakulan tentang pengawasan. Trafik penerapan tersimulasi hampir sepadan dengan trafik penerapan sebenar merentas ketiga-tiga ukuran. Contohnya, GPT‑5.2 melabelkan trafik produksi sebenar sebagai seperti penilaian 5.4% daripada masa dan trafik tersimulasi 5.1% daripada masa, manakala penilaian tradisional (seperti SWE-Bench atau MonorepoBench, yang terutama terdiri daripada contoh sintetik) dikelaskan sebagai penilaian hampir 100% daripada masa.

Untuk menguji sama ada kaedah ini boleh melangkaui mod sembang standard, kami juga mengkaji simulasi penerapan untuk tetapan pengekodan agentik yang mencabar. Khususnya, kami menggunakan 120,000 trajektori agentik pekerja dalaman daripada GPT‑5.4 untuk mensimulasikan penerapan dalaman ejen pengekodan berdasarkan GPT‑5.5. Ini memenuhi dua tujuan: ia menunjukkan bagaimana simulasi penerapan juga boleh digunakan untuk penilaian risiko bagi penerapan dalaman, dan menunjukkan bahawa kesetiaan simulasi yang tinggi boleh dicapai walaupun dalam tetapan agentik melalui simulasi alat yang teliti.

Di atas kami membincangkan bahawa kesetiaan simulasi ialah salah satu sumber ralat utama dalam saluran paip semasa kami. Salah satu cabaran untuk menjadikan simulasi penerapan realistik ialah ia memerlukan alat bertindak secara realistik, walaupun apabila ia memerlukan akses baca/tulis kepada sumber luaran yang sentiasa berubah (cth. carian web atau interaksi dengan fail setempat).

Hal ini amat mencabar terutamanya bagi tetapan seperti penggunaan ejen autonomi, kerana satu trajektori ejen boleh bergantung pada ratusan panggilan alat, keadaan repositori, respons rangkaian atau kegagalan sementara. Keadaan ini menjadikan pensampelan semula dengan akses alat sebenar bukan sahaja sukar, malah berpotensi berisiko.Sehubungan itu, kami tidak melaksanakan panggilan alat pada sistem sebenar, sebaliknya mensimulasikannya menggunakan model bahasa besar (LLM) yang lain. Kami menunjukkan bahawa pemberian keupayaan tambahan kepada LLM ini adalah penting untuk menghasilkan simulasi yang realistik, sekali gus meningkatkan kualiti anggaran.

Kami membekalkan model simulasi alat tersebut dengan trajektori asal pada giliran akhir, repositori pada waktu perbualan berlaku, pangkalan data pasangan panggilan alat dan respons, serta penyambung baca sahaja. Dalam ujian yang melibatkan diskriminator yang cuba membezakan antara trajektori simulasi dan trajektori sebenar, tahap kerealistikan meningkat daripada kadar kejayaan 11.6% kepada 49.5%, iaitu hampir menyamai tahap kebarangkalian rawak sebanyak 50%.

Sebagai bukti tambahan kesetiaan simulasi, apabila mensimulasikan trafik GPT‑5.4 Codex thinking dengan GPT‑5.4, kadar salah jajaran hampir berada dalam julat ralat. Sebaliknya, dalam ujian prapenerapan kami, GPT‑5.5 lebih tidak sejajar dalam kebanyakan kategori.

Keputusan ini mencadangkan bahawa Simulasi Penerapan boleh diperluas kepada tetapan ejen kompleks apabila persekitaran alat sekeliling disimulasikan dengan kesetiaan mencukupi.

Soalan semula jadi ialah sama ada juruaudit luaran boleh mendapat sebahagian manfaat yang sama tanpa akses kepada trafik produksi peribadi. Kami menguji ini dengan 100,000 perbualan WildChat yang digunakan sebagai awalan. WildChat kurang tepat berbanding data produksi OpenAI terkini, tetapi masih bermaklumat: data produksi terkini mempunyai ralat pendaraban purata lebih rendah daripada WildChat (1.75× berbanding 2.44×), manakala WildChat sering kekal dalam kira-kira 3× daripada kadar produksi dan mengenal pasti model yang lebih baik pada kadar melebihi peluang. Kami melihat penilaian gaya WildChat sebagai pelengkap yang menjanjikan kepada Simulasi Penerapan yang dijalankan pembangun. Lihat catatan blog Alignment⁠(dibuka dalam tetingkap baru) pendamping ini untuk lebih banyak keputusan tentang perkara ini.

Simulasi Penerapan ialah pelengkap kepada, bukan pengganti bagi, penilaian adversarial, red-teaming dan analisis risiko ekor bersasar. Pengesanan sesetengah tingkah laku model yang tidak diingini bergantung pada kebolehmonitoran rantaian fikiran: jika model masa depan menaakul dengan kurang jelas, meninggalkan langkah penting, atau belajar mengaburkan niat, kami mungkin tidak dapat mengesan bentuk tingkah laku tidak diingini ini. Tambahan pula, kerana data produksi bersifat peribadi, pembangun pada masa ini mempunyai akses lebih kuat kepada konteks yang mewakili berbanding juruaudit luaran. Set data awam yang lebih baik boleh merapatkan jurang itu.

Simulasi Penerapan paling berguna untuk tingkah laku yang berlaku cukup kerap untuk muncul dalam awalan yang disampel. Kegagalan yang berlaku sekali dalam sepuluh juta perbualan tidak mungkin ditemui dalam larian sejuta sampel, jadi penilaian adversarial, red-teaming dan analisis risiko ekor bersasar masih diperlukan. Kami kini menumpukan pada mensimulasikan satu respons pembantu, kerana dalam eksperimen awal kami tidak menemui peningkatan bermakna pada anggaran kami dengan mensimulasikan berbilang pusingan. Ini mungkin menjadi bidang penting untuk meningkatkan kesetiaan simulasi pada masa depan.

Kaedah ini juga bergantung pada taburan awalan—campuran perbualan yang sedang disampel semula. Trafik sejarah mungkin tidak sepadan dengan cara pengguna berinteraksi dengan model yang lebih berkeupayaan selepas perubahan produk besar, keluaran alat baharu, peristiwa dunia atau anjakan bermusim. Analisis dalam kertas penuh mencadangkan bahawa isu ini boleh dikurangkan dengan menggunakan data paling terkini yang tersedia.

Simulasi penerapan ialah pendekatan baharu kepada penilaian risiko prapenerapan yang membantu makmal frontier dan penilai meramalkan bagaimana model bahasa mungkin berkelakuan di dunia sebenar serta memahami risiko yang ditimbulkannya sebelum penerapan. Ia melengkapi penilaian keselamatan sedia ada, red-teaming dan analisis bersasar dengan menambah lapisan ramalan yang lebih seperti produksi, yang boleh menambah baik anggaran tingkah laku penerapan, mengurangkan kesan kesedaran penilaian, dan menjadikan ramalan prapenerapan boleh disemak selepas keluaran. Digunakan bersama penilaian tradisional, Simulasi Penerapan boleh membantu menjadikan penilaian risiko model lebih realistik, lebih kuantitatif dan lebih berguna untuk keputusan penerapan.