Dağıtımı simüle ederek model davranışını yayımdan önce tahmin etme

Yeni bir model yayımlanmadan önce laboratuvarların yalnızca neler yapabildiğini değil, yeni riskler doğurabileceği noktalar dahil gerçek dünya kullanımında nasıl davranmasının muhtemel olduğunu da anlaması gerekir. Yetenekler arttıkça bu daha da önemli hâle gelir. Dağıtım öncesi güvenlik incelememizin bir parçası olarak, model davranışını anlamak için hedefli değerlendirmelerden, red-teaming çalışmalarından ve diğer kontrollerden yararlanıyoruz. Artık model dağıtımlarını gerçekleşmeden önce simüle etmeye yönelik bir yöntem kullanmaya başladık; bu yöntem tamamlayıcı bir sinyal ekliyor: aday bir modelin kullanıcılara ulaşmadan önce nasıl davranabileceğine dair dağıtım benzeri bir önizleme.

Dağıtım Simülasyonu, gelecekteki bir dağıtımı gerçekleşmeden önce simüle etmeye yönelik bir yöntemdir. Bunu, önceki konuşmaları gizliliği koruyan bir şekilde yeni bir aday modelle yeniden oynatarak yapıyoruz. Bu, yeni istenmeyen davranışların ortaya çıkıp çıkmadığı ve ne sıklıkta görülebileceği dahil, yeni modelin yayımdan önce gerçekçi bağlamlarda nasıl yanıt verdiğini incelememizi sağlar.

Birden fazla GPT‑5 serisi Thinking dağıtımı genelinde Dağıtım Simülasyonu, istenmeyen model davranışı oranlarına ilişkin tahminlerimizi iyileştirdi, yayımdan önce yeni hizasızlık biçimlerini ortaya çıkarmaya yardımcı oldu ve modellerin test edildiklerini anlayabilme riskini azaltmaya yardımcı oldu. Yöntemi zorlu otonom ajan tabanlı kullanıma sunumlara da uyguladık; bunun standart sohbetin ötesine geçip araç kullanımını içeren daha karmaşık otonom ajan ortamlarına uzanabileceğini ve dahili model dağıtımlarından önce risk değerlendirmesi için de kullanılabileceğini gösterdik.

Model geliştirme sırasında, geleneksel değerlendirmelerdeki kör noktaları belirlemek ve azaltımlar ile dağıtım kararlarını bilgilendirmek için Dağıtım Simülasyonu’ndan elde edilen içgörüleri hâlihazırda kullandık. İş akışını çalıştırmayı kolaylaştırdıkça, gelecekteki model geliştirme sürecinde daha büyük bir rol oynamasını bekliyoruz.

Sektör genelinde kullanılan dağıtım öncesi değerlendirmeler genellikle zor, yüksek ciddiyette veya hasmane olacak şekilde bilinçli olarak seçilmiş sentetik, elle yazılmış ya da üretim komutlarının bir karışımından oluşur. Bu değerlendirmelerin genelde iç içe geçmiş iki hedefi olmuştur: dağıtım trafiğinde ortaya çıkma olasılığı çok düşük durumlarda stres testine tabi tutulduğunda modelin nasıl yanıt verdiğini değerlendirmek ve yeni istenmeyen davranışları bulmak ve bunların dağıtım zamanındaki sıklıklarını tahmin etmek dahil istenmeyen model davranışlarına dair genel bir anlayış kazanmak.

Geleneksel değerlendirmeler ilk hedef için kritik önemini korurken, Dağıtım Simülasyonu kuyruk dışı risklerde ikinci hedef açısından önemli bir ileri adımı temsil eder (deneylerimizde yaklaşımımızın 200.000 mesajda 1’den daha düşük sıklıkla gerçekleşen davranışları ölçmesi beklenemez). Dağıtım Simülasyonu’nun gücü, geleneksel değerlendirmelerdeki bazı temel zorlukların etrafından dolaşmasından gelir:

• Kapsam: değerlendirme komutlarının olası tüm istenmeyen model davranışı türlerini kapsayacağından emin olmak zordur. Yeni istenmeyen davranış türlerini ölçmek, yeni değerlendirmeler oluşturmayı ve hangi zararların ölçüleceğini bilmeyi gerektirir. Bu, zaman ve emek açısından yoğun olabilir ve değerlendirmeler zamanla doygunluğa ulaşabilir.
• Seçim yanlılıkları: geleneksel değerlendirmeler genellikle belirli istenmeyen model davranışları düşünülerek oluşturulur ve daha önce gerçekleşmiş bağlamlara doğru yanlılık yaratacak biçimlerde seçilir. Bu, tahminlerinin dağıtım dağılımının tamamında bu tür davranışların görülme sıklığı hakkında daha az bilgilendirici olmasına neden olabilir.
• Modeller tarafından test olarak tanınabilme: modeller test edildiklerini giderek daha fazla belirleyebiliyor; bu da davranışlarını ve güvenliklerine ilişkin sonraki ölçümlerimizi çarpıtabilir. OpenAI’da kullandığımız geleneksel değerlendirmelerin çoğu üretim trafiğinden alınmış olduğundan bu sorundan etkilenmese de, bu sektör genelinde kullanılan birçok geleneksel değerlendirme için yaygın bir endişedir.

Dağıtım Simülasyonu’nun ardındaki ana teknik basittir: dağıtımdan yakın tarihli konuşmaları alır, eski modelin özgün asistan yanıtını kaldırır ve yayımlanacak aday modelle yeniden üretiriz. Tamamlamaları yeni hata modlarını arayarak değerlendirir ve dağıtım zamanındaki istenmeyen davranış sıklığını bu dağıtım benzeri dağılımdaki sıklığa dayanarak tahmin ederiz. Aynı ölçümleri yayımdan sonra gerçek dağıtım trafiği üzerinde yapabilir, böylece dağıtım öncesi öngörülerimizi doğrulayabiliriz.

Dağıtım Simülasyonu yukarıda listelenen üç sınırlamayı önemli ölçüde azaltır: örnekleme yanlılığı, son kullanımın temsilî bir değerlendirme komutları dağılımı kullanılarak ele alınır. Temsilî komutlarla Dağıtım Simülasyonu kapsamla ilgili endişeleri de azaltabilir: daha fazla trafiği basitçe simüle ederek istenmeyen model davranışlarında daha geniş kapsam elde ederiz. Hesaplama ile kapsam arasındaki bu denge önemlidir; çünkü risk değerlendirmesinin bu eksenindeki kaliteyi, daha fazla değerlendirme oluşturmak için gereken manuel emek yerine hesaplama ile ölçeklenebilir kılar. Modeller de dağıtım simülasyonu yoluyla elde edilen konuşmalar ile gerçek dağıtım trafiği arasında ayrım yapabiliyor gibi görünmüyor.

Dağıtım Simülasyonu’nu değerlendirmek için GPT‑5.4 Thinking için 20 tür istenmeyen davranışın dağıtım zamanındaki sıklığına ilişkin tahminleri önceden kaydettik. Ayrıca GPT‑5 serisinin diğer Thinking model dağıtımları genelinde geriye dönük çalışmalar yürüttük. Analiz ettiğimiz model davranışları, sistem kartlarında raporladığımız hem hizasızlık hem de izin verilmeyen içerik kategorilerini kapsar (ör. modelin araçlar hakkında yalan söylemesi veya izin verilmeyen cinsel içerik üretmesi). Bu sonuçlarda yalnızca 20 istenmeyen model davranışı kategorisini izleyip yalnızca yeni hizasız davranışları arasak da, Dağıtım Simülasyonu dağıtım zamanındaki herhangi bir model özelliğini simüle etmek için uygulanabilecek genel bir tekniktir.

Yararlanılan üretim trafiği de GPT‑5 serisinin Thinking modellerindendi. Değerlendirmelerimizi çalıştırmadan önce hesapla bağlantılı tanımlayıcıları ve tanımlanabilir bilgileri otomatik olarak kaldırdık. Gizlilik politikamız doğrultusunda, yalnızca verilerinin model iyileştirmeleri için kullanılmasına izin veren kullanıcıların ChatGPT trafiğini analiz ettik. Bu değerlendirmelerden yalnızca toplulaştırılmış bulguları raporluyoruz. Toplamda, Ağustos 2025 ile Mart 2026 arasını kapsayan GPT‑5 Thinking’den GPT‑5.4 dağıtımlarına kadar yaklaşık 1,3 milyon kimlikten arındırılmış konuşmayı analiz ettik.

Dağıtım Simülasyonu’nun ürettiği dağıtım öncesi risk değerlendirmesinin kalitesini üç ana yolla değerlendiriyoruz:

• Taksonomi kapsamı: yayım sonrası denetim, ilk kötü davranış taksonomimizde eksik olan önemli hizasız davranışları ortaya çıkardı mı?
• Yön doğruluğu: simülasyon bilinen davranışlar için dağıtımdaki yaygınlığın artacağını mı azalacağını mı doğru tahmin etti?
• Oran kalibrasyonu: dağıtım öncesi tahminlerimiz dağıtımda daha sonra gözlemlediğimiz oranlara yakın mıydı? İyi oran kalibrasyonu elde etmek, yön doğruluğundan fazlasını gerektirir; bu da bunu mümkün olan en yüksek kalite standardı yapar.

Ayrıca modellerin Dağıtım Simülasyonu sırasında bir değerlendirmede olduklarını ne kadar anlayabildiğini ölçüyor ve yöntemin farklı dağıtım trafiği biçimlerine ve zorlu araç kullanımı ortamlarına ne kadar dayanıklı olduğunu test ediyoruz.

GPT‑5 serisi Thinking dağıtımları genelinde Dağıtım Simülasyonu, gerçek risk oranını belirlemede zorlu komut temel çizgilerinden daha iyi performans gösterdi, yayımdan önce hesap makinesi hacklemeyi ortaya çıkarabildi ve model açısından dağıtımdan potansiyel olarak ayırt edilemez göründü.

Tahminlerimize genel bakış. GPT‑5 serisinin Thinking model dağıtımlarına yönelik tüm tahminlerin görselleştirmesi için Şekil 2’ye bakın. GPT‑5.4 Thinking için tahminler önceden kaydedilmişti; diğerleri ise geriye dönük tahminlerdi. Toplamda tahminlerimizin medyan çarpımsal hatası 1,5x idi (ör. istenmeyen davranış oranı 100 binde 10 ise, bu 100 binde 15 veya 6,67 oran tahmin etmeye karşılık gelirdi). Yöntemimizin kuyruk hataları kabaca 10x daha büyük olabilse de, aşağıda tartışıldığı gibi simülasyon iş akışımızdaki ek iyileştirmelerle bunların önemli ölçüde azaltılabileceğini bekliyoruz.

Dağıtım Simülasyonu tahminlerini temel çizgilerle karşılaştırma. Dağıtım öncesi risk değerlendirmeleri için doğru tahmin edilmesi en önemli kategoriler, modelin dağıtımından sonra görülme sıklığında büyük değişimler olanlardır (ör. >= 1,5x). Bu alt kümede Dağıtım Simülasyonu, belirli bir istenmeyen davranışın model dağıtımıyla yaygınlıkta artıp azalacağını tahmin etmede (Şekil 3, sol) ve dağıtım zamanındaki kesin görülme sıklığını tahmin etmede (Şekil 3, sağ) temel çizgilerden önemli ölçüde daha iyidir. İki ana temel çizgi kullanıyoruz: sistem kartları ve lansman kararları için şu anda kullandığımız Zorlu Komutlar temel çizgisi ve önceki dağıtımdan alınan oranları yeni model için tahmin olarak kullanan saf bir temel çizgi.

İş akışımızdaki simülasyon hatası kaynakları. İş akışımızdaki mevcut hata kaynaklarını da inceledik. Özellikle büyük kuyruk hataları iş akışını dağıtım kararları için daha az güvenilir kılar: örneğin belirli bir tür istenmeyen davranışta büyük bir tahmini artış görüldüğünde, iş akışının ara sıra bile büyük hatalar yaptığı biliniyorsa, bunun güvenilir bir tahmin mi yoksa iş akışının bir yapay ürünü mü olduğu konusunda şüphe yaratır. Olası hatanın iki ana kaynağı vardır:

• Yeniden örnekleme ortamı sadakati hatası: üretim oranlarını doğru tahmin etmek için simülasyon iş akışımızın olabildiğince gerçekçi olması gerekir. Bu kısmen bir mühendislik problemidir (üretim trafiği için kullanılan aynı iş akışlarıyla modelden örnekleme yapmak) ve kısmen de sürekli değişen dış kaynaklara okuma/yazma erişimi gerektiren araçlar için ilginç bir zorluktur (ör. web aramaları veya yerel dosyalarla etkileşim). Gerçek bir dağıtım ile onun simülasyonundan gelen tahminleri karşılaştırarak simülasyon sadakati hatasını izole edebiliriz (yani zaten dağıtılmış modelin dağıtımını simüle ederek).
• Komut dağılımı kayması hatası: Dağıtım Simülasyonu ile ilgili büyük bir endişe, herhangi bir modelin dağıtımının girdilerde dağılımsal bir kaymaya yol açacak olmasıdır; özellikle kullanıcılar yeni model olanaklarına uyum sağlarsa. Dağıtımı yakın tarihli komutları kullanarak simüle ederken elde edilen tahminleri, gerçekleşen dağıtımdaki komutlarla elde edilenlerle karşılaştırarak komut dağılımı hatasını izole ederiz.

Şekil 4’te görüldüğü üzere, iş akışımızdaki hatanın büyük bir kısmının —özellikle kuyruk hataları için— şu anda simülasyon sadakatinden kaynaklandığını görüyoruz. Bu iyi haber; çünkü simülasyon sadakatini iyileştirmenin, komut dağılımı kaymasını azaltmaktan genellikle daha kolay olmasını bekliyoruz. Ayrıca komut dağılımı kayması hatasının, önceki dağıtımdan en güncel veriler kullanılarak azaltılabileceğini görüyoruz. Daha fazla ayrıntı araştırma makalesinde bulunabilir.

Otomatik denetim, bu dağıtımlarda ortaya çıkan tek yeni hizasızlığı buldu. İncelediğimiz dağıtım penceresinde, simüle edilmiş dağıtımlara dayalı otomatik denetim iş akışımız, analiz edilen ChatGPT trafiğinde belirlediğimiz tek yeni hizasızlık olan “hesap makinesi hackleme”yi yayımdan önce ortaya çıkarırdı. Hesap makinesi hackleme, modelin bir tarayıcı aracını hesap makinesi olarak kullanırken eylemi arama olarak sunmasını içeren bir ödül hackleme biçimidir. Bu, büyük ölçekli denetimin her yeni hatayı yakalayacağı anlamına gelmez; ancak gerçekçi bağlamların neden önemli olduğunu gösterir: simülasyonu başlatmak için kullanılan özgün trafikte mevcut olmasalar bile, daha dar değerlendirme kümelerinin doğrudan hiç ortaya çıkaramayabileceği davranışları tetikleyebilirler.

Dağıtım benzeri bağlamlar kullanmanın bir diğer avantajı, modeller test edildiklerini fark ettiğinde ortaya çıkan çarpıklıkları azaltabilmesidir. Önceki araştırmalarda, biz ve başkaları⁠(yeni bir pencerede açılır), modellerin ne zaman test edildiklerinin çoğu zaman farkında olduğunu bulduk. Örneğin modeller, ne üzerinde test edildiklerini, bir değerlendiricinin neyi beğenebileceğini ve —hatalı davranıyorlarsa— yakalanıp yakalanmayacaklarını düşünce zincirlerinde akıl yürütebilir. Bu, hizalama değerlendirmeleri için bir sorun oluşturur: Bir model yalnızca test edildiğini düşündüğü için iyi davranıyorsa, dağıtıldığını öğrendiğinde güvenli davranacağına dair güveni nasıl oluştururuz?

Dağıtım Simülasyonu’nun, gerçek dağıtım verilerine dayanmayan geleneksel değerlendirmelere kıyasla modellerin sergilediği değerlendirme farkındalığı düzeylerini önemli ölçüde azalttığını gösteriyoruz. Değerlendirme farkındalığını üç şekilde ölçüyoruz: bir modelden bir gidişatın üretimden mi yoksa değerlendirmeden mi geldiğini sınıflandırmasını isteyerek, hizalama için değerlendirildiğine dair açık ifadeler açısından düşünce zincirini izleyerek ve ayrıca metagaming⁠(yeni bir pencerede açılır) için, yani gözetim hakkındaki her türlü akıl yürütmeyi izleyerek. Simüle edilmiş dağıtım trafiği, üç ölçümün tamamında gerçek dağıtım trafiğiyle yakından eşleşti. Örneğin GPT‑5.2, gerçek üretim trafiğini zamanın %5,4’ünde, simüle edilmiş trafiği ise %5,1’inde değerlendirme benzeri olarak etiketledi; geleneksel değerlendirmeler (çoğunlukla sentetik örneklerden oluşan SWE-Bench veya MonorepoBench gibi) ise neredeyse zamanın %100’ünde değerlendirme olarak sınıflandırıldı.

Yöntemin standart sohbet modlarının ötesine uzanıp uzanamayacağını test etmek için zorlu ajan tabanlı kodlama ortamlarında dağıtım simülasyonlarını da inceledik. Özellikle GPT‑5.4’ten 120.000 dahili çalışan otonom ajan gidişatını kullanarak GPT‑5.5 tabanlı kodlama ajanlarının dahili dağıtımını simüle ediyoruz. Bu iki amaca hizmet eder: dağıtım simülasyonunun dahili dağıtımlar için risk değerlendirmesinde de nasıl kullanılabileceğini gösterir ve dikkatli araç simülasyonu yoluyla otonom ajan ortamlarında bile simülasyon sadakatini yüksek yapmanın mümkün olduğunu ortaya koyar.

Yukarıda simülasyon sadakatinin mevcut iş akışımızdaki ana hata kaynaklarından biri olduğunu tartıştık. Dağıtım simülasyonlarını gerçekçi kılmadaki zorluklardan biri, araçların sürekli değişen dış kaynaklara okuma/yazma erişimi gerektiğinde bile gerçekçi biçimde davranmasını gerektirmesidir (ör. web aramaları veya yerel dosyalarla etkileşim).

Bu, otonom ajan dağıtımları gibi ortamlar için özellikle zordur: tek bir otonom ajan gidişatı yüzlerce araç çağrısına, depo durumuna, ağ yanıtına veya geçici hatalara bağlı olabilir. Bu, gerçek araç erişimiyle yeniden örneklemeyi hem zorlu hem de potansiyel olarak tehlikeli hâle getirir. Bunu dikkate alarak, araç çağrılarını canlı sistemlere uygulamak yerine başka bir LLM ile simüle ediyoruz. Bu LLM’ye ek olanaklar sağlamanın gerçekçilik ve dolayısıyla tahmin kalitesi için gerekli olduğunu gösteriyoruz.

Araç simülatörü modele özgün son tur kullanıma sunumu, konuşma zamanındaki depoyu, araç çağrısı/yanıt çiftlerinden oluşan bir veritabanını ve salt okunur bağlayıcıları veriyoruz. Bir ayırt edicinin simüle edilmiş kullanıma sunumları gerçek olanlardan ayırmaya çalıştığı bir testte, gerçekçilik %11,6 kazanma oranından %49,5’e yükseldi; bu da %50 şans düzeyine yakındır.

Simülasyon sadakatine ek kanıt olarak, GPT‑5.4 Codex thinking trafiğini GPT‑5.4 ile simüle ettiğimizde hizasızlık oranları neredeyse hata çubuklarının içinde kalıyor. Buna karşılık, dağıtım öncesi testlerimizde GPT‑5.5 çoğu kategoride daha hizasızdı.

Bu sonuçlar, çevredeki araç ortamı yeterli sadakatle simüle edildiğinde Dağıtım Simülasyonu’nun karmaşık otonom ajan ortamlarına uzanabileceğini düşündürüyor.

Doğal bir soru, harici denetçilerin özel üretim trafiğine erişmeden aynı faydaların bir kısmını elde edip edemeyeceğidir. Bunu, ön ek olarak kullanılan 100.000 WildChat konuşmasıyla test ettik. WildChat, güncel OpenAI üretim verilerinden daha az doğruydu ancak yine de bilgilendiriciydi: güncel üretim verilerinin ortalama çarpımsal hatası WildChat’ten daha düşüktü (1,75× ve 2,44×); WildChat ise çoğu zaman üretim oranlarının kabaca 3× içinde kaldı ve daha iyi modeli şansın üzerinde oranlarda belirledi. WildChat tarzı değerlendirmeleri, geliştiriciler tarafından yürütülen Dağıtım Simülasyonu’na umut verici bir tamamlayıcı olarak görüyoruz. Bu konudaki daha fazla sonuç için şu eşlik eden Alignment blog gönderisine⁠(yeni bir pencerede açılır) bakın.

Dağıtım Simülasyonu, hasmane değerlendirmelerin, red-teaming çalışmalarının ve hedefli kuyruk riski analizinin yerine geçmez; bunları tamamlar. Bazı istenmeyen model davranışlarının tespiti, düşünce zincirinin izlenebilirliğine dayanır: gelecekteki modeller daha az okunaklı akıl yürütür, önemli adımları atlar veya niyeti gizlemeyi öğrenirse, bu istenmeyen davranış biçimlerini tespit edemeyebiliriz. Ayrıca üretim verileri özel olduğu için geliştiriciler şu anda harici denetçilere kıyasla temsilî bağlamlara daha güçlü erişime sahiptir. Daha iyi kamu veri kümeleri bu farkı daraltabilir.

Dağıtım Simülasyonu, örneklenen ön eklerde görünecek kadar sık gerçekleşen davranışlar için en yararlıdır. On milyon konuşmada bir gerçekleşen bir hatanın milyon örnekli bir çalışmada keşfedilmesi olası değildir; bu nedenle hasmane değerlendirmeler, red-teaming ve hedefli kuyruk riski analizi gerekli olmaya devam eder. Şu anda tek bir asistan yanıtını simüle etmeye odaklanıyoruz; çünkü ön deneylerde birden fazla turu simüle ederek tahminlerimizde anlamlı iyileşmeler bulmadık. Bu, gelecekte simülasyon sadakatini iyileştirmek için önemli bir alan olabilir.

Yöntem ayrıca ön ek dağılımına, yani yeniden örneklenen konuşmaların karışımına bağlıdır. Geçmiş trafik, büyük bir ürün değişikliği, yeni araç yayımı, dünya olayı veya mevsimsel kaymadan sonra kullanıcıların daha yetenekli bir modelle nasıl etkileşime girdiğiyle eşleşmeyebilir. Tam makaledeki analiz, bu sorunun mevcut en güncel veriler kullanılarak azaltılabileceğini gösteriyor.

Dağıtım simülasyonu, sınır laboratuvarlarının ve değerlendiricilerin dil modellerinin gerçek dünyada nasıl davranabileceğini tahmin etmesine ve dağıtımdan önce oluşturdukları riskleri anlamasına yardımcı olan yeni bir dağıtım öncesi risk değerlendirmesi yaklaşımıdır. Mevcut güvenlik değerlendirmelerini, red-teaming çalışmalarını ve hedefli analizi, dağıtım davranışı tahminlerini iyileştirebilen, değerlendirme farkındalığı etkilerini azaltabilen ve dağıtım öncesi tahminleri yayımdan sonra kontrol edilebilir kılan daha üretim benzeri bir tahmin katmanı ekleyerek tamamlar. Geleneksel değerlendirmelerle birlikte kullanıldığında Dağıtım Simülasyonu, model risk değerlendirmesini daha gerçekçi, daha nicel ve dağıtım kararları için daha yararlı hâle getirmeye yardımcı olabilir.