İtiraflar, dil modellerini nasıl dürüst tutabilir?

Yapay zekâ sistemleri giderek daha yetenekli hâle geliyor ve bir cevaba nasıl ve neden ulaştıkları da dâhil olmak üzere onları olabildiğince derinlemesine anlamak istiyoruz. Bazen bir model kestirme bir yol izler veya yanlış hedef için optimizasyon yapar, ancak nihai çıktısı yine de doğru görünür. Bunun ne zaman gerçekleştiğini ortaya çıkarabilirsek kullanıma sokulan sistemleri daha iyi izleyebilir, eğitimi iyileştirebilir ve çıktılara olan güveni artırabiliriz.

OpenAI ve başkaları tarafından yapılan araştırmalar, yapay zekâ modellerinin halüsinasyon görebileceğini⁠, ödül hackleme yapabileceğini veya dürüst olmayabileceğini göstermiştir. Şu anda aldatıcı taktiklere başvurma⁠(yeni bir pencerede açılır) gibi en endişe verici uygunsuz davranışları yalnızca stres testlerinde ve çekişmeli değerlendirmelerde görüyoruz. Ancak modeller giderek daha yetenekli ve daha bağımsız hâle geldikçe nadir görülen uyumsuzluk biçimleri bile daha önemli hâle geliyor ve bu da bizi bu riskleri daha iyi tespit etmek, anlamak ve azaltmak için gereken yöntemlere yatırım yapmaya motive ediyor. 

Bu çalışma böyle bir yaklaşımı araştırıyor: Modelleri istenmeyen davranışlarda bulunduklarında bunu açıkça itiraf etmeleri için eğitmek. Biz buna itiraf adını veriyoruz. 

Bir itiraf, modelin kullanıcıya verdiği ana cevaptan ayrı, ikinci bir çıktıdır. Ana yanıt; doğruluk, stil, yardımseverlik, uyumluluk ve güvenlik gibi birçok boyutta değerlendirilir ve bu çok yönlü sinyaller, modelleri daha iyi yanıtlar üretmek üzere eğitmek için kullanılır. İtiraf ise aksine yalnızca tek bir şeyle değerlendirilir ve eğitilir: dürüstlük. Bir itiraf yapısından esinlenerek modelin itirafında söylediği hiçbir şey eğitim sırasında aleyhine kullanılmaz. Model dürüstçe bir testi hacklediğini, kasıtlı düşük performans sergilediğini veya talimatları ihlal ettiğini itiraf ederse bu itiraf, ödülünü azaltmak yerine artırır. Amaç, modelin gerçekte ne yaptığını doğru bir şekilde bildirmesini teşvik etmektir. 

Testlerimizde itiraf yönteminin, modelin hatalı davranışlarının görünürlüğünü önemli ölçüde artırdığını tespit ettik. Yanlış davranışları tetiklemek amacıyla tasarlanan değerlendirmelerimizde ortalama alındığında “yanlış negatifler” (yani modelin talimatlara uymaması ve ardından bunu itiraf etmemesi) olasılığı yalnızca %4,4’tür.

“Pilot proje” itiraf modelimizin bir dizi karşıt veri seti üzerindeki doğruluğu. Sonuçlar, uydu ve itiraf etmedi (doğru negatif), uydu ve itiraf etti (yanlış pozitif), uymadı ve itiraf etmedi (yanlış negatif), ve uymadı ve itiraf etti (doğru pozitif) olarak kategorize edilir.

Bir itiraf, modelin kendisine verilen açık ve zımni talimatlara veya politikalara hem ruhen hem de yazılı olarak ne kadar uyduğuna ve herhangi bir durumda “kısayollara başvurduğuna” veya “hile yaptığına”, politikaları ihlal ettiğine ya da herhangi bir şekilde beklentilerin altında kaldığına dair kendi bildirdiği bir rapordur. Araştırmamızda modellerin kendi eksikliklerini dürüstçe bildirecek şekilde eğitilebileceğini tespit ediyoruz. GPT‑5 Thinking’in itiraflar üretmesi için bir versiyonunu eğittik ve onu, plan yapma, hackleme, talimatları ihlal etme ve halüsinasyonlar gibi davranışları ortaya çıkarmak amacıyla tasarlanmış belirli dağıtım dışı stres testi veri setlerinde değerlendirdik. Modelin, bu istenmeyen davranışlarda bulunduğunda bile bunları itiraf etmesinin çok muhtemel olduğunu fark ettik. Yukarıdaki şekil, itiraf yaklaşımının çeşitli veri setleri ve görevler arasında geniş ölçüde etkili olduğunu göstermektedir. 

Kullanıcı ile model arasındaki bir etkileşim model yanıtıyla sona erdikten sonra modelden bir itiraf raporu sağlamasını talep eden bir “sistem mesajı” gönderilerek bir itiraf talep edilebilir. Rapor, modelin son yanıtıyla ilgilidir ve (1) bu yanıtın karşılaması gereken tüm açık ve örtük talimatların, kısıtlamaların ve hedeflerin listesini, (2) yanıtın gerçekten bu hedeflerin her birini karşılayıp karşılamadığına dair dürüst ve objektif bir analizi ve (3) modelin yanıtı üretirken karşılaştığı belirsizliklerin, muğlaklıkların veya “zor karar anlarının” listesini içerir. Eğitim sırasında bir itiraf; hedeflerin tamlığı, uyum analizinin doğruluğu ve belirsizliklerin kapsanması açısından yalnızca itirafı puanlayan ayrı bir ödül modeli tarafından değerlendirilir. Bu ödüller yalnızca itiraf çıktısına uygulanır ve asla ana cevabın ödülünü etkilemez. Bu, yukarıda tartışılan özelliği, yani modelin itiraf sırasında söylediği hiçbir şeyin ana cevabı için ödülünü etkilemeyeceğini (ne zarar vereceğini ne de yardımcı olacağını) garanti eder.

İtirafların ardındaki teori basittir. Birçok istenmeyen model davranışı, modelin aynı anda birden fazla hedef için optimizasyon yapmasını istediğimizde ortaya çıkar. Takviyeli öğrenme sırasında model, bir istemi görür, bir yanıt üretir ve bir ödül kazanır. Zamanla, iyi puan alan türde yanıtlar üretmeyi öğrenir. Zorluk; cevabın ne kadar doğru olduğu, ne kadar yardımcı olduğu, ürün ve politika şartnamelerine uyup uymadığı, güvenlik kısıtlamalarına uyup uymadığı ve kullanıcıların genellikle tercih ettikleriyle ne kadar örtüştüğü gibi birçok farklı ödül sinyali unsurunun bir arada değerlendirilmesidir. Bu sinyaller etkileşime girdiğinde modeli istemediğimiz davranışlara doğru yanlışlıkla yönlendirebilir.

Örneğin halüsinasyonlar⁠ üzerine yaptığımız çalışma, bazı veri setlerinin belirsizliği dürüstçe kabul etmektense kendinden emin bir tahmini daha fazla ödüllendirdiğini göstermiştir. Aşırı onaylayıcılık⁠ üzerine yaptığımız araştırma, tercih sinyali çok güçlü olduğunda modellerin aşırı uyumlu hâle gelebileceğini göstermiştir. Ayrıca diğer grupların çalışmaları⁠(yeni bir pencerede açılır), modellerin “ödül hackleme” yapabileceğini, yani eğitim düzeninde asıl amacımızı gerçekleştirmeden yüksek puan alabilecekleri boşluklar bulabileceklerini göstermiştir. Bazı durumlarda bu kısayollar genellenerek⁠(yeni bir pencerede açılır) kullanıma sokmada daha da zararlı davranışlara yol açabilir.

İtiraflar, hedefleri tamamen ayırarak bu sorundan kaçınır. Ana yanıt, tüm olağan faktörler için optimize edilmeye devam eder. İtiraf tam olarak tek bir şeyin üzerine odaklanır: dürüstlük. Modelin itirafta söylediği hiçbir şey aleyhine kullanılmaz ve itiraf, ana cevabın ödülünü etkilemez. Bu, model ilk çıktısında yanıltıcı davransa veya kestirme yollara başvursa bile itirafta bunu kabul etmesi için hâlâ bir sebebi olduğu anlamına gelir. Uygulamada gördüğümüz şudur: Modeller, ana cevapta gizledikleri durumlarda bile itirafta kötü davranışı kabul etmeye isteklidir. İtiraflar başarısız olduğunda bunun nedeni genellikle modelin kasıtlı olarak yanlış yönlendirmeye çalışmasından ziyade talimatlar muğlak olduğu için veya bir hata yapıldığını fark etmediği için gerçekten kafasının karışmış olmasıdır. Daha da önemlisi ilk sonuçlar, ilk cevap hiçbir düşünce zinciri olmadan üretildiğinde bile itirafların etkili kaldığını göstermektedir. Bu da itiraf dürüstlüğünün iç muhakeme okunaklılığına bağlı olmadığını ve gelecekteki model mimarilerinde genelleştirilebileceğini düşündürmektedir.

İtiraf eğitimi, temel gerçek uyum etiketleri olmadan da işe yarar. “Gerçek veri” derken modelin gerçekten bir talimatı uygulayıp uygulamadığını veya ihlal edip etmediğini belirten, dışarıdan sağlanan kesin bir etiketi kastediyoruz. Birçok gerçek dünyada görevinde bu etiketler mevcut değildir. Modelin bir kuralı ihlal ettiğini kesin olarak bilseydik, bir itirafa ihtiyaç duymak yerine bu ihlali doğrudan cezalandırabilirdik. Bunun yerine model, ne yaptığını düşündüğüne dair yapılandırılmış ve kanıta dayalı bir açıklama ürettiği için ödüllendirilir. Rapor, bu düzen altında dürüstlüğün ortaya çıkma eğiliminde olduğunu gösteriyor. Hakemden geçebilecek tutarlı ve uydurma bir anlatı oluşturmaktansa doğru ve kanıtlarla desteklenmiş bir açıklama sunmanın genellikle model için daha kolay olması nedeniyle bunun olduğunu düşünüyoruz. Bu, itirafların başarısız olduğu durumları (yanlış negatifler ve yanlış pozitifler) ve bunların nasıl ortaya çıktığını da ele alan raporda incelenen temel bir varsayımdır.

Rapor, itirafların işe yaradığına dair başlangıç kanıtları sunmaktadır, ancak kesin bir kanıt olarak değerlendirilmemelidir. Öncü bir model (GPT‑5 Thinking) kullanmamıza rağmen deneylerimiz sınırlı ölçekteydi ve nispeten az miktarda hesaplama ve veri kullandık. Bu çalışmayı bir sonraki seviyeye taşımaktan ve itirafların dürüstlüğünün, eğitimin ölçeklendirilmesiyle birlikte devam edip etmeyeceğini görmekten heyecan duyuyoruz.

Deneylerimizin bir parçası olarak daha zayıf bir model tarafından hesaplanan “hacklenebilir” bir ödül sinyaline karşı modelleri kasıtlı olarak eğittik. Bu düzenleme hem ana ödül hem de itiraf ödülü için geçerliydi. Model, zayıf ödül sinyalini istismar etmeyi öğrendi: Görünürdeki doğruluğu (zayıf model tarafından değerlendirildiğinde) artarken gerçek doğruluğu (daha güçlü bir değerlendirici tarafından değerlendirildiğinde) azaldı. 

Ancak itiraf kanalı aynı zayıf sinyal üzerinde eğitilmiş olmasına rağmen doğruluğu zıt yönde değişti. Model, itiraf ödülünü optimize etmenin en iyi yolunun, ana ödülü hacklediğinde bunu kabul etmek olduğunu öğrendi. Ana davranış saparken bile itiraflar zamanla daha doğru hâle geldi.

Rapor⁠(yeni bir pencerede açılır) daha fazla deney ve sonuç içermektedir. İtiraf kanalıyla eğitilmiş modeli, aynı şekilde eğitilmiş ancak itiraf kanalı bulunmayan bir kontrol modeliyle karşılaştırdık. İtirafların başarısız olduğu durumları da inceledik. “Hataların” neredeyse tamamı modelin kafası gerçekten karıştığında, yani talimatlar muğlak olduğunda ya da hata yaptığının farkına varmadığında meydana geldi. (Yukarıdaki yanlış negatif örneğine⁠ bakabilirsiniz.)

İtirafların sınırlamaları vardır. Kötü davranışları engellemez, onları açığa çıkarırlar. Temel değerleri hem eğitim sırasında hem de kullanıma sokma aşamasında bir izleme ve tanı aracı olarak kullanılmalarıdır. İtiraflar, düşünce zinciri izleme⁠ ile benzer bir rol oynar: Her ikisi de gizli akıl yürütme süreçlerini daha görünür hâle getirir. İtiraflar, modelin talimatları ihlal edip etmediğine odaklanırken düşünce zinciri, modelin bu sonuca nasıl ulaştığını vurgulayabilir.

Bu çalışma da bir pilot projedir. İtiraf mekanizmalarını geniş ölçekte eğitmedik ve itiraf doğruluğu hâlâ mükemmel değil. Yaklaşımı daha güvenilir, daha sağlam ve model aileleri ile görevler arasında daha geniş ölçekte uygulanabilir hâle getirmek için daha fazla çalışma yapılması gerekiyor.

Bu çalışma, yapay zekâ güvenliği konusundaki daha geniş kapsamlı yaklaşımımız⁠ içinde yer almaktadır. İtiraflar, düşünerek uyum sağlamayı⁠, düşünce zinciri izlemeyi⁠, talimat hiyerarşisini⁠ ve daha fazlasını içeren daha büyük bir yığına ait bir mekanizmadır. Tek bir yöntem yeterli değildir. Amaç, birbirini güçlendiren katmanlı bir kontrol ve şeffaflık araçları sistemidir. İtiraflar, modellerin eğitim ve değerlendirme sırasında problemli davranışlarını teşhis etmede ve kullanıma sokma sırasında izleme yapmada yardımcı olabilir. İtiraflar, birden fazla boyutu dengeleme sorununu tek başına çözmez. Ancak modellerin yalnızca dürüstlüğe odaklandığı bir “doğruluk serumu” modu oluşturarak genel olarak dürüstlüğü ve güvenliği iyileştirmek için araç setimize değerli bir araç eklemiş oluyoruz.

Modeller daha yetenekli hâle geldikçe ve daha önemli ortamlarda kullanıldıkça neyi neden yaptıklarını anlamak için daha iyi araçlara ihtiyacımız var. İtiraflar eksiksiz bir çözüm değildir, ancak şeffaflık ve denetim yapımıza anlamlı bir katman eklemektedir. Gelecekteki çalışmalarda modellerimizin tüm talimatlara ve politikalara (Model Özelliklerimiz⁠(yeni bir pencerede açılır) gibi) sadakatle uymasını ve eylemlerini doğru bir şekilde rapor etmesini sağlamak için itirafları büyütmeyi ve bunları düşünce zinciri izleme ve düşünerek uyum sağlama gibi tamamlayıcı şeffaflık ve güvenlik teknikleriyle eşleştirmeyi planlıyoruz.