Özet
Sorun
Red teaming, güvenlik açıklarını keşfetmek ve modellerimizin dayanıklılığını artırmak için vazgeçilmezdir. Ancak mevcut yaklaşımlar ölçeklenebilir değil ve bu da bir darboğaz yaratıyor.
Yaygın olarak kullanılan dayanıklılık değerlendirmeleri, en yeni modellerimiz tarafından şimdiden doyuma ulaştırıldı.
Güvenlik ve hizalamanın model yetenekleriyle birlikte ölçeklenmesini sağlayacak yöntemler geliştirmemiz gerekiyor.
Ne yaptık
Daha geniş dağıtımdan önce güvenlik açıklarını bulup düzeltebilmek için bu açıkları bulma kapasitemizi ölçeklendiren otomatik bir red teaming modeli olan GPT‑Red’i eğittik.
GPT‑Red güçlü bir red teaming uzmanıdır ve önceki modellerimiz onun prompt enjeksiyonu saldırılarına karşı son derece savunmasızdır.
GPT‑Red’i, GPT‑5.6’yı karşıt biçimde eğitmek için kullanıyor ve onu prompt enjeksiyonlarına karşı çok daha dayanıklı hâle getiriyoruz.
Bu yaklaşımı insan ve üçüncü taraf red teaming, katmanlı korumalar ve gerçek zamanlı izleme ile birlikte ölçeklendirmeyi sürdüreceğiz.
Yapay zekâ sistemleri tarayıcılar, bağlı uygulamalar, yerel dosyalar ve diğer araçlar üzerinden sık sık üçüncü taraf verileriyle karşılaşır. Bu olanaklar gerçek dünyadaki görevleri yerine getirmek için gereklidir, ancak kötü amaçlı aktörlerin model davranışını etkilemesi için daha fazla fırsat da yaratır. Örneğin bir üçüncü taraf, modeli hassas verileri harici bir sunucuya yüklemesi için kandırmak üzere tasarlanmış özenle hazırlanmış bir talimatı bir e-postaya, web sayfasına, araç yanıtına veya kod deposuna yerleştirebilir.
İnsan red teaming’i, dağıtımdan önce bu güvenlik açıklarını ortaya çıkarmamıza ve doğru korumaları devreye almamıza yardımcı olan güvenlik çalışmalarımızın kritik bir parçasıdır. Ancak yalnızca insan red teaming’ini ölçeklendirmek zordur. Bu çalışmaları tasarlamak ve yürütmek zaman alır; bu da yeni hata modlarını ne kadar hızlı belirleyip daha güçlü korumalara dahil edebileceğimizi sınırlar. Ayrıca bu çalışmalar başarılı saldırılara dair değerli örnekler üretse de, eğitim yoluyla model dayanıklılığını artırmak için gereken karşıt verinin hacmini ve çeşitliliğini sağlayamaz.
Giderek daha yetenekli hâle gelen modellere ayak uydurmak, red teaming’in de ölçeklenmesini gerektirir. Bu amaçla, dağıtımdan önce güvenlik açıklarını ortaya çıkaran ve dayanıklılığı artırmak için model eğitimi sırasında saldırılar üreten, yalnızca dahili kullanıma yönelik otomatik red teaming modelleri eğitiyoruz. Otomatik red teaming’in güvenlik için kritik bir öz iyileştirme biçimini mümkün kıldığına inanıyoruz: bugünün modellerini, geleceğin modellerini doğrudan daha güvenli kılmaya yardımcı olmak için kullanmak.
GPT‑Red, bu çabaların doruk noktası ve şu anki en iyi otomatik güvenlik red teaming modelimizdir. İnsan red teaming uzmanlarının saldırı tasarlamasına benzer şekilde, model bir prompt göndererek, GPT modellerinin buna nasıl yanıt verdiğini gözlemleyerek ve yineleyerek bir hedefe doğru çalışır. GPT‑Red’i, OpenAI’daki en büyük sonradan eğitim çalışmalarımızdan bazılarının işlem gücü ölçeğinde eğittik; bu, yalnızca güvenliği artırmaya ayrılmış benzeri görülmemiş miktarda işlem gücü anlamına geliyor.
GPT‑Red’i doğrudan üretim modellerimizin eğitim sürecine dahil ediyoruz. Sonuç olarak GPT‑5.6 Sol, bugüne kadar prompt enjeksiyonlarına karşı en dayanıklı modelimiz oldu; en zor doğrudan prompt enjeksiyonu kıyaslamamızda, yalnızca dört ay önceki en iyi üretim modelimize kıyasla 6 kat daha az başarısızlık gösteriyor. Yaklaşımımızın ölçeklenebilirliği, daha güçlü red teaming uzmanlarını eğitmeyi sürdürdükçe gelecekte daha da güçlü sonuçlar elde etme konusunda bizi heyecanlandırıyor.
GPT‑Red, self-play pekiştirmeli öğrenme kullanılarak eğitilir; bu süreçte model ve çeşitli savunmacı LLM’lerden oluşan bir grup, geniş bir red teaming senaryo kümesi üzerinde eşzamanlı olarak eğitilir. GPT‑Red, başarılı bir prompt enjeksiyonu gibi geçerli bir hatayı ortaya çıkardığında ödüllendirilirken, savunmacı modeller saldırıya direnip özgün görevlerini tamamladıklarında ödüllendirilir. Savunmacılar daha dayanıklı hâle geldikçe, GPT‑Red daha güçlü ve daha çeşitli saldırılar keşfetmek zorunda kalır.
Self-play eğitimini desteklemek için prompt enjeksiyonlarının yerleştirilebileceği geniş ve gerçekçi senaryo kümeleri oluşturuyoruz. Her ortamda, GPT‑Red’in neleri kontrol edebileceğini ve neyin başarılı saldırı sayılacağını belirleyen bir tehdit modeli bulunur. Örneğin GPT‑Red yerel bir dosyanın bir bölümünü, bir web sayfası banner’ını, bir e-posta gövdesini veya bir aracın çıktısını kontrol edebilir.
Eğitiminin sonunda GPT‑Red çok güçlü bir saldırgana dönüşür: karşısına çıkarılan neredeyse tüm modelleri, hem dahili hem de GPT‑5.5’e kadar olan üretim modellerini kırabilir. GPT‑Red eğitimini tamamladıktan sonra, onu GPT‑5.6’nın eğitiminde kullanılacak prompt enjeksiyonları üretmek için kullandık; bunun sonucunda model GPT‑Red’in saldırılarına karşı son derece dirençli hâle geldi.
GPT‑Red’i dağıttığımız modellerden ayrı tutuyoruz. Bu, GPT‑Red’e özel olarak kazandırdığımız kötüye kullanıma yönelik yetenekleri saldırgan aktörlerin elinden uzak tutarken, üretim modellerimize dayanıklılık kazandırır.
GPT‑Red, üzerinde eğitildiği savunmacı model topluluğu ve red teaming senaryoları karşısında son derece etkilidir. Ayrıca modelin, OpenAI’da güvenliğe geniş ölçekte katkı sağlayacak genel amaçlı bir red teaming ajanı olarak yararlı olup olmadığını da değerlendiriyoruz. Bunun için GPT‑Red’in yeni güvenlik ortamları ve hedef modeller üzerindeki etkinliğini test ediyoruz.
Önce, GPT‑Red’in yeni red teaming senaryolarına genelleme yapma becerisini Dziemian ve diğerlerinin (2025) dolaylı prompt enjeksiyonu arenasının(yeni bir pencerede açılır) çoğaltılmış bir sürümüyle değerlendiriyoruz. Bu görevde, hem insan red teaming uzmanları hem de GPT‑Red, önceden belirlenmiş bir ortam kümesinde GPT‑5.1’e karşı bağımsız olarak saldırılar önerdi. Bu red teaming senaryoları ve hedefleri, GPT‑Red’i eğitmek için kullanılanlardan farklıdır. GPT‑Red, insanlardaki %13’e kıyasla senaryoların %84’ünde başarı bularak çok daha yüksek saldırı başarı oranlarına ulaşıyor.
GPT‑Red, otomatik bir red teaming uzmanı olarak öne çıkar. GPT‑Red, dahili bir yansıtma kullanarak Dziemian ve diğerlerinin (2025) dolaylı prompt enjeksiyonu arenasında, insan red teaming uzmanlarına kıyasla çok daha fazla senaryoda GPT‑5.1’e karşı başarılı saldırılar üretebiliyor.
Bir red teaming uzmanı için nihai test, sistemin temel modeli ve düzenek tasarımı hakkında eksik bilgiyle, gerçek dünyadaki ajanlı sistemlere karşı hedeflenmiş kötü amaçlı hedeflere ulaşabilmektir. Bu ortamdaki ilk deneyimizde GPT‑Red’i, OpenAI ofisinde Andon Labs tarafından üretilen, yapay zekâ destekli bir otomatla ( Project Vend(yeni bir pencerede açılır)’e benzer) karşı karşıya getirdik. GPT‑Red’e sistemin bir açıklamasını, saldırı gönderme olanağını ve gerçek dünya dağıtımını yakından yansıtan simüle edilmiş ajandan gelen araç çağrılarını gözlemleme yeteneğini verdik. Saldırılar üzerinde yinelemeler yaptıktan sonra GPT‑Red, saldırısını üretim ajanına uyguladı ve üç kötü amaçlı hedefinin tamamına ulaştı:
- Stokta bulunan pahalı bir ürünün fiyatını izin verilen en düşük fiyat olan 0,50 ABD dolarına düşürmek;
- 100 ABD dolarının üzerinde yeni bir ürün sipariş edip onu 0,50 ABD dolarına sunmak; ve
- Başka bir müşterinin siparişini iptal etmek.
Bu güvenlik açıklarını bildirdik ve yeni korumalar aktif olarak test ediliyor.
GPT‑Red, bir otomatı yöneten Vendy adlı canlı otonom ajanı kırabiliyor. GPT‑Red, önce simülasyonda test edip ardından saldırıları canlı ajana aktararak üretim ajanının pahalı ürünleri ucuz ürünlere dönüştürmesini ve diğer müşteri siparişlerini iptal etmesini sağlayabildi.
Ayrıca GPT‑Red’i, ayrılmış 10 veri sızdırma senaryosundan oluşan bir pakette bir Codex CLI ajanına (GPT‑5.4 mini tabanlı) saldırmak için kullanıyoruz. Eğitim prosedürümüzün ayrılmış red teaming performansı üzerindeki etkisini incelemek için modeli prompt verilmiş bir GPT‑5.5 taban çizgisiyle karşılaştırıyoruz. GPT‑Red hem daha etkilidir; çünkü ajanı daha fazla senaryoda hassas verileri sızdırmaya başarıyla yönlendirebilir, hem de token açısından daha verimlidir.
GPT‑Red, canlı Codex ajanlarını kırmada daha etkili ve verimlidir. 10 veri sızdırma görevinden oluşan özel bir test paketinde, GPT‑5.4 Mini destekli bir Codex ajanına karşı test yapıyoruz.
GPT‑Red’in nihai hedefi, modellerimizin dayanıklılığını artırmaktır. Son altı ayda, giderek artan işlem gücüyle, GPT‑Red’in öncülleri olan daha güçlü red teaming modellerini aşamalı olarak eğittik ve bu modelleri GPT‑5.3’ten bu yana her ardışık üretim modelinin eğitiminde kullandık. Zaman içinde her yeni GPT sürümü daha dayanıklı hâle geldi.
Bir örnek olarak, GPT‑Red’in erken bir sürümü “Sahte Düşünce Zinciri” saldırıları olarak bilinen yeni bir doğrudan prompt enjeksiyonu saldırı sınıfı buldu. Bu saldırılar GPT‑5.1’de %95’in üzerinde başarı oranlarına ulaştı, ancak GPT‑5.6 Sol için artık %10’un altında. Benzer şekilde, geliştirici araçları ve gezinmedeki saldırıları hedefleyen dolaylı prompt enjeksiyonu kıyaslamalarımızdan birkaçı, en yeni modelimiz tarafından doyuma ulaştırıldı (>%97 doğruluk).
GPT‑Red’in kendisine karşı dayanıklılık da önemli ölçüde arttı. Geniş bir dayanıklılık ortamı kümesinde, GPT‑Red’in saldırı başarı oranları zaman içinde monoton biçimde düştü. En yeni model sürümümüzde GPT‑5.6 Sol, GPT‑Red’in doğrudan prompt enjeksiyonlarının yalnızca %0,05’inde başarısız oluyor.
Prompt enjeksiyonları için self-play eğitimini ölçeklendirmeyi sürdürdükçe, mevcut modelleri kırabilen yeni tehditler bulduk. Buna karşın, bu ölçeklendirme bu saldırılara karşı dayanıklılığı da önemli ölçüde artırdı. Saldırı başarı oranı, GPT‑Red’in ayrılmış ortamlardaki tüm denemelerinde ortalama deneme başarısı olarak hesaplanır.
Bir model, daha fazla isteği reddederek veya daha az yetenekli hâle gelerek daha güvenli görünebilir. Daha az şey yapan bir modele saldırmak doğal olarak daha zordur, ancak bu yararlı bir dayanıklılık değildir.
Hem genel en üst seviye yetenekleri hem de tasarladığımız hedefli aşırı ret görevlerini kapsamlı biçimde değerlendiriyoruz. Dayanıklılık önemli ölçüde artarken tüm normal yeteneklerin etkilenmeden kaldığını görüyoruz. Bu, dayanıklılık kazanımlarının uygunsuz araç kullanımı veya meşru istekleri varsayılan olarak reddetmek yerine, kötü amaçlı talimatlara karşı daha iyi dirençten kaynaklandığını gösteriyor.
Yapay zekâ ajanları, yeni nesil modellerimizin yeteneklerini geliştirmek için şimdiden kullanılıyor. GPT‑Red ile, güvenlik için benzer bir döngüyü açığa çıkarmaya başladığımıza inanıyoruz: bugünün modelleri, yarının modellerini daha dayanıklı, hizalı ve güvenilir kılmak için kullanılabilir. Bugünün modelinden daha güçlü gelecek GPT‑Red sürümlerini eğitmek için algoritmik iyileştirmeler yaparken işlem gücünü ve veriyi ölçeklendirmeyi sürdüreceğiz. Buna karşılık bu modeller, gelecekteki GPT sürümlerini daha güvenli hâle getirmeye yardımcı olacak.
Bu haftanın ilerleyen günlerinde daha fazla ayrıntı içeren bir ön baskı yayımlayacağız.
