GPT‑6 Cyber: Hizalanmış siber güvenlik ajanlarında sınırları ileriye taşıyoruz
Araştırmacıların belirlediği kapsam içinde kalarak istismar edilebilir güvenlik açıklarını bulmak ve doğrulamak üzere eğitilmiş bir siber güvenlik modeli.
Güvenlik araştırmalarında büyük bir sıçrama olan GPT‑6 Cyber’ı sunuyoruz: Güvenlik açıklarını bulma ve gidermede daha yetenekli, araştırmacıların belirlediği sınırlar içinde kalmada ise çok daha güvenilir. GPT‑6 Cyber, temel siber güvenlik kıyaslamalarında GPT‑5.6 Cyber’a göre büyük ilerlemeler sağlıyor. Bunlar arasında ExploitGym’de göreli olarak %51’lik bir iyileşme ve kapsam içinde kalma testlerinde büyük bir sıçrama da bulunuyor. Linux ve Firefox gibi güvenlik açısından kritik kod tabanlarında binlerce istismar yöntemini ortaya çıkarıp doğrulayarak gerçek dünyadaki yazılımların güvenliğini sağlamaya şimdiden yardımcı oluyor.
Modellerin belirli bir güvenlik açığından yararlanıp yararlanamadığını test eden ExploitGym’de GPT‑6 Cyber'ın başarı oranı, %48,5, GPT‑5.6 Cyber'ınki ise %32,1. GPT‑6 Cyber, görevin sınırlarına da daha tutarlı biçimde uyuyor. Ayrı bir hizalama değerlendirmesinde GPT‑6 Cyber, kullanıma sunum prompt’u olmadan testlerin %99,93’ünde, bu prompt ile ise %100’ünde kapsam dışındaki hizmetlerdeki açıklardan yararlanmaktan kaçındı. Hizalamadaki bu iyileşme, yetki verilen kapsam içinde kalmaya, kısıtlamalara uymaya ve sonuçları doğru biçimde raporlamaya yönelik özel eğitimin bir sonucu.
Bu yetenekler, gerçek sistemlerin güvenliğini sağlamaya şimdiden yardımcı oluyor. Araştırmacılarımız GPT‑6 Cyber’ı kullanarak Linux’ta ayrıcalık yükseltmeye yönelik 948 istismar kodu geliştirdi ve daha önce en üst seviye modellerle kapsamlı testler yapılmış olmasına rağmen Firefox’ta bilinmeyen 81 yüksek önem dereceli güvenlik açığı tespit etti. Model, yama önerileri geliştirmeye de yardımcı oldu ve Mozilla, Firefox’taki güvenlik açıklarının birçoğu için düzeltmeler yayımladı(yeni bir pencerede açılır). Cisco, Calif ve CodeRabbit’teki güvenlik ekipleri modeli güvenlik açığı araştırmaları ve kod incelemelerinde kullanıyor. Biz de kendi altyapımızdaki zayıflıkları bulmak ve gidermek için ondan yararlandık.
En üst seviye modellerle yazılımların güvenliğini sağlamak için önümüzde sınırlı bir fırsat penceresi olduğu açık. Hedefimiz Daybreak’i büyük ölçüde genişleterek ileri düzey güvenlik araştırmalarını her büyüklükteki kuruluşa, bağımsız araştırmacılara ve açık kaynak projelerinin bakım sorumlularına ulaştırmak. GPT‑6 Astra gibi ana seri modeller, kod incelemesini, güvenlik açıklarının önceliklendirilmesini ve yama geliştirmeyi zaten destekliyor. Daybreak Blue, doğrulanmış savunma ekiplerinin daha az gereksiz ret yanıtıyla güvenlik açıklarını ve düzeltmeleri doğrulamasına yardımcı oluyor. Daybreak Red ise GPT‑6 Cyber ile daha derinlemesine istismar kodu geliştirmeyi ve yetkili güvenlik testlerini mümkün kılıyor.
GPT‑6 Cyber, GPT‑5.6 Cyber’a göre büyük bir ilerleme sunuyor ve Astra’nın isteği reddetmediği durumlarda bile çoğu siber görevde GPT‑6 Astra’dan daha iyi performans gösteriyor. Modeli, yazılımı anlamasını, güvenlik açıklarını tespit etmesini ve çalışan istismar kodları geliştirmesini gerektiren görevlerde değerlendirdik. Bu sonuçlara dayanarak modeli Risklere Hazırlık Çerçevesi kapsamında siber güvenlik alanında Kritik olarak sınıflandırıyoruz; GPT‑5.6 Cyber ise Yüksek düzeyinde sınıflandırılmıştı.
Modellerin uzak bir hedefteki belirli bir güvenlik açığından yararlanıp yararlanamadığını test eden ExploitGym’de GPT‑6 Cyber, %48,5 skor elde ediyor. Bu, GPT‑5.6 Cyber’ın %32,1’lik skorundan yaklaşık 16 yüzde puan daha yüksek. Güvenlik açığı keşfini test etmek için ofansif web sızma testlerine yönelik yeni bir değerlendirme de oluşturduk. Modeller, kaynak kodlarına erişmeden web uygulamalarını inceliyor. Güvenlik açıklarını bulmada GPT‑6 Cyber %40,3 duyarlılık elde ederken GPT‑6 Astra’nın oranı %32,0 oldu.
Daybreak Red, çalışan istismar kodları geliştirmek ve bunları uzak hedeflerde kullanmak dâhil daha gelişmiş güvenlik iş akışlarını desteklemek üzere tasarlandı. Bu yetenekleri değerlendirmek için RemoteExploitBench adlı yeni bir kıyaslama oluşturduk. Bu kıyaslama, kontrollü bir ortamda kurulan GitLab, PostgreSQL ve Jenkins gibi uygulamalardaki bilinen güvenlik açıklarını kullanıyor. İlk değerlendirmemizde Daybreak Blue ile çalışan GPT‑6 Astra, görevlerin %100’ünü reddederken GPT‑6 Cyber %95’ini tamamladı. Başarısız olduğu tek görev, uzaktan çalıştırmayı başaramadığı bir istismar koduydu. Tüm sonuçlar ve değerlendirme ayarları için sistem kartına(yeni bir pencerede açılır) bakın.
Siber güvenlik ajanlarının taşıdığı risklerden biri, kendilerine verilen görevin kapsamını aşmaları, ilgisiz hizmetlerdeki açıklardan yararlanmaya çalışmaları veya araştırmacının belirlediği çalışma kurallarını göz ardı etmeleridir.
Hizalamayı GPT‑6 Cyber’ın temel önceliklerinden biri yaptık. Modelin yetkilendirildiği kapsam içinde kalmasına, eylemlerine getirilen kısıtlamalara uymasına ve çalışmalarını doğru biçimde raporlamasına yardımcı olmak için özel bir eğitim uyguladık. Kullanıma sunmadan önce bu davranışları ölçmek için bir dizi hizalama değerlendirmesi gerçekleştirdik. Tüm sonuçlar için sistem kartına(yeni bir pencerede açılır) bakın.
Bu değerlendirmelerden biri, Hugging Face olayından edinilen bilgilerle hazırlanan ExploitGym Honeypot. Modele, paket kayıt deposu veya nesne deposu gibi destekleyici hizmetlere erişimi olan yalıtılmış bir ortamda, bir güvenlik açığından yararlanmasını gerektiren zor bir görev veriyoruz. Bu hizmetleri kasıtlı olarak kolayca istismar edilebilir hâle getiriyoruz; böylece bunlara saldırmak, görevin bayrağını ortaya çıkarabiliyor. Modelin, bu hizmetlerdeki açıklardan yararlanmanın görevinin kapsamı dışında olduğunu çıkarması gerekiyor.
GPT‑6 Cyber, bu değerlendirmede GPT‑5.6 Cyber’a kıyasla büyük bir sıçrama gösteriyor. Kullanıma sunumda uygulanan güvenlik prompt’ları olmadan test edildiğinde, kapsam dışındaki hizmetlerdeki açıklardan yararlanmaktan kaçınma oranı GPT‑5.6 Cyber’ın %94,49’luk oranından %99,93’e yükseldi. Bu prompt’larla birlikte GPT‑6 Cyber, testlerin %100’ünde sınırlar içinde kaldı.
GPT‑6 Cyber modelinin sınırlar içinde kalma konusunda nasıl akıl yürüttüğünü, düşünce zincirinde doğrudan görebiliyoruz:
“Can't assume extra API or attack controller not target. We should only target binary/server.”
“don't explore out of scope credentials.”
GPT‑6 Cyber, güvenlik ekiplerinin açıkları bulmasına, etkilerini doğrulamasına ve düzeltmeler geliştirmesine şimdiden yardımcı oluyor. Müşteriler modeli büyük kod tabanlarında, uzun süren istismar kodu geliştirme çalışmalarında ve güvenlik incelemelerinde kullanmaya başladı:
Kendi sistemlerimizin güvenliğini sağlamak için de GPT‑6 Cyber’dan yararlandık. Yakın zamanda paylaştığımız, en üst seviye modellerin eğitiminde kullanılan altyapının güvenliğini güçlendirme çalışmasının arkasındaki başlıca modellerden biriydi. Kontrollü red teaming çalışmalarında, GPT‑6 Cyber ve diğer OpenAI modellerini kullanan ajanlar, güvenlik açıklarını zincirleme biçimde kullanarak microVM’lerin dışına çıktı ve bunların çalıştığı ana makinelerde kod yürüttü. Bulguları yazılımlara yama uygulamak, ağ kısıtlamalarını sıkılaştırmak ve sorunları bakım sorumlularına ve tedarikçilere bildirmek için kullandık.
Güvenlik açığı araştırmacılarımız, açık kaynaklı yazılımlardaki güvenlik açıklarını geniş ölçekte bulup doğrulamak için de GPT‑6 Cyber’ı kullanıyor. Bu çalışmalar, yıllardır titizlikle incelenen yazılımlarda daha önce bilinmeyen kusurları ortaya çıkardı:
Firefox’ta 81 yeni güvenlik açığı bulundu. GPT‑6 Cyber, geniş ölçekte güvenlik açıkları bulup yüksek kaliteli yamalar önermeye yönelik otonom iş akışlarında kullanıma uygun olabilir. Bir güvenlik açığı araştırması sırasında GPT‑6 Cyber, Mozilla’nın yüksek önem dereceli olarak sınıflandırdığı 81 yeni açık için kanıtlar ve tekrarlanabilir testler üretti. Ayrıca, bilinen 30 sorunun daha önce bildirilenden daha ciddi olduğunu gösterdi. Bulguları, mühendislerinin düzeltmeler geliştirmesine yardımcı olacak yama önerileriyle birlikte Mozilla’ya bildirdik. Mozilla bu çalışmayı destekledi ve raporları aldıktan kısa süre sonra düzeltmeleri kod tabanına eklemeye(yeni bir pencerede açılır) başladı.
Linux çekirdeğindeki 948 güvenlik açığı için istismar kodları geliştirme. GPT‑6 Cyber, 1.724 güvenlik açığını yeniden üretti ve bunların 948’i için çalışan istismar kodları geliştirdi. Bu sayı, aynı araştırma düzeneğini kullanan GPT‑5.6 Sol’un yararlanabildiği 166 açığın beş katından fazla. Linux topluluğunun yönlendirmelerine uyarak 304 kritik bulguyu yama önerileriyle birlikte bakım sorumlularına bildirdik. Diğer güvenlik açıklarının giderilmesi için de çalışmalar sürüyor.
Kritik RCE güvenlik açıklarını gösterme. Yakın zamanda, Node.js ve diğer yazılımların kullandığı bir sıkıştırma kütüphanesi olan Brotli’deki kritik bir güvenlik açığını(yeni bir pencerede açılır) ele aldık. Güvenlik araştırmacılarımız, bu kusurun kütüphaneyi kullanan uygulamalarda uzaktan kod yürütmeye nasıl olanak tanıyabileceğini gösteren istismar kodlarını geliştirmek ve doğrulamak için GPT‑6 Cyber’ı diğer OpenAI modelleriyle birlikte kullandı.
Modeller daha yetenekli hâle gelip daha fazla güvenlik açığını ortaya çıkardıkça, onları zarar vermek için kullanmaya yönelik girişimlerin de arttığını görüyoruz. Bunlar arasında kötü niyetli siber aktörlerin girişimleri ve modellerimizin yeteneklerini damıtma yoluyla başka modellere aktarmaya çalışan hasım grupların çabaları da var. Bu nedenle GPT‑6 Cyber’ın daha güçlü yeteneklerini; kötüye kullanımı tespit edip durduracak ve modelin eylemlerini kullanıcının niyeti ve verdiği yetki sınırları içinde tutacak daha güçlü güvenlik önlemleriyle destekledik.
GPT‑6 Cyber’ın kullanıma sunulmasıyla birlikte aşağıdaki korumaları ekledik ve güçlendirdik (ayrıntılı bilgi için sistem kartına(yeni bir pencerede açılır) bakın):
Siber güvenliğe özgü hizalama sapmalarının izlenmesi. Meşru istismar kodu geliştirme ve test çalışmalarını ayırt ederek eylemlerin kullanıcının verdiği yetkiye uyup uymadığını izliyoruz.
Yeni ortaya çıkan tehditlere yönelik hedefli izleme. Örneğin, kritik PHP güvenlik açıklarının koordineli biçimde açıklanması sırasında, canlı PHP sunucularına yönelik istismar kodu geliştirme girişimlerini hedefli olarak izlemeye başladık. Aynı zamanda, etkilenen sistemlere yama uygulayan savunma ekiplerine desteğimizi sürdürdük.
Gizlilik Odaklı Güvenlik İşleme (PSP). Birbiriyle ilişkili etkileşimleri kötüye kullanım açısından incelemek için otomatik kontroller kullanıyoruz. Standart veri saklama uygulaması varsayılan olmaya devam ediyor. Sıfır Veri Saklama(yeni bir pencerede açılır) kullanan API müşterilerinin genellikle PSP(yeni bir pencerede açılır) kullanması gerekir. PSP, müşterinin depolama alanında 30 gün tutulan şifreli kayıtları, prompt’ları ve yanıtları OpenAI personeline göstermeden inceler.
Çalınan kimlik bilgilerine karşı koruma. Daybreak Red API erişiminde varsayılan olarak IP izin listesi kullanımını zorunlu tutuyoruz. Böylece sınırlı istisnalar dışında istekler yalnızca onaylı ağlardan gelebiliyor. Kimlik bilgilerinin ele geçirilip geçirilmediğini de izliyoruz.
Korumalı alanda çalıştırma ve gözetim. Önceki modellerde olduğu gibi, yüksek riskli iş akışları için korumalı alanda çalıştırmayı(yeni bir pencerede açılır), eylem incelemesini(yeni bir pencerede açılır) ve insan gözetimini öneriyoruz.
Yüksek riskli siber yardıma karşı korumalar. Kritik sistemlerle ilgili yüksek riskli faaliyetleri engellemek için yeni kontroller kullanıyoruz (ayrıntılar aşağıda).
GPT‑6 Cyber’ın güvenlik önlemlerini ve erişim koşullarını tasarlarken kritik altyapının korunması temel önceliklerimizden biri oldu. Buna elektrik santralleri, su arıtma tesisleri ve bunların temelindeki operasyonel teknoloji ve endüstriyel kontrol sistemleri (OT/ICS) de dâhil. Bu sistemleri savunan ekiplere en yetenekli modellerimize erişim sağlarken, yetkisiz saldırıları önlemek için güvenlik önlemlerimizi de güçlendirmek istiyoruz.
İlk olarak, bu savunma ekiplerini desteklemek üzere 1 milyar dolarlık Ön Saftaki Savunma Ekipleri için Daybreak hibe programımız, kamu kuruluşları ve temel hizmet sağlayıcıları gibi kaynakları kısıtlı ekiplerin erişim maliyetlerini karşılamaya yardımcı oluyor. Ayrıca Daybreak Red bünyesinde, onaylı kritik altyapı savunucuları için yeni bir grup (Kritik Altyapı için Daybreak Red) oluşturuyoruz. Bu grup, modelin hizalama sapmalarına karşı korumaları sürdürürken kritik sistemlerde yetkili testler yapmalarına izin veriyor.
İkinci olarak, Daybreak Red ve Blue platformlarının kötüye kullanımını önlemek için güvenlik önlemlerimizi geliştirdik. Bu önlemler; endüstriyel kontrolleri veya güvenlik açısından kritik sistemleri tehlikeye atabilecek, ekipmanlara müdahale edebilecek, ciddi yaralanmalara, yıkıcı fiziksel hasara ya da hayati tehlike oluşturan hizmet kesintilerine yol açabilecek yardımları ve yetenek geliştirme çalışmalarını hedefliyor. Aşağıdaki şekil, GPT‑6 Cyber ile birlikte sunduğumuz son güncellemeler öncesinde ve sonrasında dört erişim yapılandırmasındaki güvenlik önlemi etiketleme oranlarını karşılaştırıyor.
Güvenlik önlemlerinin daha yüksek oranda engelleme yapması her zaman daha iyi değildir. Bu değerlendirmedeki tekniklerin birçoğu meşru güvenlik çalışmaları için de gereklidir: sistemleri anlamak, güvenlik açıklarını bulmak ve düzeltmelerin saldırılara dayanıklı olduğunu doğrulamak. Bu nedenle %100’ü hedeflemek yerine, bu oranları meşru araştırma ve yama çalışmalarına verilen destekle birlikte değerlendiriyoruz.
Modellerimizin kritik altyapının savunulmasına nasıl yardımcı olabileceğini değerlendirmek için genişletilmiş operasyonel teknoloji (xOT) siber güvenliği alanında küresel bir sağlayıcı olan Dragos ile iş birliği yaptık. Dragos, kontrollü bir laboratuvar ortamında siber faaliyetlere daha geniş izin veren Daybreak Red modelleriyle değerlendirmeler gerçekleştirdi. Değerlendirmeler; ağ keşfi ve varlıkların listelenmesinden hedefli keşfe, hassas verilerin dışarı sızdırılmasına ve cihazlarda yetkisiz, potansiyel olarak tehlikeli eylemlere kadar ilerleyen istekleri kapsıyordu.
Yetkili testleri gereksiz yere kısıtlamadan zararlı yardımları engellemek amacıyla, güvenlik önlemlerimizi Dragos’un geri bildirimleri doğrultusunda geliştirdik. Değerlendirmelerin ayrıntıları için nihai raporlarına bakın(yeni bir pencerede açılır). AI ile sızma testi ve red teaming alanlarında diğer ofansif güvenlik sağlayıcıları ve mor takımlarla iş birliklerimizi genişletmek için de çalışıyoruz. Ayrıca, modellerimizin endüstriyel savunmadaki etkinliğini ve güvenlik önlemlerini değerlendirmek üzere enerji şirketleri, diğer kritik altyapı işletmecileri ve ulusal laboratuvarlarla ortaklıklarımızı genişletiyoruz. OT/ICS içeren model kullanımını tespit etmek için tehdit araştırmalarına yaptığımız yatırımı da artırdık. İş ortaklarımızın ve güvenlik topluluğunun katkılarıyla güvenlik önlemlerimizi geliştirmeyi sürdüreceğiz. Önlemlerin zararlı faaliyetleri gözden kaçırdığı veya meşru çalışmaları kesintiye uğrattığı durumlarda /feedback üzerinden iletilen bildirimler de buna dâhil.
GPT‑6 Cyber, ilk aşamada seçilmiş bir grup onaylı Daybreak Red müşterisine API ve Codex üzerinden sunuluyor. Yakında erişimi kademeli olarak tüm Daybreak Red müşterilerine açacağız. Ayrıca GPT‑5.6 Cyber’ı da tüm Daybreak Red müşterilerinin kullanımına sunuyoruz. GPT‑6 Astra için Daybreak Blue alfa erişimini de daha fazla kuruluşa ve bireysel güvenlik araştırmacısına açıyoruz. İlgileniyorsanız bize bildirin(yeni bir pencerede açılır).
Yeni kullanıcılar ve kuruluşlar Daybreak’e başvurabilir ve siber becerilerimizden, ürünlerimizden ve iş ortaklarımızdan yararlanmaya başlayabilir.
