OpenAI ve Hugging Face, model değerlendirmesindeki güvenlik olayı için iş birliği yapıyor

Geçen hafta Hugging Face, altyapısını tehlikeye atan bir AI ajanını tespit edip sınırlandırdıktan sonra yeni tür bir güvenlik olayını açıkladı⁠(yeni bir pencerede açılır); siber kabiliyetleri giderek artan modeller yaygınlaştıkça bunun daha olağan hale gelmesini bekliyoruz. Soruşturmanın ardından, bu belirli olayın; GPT‑5.6 Sol ve daha da kabiliyetli, henüz yayımlanmamış bir model de dahil olmak üzere, değerlendirme amacıyla siber retleri azaltılmış OpenAI modellerinin bir kombinasyonu tarafından, siber kabiliyetlere yönelik bir kıyaslama testinde⁠(yeni bir pencerede açılır) dahili olarak test edilirken tetiklendiğini artık biliyoruz.

Bu olayı, son teknoloji siber kabiliyetleri içeren benzeri görülmemiş bir siber olay olarak değerlendiriyor ve buna uygun şekilde yanıt veriyoruz. Bu aşamada, savunmacıların ne olduğunu anlamasına ve modellerin artık neler yapabildiğine dair beklentileri ayarlamasına yardımcı olmak için ön bulguları paylaşıyoruz. Hugging Face ile birlikte kapsamlı bir soruşturma yürütmeyi sürdüreceğiz ve soruşturmamız tamamlandığında güvenlik açıkları, olay ve bulgular hakkında daha fazla ayrıntı paylaşacağız.

Bu olay, modellerin siber kabiliyetlerini ölçmek amacıyla karmaşık saldırı yolları kullanarak gelişmiş istismar girişimlerinde bulunmaya yönlendirildiği bir dahili değerlendirme sırasında meydana geldi. Modellerin yüksek riskli siber faaliyetlere yönelmesini önlemek için kullanılan üretim sınıflandırıcıları olmadan bu değerlendirmeyi çalıştırarak azami siber kabiliyetleri tahmin ediyoruz. Kıyaslama testlerimiz, paket kayıtları için proxy ve önbellek görevi gören, dahili olarak barındırılan üçüncü taraf bir yazılım aracılığıyla paket yükleme imkânıyla sınırlı ağ erişimine sahip, yüksek ölçüde yalıtılmış bir ortamda çalışır.

Modeller, test çözümlerini doğrudan Hugging Face’in üretim veritabanından elde etmek için OpenAI'ın araştırma ortamı ile Hugging Face’in üretim altyapısı genelinde güvenlik açıklarını tespit edip zincirledi. Tüm kanıtlar, modellerin ExploitGym için bir çözüm bulmaya aşırı odaklandığını ve oldukça dar bir test hedefine ulaşmak için olağanüstü çaba gösterdiğini ortaya koyuyor.

Korumalı test ortamımızda çalışırken, modellerimiz değerlendirme problemini çözmek amacıyla açık İnternet erişimi elde etmenin bir yolunu bulmak için kayda değer miktarda çıkarım hesaplaması harcadı. Erişim elde etmek için modeller, paket kaydı önbellek proxy’sindeki bir sıfır gün güvenlik açığını (artık tedarikçiye sorumlu şekilde bildirdiğimiz) tespit edip istismar etti. Bu erişimle, modellerimiz İnternet erişimi olan bir düğüme ulaşana kadar araştırma test ortamımızda bir dizi ayrıcalık yükseltme ve yatay hareket eylemi gerçekleştirdi.

İnternet erişimi elde ettikten sonra modeller, Hugging Face’in ExploitGym için modeller, veri kümeleri ve çözümler barındırıyor olabileceği sonucuna vardı. Bunu bilen model, değerlendirmede hile yapmak için kullanabileceği gizli bilgilere erişmenin yollarını aradı ve başarıyla buldu. Bir örnekte model, Hugging Face sunucularında uzaktan kod yürütme yolu bulmak için çalınmış kimlik bilgilerini ve sıfır gün güvenlik açıklarını kullanmak da dahil olmak üzere birden fazla saldırı vektörünü birbirine zincirledi. OpenAI'ın güvenlik ekibi bu anomalik faaliyeti dahili olarak keşfetti.

Hugging Face’in güvenlik ekibi ve ajanları, altyapılarındaki faaliyeti tespit edip durdurdu; ekiplerimiz bağlantı kurduğunda, kendi açık kaynak modelleriyle sınırlandırma ve adli yeniden yapılandırmaya zaten başlamışlardı. Olayı soruşturmayı sürdürmek için onlarla aktif olarak çalışıyoruz. Hugging Face’in soruşturma ve düzeltme sürecindeki hızlı ve yakın iş birliği için minnettarız.

1. Soruşturma kapsamında, güvenlik açıkları yamalanırken araştırma hızından ödün verme pahasına altyapı yapılandırmasında sıkı kontroller uyguluyoruz. Güvenlik ve Emniyet Komitemizi bu kontroller ve etkileri hakkında düzenli olarak bilgilendiriyoruz.
2. Olayı adli olarak incelemek üzere Hugging Face ile çalışıyoruz.
3. Dahili olarak barındırılan üçüncü taraf yazılımdaki tespit edilen sıfır gün güvenlik açığını sorumlu bir şekilde bildirdik ve yamalanması için onlarla çalışıyoruz.
4. Hugging Face’i güvenilir erişim⁠ programına dahil ettik ve savunmalarını iyileştirmek için modellerimizin kabiliyetlerinden hızla yararlanmaları konusunda ekiplerine destek oluyoruz.
5. Gelecekteki eğitim ve değerlendirmeler etrafındaki korumaları iyileştiriyor ve güçlendiriyoruz. Bu hafta, uzun ufuklu modeller çağında güvenlik ve hizalamayı iyileştirme⁠ konulu bir blog yazısı yayımladık. Bu değerlendirme, siber güvenlik açıklarını test etmeyi amaçladığından, söz konusu dağıtım güvenlik önlemleri bilinçli olarak etkinleştirilmedi. Bu olay, modelimizin hizalamasını, değerlendirme sırasındaki siber korumaları ve dahili testler sırasında izlemeyi daha da güçlendirme ihtiyacına işaret ediyor.

Yakın zamanda⁠ paylaştığımız gibi, AI güvenlik açıklarının keşfini ve istismarını hızlandırıyor. Bu olaydan çıkarılacak temel ders, model güvenliği ve emniyetinin hızla gelişen kabiliyetlere ayak uydurması gerektiğidir. Model geliştirme sırasında kullanılan sınırlandırma, izleme, erişim kontrolleri ve değerlendirme uygulamalarını güçlendiriyoruz.

UK AISI’nin değerlendirmesi, GPT‑5.6 Sol gibi modellerin uzun zaman ufukları boyunca karmaşık, çok adımlı siber operasyonları giderek daha fazla sürdürebildiğini gösteriyor. Bu olay, söz konusu teorik kabiliyetlerin gerçek dünya ortamlarında da geçerli olduğunu gösteriyor.

Olay ayrıca, gelişmiş modellerin kaynak kodu erişimi olmadan gerçek dünya sistemlerinde yeni saldırı yolları keşfedip bunlardan yararlanabildiğini açıkça ortaya koyuyor. Bu, gelişmiş siber kabiliyetlerin daha güçlü güvenlik önlemleri ve savunma araçlarıyla birlikte geliştirilmesi gerektiğini vurguluyor.

Gelişmiş siber kabiliyete sahip modellerin, güvenlik ekiplerinin zayıflıkları saldırganlardan önce bulmasına, güvenlik açıklarının nasıl zincirlenebileceğini anlamasına ve bunları makine hızında gidermesine yardımcı olması gerektiğine inanıyoruz. Bu kabiliyetleri altyapı yapılandırması ve model değerlendirme ortamları etrafındaki korumaları güçlendirmeye devam etmek için kullanıyoruz; öğrendikçe bulgularımızı ve en iyi uygulamaları paylaşacağız. Diğer savunmacıları da güvenilir erişime başvurmaya⁠ ve bu kabiliyetleri daha iyi önleme, daha hızlı tespit ve daha etkili olay müdahalesine dönüştürmek için bu modellerle şimdiden denemeler yapmaya teşvik ediyoruz.