Komutlara kötü amaçlı müdahale saldırılarına direnebilen yapay zeka otonom ajanları tasarlıyoruz

Yapay zeka otonom ajanları giderek daha fazla web'de gezinebilmekte, bilgi getirebilmekte ve kullanıcı adına eylemler gerçekleştirebilmektedir. Bu yetenekler faydalıdır; ancak aynı zamanda saldırganların sistemi manipüle etmeye çalışması için yeni yollar da yaratır.

Bu saldırılar genellikle komutlara kötü amaçlı müdahale⁠ (modelin, kullanıcının istemediği bir şeyi yapmasını sağlamak amacıyla harici içeriğe yerleştirilen talimatlar) olarak tanımlanır. Deneyimlerimize göre, bu saldırıların gerçek dünyadaki en etkili biçimleri giderek basit komut geçersiz kılma girişimlerinden çok toplum mühendisliğine benzer.

Bu değişim önemlidir. Sorun yalnızca kötü amaçlı bir metin dizisini tespit etmek değil, bağlam içinde yanıltıcı veya manipülatif içeriğe direnmekse, buna karşı savunma yalnızca girdileri filtrelemeye dayanamaz. Ayrıca sistemin, bazı saldırılar başarılı olsa bile manipülasyonun etkisini sınırlayacak şekilde tasarlanmasını da gerektirir.

Erken dönem "komutlara kötü amaçlı müdahale" saldırıları; bir Wikipedia makalesini, sayfayı ziyaret eden yapay zeka otonom ajanlarına doğrudan talimatlar içerecek şekilde düzenlemek kadar basit olabiliyordu. Bu tür karşıt ortamlara yönelik eğitim deneyimi olmayan AI modelleri ise bu talimatları çoğu zaman sorgulamadan izliyordu. Modeller daha gelişmiş hale geldikçe bu tür yönlendirmelere karşı daha az savunmasız hale geldiler. Bunun sonucunda komutlara kötü amaçlı müdahale saldırılarının da toplumsal mühendislik unsurları ekleyerek evrildiğini gözlemledik.

Daha geniş yapay zeka güvenliği ekosisteminde, yapay zeka otonom ajanı ile dış dünya arasına yerleştirilen bir aracının girdileri komutlara kötü amaçlı müdahale girişimleri ve normal girdiler olarak sınıflandırmaya çalıştığı "yapay zeka güvenlik duvarı oluşturma (AI firewalling)" gibi teknikler önerilmektedir. Ancak tam gelişmiş saldırılar çoğu zaman bu tür sistemler tarafından yakalanmamaktadır. Bu tür sistemlerde kötü amaçlı bir girdiyi tespit etmek, bir yalanı veya yanlış bilgiyi tespit etmek kadar zor bir probleme dönüşebilir; üstelik çoğu zaman gerekli bağlam da mevcut değildir.

Gerçek dünyadaki komutlara kötü amaçlı müdahale saldırıları daha karmaşık hale geldikçe, en etkili saldırı tekniklerinin toplumsal mühendislik taktiklerinden yararlandığını gördük. Bu nedenle komutlara kötü amaçlı müdahale saldırılarını toplumsal mühendislikten tamamen ayrı veya yeni bir problem sınıfı olarak ele almak yerine, bunları diğer alanlarda insanlara yönelik toplumsal mühendislik risklerini yönetmek için kullanılan aynı bakış açısıyla değerlendirmeye başladık. Bu tür sistemlerde amaç yalnızca kötü amaçlı girdileri kusursuz biçimde tespit etmek değildir; aynı zamanda bazı saldırılar başarılı olsa bile manipülasyonun etkisini sınırlayacak şekilde otonom ajanları ve sistemleri tasarlamaktır. Bu yaklaşımın, hem komutlara kötü amaçlı müdahale hem de toplumsal mühendislik saldırılarını azaltmada etkili olduğu görülmektedir.

Bu yaklaşım doğrultusunda yapay zeka otonom ajanını, bir müşteri hizmetleri temsilcisine benzeyen üç aktörlü bir sistem içinde düşünebiliriz: otonom ajan, işvereni adına hareket eder, ancak sürekli olarak onu yanıltmaya çalışabilecek dış girdilere maruz kalır. İnsan ya da yapay zeka olsun müşteri destek temsilcisinin yetkilerine, böylesi kötü niyetli bir ortamda bulunmanın doğasında var olan riskleri sınırlamak için bazı kısıtlamalar getirilmelidir.

Bir insanın bir müşteri destek sistemi işlettiğini ve teslimatın gecikmesi ya da bir arıza sonucu oluşan zararlar gibi durumlarda müşterilere hediye kartları veya geri ödemeler sunabildiğini düşünün. Bu durum çok taraflı bir problemi ortaya çıkarır: şirket, temsilcinin geri ödemeleri doğru gerekçelerle verdiğine güvenmek zorundadır; aynı zamanda temsilci, onu yanıltmayı veya baskı altına almayı hedefleyebilecek üçüncü taraflarla da etkileşim içindedir.

Gerçek dünyada otonom ajana uyması gereken bir dizi kural verilir; ancak bulunduğu karşıt ortamda zaman zaman yanıltılması da beklenen bir durumdur. Örneğin bir müşteri, geri ödemenin hiç yapılmadığını iddia eden ya da geri ödeme yapılmazsa zarar vermekle tehdit ettiği bir mesaj gönderebilir. Otonom ajanın etkileşimde bulunduğu deterministik sistemler ise bir müşteriye verilebilecek geri ödeme miktarını sınırlar; olası kimlik avı e-postalarını işaretler ve tek bir otonom ajanın ele geçirilmesinin etkisini sınırlamak için benzer önlemler uygular. 

Bu yaklaşım, kullanıcılarımızın güvenlik beklentilerini karşılayan güçlü bir karşı önlem seti geliştirmemize rehberlik etmiştir.

ChatGPT'de bu toplumsal mühendislik modelini, kaynak-hedef analizi gibi daha geleneksel güvenlik mühendisliği yaklaşımlarıyla birleştiriyoruz.

Bu çerçevede bir saldırganın başarılı olabilmesi için hem bir kaynağa, yani sistemi etkileyebileceği bir yola, hem de bir hedefe (yanlış bağlamda tehlikeli hale gelebilecek bir yeteneğe) sahip olması gerekir. Otonom ajan sistemlerinde bu genellikle güvenilmeyen harici içeriğin, üçüncü bir tarafa bilgi iletmek, bir bağlantıyı takip etmek veya bir araçla etkileşime girmek gibi bir eylemle birleşmesi anlamına gelir.

Amacımız, kullanıcılar için temel bir güvenlik beklentisini korumaktır: potansiyel olarak tehlikeli eylemler veya hassas bilgilerin iletilmesi, sessizce ya da uygun güvenlik önlemleri olmadan gerçekleşmemelidir.

ChatGPT'ye karşı geliştirildiğini gördüğümüz saldırılar çoğunlukla asistanı, bir sohbetten elde edilen gizli bir bilgiyi alıp kötü niyetli bir üçüncü tarafa iletmesi gerektiğine ikna etmeye çalışmaktan oluşur. Güvenlik eğitimimiz otonom ajanın bu tür talepleri reddetmesine yol açacağı için, bildiğimiz çoğu durumda bu saldırılar başarısız olur. Otonom ajanın ikna edildiği nadir durumlar için Güvenli Url adı verilen bir risk azaltma stratejisi geliştirdik. Bu mekanizma, asistanın sohbet sırasında öğrendiği bilgilerin üçüncü bir tarafa iletilmek üzere olup olmadığını tespit etmek üzere tasarlanmıştır. Bu nadir durumlarda ya kullanıcıya iletilecek bilgiyi gösterip onayını isteriz ya da bunu engelleyerek otonom ajandan kullanıcının isteğini yerine getirmek için başka bir yol denemesini isteriz.

Aynı mekanizma, Atlas⁠'taki gezinme ve yer imleri için; ayrıca Derin Araştırma⁠ modundaki arama ve gezinme işlemleri için de geçerlidir. ChatGPT Kanvas⁠ ve ChatGPT Uygulamalar⁠ da benzer bir yaklaşım izler: otonom ajanın işlevsel uygulamalar oluşturmasına ve kullanmasına izin verirler. Bu uygulamalar, beklenmeyen iletişimleri tespit edebilen bir sandbox ortamında çalışır ve gerektiğinde kullanıcıdan onay ister⁠(yeni bir pencerede açılır).

Güvenli Url hakkında daha fazla bilgi edinebilir ve yapısına dair teknik makaleyi Yapay zeka otonom ajanı bir bağlantıya tıkladığında verilerinizi güvende tutuyoruz⁠ başlıklı blog yazısında bulabilirsiniz.

Tamamen otonom ajanlar için karşıt dış dünyayla güvenli biçimde etkileşim kurabilmek temel bir gerekliliktir. Bir yapay zeka modelini bir uygulama sistemiyle entegre ederken, benzer bir durumda bir insan otonom ajanın hangi kontrollere sahip olması gerektiğini sormayı ve bunları uygulamayı öneriyoruz. En yüksek düzeyde yetenekli bir yapay zeka modelinin toplumsal mühendisliğe bir insan operatörden daha iyi direnebileceğini öngörüyoruz; ancak uygulamaya bağlı olarak bu her zaman geçerli ya da maliyet açısından verimli olmayabilir.

Yapay zeka modellerine karşı toplumsal mühendisliğin etkilerini ve buna karşı savunmaları araştırmaya devam ediyor; elde ettiğimiz bulguları hem uygulama güvenliği mimarilerimize hem de yapay zeka modellerimizi eğitirken kullandığımız yöntemlere entegre ediyoruz.