Control Room

Modellerimiz güçlendikçe ve bunlarla ilişkili güvenlik riskleri arttıkça, olası sorunları tespit edebilmemiz ve gerektiğinde modelleri hızla durdurabilmemiz giderek daha kritik hâle geliyor. Bunu sağlamak için Control Room’u geliştirdik.

Control Room, araştırma altyapımızdaki model iş yüklerini izleyen ve güvenlik endişeleri ortaya çıktığında bunları hızla durduran merkezi bir sistemdir. Model eğitimi ve değerlendirmesi için ajan tabanlı örnekleme, veri işleme ve daha fazlası dahil olmak üzere araştırmalardaki tüm çıkarım iş yüklerini birbirine bağlar. Hizalanmamayı izleme sistemlerimizle birlikte çalışır ve bir işi durdurmak veya duraklatmak üzere müdahale kararı alındıktan sonra 35 saniye içinde model çıktısını durdurur. Diğer sistemler arızalandığında bile çalışmaya devam edecek ve Control Room’un kendisi devre dışı kalırsa model çıktısını durduracak şekilde geliştirilmiştir.

Control Room, en çok ihtiyaç duyulan yerde, araştırma altyapımızın tamamında zaten kullanılıyor. Harici kullanıcılara model sunan teknoloji altyapımız zaten doğası gereği çok daha merkezi ve gerektiğinde model dağıtımlarını hızla devre dışı bırakabilecek gelişmiş bir operasyonel kapasiteye sahip.

Control Room, birkaç sistemi entegre ederek çalışır: iş yükü, çıkarım motoru ve merkezi Control Room hizmeti.

• İş yükü; pekiştirmeli öğrenme deneyi, değerlendirme, yüksek hacimli örnekleme veya veri işleme işi gibi yürütülen iştir. Ajan tabanlı çıkarım yapan her araştırma iş yükünün, onaylanmış bir güvenlik gerekçesiyle ilişkilendirilmesini zorunlu tutuyoruz.

• Çıkarım motoru veya kısaca motor, modelin kendisidir. Motoru, doğrudan GPU’lar üzerinde çalışan modelin beyni olarak düşünebilirsiniz. Bir iş yükü normalde bir veya daha fazla model kullanır. Bu modeller bir veya daha fazla farklı çıkarım motorunda çalışıyor olabilir. Aynı çıkarım motoru birden fazla farklı iş yükü tarafından kullanılabilir.

• Control Room hizmeti işleri izler ve model çıktısı üretmeye devam etmelerine izin verilip verilmeyeceğini kontrol eder. Motorlar bir isteği yerine getirmeden önce Control Room hizmetinden izin alır. Bir iş durdurulmuşsa hizmet isteği reddederek daha fazla çıktı üretilmesini engeller.

Control Room entegrasyonu şu şekilde çalışır:

• Yeni bir iş başlatılırken iş yükü kodu, Control Room’dan yeni bir job_id ister.

• İş yükü bir modelden token örneklemesi yapması gerektiğinde, o modeli çalıştıran bir çıkarım motoruna job_id değerini ileterek istekte bulunur. Motor, job_id değerini Control Room’a ileterek bu isteği yerine getirmek için izin ister.

• Control Room, işin sonlandırılıp sonlandırılmadığını kontrol eder; sonlandırılmışsa çıkarım isteğini reddeder. Motor, iş yükünün çıkarım isteğine ret yanıtı vererek o iş için daha fazla model çıktısı üretilmesini durdurur.

En üst seviye pekiştirmeli öğrenme işlerimizin tümü bir izleyiciyle çalışır. İzleyici, eğitilen modelin yaptığı her şeyi inceleyen ve bir sorun tespit ederse uyarı veren başka bir modeldir. Örneğin, yakın zamanda yaşadığımız DNS ile ilgili olay⁠(yeni bir pencerede açılır) bir izleyici tarafından tespit edildi.

Control Room ile izleme sistemimizin entegrasyonu şu şekilde çalışır:

• İzleme sistemi olası bir sorun tespit ederse, sorunun ayrıntılarına ve ciddiyetine bağlı olarak işi durdurmaya karar verebilir.

• Bu durumda izleme sistemi, job_id değerini ileterek Control Room’a işi durdurması için bir mesaj gönderir. Control Room, işin sonlandırıldığını kaydeder.

• Bu job_id değerine sahip iş, herhangi bir motorda çalışan herhangi bir modelden daha fazla token örneklemek için bir sonraki çıkarım isteğini gönderdiğinde, istek reddedilir ve daha fazla model çıktısı üretilmesi durdurulur.

Control Room’un bir işi durdurma talimatını alması ile işin daha fazla ilerleyemeyeceği an arasında geçen süre en fazla 35 saniyedir. Bu 35 saniyelik gecikme, gerekli trafik hacmini desteklemek için çıkarım yetkilendirmesinde kullanılan önbellekleme katmanından kaynaklanır. İşleri anında sonlandırabilmek için bu süreyi sıfıra indirmeye çalışıyoruz.

Deneyler, değerlendirme işleri ve benzeri iş yüklerinin sorumluluğu ve yürütülmesi normalde araştırmacılara veya araştırma ekiplerine aittir. Bu nedenle iş yükü kodu sık sık değişir ve temel güvenlik önlemlerini uygulamak için ideal bir yer değildir. Bu yüzden sistemimizi, iş yükü kodu hatalı veya çalışmaz durumda olsa bile dayanıklılığını koruyacak şekilde tasarladık.

Bunu, sonlandırma mekanizmasını çıkarım katmanına yerleştirerek sağlıyoruz. İş yükü kodu çok çeşitlidir ve merkezi olarak yönetilmez. Buna karşılık, OpenAI araştırmalarının tamamında kullanılan çıkarım kod yollarının sayısı çok azdır ve bunların dağıtımları çok daha merkezi ve standarttır. Böylece çıkarım katmanı ortak bir kontrol noktası görevi görebilir ve araştırmalarda yürütülen tüm model çıkarımlarının, her çıkarım isteğinde Control Room yetkilendirme kontrollerine tabi olmasını güçlü biçimde güvence altına alabiliriz. Ayrıca, kullanıcıların yanlışlıkla veya kötü niyetle Control Room’un uygulanmadığı ya da devre dışı bırakıldığı yetkisiz motor uygulamaları başlatmadığını kontrol etmek için ajanlar ve programlar aracılığıyla sürekli taramalar yapıyoruz.

Son olarak, sistemimiz “arıza durumunda erişimi kapatır”. Yani motorlardaki Control Room entegrasyonu şöyle yapılandırılmıştır: Control Room hizmeti bir sistem hatası nedeniyle çökerse veya kötü niyetli bir kişinin müdahalesi dahil herhangi bir nedenle devre dışı kalırsa, Control Room normal çalışmasına dönene kadar tüm çıkarım istekleri reddedilir. Arıza durumunda erişimi kapatma özelliği, en üst seviye modellere yönelik tüm araştırma iş yüklerinde artık devrede. Kalan tüm araştırma iş yüklerinde de önümüzdeki birkaç gün içinde devreye alınmış olacak.

Control Room, en üst seviye modellerin güvenli biçimde eğitilmesine ve kullanıma sunulmasına yönelik bütüncül yaklaşımımızın yalnızca bir parçası. Önümüzdeki aylarda, hizalanmamış davranışları ve güvenlik ihlallerini izlemeye yönelik yatırımlarımızın yanı sıra sistemi güçlendirmeye ve kapsamını genişletmeye devam edeceğiz. AGI (genel yapay zeka) sistemlerinin güvenli biçimde geliştirilmesi ve kullanıma sunulması için sistemler oluşturmaya katkıda bulunmak istiyorsanız, ekibimize⁠ katılın⁠!