OpenAI

En üst seviye AI riskini yönetmek: Eğitimden kullanıma

18 Kasım 2026 · Güvenlik

En üst seviye modellerin yetenekleri hızla gelişiyor. Onları anlama, hizalama ve güvence altına alma becerimiz bu gelişimin önünde olmalı. Modellerimizi geliştirme ve kullanıma sunma hızını kontrollü tutuyoruz. Güvenlik standartlarımızı karşılamak için daha fazla zamana ihtiyaç duyduğumuzda, kurum içi eğitime⁠(yeni bir pencerede açılır) ara veriyor veya GPT‑6.1 Astra gibi modellerin sunulmasını erteliyoruz. Güvenlik gerekçelendirmeleri gibi yeni süreçler başlattık ve eğitim boyunca hizalanmış davranışa dair daha güçlü kanıtlar istiyoruz. Bu gereklilikler modelleri kullanıma sunma hızını yavaşlatıyor, ancak güvenle ilerleyebileceğimize dair inancımızı güçlendiriyor.

Temmuz ayındaki Hugging Face olayından⁠ bu yana, modelleri eğitme, test etme ve kullanıma sunma süreçlerindeki korumaları ve hizalama gerekliliklerini güçlendirdik. Bu yazı, sıkı biçimde yalıtılmış eğitim ortamlarından bilgisayarınızda kullandığınız Codex'e kadar her aşamada riski nasıl değerlendirip yönettiğimizi açıklıyor. Her aşamada hem modelleri hem de korumaları değerlendiriyor, bir sonraki aşamaya geçiş için güvenlik incelemesini şart koşuyoruz.

Model yaşam döngüsü boyunca derinlemesine savunma

Tek bir korumaya bağımlılığı azaltan çok sayıda koruma katmanıyla derinlemesine savunma uyguluyoruz. Bir katman başarısız olursa diğerleri zararı önlemeye, sonuçları sınırlamaya veya müdahale edebilmemiz için bizi uyarmaya yardımcı olur.

Korumalarımızı dört katman etrafında düzenliyoruz:

Etkili izleme, modelin izlenebilirliğine bağlıdır: İzleme sistemleri, modelin akıl yürütmesinden ve eylemlerinden hataları veya güvensiz davranışları ne kadar güvenilir biçimde tespit edebiliyor? Örneğin, düşünce zincirinde (CoT) hile yapma niyetini dile getiren bir model, bu bilgiyi dışarıda bırakan bir modelden daha izlenebilirdir. İzlenebilirliği eğitim sırasında ve kullanıma sunmadan önce değerlendiriyor, daha iyi ölçüm yöntemleri⁠(yeni bir pencerede açılır) geliştiriyor ve onu nelerin etkilediğini araştırıyoruz⁠(yeni bir pencerede açılır).

Hugging Face olayı, çok yetenekli modelleri sınırlandırmak için neden yalnızca yalıtılmış ortamlara güvenmememiz gerektiğini gösterdi. Artık araç kullanılan tüm kurum içi ortamlar dâhil olmak üzere çoğu kurum içi ve dış kullanım ortamında en üst seviye modelleri izliyoruz.

Her katmanın rolü, model geliştirme ve kullanıma sunma sürecinin üç aşamasında değişir:

  • Araştırma: Modelleri yalıtılmış ortamlarda eğitir, test eder ve kullanırız.

  • Kurum içi kullanıma sunma: OpenAI çalışanları modelleri gerçek işlerde kullanır.

  • Dış kullanıma sunma: Modeller daha geniş bir kişi ve kuruluş kitlesinin erişimine açılır.

Farklı aşamalarda farklı katmanlara dayanırız. Hizalamanın daha belirsiz olduğu eğitim aşamasında, yalıtılmış ortamlara ve izlemeye daha fazla dayanırız. Modeller kullanım sırasında daha geniş erişim kazandıkça, hizalama ve sistem düzeyindeki kontroller giderek önem kazanır. Her aşamada, korumaların bir bütün olarak modelin yetenekleri ve erişim düzeyi için yeterli olup olmadığını değerlendiririz. Kararlarımız, Güvenlik Danışma Grubumuzla birlikte gözden geçirilebilir ve OpenAI Foundation Yönetim Kurulunun Güvenlik ve Koruma Komitesi tarafından denetlenebilir.

Araştırma sırasında: Modelleri yalıtılmış ortamlarda sınırlandırma

Araştırma aşamasında modellerin hizalama özelliklerine güven kazanmak için onları değerlendiririz. Zararı önlemek için henüz hizalamaya tam olarak güvenemediğimizden, modellerin erişebileceklerini ve yapabileceklerini kısıtlamak için büyük ölçüde güvenliğe ve ortam yalıtımına dayanırız.

Hizalama araştırmalarının, izleme sistemlerinin ve internet altyapısı güvenliğinin mevcut durumunu dikkate alarak, sorumlu yaklaşımın en üst seviye modelleri canlı internet erişimi olmadan eğitmek olduğuna inanıyoruz. Hugging Face olayından sonra, modelleri aşağıdaki yöntemlerle sınırlandırmak için kurum içi araştırma sistemlerimizi önemli ölçüde yeniden yapılandırdık:

  • modelin yetkilerini kısıtlayan yalıtılmış ortamlar

  • iş yükünü üzerinde çalıştığı bilgisayardan daha da yalıtan sanal makineler

  • tüm kümenin internet bağlantısını kesen ağ ve bulut güvenlik sınırları

En güçlü modellerimizden oluşan ekiplerin canlı internete ulaşmayı, güvenlik sınırlarını aşmayı veya ayrı tutulmaları gereken ajanlarla iletişim kurmayı denemesini sağlayarak bu sistemi sürekli saldırı testlerine tabi tutuyoruz. Bu, sınırlandırmanın hedef aldığı modellerin yetenekleri karşısında dayanıp dayanmadığını test etmemize yardımcı olur.

Ek bir savunma katmanı olarak, modelin değişmez güvenlik koşullarımızı aşıp aşmadığını tespit etmek için en üst seviye modellerin tüm çıkarımlarını izliyoruz. İzleme sistemimiz modelin internete ulaştığını tespit ederse güvenlik ekiplerimize acil bildirim gönderiyor ve iş yükünü otomatik olarak duraklatıyoruz.

İzleme, sınırlandırma başarısız olduğunda kritik bir son savunma hattı sağlar. Yakın tarihli bir hizasızlık raporunda, izleme sistemlerinin kurum içi bir araştırma modelinin DNS yapılandırma hatasından yararlandığını tespit ettiğini⁠(yeni bir pencerede açılır) paylaştık. Model bu yolla sınırlı internet erişimi elde etmişti. Olayı araştırıp güvenlik açığını giderirken, en yetenekli modellerimizin eğitim ve değerlendirmesini 20 Eylül'den 1 Ekim'e kadar duraklattık.

Müdahalelerin hızlı ve güvenilir olmasını sağlamak için Control Room⁠'u geliştirdik. Bu merkezi sistem araştırma iş yüklerini takip eder ve bir işi durdurma talimatını aldıktan sonra 35 saniye içinde modelin yeni çıktı üretmesini durdurur. Bu kontroller doğrudan çıkarım altyapısında uygulanır; dolayısıyla her araştırma iş yükünün kendi kapatma mekanizmasını uygulamasına bağlı değildir. En üst seviye model araştırma iş yüklerinde, Control Room erişilemez hâle gelirse de model çıktısını durdururlar.

Red teaming ve izleme birlikte çalışır. Yalıtılmış bir ortamın aşılamaz olduğunu garanti edemeyiz. Ancak red teaming, modelin bu ortamdan çıkmak için ne kadar çaba harcaması gerekeceğini değerlendirmemize yardımcı olur. Modelin harcaması gereken çaba arttıkça, izleme sistemlerinin onu tespit edip durdurma fırsatı da artar.

Araştırma aşamasında güçlü güvenlik ve izleme kontrollerini birkaç nedenle zorunlu tutuyoruz:

  • Modellerin değerlendirilmesi sürüyor. Bazıları, herkese açık kullanıma sunulmak için gereken güvenlik eğitimini, hizalama denetimlerini ve incelemeleri henüz tamamlamadı.

  • En üst seviye araştırma ortamları riskleri artırabilir. Bazı araştırma görevleri daha iddialı kurulumlar gerektirir. Bunlar modeli, dış kullanıma sunulduğunda genellikle görülenden daha ısrarcı veya yetenekli hâle getirir (örneğin, Navier Stokes problemini çözmek için 10.000 ajandan oluşan bir ekip gerekmiştir).

  • Eğitim, daha az doğrudan insan gözetimiyle büyük ölçekte yürütülür. Tipik bir Codex oturumunun aksine, eğitim iş yüklerimizde her etkileşimi bir insan takip etmeden çok sayıda model eylemi gerçekleşir.

Kurum içi kullanıma sunma: Hizalamayı test etme, davranışı yakından izleme

Geniş çaplı kullanıma sunulmadan önce çalışanlar, en üst seviye modelleri yalıtılmış araştırma ortamlarından yalıtım olmaksızın kurum içi kullanıma geçirir. Örneğin model, çalışanların ChatGPT üzerinden erişimine açılır. Bu, modellerin gerçek kullanım ortamlarında nasıl davrandığını⁠(yeni bir pencerede açılır) daha iyi anlamamızı sağlar ve kullanıma sunma kararlarımıza yön verir.

Bu aşamada modele daha geniş internet erişiminin yanı sıra Slack'imize, kod tabanımıza ve kurum içi altyapımıza erişim veririz. Bu, risk açısından önemli bir değişikliktir; çünkü modelin eylemleri artık OpenAI'ı geliştirmek ve işletmek için kullandığımız sistemleri doğrudan etkiler. Kurum içi kullanımda güvenlik kontrollerinden çok model hizalamasına, sistem korumalarına ve izlemeye dayanmak zorundayız.

En üst seviye bir model, yalıtılmış ortamın dışında kullanıma sunulmadan önce hizalama ve izlenebilirlik testlerinden⁠(yeni bir pencerede açılır) geçmelidir. Hizalama değerlendirmelerimiz hem belirli hizalama hatalarını (güvenlik ve koruma kısıtlamalarını aşmak gibi) test eder hem de genel eğilimleri ölçer (kurum içi Codex işlem dizilerini yeniden örnekleyip hizasızlık olup olmadığını kontrol etmek gibi). Hizalama ve izlenebilirlik değerlendirmelerimiz hakkında daha fazla bilgiyi en son GPT‑6 Astra sistem kartında⁠(yeni bir pencerede açılır) bulabilirsiniz.

Üretim ortamlarımızdaki düzeni örnek alarak, siber kötüye kullanım ve biyolojik silah geliştirme gibi en üst seviye zararları önlemek üzere tasarlanmış sistem düzeyindeki sınıflandırıcılarla ek bir savunma katmanı oluştururuz. Codex kullanan çalışanlar için genellikle Auto-Review⁠(yeni bir pencerede açılır) kullanımını da zorunlu tutarız. Bu sistem, riskli olabilecek eylemleri değerlendirir ve kullanıcının onayına sunar.

Son olarak, kurum içi kullanım sırasında en üst seviye modellerin her çıkarımında hizasız davranışları izleriz. Model artık daha geniş yetkilere ve kurum içi bilgi ve sistemlere erişime sahip olduğundan, veri sızdırma veya hassas verileri yetkisiz bir hedefe gönderme gibi riskleri tespit etmek özellikle önem kazanır. İzleme, yeni hizasızlık biçimlerini⁠(yeni bir pencerede açılır) araştırmamıza da yardımcı olur.

Dış kullanıma sunma: Kötüye kullanıma ve hizasızlığa karşı geniş ölçekte koruma

Herkese açık kullanıma sunulan modeller çok daha fazla kullanıcı, görev ve ortamla karşılaşır. Bu da risklerin hem ölçeğini hem de çeşitliliğini artırır. Bu aşamada modeli kasıtlı olarak zarar vermeye yönlendiren olası kötü niyetli aktörlere karşı da koruma sağlamamız gerekir.

Modeller ve sistem korumaları, herkese açık kullanıma sunulmadan önce dış kullanıma yönelik güvenlik gerekliliklerimizi karşılamalıdır. Bunları şu yollarla değerlendiririz:

  • Daha kapsamlı hizalama ve güvenlik değerlendirmeleri yürütmek. En üst seviye modellerimiz için bu, modelin dayanıklılığını zorlamak amacıyla kurum içi otomatik red teaming sistemlerimizle yeni uyarlanabilir test⁠ turları yürütmeyi de kapsar. Yetenek ve güvenlik değerlendirmelerimizin sonuçlarını sistem kartlarımızda⁠(yeni bir pencerede açılır) yayımlarız.

  • Hem kötüye kullanıma karşı korumalarımızı hem de modellerimizin temel hizalamasını zorlayarak sınamak için en yetenekli modellerimizi üçüncü taraflarla da test ederiz.

  • Temel modelin hizalamasındaki değişiklikleri takip etmek için kurum içi kullanım aşamasındaki izleme uyarılarını incelemek.

Model güvenlik eğitimi ve sistem sınıflandırıcıları gibi “eşzamanlı” korumalarımızın yanı sıra, dış kullanımda çevrimdışı yaptırım ve incelemelerden de yararlanırız. Bu ekipler; siber kötüye kullanım, biyolojik silah geliştirme, damıtma⁠ ve modelin kendi hizasızlığı gibi alanlardaki olası tehdit kaynaklarını tespit etmek ve belirlemek için geniş ölçekte çalışan araştırmacı ajanları insan incelemesiyle birleştirir. Çevrimdışı yaptırım, olası bir tehdide daha bütüncül bakabilmek için farklı hesaplardan bilgi toplamada özellikle faydalıdır.

Daybreak ve Rosalind⁠ gibi güvenilir erişim programları, ek bir güvenlik katmanı sunar. Olası saldırganların erişimini kısıtlarken savunma uzmanlarının ve meşru araştırmacıların çalışmalarını hızlandırır.

Olay müdahalesi ve kamuoyuna açıklama

Güvenlik katmanlarımızdan birinde bir aksaklık fark ettiğimizde, zarar oluşup oluşmadığına bakmaksızın bunu hızla incelemek, önceliklendirmek ve mümkün ve uygunsa kamuoyuna açıklamak isteriz. Hizasızlık raporlama⁠ politikamız kapsamında her çalışan, bir olayın kamuoyuna açıklanmasını talep edebilir. Bu bildirimler incelenir. Kamuoyuna açıklanıp açıklanmaması konusunda görüş ayrılığı varsa karar Güvenlik Danışma Grubumuza taşınır. Çalışan bildirimlerine dayanmanın yanı sıra, müdahale edebilmek ve bulguları paylaşabilmek için hizasızlık olaylarını proaktif olarak da araştırırız.

Hizasızlık raporlarımıza buradan⁠(yeni bir pencerede açılır) ulaşabilirsiniz.

​


​

Bu çalışma hem araştırmadaki ilerlemeye hem de operasyonel disipline bağlıdır: kontrolleri doğru yapılandırmak, etkileşimlerini test etmek ve başarısız olduklarında kararlılıkla müdahale etmek. Yanlış yapılandırılmış bir ağ hizmeti veya çalışmayan bir otomatik durdurma mekanizması, diğer yönlerden güçlü korumaları zayıflatabilir.

Modeller yeni yetenekler kazandıkça korumalarımızın dayandığı varsayımları sorgulamaya ve gerektiğinde korumaları iyileştirmeye devam etmeliyiz. Araştırmadan, kurum içi kullanımdan ve herkese açık kullanımdan çıkarılan dersler, sonraki modelleri nasıl eğiteceğimize, değerlendireceğimize ve kullanıma sunacağımıza yön vermelidir.

Başkalarının yaklaşımımızı sınırlamalarıyla birlikte inceleyebilmesi için bulgularımızı sistem kartları, olay raporları, kurum içi kullanım risk raporları⁠(yeni bir pencerede açılır) ve dış değerlendirmeler⁠ yoluyla paylaşmayı sürdüreceğiz. Bu kanıtlar güvenlik için belirlediğimiz eşiği karşılamadığında, gereklilikler yerine getirilene kadar eğitimi yeniden duraklatacak veya kullanıma sunmayı erteleyeceğiz.

İlgili araştırmalar ve kaynaklar

Güvenlik standartlarını belirleme

Hizalanmış davranışı tanımlama ve değerlendirme

Modelleri sınırlandırma ve korumaları iyileştirme

Olay müdahalesi ve kamuoyuna açıklama

Araştırmadaki ilerleme ve uygulamalar