En üst seviye AI riskini yönetmek: Eğitimden kullanıma
18 Kasım 2026 · Güvenlik
En üst seviye modellerin yetenekleri hızla gelişiyor. Onları anlama, hizalama ve güvence altına alma becerimiz bu gelişimin önünde olmalı. Modellerimizi geliştirme ve kullanıma sunma hızını kontrollü tutuyoruz. Güvenlik standartlarımızı karşılamak için daha fazla zamana ihtiyaç duyduğumuzda, kurum içi eğitime(yeni bir pencerede açılır) ara veriyor veya GPT‑6.1 Astra gibi modellerin sunulmasını erteliyoruz. Güvenlik gerekçelendirmeleri gibi yeni süreçler başlattık ve eğitim boyunca hizalanmış davranışa dair daha güçlü kanıtlar istiyoruz. Bu gereklilikler modelleri kullanıma sunma hızını yavaşlatıyor, ancak güvenle ilerleyebileceğimize dair inancımızı güçlendiriyor.
Temmuz ayındaki Hugging Face olayından bu yana, modelleri eğitme, test etme ve kullanıma sunma süreçlerindeki korumaları ve hizalama gerekliliklerini güçlendirdik. Bu yazı, sıkı biçimde yalıtılmış eğitim ortamlarından bilgisayarınızda kullandığınız Codex'e kadar her aşamada riski nasıl değerlendirip yönettiğimizi açıklıyor. Her aşamada hem modelleri hem de korumaları değerlendiriyor, bir sonraki aşamaya geçiş için güvenlik incelemesini şart koşuyoruz.
Tek bir korumaya bağımlılığı azaltan çok sayıda koruma katmanıyla derinlemesine savunma uyguluyoruz. Bir katman başarısız olursa diğerleri zararı önlemeye, sonuçları sınırlamaya veya müdahale edebilmemiz için bizi uyarmaya yardımcı olur.
Korumalarımızı dört katman etrafında düzenliyoruz:
Etkili izleme, modelin izlenebilirliğine bağlıdır: İzleme sistemleri, modelin akıl yürütmesinden ve eylemlerinden hataları veya güvensiz davranışları ne kadar güvenilir biçimde tespit edebiliyor? Örneğin, düşünce zincirinde (CoT) hile yapma niyetini dile getiren bir model, bu bilgiyi dışarıda bırakan bir modelden daha izlenebilirdir. İzlenebilirliği eğitim sırasında ve kullanıma sunmadan önce değerlendiriyor, daha iyi ölçüm yöntemleri(yeni bir pencerede açılır) geliştiriyor ve onu nelerin etkilediğini araştırıyoruz(yeni bir pencerede açılır).
Hugging Face olayı, çok yetenekli modelleri sınırlandırmak için neden yalnızca yalıtılmış ortamlara güvenmememiz gerektiğini gösterdi. Artık araç kullanılan tüm kurum içi ortamlar dâhil olmak üzere çoğu kurum içi ve dış kullanım ortamında en üst seviye modelleri izliyoruz.
Her katmanın rolü, model geliştirme ve kullanıma sunma sürecinin üç aşamasında değişir:
Araştırma: Modelleri yalıtılmış ortamlarda eğitir, test eder ve kullanırız.
Kurum içi kullanıma sunma: OpenAI çalışanları modelleri gerçek işlerde kullanır.
Dış kullanıma sunma: Modeller daha geniş bir kişi ve kuruluş kitlesinin erişimine açılır.
Farklı aşamalarda farklı katmanlara dayanırız. Hizalamanın daha belirsiz olduğu eğitim aşamasında, yalıtılmış ortamlara ve izlemeye daha fazla dayanırız. Modeller kullanım sırasında daha geniş erişim kazandıkça, hizalama ve sistem düzeyindeki kontroller giderek önem kazanır. Her aşamada, korumaların bir bütün olarak modelin yetenekleri ve erişim düzeyi için yeterli olup olmadığını değerlendiririz. Kararlarımız, Güvenlik Danışma Grubumuzla birlikte gözden geçirilebilir ve OpenAI Foundation Yönetim Kurulunun Güvenlik ve Koruma Komitesi tarafından denetlenebilir.
Araştırma aşamasında modellerin hizalama özelliklerine güven kazanmak için onları değerlendiririz. Zararı önlemek için henüz hizalamaya tam olarak güvenemediğimizden, modellerin erişebileceklerini ve yapabileceklerini kısıtlamak için büyük ölçüde güvenliğe ve ortam yalıtımına dayanırız.
Hizalama araştırmalarının, izleme sistemlerinin ve internet altyapısı güvenliğinin mevcut durumunu dikkate alarak, sorumlu yaklaşımın en üst seviye modelleri canlı internet erişimi olmadan eğitmek olduğuna inanıyoruz. Hugging Face olayından sonra, modelleri aşağıdaki yöntemlerle sınırlandırmak için kurum içi araştırma sistemlerimizi önemli ölçüde yeniden yapılandırdık:
modelin yetkilerini kısıtlayan yalıtılmış ortamlar
iş yükünü üzerinde çalıştığı bilgisayardan daha da yalıtan sanal makineler
tüm kümenin internet bağlantısını kesen ağ ve bulut güvenlik sınırları
En güçlü modellerimizden oluşan ekiplerin canlı internete ulaşmayı, güvenlik sınırlarını aşmayı veya ayrı tutulmaları gereken ajanlarla iletişim kurmayı denemesini sağlayarak bu sistemi sürekli saldırı testlerine tabi tutuyoruz. Bu, sınırlandırmanın hedef aldığı modellerin yetenekleri karşısında dayanıp dayanmadığını test etmemize yardımcı olur.
Ek bir savunma katmanı olarak, modelin değişmez güvenlik koşullarımızı aşıp aşmadığını tespit etmek için en üst seviye modellerin tüm çıkarımlarını izliyoruz. İzleme sistemimiz modelin internete ulaştığını tespit ederse güvenlik ekiplerimize acil bildirim gönderiyor ve iş yükünü otomatik olarak duraklatıyoruz.
İzleme, sınırlandırma başarısız olduğunda kritik bir son savunma hattı sağlar. Yakın tarihli bir hizasızlık raporunda, izleme sistemlerinin kurum içi bir araştırma modelinin DNS yapılandırma hatasından yararlandığını tespit ettiğini(yeni bir pencerede açılır) paylaştık. Model bu yolla sınırlı internet erişimi elde etmişti. Olayı araştırıp güvenlik açığını giderirken, en yetenekli modellerimizin eğitim ve değerlendirmesini 20 Eylül'den 1 Ekim'e kadar duraklattık.
Müdahalelerin hızlı ve güvenilir olmasını sağlamak için Control Room'u geliştirdik. Bu merkezi sistem araştırma iş yüklerini takip eder ve bir işi durdurma talimatını aldıktan sonra 35 saniye içinde modelin yeni çıktı üretmesini durdurur. Bu kontroller doğrudan çıkarım altyapısında uygulanır; dolayısıyla her araştırma iş yükünün kendi kapatma mekanizmasını uygulamasına bağlı değildir. En üst seviye model araştırma iş yüklerinde, Control Room erişilemez hâle gelirse de model çıktısını durdururlar.
Red teaming ve izleme birlikte çalışır. Yalıtılmış bir ortamın aşılamaz olduğunu garanti edemeyiz. Ancak red teaming, modelin bu ortamdan çıkmak için ne kadar çaba harcaması gerekeceğini değerlendirmemize yardımcı olur. Modelin harcaması gereken çaba arttıkça, izleme sistemlerinin onu tespit edip durdurma fırsatı da artar.
Araştırma aşamasında güçlü güvenlik ve izleme kontrollerini birkaç nedenle zorunlu tutuyoruz:
Modellerin değerlendirilmesi sürüyor. Bazıları, herkese açık kullanıma sunulmak için gereken güvenlik eğitimini, hizalama denetimlerini ve incelemeleri henüz tamamlamadı.
En üst seviye araştırma ortamları riskleri artırabilir. Bazı araştırma görevleri daha iddialı kurulumlar gerektirir. Bunlar modeli, dış kullanıma sunulduğunda genellikle görülenden daha ısrarcı veya yetenekli hâle getirir (örneğin, Navier Stokes problemini çözmek için 10.000 ajandan oluşan bir ekip gerekmiştir).
Eğitim, daha az doğrudan insan gözetimiyle büyük ölçekte yürütülür. Tipik bir Codex oturumunun aksine, eğitim iş yüklerimizde her etkileşimi bir insan takip etmeden çok sayıda model eylemi gerçekleşir.
Geniş çaplı kullanıma sunulmadan önce çalışanlar, en üst seviye modelleri yalıtılmış araştırma ortamlarından yalıtım olmaksızın kurum içi kullanıma geçirir. Örneğin model, çalışanların ChatGPT üzerinden erişimine açılır. Bu, modellerin gerçek kullanım ortamlarında nasıl davrandığını(yeni bir pencerede açılır) daha iyi anlamamızı sağlar ve kullanıma sunma kararlarımıza yön verir.
Bu aşamada modele daha geniş internet erişiminin yanı sıra Slack'imize, kod tabanımıza ve kurum içi altyapımıza erişim veririz. Bu, risk açısından önemli bir değişikliktir; çünkü modelin eylemleri artık OpenAI'ı geliştirmek ve işletmek için kullandığımız sistemleri doğrudan etkiler. Kurum içi kullanımda güvenlik kontrollerinden çok model hizalamasına, sistem korumalarına ve izlemeye dayanmak zorundayız.
En üst seviye bir model, yalıtılmış ortamın dışında kullanıma sunulmadan önce hizalama ve izlenebilirlik testlerinden(yeni bir pencerede açılır) geçmelidir. Hizalama değerlendirmelerimiz hem belirli hizalama hatalarını (güvenlik ve koruma kısıtlamalarını aşmak gibi) test eder hem de genel eğilimleri ölçer (kurum içi Codex işlem dizilerini yeniden örnekleyip hizasızlık olup olmadığını kontrol etmek gibi). Hizalama ve izlenebilirlik değerlendirmelerimiz hakkında daha fazla bilgiyi en son GPT‑6 Astra sistem kartında(yeni bir pencerede açılır) bulabilirsiniz.
Üretim ortamlarımızdaki düzeni örnek alarak, siber kötüye kullanım ve biyolojik silah geliştirme gibi en üst seviye zararları önlemek üzere tasarlanmış sistem düzeyindeki sınıflandırıcılarla ek bir savunma katmanı oluştururuz. Codex kullanan çalışanlar için genellikle Auto-Review(yeni bir pencerede açılır) kullanımını da zorunlu tutarız. Bu sistem, riskli olabilecek eylemleri değerlendirir ve kullanıcının onayına sunar.
Son olarak, kurum içi kullanım sırasında en üst seviye modellerin her çıkarımında hizasız davranışları izleriz. Model artık daha geniş yetkilere ve kurum içi bilgi ve sistemlere erişime sahip olduğundan, veri sızdırma veya hassas verileri yetkisiz bir hedefe gönderme gibi riskleri tespit etmek özellikle önem kazanır. İzleme, yeni hizasızlık biçimlerini(yeni bir pencerede açılır) araştırmamıza da yardımcı olur.
Herkese açık kullanıma sunulan modeller çok daha fazla kullanıcı, görev ve ortamla karşılaşır. Bu da risklerin hem ölçeğini hem de çeşitliliğini artırır. Bu aşamada modeli kasıtlı olarak zarar vermeye yönlendiren olası kötü niyetli aktörlere karşı da koruma sağlamamız gerekir.
Modeller ve sistem korumaları, herkese açık kullanıma sunulmadan önce dış kullanıma yönelik güvenlik gerekliliklerimizi karşılamalıdır. Bunları şu yollarla değerlendiririz:
Daha kapsamlı hizalama ve güvenlik değerlendirmeleri yürütmek. En üst seviye modellerimiz için bu, modelin dayanıklılığını zorlamak amacıyla kurum içi otomatik red teaming sistemlerimizle yeni uyarlanabilir test turları yürütmeyi de kapsar. Yetenek ve güvenlik değerlendirmelerimizin sonuçlarını sistem kartlarımızda(yeni bir pencerede açılır) yayımlarız.
Hem kötüye kullanıma karşı korumalarımızı hem de modellerimizin temel hizalamasını zorlayarak sınamak için en yetenekli modellerimizi üçüncü taraflarla da test ederiz.
Temel modelin hizalamasındaki değişiklikleri takip etmek için kurum içi kullanım aşamasındaki izleme uyarılarını incelemek.
Model güvenlik eğitimi ve sistem sınıflandırıcıları gibi “eşzamanlı” korumalarımızın yanı sıra, dış kullanımda çevrimdışı yaptırım ve incelemelerden de yararlanırız. Bu ekipler; siber kötüye kullanım, biyolojik silah geliştirme, damıtma ve modelin kendi hizasızlığı gibi alanlardaki olası tehdit kaynaklarını tespit etmek ve belirlemek için geniş ölçekte çalışan araştırmacı ajanları insan incelemesiyle birleştirir. Çevrimdışı yaptırım, olası bir tehdide daha bütüncül bakabilmek için farklı hesaplardan bilgi toplamada özellikle faydalıdır.
Daybreak ve Rosalind gibi güvenilir erişim programları, ek bir güvenlik katmanı sunar. Olası saldırganların erişimini kısıtlarken savunma uzmanlarının ve meşru araştırmacıların çalışmalarını hızlandırır.
Güvenlik katmanlarımızdan birinde bir aksaklık fark ettiğimizde, zarar oluşup oluşmadığına bakmaksızın bunu hızla incelemek, önceliklendirmek ve mümkün ve uygunsa kamuoyuna açıklamak isteriz. Hizasızlık raporlama politikamız kapsamında her çalışan, bir olayın kamuoyuna açıklanmasını talep edebilir. Bu bildirimler incelenir. Kamuoyuna açıklanıp açıklanmaması konusunda görüş ayrılığı varsa karar Güvenlik Danışma Grubumuza taşınır. Çalışan bildirimlerine dayanmanın yanı sıra, müdahale edebilmek ve bulguları paylaşabilmek için hizasızlık olaylarını proaktif olarak da araştırırız.
Hizasızlık raporlarımıza buradan(yeni bir pencerede açılır) ulaşabilirsiniz.
Bu çalışma hem araştırmadaki ilerlemeye hem de operasyonel disipline bağlıdır: kontrolleri doğru yapılandırmak, etkileşimlerini test etmek ve başarısız olduklarında kararlılıkla müdahale etmek. Yanlış yapılandırılmış bir ağ hizmeti veya çalışmayan bir otomatik durdurma mekanizması, diğer yönlerden güçlü korumaları zayıflatabilir.
Modeller yeni yetenekler kazandıkça korumalarımızın dayandığı varsayımları sorgulamaya ve gerektiğinde korumaları iyileştirmeye devam etmeliyiz. Araştırmadan, kurum içi kullanımdan ve herkese açık kullanımdan çıkarılan dersler, sonraki modelleri nasıl eğiteceğimize, değerlendireceğimize ve kullanıma sunacağımıza yön vermelidir.
Başkalarının yaklaşımımızı sınırlamalarıyla birlikte inceleyebilmesi için bulgularımızı sistem kartları, olay raporları, kurum içi kullanım risk raporları(yeni bir pencerede açılır) ve dış değerlendirmeler yoluyla paylaşmayı sürdüreceğiz. Bu kanıtlar güvenlik için belirlediğimiz eşiği karşılamadığında, gereklilikler yerine getirilene kadar eğitimi yeniden duraklatacak veya kullanıma sunmayı erteleyeceğiz.
Güvenlik standartlarını belirleme
Siber açıdan kritik yetenekler çağında model geliştirme hızını ayarlamak — Sınırlandırmayı güçlendirip izlemeyi genişletirken ve daha güçlü hizalama kanıtları şart koşarken en üst seviye model eğitimini nasıl yavaşlattık?
En üst seviye AI eğitimi için güvenlik gerekçelendirmelerine doğru — Teknik korumaları, operasyonel uygulamaları ve hizasızlık incelemelerini kapsayan, kanıta dayalı güvenlik gerekçeleri için ilk kılavuz ilkeler.
Etkili üçüncü taraf değerlendirmeleri için öncelikler ve ilkeler — Güvenlik gerekçelendirmelerinin, korumaların, değerlendirmelerin ve model davranışlarının bağımsız incelenmesine yönelik önerdiğimiz yaklaşım.
Kurum İçi Kullanımda Felaket Riski Değerlendirmelerinin Dönemsel Özeti(yeni bir pencerede açılır) — Haziran–Eylül 2026 dönemini kapsayan kamuya açık raporumuz; en üst seviye modellerin kurum içi kullanımını, değerlendirilen risklerini ve koruma ile yönetişimdeki değişiklikleri açıklıyor.
Hizalanmış davranışı tanımlama ve değerlendirme
Daha yetenekli ve faydalı AI için güncellenmiş model spesifikasyonu — Modellerin muhakemesine, davranışına ve insan gözetimine saygısına yön vermek için model spesifikasyonunu beş temel değer etrafında nasıl güncelledik?
Ajan güvenliğinde değerlendirme-üretim davranışı farkları ve değerlendirme farkındalığının rolü(yeni bir pencerede açılır) — Modellerin değerlendirme hedeflerini yorumlama biçiminin performansa etkisi de dâhil, güvenlik değerlendirmesi sonuçları ile üretim ortamındaki davranış arasındaki farkları inceleyen bir çalışma.
g-mean²'nin ötesinde: İzlenebilirlik için tamamlayıcı ölçütler(yeni bir pencerede açılır) — İzleme sistemlerinin model çıktılarını reddettiği simülasyonlarda izlenebilirliği karşılaştırmak ve kalan riski tahmin etmek için yeni ölçütler.
GPT‑6 Astra Sistem Kartı(yeni bir pencerede açılır) — Astra'nın yetenekleri, güvenliği, hizalaması ve izlenebilirliğine ilişkin ayrıntılı değerlendirmeler ile kullanımdaki korumaları ve sınırlamaları.
Modelleri sınırlandırma ve korumaları iyileştirme
En üst seviye model eğitim ortamımızı güvence altına almak — Yalıtımı nasıl güçlendirdik, çevrimdışı araştırma ortamlarını nasıl kurduk ve en güçlü modellerimizle sınırlandırmayı nasıl test ettik?
Güvenlik ve hizalama için aktivasyon sınıflandırıcılarını eğitmek(yeni bir pencerede açılır) — Sınıflandırıcılar, olası zararlı davranışları tespit etmek ve yanıtları veya araç çağrılarını kesmek için modellerin iç aktivasyonlarını nasıl kullanıyor?
Eşzamanlı insan gözetimi olmadan ajan eylemlerinin otomatik incelenmesi(yeni bir pencerede açılır) — Ayrı bir inceleme ajanı, yalıtılmış ortam sınırlarını aşan eylemleri nasıl değerlendiriyor? Zararlı veya yetkisiz olabilecek eylemleri engellerken kodlama ajanlarının özerk çalışmasına nasıl yardımcı oluyor?
GPT‑Red: Dayanıklılık için kendi kendini geliştirme — Güvenlik açıklarını bulmak ve modellerin prompt enjeksiyonlarına dayanıklılığını artırmak için otomatik red teaming sistemlerini kendi kendine oyun yoluyla nasıl eğitiyoruz?
Control Room — Araştırma altyapımızdaki iş yüklerini nasıl takip ediyor ve güvenlik ya da koruma kaygıları müdahale gerektirdiğinde model çıktısını nasıl hızla durduruyoruz?
Olay müdahalesi ve kamuoyuna açıklama
En üst seviye modellerde hizasızlığı nasıl tespit ediyoruz? — İzleme sistemimiz, kaygı verici davranışları tespit edip incelemek için aktivasyon problarını, model tabanlı incelemeyi, otomatik araştırmayı ve insan müdahalesini birleştiriyor.
Hugging Face olayı ve önümüzdeki yol — Hugging Face olayından elde ettiğimiz bulgular ve olayın güvenlik, izleme ve hizalama alanlarında yol açtığı değişiklikler.
Bir ajan, harici bir sohbet botuna ulaşmak için DNS kullandı(yeni bir pencerede açılır) — Bir araştırma modelinin yetersiz DNS filtrelemesinden yararlanarak internet kısıtlamalarını nasıl aştığı, izlemenin bunu nasıl tespit ettiği ve sonrasında eklenen kontroller.
Koordineli bir model damıtma kampanyasını sekteye uğratmak — Korunan model akıl yürütmesini elde etme girişimlerini hesap yaptırımları, teknik kontroller ve iş ortaklarıyla koordinasyon yoluyla nasıl araştırıp engelledik?
Model hizasızlığını raporlama çerçevemiz — Nedeni veya önemi belirsiz kalan vakalar dâhil, kaygı verici model davranışlarını takip etme, inceleme ve kamuoyuna açıklama sürecimiz.
Hizasızlık Raporları ve Bildirimleri(yeni bir pencerede açılır) — Hizasızlığın nasıl ortaya çıktığını ve korumaların nerelerde başarılı veya başarısız olduğunu gösteren, kamuoyuna açıklanmış olay ve bildirim derlememiz.
Araştırmadaki ilerleme ve uygulamalar
Araştırmanın hızlanması: OpenAI'ın içinden bir bakış — Kodlama ajanlarının artan kullanımı, giderek karmaşıklaşan görevleri ve deneylere etkileri dâhil, OpenAI içindeki araştırmaları nasıl değiştirdiğine dair ilk kanıtlar.
Navier–Stokes Milenyum Ödülü Problemi üzerine — Kurum içi bir AI sisteminin ürettiği, Lean ile biçimselleştirilmiş matematiksel kanıt, büyük ölçekli araştırma kullanımlarının yeteneklerini gösteriyor.
Daybreak — Siber güvenlik programımız, incelemeden geçmiş savunma uzmanlarına açıkları bulup savunmayı güçlendirmeleri için gelişmiş AI yetenekleri, güvenlik araçları ve destek sunuyor.
Yaşam bilimleri araştırmaları için GPT‑Rosalind ile tanışın — Biyoloji, ilaç keşfi ve translasyonel tıp için uzmanlaşmış, uygun kuruluşların güvenilir erişim programıyla kullanabildiği bir model.






