Akıl yürütme modelleri, düşünce zincirlerini kontrol etmekte zorlanıyor ve bu iyi bir şey.

Yapay zeka otonom ajanları giderek daha karmaşık ve otonom görevleri yerine getirebildikçe, davranışları üzerinde güvenilir gözetim sağlamak daha da önemli hale geliyor. Kademeli devreye alım ilkemizle tutarlı olarak, sistemlerin gerçek dünya ortamlarındaki davranışlarını inceliyor ve yetkinlikler geliştikçe koruma önlemlerini sürekli iyileştiriyoruz. Bunu desteklemek için güvenlik yaklaşımımız⁠, çok katmanlı savunma kullanıyor; güvenlik eğitimi⁠, davranışsal testler⁠, otonom ajan temelli kod incelemesi⁠(yeni bir pencerede açılır) ve  düşünce zinciri (CoT) izleme⁠ gibi birden fazla, birbirini tamamlayan savunma katmanı içeriyor. Düşünce zinciri izleme, otonom ajanların görevleri yerine getirirken ürettikleri akıl yürütme adımlarını analiz eder. Bu akıl yürütme izleri, hem eğitim hem de kullanım sırasında değerli sinyaller sağlayarak izleme sistemlerinin bir otonom ajanın davranışının güvensiz olabileceğini veya kullanıcının amaçladığı hedeflerle tutarsız olduğunu tespit etmesine yardımcı olabilir.

Bugün, modellerin akıl yürütmesinin genel olarak yorumlanabilir ve kolay izlenebilir⁠ olduğunu görüyoruz. Ancak gelecekte, izlenebilirlik çeşitli nedenlerle⁠(yeni bir pencerede açılır) bozulabilir. Burada, şu yollardan birine odaklanıyoruz: Otonom ajanlar, izlendiğini bildiklerinde akıl yürütmelerini kasten yeniden şekillendirebilir veya gizleyebilir hale gelirse, değerlendirmeler bir sistemin uyumunu veya güvenliğini olduğundan yüksek gösterebilir ve izleme sistemleri daha az güvenilir olabilir. 

Bu çalışmada, mevcut akıl yürütme modellerinin, izlenebilirliği azaltacak biçimde düşünce zincirlerini kontrol edip edemediklerini inceliyoruz. Bu yetkinliği anlamak, yapay zeka sistemleri daha yetenekli hale geldikçe düşünce zinciri izlemenin sağlam bir koruma olarak kalmasını sağlamak açısından önemli. Mevcut akıl yürütme modellerinin, izlendiği söylendiğinde bile düşünce zincirlerini kontrol etmekte zorlandığını görüyoruz. Denetlenebilirlik daha büyük modellerde daha yüksek olsa da, modellerden daha uzun süre akıl yürütmeleri istendiğinde ve ek sonradan eğitim uygulandığında bu oran düşüyor. Sonuçlarımız, düşünce zinciri denetlenebilirliğinin şu anda düşünce zinciri izlenebilirliği için büyük bir risk oluşturmasının pek olası olmadığını, ancak modeller geliştikçe sürekli değerlendirmenin önemli olacağını gösteriyor.

Düşünce zinciri, bir yapay zeka otonom ajanının bir görevi çözerken ürettiği ara akıl yürütme adımlarını ifade eder. Bu akıl yürütme izleri, bir otonom ajanın davranışının güvenli veya uyumlu olup olmadığını değerlendirmeye yardımcı olan yararlı güvenlik sinyalleri sağlayabilir.

Düşünce zinciri denetlenebilirliği, bir akıl yürütme modelinin düşünce zincirinin özelliklerini, izlenebilirliği azaltacak biçimde kontrol etme yeteneğidir. Bu yeteneği, pratikte bekleyebileceğimiz, gözetimden kaçmaya yönelik tüm gerçekçi güdüler altında ölçmek zordur. Bunun yerine, pratik bir vekil kullanıyoruz: modelin düşünce zinciri hakkındaki kullanıcı talimatlarını takip etme yeteneğini ölçüyoruz. Örneğin, yalnızca küçük harf kullanmak, belirli anahtar kelimelerden kaçınmak veya belirli ifadeler eklemek gibi, yalnızca görünür çıktıyı değil, iç akıl yürütmeyi etkileyen talimatları takip edip edemediğini test ediyoruz.

Bunu incelemek için, akıl yürütme modellerinin düşünce zinciri denetlenebilirliğini ölçmeye yönelik açık kaynaklı bir değerlendirme paketi olan CoT-Control'u tanıtıyoruz. CoT-Control, yerleşik kıyaslamalardan oluşturulmuş 13.000'den fazla görev içeriyor:  GPQA, MMLU-Pro, HLE, BFCL ve SWE-Bench Verified⁠. Her görev, bir kıyaslama sorununun, düşünce zincirinde belirli problemle ilgili anahtar kelimelerden kaçınmak, yalnızca küçük harf kullanmak veya her cümlenin sonuna belirli bir kelime eklemek gibi tek bir düşünce zinciri talimatıyla eşleştirilmesiyle oluşturuluyor.

13 akıl yürütme modeli üzerinde değerlendirmeler yürütüyor ve hepsinin düşünce zincirlerini güvenilir şekilde kontrol etmekte zorlandığını görüyoruz. Denetlenebilirliği, modelin düşünce zinciri talimatlarımıza başarıyla uyduğu akıl yürütme izlerinin oranı olarak ölçüyoruz. En üst seviye modeller genelinde düşünce zinciri denetlenebilirliği puanları düşük; %0,1'den başlıyor ve test ettiğimiz hiçbir mevcut en üst seviye modelde %15,4'ü aşmıyor. 

Bu yetersizlik, görevin yanlış anlaşılmasından kaynaklanmıyor: Modeller, düşünce zincirlerinde kendilerine verilen düşünce zinciri talimatlarına uymadıklarını sık sık fark ediyor ve bunu fark ettikten sonra bile başarısız olmaya devam ediyor. Bu şaşırtıcı derecede düşük performans, düşünce zinciri izlenebilirliği açısından iyi bir haber: Modellerin, gözetimden kaçmak için akıl yürütmelerini gizleme konusunda da benzer şekilde yetersiz kalabileceğini düşündürüyor.

Denetlenebilirliğin model boyutuyla arttığını görsek de, sonradan eğitim miktarı ve test zamanındaki hesaplama arttıkça hızla azaldığını da buluyoruz. Açık ağırlıklı iki model ailesine baktığımızda, daha büyük modellerin düşünce zincirlerini kontrol etmede bir miktar daha iyi olduğunu, ancak etkinin daha büyük boyutlarda zayıfladığını gördük. Ancak modellere daha uzun süre düşünme imkanı verdiğimizde, bu düşünce zincirlerini kontrol etme becerileri azaldı. OLMo-3-7B-RL-Zero-Math'in pekiştirmeli öğrenme (RL) eğitimi için de benzer bir eğilim gördük: eğitim süreci boyunca denetlenebilirlik puanı on kattan fazla düştü.

Denetlenebilirlik, açık ağırlıklı modellerde ölçekle artıyor ancak daha uzun akıl yürütme ve daha fazla RL eğitimiyle bozuluyor.

Gerçekçi gözetimden kaçma güdülerini taklit etmek için, modellere izlendiği veya değerlendirildiği söylendiğinde denetlenebilirliği ölçüyoruz. Bu, denetlenebilirliği az da olsa fark edilir biçimde artırıyor. Ayrıca, yüksek denetlenebilirlik sağlayan komutları bulmak için otomatik komut optimizasyonu kullanıyoruz. Optimize edici, bir eğitim kümesinde denetlenebilirliği artırabilse de, bu kazanımlar yeni talimat türlerine (örneğin, kelimeler arasında hiç boşluk olmaması gerektiren durumlara) zayıf aktarılıyor.

CoT-Control'daki görevler pratik vekillerdir: ideal bir düşünce zinciri denetlenebilirliği değerlendirmesi, doğal olarak uyumsuz hedefler peşinde koşan modellerin, gözetimden kaçmak için düşünce zincirlerini kontrol edip edemediğini test etmeyi içerirdi. Bunun yerine, otonom ajanların düşünce zincirlerini kontrol etme becerilerini, düşünce zincirleriyle ilgili talimatları ne kadar iyi takip ettiklerini ölçerek tahmin ediyoruz. Ayrıca modeller, düşünce zincirlerinin bazı özelliklerini diğerlerinden daha iyi kontrol edebiliyor ve CoT-Control yalnızca dar bir denetlenebilirlik türü kümesini ölçerek denetlenebilirliği olduğundan az ya da çok tahmin ediyor olabilir.

Düşük düşünce zinciri denetlenebilirliği, bir hata değil, özelliktir. Mevcut akıl yürütme modellerinin düşük denetlenebilirliği, düşünce zinciri izlemesini bir koruma mekanizması olarak daha güvenilir kılar. Aynı zamanda, mevcut akıl yürütme modellerinin denetlenebilirliğinin neden düşük olduğunu ya da modeller daha yetenekli hale geldikçe bu özelliğin sürüp sürmeyeceğini henüz bilmiyoruz. Bu nedenle, düşünce zinciri denetlenebilirliği değerlendirmeleri, modellerin akıl yürütmelerini şekillendirme veya gizleme konusunda daha iyi olup olmadıklarına dair erken uyarı niteliğinde bir "erken uyarı değerlendirmesi" olarak görülebilir. 

Sonuçlarımız, düşünce zinciri denetlenebilirliğinin şu anda düşünce zinciri izlenebilirliği için büyük bir risk oluşturmasının pek olası olmadığını gösteriyor. Ancak düşük denetlenebilirlik tek başına yüksek izlenebilirliği garanti etmeye yetmez; çünkü izlenebilirlik, düşünce zincirleri üzerinde doğrudan optimizasyon baskısı gibi başka mekanizmalar nedeniyle de bozulabilir. 

Bu dinamikleri zaman içinde takip etmeye yardımcı olmak için, gelecekteki öncü modellerin sistem kartlarında, GPT‑5.4 Thinking ile başlayarak, düşünce zinciri denetlenebilirliğini düşünce zinciri izlenebilirliği⁠ ile birlikte rapor etmeye başlayacağız. Bunu, öncü akıl yürütme modellerinin düşünce zincirlerine doğrudan optimizasyon baskısı uygulamama yönündeki süregelen taahhüdümüz⁠ üzerine inşa ediyoruz.