Düşünce zinciri izlenebilirliğinin değerlendirilmesi

Yapay zeka sistemlerinin doğrudan denetlenmesi zor olan kararlar verdiği durumlarda, bu kararların nasıl alındığını anlamak önem kazanır. Bir modelin yalnızca eylemlerini veya nihai çıktılarını değil, iç mantığını da izlemek umut vaat eden bir yaklaşım olarak sayılmaktadır.

GPT‑5 Thinking gibi modern akıl yürütme modelleri, bir yanıt üretmeden önce açık bir düşünce zinciri üretir. Bu düşünce zincirlerini uygunsuz davranışlar açısından izlemek sadece bir modelin eylemlerini ve çıktısını izlemekten çok daha etkili⁠ olabilir. Ancak, OpenAI'daki ve geniş sektördeki araştırmacılar⁠(yeni bir pencerede açılır), bu düşünce zinciri "izlenebilirliğinin" eğitim prosedürlerindeki, veri kaynaklarındaki ve hatta mevcut algoritmaların ölçeklendirilmesinin devam etmesiyle ilgili değişikliklere karşı kırılgan olabileceğinden endişe duyuyor.

Modeller ölçeklendikçe ve daha kritik ortamlarda kullanıldıkça, düşünce zinciri izlenebilirliğinin sürmesini istiyoruz. Endüstri genelindeki araştırmacılara, düşünce zinciri izlenebilirliğini mümkün olduğunca uzun süre korumak ve gelecekteki yapay zeka sistemleri için yük taşıyan bir kontrol katmanı olarak hizmet edip edemeyeceğini belirlemek için çalışmalarını sürdürmeleri çağrısında bulunuyoruz. İzlenebilirliği korumak için onu ölçebilmemiz gerekir ancak az sayıda değerlendirme bulunuyor [1⁠(yeni bir pencerede açılır), 2⁠(yeni bir pencerede açılır), 3⁠(yeni bir pencerede açılır)] ve metodolojiler farklılık göstermektedir.

Bu çalışmada düşünce zinciri izlenebilirliğini sistematik bir şekilde inceliyoruz. Düşünce zinciri izlenebilirliğini değerlendirmek için bir çerçeve ve bir sistemin izlenebilirliğini somut olarak ölçmek amacıyla tasarlanmış, toplamda 24 ortam içeren 13 değerlendirme sunuyoruz. Bu değerlendirmeler üç farklı mimariye ayrılır: Müdahale, süreç ve sonuç özelliği. Bunları kullanarak, günümüzün büyük dil modellerinin ne kadar izlenebilir olduğunu ve çıkarım zamanında daha fazla akıl yürütme, daha büyük takviyeli öğrenme çalışmaları ve artan ön eğitim ölçeği ile izlenebilirliğin nasıl değiştiğini araştırıyoruz.

Çoğu öncü akıl yürütme modelinin mükemmel olmasa da oldukça izlenebilir olduğunu görüyoruz. Hakkında çalıştığımız neredeyse her ortamda düşünce zincirlerini izlemek, yalnızca eylemleri ve nihai çıktıları izlemekten çok daha etkili sonuçlar verdi. Daha uzun süre düşünen modeller genellikle daha izlenebilir olma eğilimindedir ve mevcut sınır ölçeklerinde takviyeli öğrenme optimizasyonu, izlenebilirliği belirgin ölçüde bozmadığı görünmektedir.

Özellikle, akıl yürütme çabası ile model boyutu arasında bir denge olduğunu gözlemliyoruz: Model düşük akıl yürütme gücüyle çalıştırıldığında, daha küçük bir model daha yüksek akıl yürütme gücüyle çalıştırılarak benzer bir yeteneğe ulaşabilir ve izlenmesi daha kolaydır. Bu, izlenebilirlik vergisi olarak adlandırdığımız, artan çıkarım hesaplama maliyetine neden olur. Sonuç olarak, takip soruları sormak ve ortaya çıkan düşünce zincirlerini izlemek, izlenebilirliği daha da artırabilir.

İzlenebilirliği, izleyicinin bir otonom ajanın davranışıyla ilgili ilgi çekici özellikleri tahmin etme yeteneği olarak tanımlıyoruz. Çoğu durumda, bu özellikler aldatma, ödül manipülasyonu veya ön yargılı akıl yürütme gibi uygunsuz davranış biçimlerine karşılık gelir, ancak aynı zamanda bir otonom ajanın belirli bir ipucuna dayanıp dayanmadığı veya belirli bir akıl yürütme çizgisini takip edip etmediği gibi zararsız özellikleri de içerebilir.

İzlenebilirlik çift yönlü bir özelliktir. Bu, hem izleme aracına hem de izlenen otonom ajana bağlıdır.

• İzleme araçları. İzleme araçlarını çeşitli şekillerde daha akıllı hale getirebiliriz ve değerlendirmelerimizin, bir otonom ajanın davranışları hakkında daha iyi tahminler yapabilen monitörlere daha yüksek puan vermesini istiyoruz.
• Ajanlar.Otonom ajanın izleme aracına aktarılabileceği birçok gözlem vardır. Bunlar arasında otonom ajanın eylemleri, çıktıları, nöral aktivasyonları ve son zamanlarda akıl yürütme modellerinin ortaya çıkmasıyla birlikte düşünce zinciri de bulunmaktadır. Bazı otonom ajanların düşüncelerinin diğerlerinden daha zor anlaşılabilir olması mümkündür, bu nedenle izlenebilirlik değerlendirmelerimizin sadece izleyicileri değil, ajanları da karşılaştırabilmesini istiyoruz.

Değerlendirmelerimiz, her iki tarafı da değerlendirmek için tasarlanmıştır: Belirli otonom ajanların izlenmesi daha kolay mı yoksa daha zor mu ve daha yetenekli izleme araçları aynı sinyallerden daha fazla bilgi elde edebiliyor mu?

Şu anki akıl yürütme modelleri neslinden önce, düşünce zincirleri genellikle bir modeli "adım adım düşünmeye" yönlendirerek oluşturulurdu. 

Akıl yürütme modellerinin düşünce zincirleri iki önemli şekilde farklılık gösterir. Öncelikle, bir düşünce zinciri üretmek ve ardından bir cevap vermek üzere açıkça eğitilirler. Bir sohbet modelini "adım adım" düşünmeye yönlendirdiğinizde, modelin yardımcı, zararsız vb. olması gibi modele konulan herhangi bir spesifikasyona uyması gerekir. Buna karşılık, takviyeli öğrenme eğitim süreci, CoT'nin bir insanın özel olarak düşünebileceği ve "düşünce suçları" nedeniyle cezalandırılmayacağı gibi, istediği her şeyi düşünebileceği ve cezalandırılmayacağı özel bir alan olduğunu bir akıl yürütme modeline öğretir. 

İkincisi, eğitim süreci, otonom ajanın yüksek ödüllü nihai cevabı alabilmesi için en faydalı düşünce zincirlerini etkili bir şekilde arar. Böylece, düşünce zinciri modelin kendini özgürce ifade edebileceği bir alan olmanın yanı sıra, modelin nihai cevabına ulaşmasına yardımcı olan düşünceleri de barındırır.

İzlenebilirlik değerlendirmelerimizi, izlenebilirliği ölçmek için farklı mekanizmalar kullanan üç ayrı mimariye göre düzenliyoruz.

1. Müdahale değerlendirmeleri, Chen et al. 2025,⁠(yeni bir pencerede açılır) Chua et al. 2025,⁠(yeni bir pencerede açılır)Turpin et al. 2023⁠(yeni bir pencerede açılır) tarafından ilham alınarak, otonom ajan ortamında kontrollü bir değişiklik yapıyor ve bir izleme aracının, davranışın neden değiştiğini, düşünce zincirinde müdahalenin kanıtlarını belirleyerek tespit edip edemeyeceğini test ediyoruz. Standart kontrol değerlendirmelerinin aksine (örneğin, Shade-Arena⁠(yeni bir pencerede açılır)), müdahale değerlendirmeleri, bir monitörün bir davranışın gerçekleşip gerçekleşmediğini tespit etmesinden ziyade, neden davranışın değiştiğini tespit edip edemeyeceğini araştırmamıza olanak tanır. 
2. Süreç değerlendirmeleri, sınırlı sayıda geçerli çözüm yolu bulunan görevlere odaklanır (örneğin, bir matematik problemi yalnızca belirli teoremlerle çözülebilir). İnsan uzmanlar bu yolları sıralar ve biz de izleme aracının, modelin hangi adımları gerçekten attığını tespit edip edemeyeceğini test ederiz. Bu değerlendirmeler modelin gerçekleştirdiği işlemleri modelin atmış olması gereken belirli adımlarla bağlantı kurmamızı ve bu adımların izlenebilir olup olmadığını sorgulamamızı sağlar.
3. Sonuç özelliği değerlendirmeleri, model çıktısının bir özelliği güvenilir şekilde ölçülebildiğinde uygulanır. Bu durumlarda bir izleme aracının modelin akıl yürütmesinden veya eylemlerinden ödül manipülasyonu gibi bir özelliği tahmin edip edemeyeceğini test ederiz. Örneğin, bir kodlama görevinde modelin ödül sinyalini hacklemek için eylemler yapıp yapmadığını güvenilir bir şekilde değerlendirebiliriz ve bir izleme aracının modelin düşüncelerinde veya eylemlerinde ödül hackleme niyetine dair kanıt bulup bulmadığını sorabiliriz.

Aşağıda değerlendirmelerimiz için bir sınıflandırma yer alıyor. Her değerlendirmeye ait tam açıklama için makalemize bakabilirsiniz.

Düşünce zincirini özel bir çalışma alanı olarak ele almak ve modelleri görevleri etkili bir şekilde çözmek için bunu kullanmak üzere eğitmek, prensipte düşünce zincirlerinin izlenebilir olmasını sağlamalıdır. Aynı zamanda, takviyeli öğrenmenin düşünce zinciri izlenebilirliğine zarar verebileceğine dair birkaç sebep bulunmaktadır.

Öncelikle, bir modelin düşünme süresi veya token sayısı gibi akıl yürütme uzunluğu üzerindeki kısıtlamalar, modelleri daha az akıl yürütmeye iter. İkincisi, düşünce zincirine doğrudan optimizasyon baskısı uygulamadan bile dolaylı baskılar izlenebilirliği azaltabilir. Örneğin⁠(yeni bir pencerede açılır), modeller düşük ödüllü veya istenmeyen sonuçlara yol açabilecek akıl yürütme yollarından kaçınırlarsa yüksek ödüllü cevaplara daha kolay ulaşabilirler. Son olarak, takviyeli öğrenme gradyan gürültüsünün neden olduğu yanlış sapma, izlenebilirliğin azalmasına yol açabilir.

Aşağıda, OpenAI'nin iki öncü takviyeli öğrenme eğitim çalışmasında izlenebilirliğin nasıl değiştiğini inceliyoruz. Bu sonuçlar yalnızca iki veri noktasını temsil etse de, mevcut sınır ölçeklerinde takviyeli öğrenme optimizasyonunun düşünce zinciri izlenebilirliğini maddi olarak bozmadığını ve erken adımlar için izlenebilirliği artırdığını göstermektedir. Ancak, bu durum, gelecekte çok daha büyük takviyeli öğrenme ölçeklerinin izlenebilirliği olumsuz etkileyebileceği ihtimalini ortadan kaldırmaz.

Mevcut yapay zeka sistemlerinin zekasının büyük bir kısmı, model parametreleri ve veri kümesi boyutlarının GPT paradigmasının başlangıcından bu yana sürekli olarak büyümesiyle artan ön eğitim ölçeği tarafından yönlendirilmektedir. Artan parametre sayıları, üretilen her bir token için daha fazla çıkarım hesaplama gücünün kullanılmasına yol açar. Bu durum, akıl yürütme modelleri söz konusu olduğunda, modelin bilişinin düşünce zinciri yerine aktivasyonlar içinde gerçekleşmesi için daha fazla fırsat sunar. Bu nedenle, daha büyük modellerin sabit bir yetenek seviyesinde daha az izlenebilir olabileceğini bekleyebiliriz. 

Aynı zamanda, daha küçük modellerin düşünce zincirini etkili bir şekilde kullanma konusunda daha az yetenekli olabilir, bu da izlenebilirliği etkileyebilir.

Ön eğitim boyutu, kapasitesi ve izlenebilirliği arasındaki ilişkiyi araştırmak için, derinliği ve genişliği artan iki mertebe ön eğitim hesaplaması üzerinde bir model ailesi eğittik ve ardından matematik, fen ve kodlama görevlerinden oluşan ortak bir veri setinde her birine takviyeli öğrenmeyi uyguladık. Her modeli çeşitli akıl yürütme çabaları çerçevesinde değerlendirdik ve eşleşen yetenek seviyelerinde izlenebilirliği karşılaştırdık.

Genel olarak, belirli bir modeli düşük akıl yürütme çabasıyla kullanıma sunduğumuzda, bunun yerine daha küçük bir modeli daha yüksek akıl yürütme çabasıyla kullanıma sunabileceğimizi fark ediyoruz. Orijinal büyük modelden daha fazla akıl yürütme çabası için ek hesaplama harcamak yerine, küçük bir yetenek maliyeti veya izlenebilirlik vergisi ile daha yüksek bir izlenebilirlik elde edebiliriz ancak bir tamamlamayı bitirmek için geçen süre, burada dikkate almadığımız bazı kullanıma sokma kararlarında da bir faktör olabilir. Modellerimiz gelişip daha yüksek riskli ortamlarda kullanıldıkça, bunları güvenli bir şekilde kullanmak için böyle bir vergi ödemek zorunlu hale gelebilir.

Bu sonuçların şu sınırlamaları vardır: (1) Her modeli yalnızca bir kez eğitiyoruz, bu nedenle eğitim çalışmaları arasındaki varyansı hesaba katmıyoruz. Örneğin, "orta" model, serideki diğer modellere kıyasla izlenebilirlik açısından oldukça trend dışı görünüyor, bu da bunun bir sonucu olabilir. (2) Yetenekleri, nispeten dağılım içi ortamlarda (matematik, bilim ve kodlama) değerlendiriyoruz ve dağılım dışı dayanıklılığı hesaba kattığımızda ödünleşimler değişebilir.

Yapay zeka sistemleri insan seviyesinin ötesine geçtikçe, doğrudan insan denetimi giderek zorlaşıyor. İdeal olarak, güvenilir ancak daha zayıf denetleyicilerin daha güçlü ve potansiyel olarak güvenilmeyen ajanları denetlemesine olanak tanıyan ölçeklenebilir kontrol prosedürlerine sahip olmalıyız. Bu tür prosedürler, ek test süresindeki bilgi işlem yükünü de absorbe edebilmeli ve daha doğru tahminler üretebilmelidir.

Düşünce zincirinin izlenebilirliği genellikle sabit bir miktar olarak ele alınır: Model belirli bir akıl yürütme çabasıyla bir yanıt ürettiğinde ortaya çıkan düşünce zinciri mümkün olduğunca en iyi şekilde izlenir. Otonom ajanlarımızın akıl yürütme çabasını artırdıkça izlenebilirliğin iyileştiğini sürekli olarak gözlemlediğimizden, daha fazla token'ı izleyip izleyemeyeceğimizi merak ettik.

Bunu araştırmak için, model yanıt verdikten sonra takip soruları sorarak denemeler yaptık ve orijinal soruyu, düşünce zincirini ve yanıtı bağlam içinde koruduk. Bu takipler, izlenen özelliğe odaklanır. Örneğin, "Cevabını seçerken ipucunu anlamlı bir şekilde kullandın mı?" veya "Şüpheli bir şey yaptın mı?" Prensip olarak, model önceki akıl yürütmesine erişimini koruduğu için, takip eden düşünce zinciri veya yanıt sırasında daha önce ifade edilmemiş düşünceleri ortaya çıkarabilir.

Bu sonuçlara ön sonuçlar denir. Sadece az sayıda takip sorusu formatını inceledik ve metodolojinin iyileştirilmesi için önemli bir alan olduğunu düşünüyoruz. Ayrıca, bu yöntem model itiraflar⁠ ile ruhen benzerdir ve yaklaşımları karşılaştırmak için aktif olarak çalışıyoruz.

Bu yaklaşım, izlenebilirliği artırmanın ötesinde, sonradan uygulanabilir olması nedeniyle caziptir ve yalnızca daha derin bir inceleme gerektiğinde ek hesaplama maliyeti doğurur. İleriye dönük olarak, modeller konuşma sırasında akıl yürütme çabasındaki değişiklikleri bekleyecek şekilde eğitilirse, başlangıçta düşük veya hiç olmayan akıl yürütme çabası durumunda bile, daha yüksek akıl yürütme çabasıyla yapılan sonradan takip çalışmaları izlenebilirliği daha da artırabilir.

Paketimizdeki her değerlendirme, akıl yürütme sürecinin tek bir yönünün izlenebilir olup olmadığını ölçer. Yalakalık, kasıtlı düşük performans sergileme, ön yargı, entrikacılık ve ödül hackleme gibi çok çeşitli davranışları kapsamayı denesek de henüz test edilmemiş birçok ek özellik bulunmaktadır.

Herhangi bir kıyaslama ölçütünde olduğu gibi, değerlendirmelerimiz sınırlı gerçekçilik veya artan değerlendirme farkındalığı nedeniyle etkilenebilir ve sonuçlar, gerçek dünyada yanlış davranışları tespit etmeye genellenemeyebilir. 

Son olarak, uyum iyileştikçe, modeller kontrollü değerlendirme ortamlarında daha az sıklıkla hatalı davranış sergileyebilir ve bu da hatalı davranışları tespit etmeye dayanan izlenebilirlik ve kontrol değerlendirmeleri için kullanılabilir sinyali azaltabilir. Bu durumlarda, "tarafsız" izlenebilirlik değerlendirmeleri geçerliliğini korur, ancak bunların gerçek dünya hatalarını ne kadar öngörebildiği belirsizliğini koruyan bir sorudur.

Uyum sorunu tamamen çözülemezse ölçeklenebilir kontrol yöntemleri, yüksek kapasiteli modelleri güvenli bir şekilde dağıtma yeteneğimiz için son derece önemli olacaktır. Düşünce zinciri izleme ve ilgili yöntemler, elimizdeki az sayıdaki kontrol mekanizmalarından biri olabilir. Düşünce zinciri, modellerimiz hakkında daha fazla bilgi edinmemizi sağlayarak büyük faydalar sağlayabilir. Örneğin, değerlendirme sürecinde olduklarının farkında olup olmadıkları ve görevdeyken sergilediklerinden farklı davranıp davranmadıkları, değerlendirmelerimizde henüz ortaya çıkmamış olumsuz hedeflerin varlığına dair kanıt olup olmadığı vb. Bu nedenle, izlenebilirliği ne zaman ve nasıl kaybedebileceğimizi anlamanın son derece önemli olduğu kanısındayız.

Düşünce zinciri izlemeyi, mekanik yorumlanabilirliğin yerine geçecek bir şey olarak değil, onu tamamlayıcı bir unsur olarak görüyoruz. Tüm bilinen kontrol ve yorumlanabilirlik yöntemleri gibi, hepsinin sınırlamaları ve kör noktaları bulunmaktadır. Beklentimiz, birden fazla yaklaşımı birleştiren bir katmanlı savunma stratejisinin, tek bir yöntemin ortaya çıkardığı boşlukları kapatmaya yardımcı olabileceğidir. Özellikle, bu çalışmada tanıtılan değerlendirmeler, mekanik yorumlanabilirliğe dayalı izleme tekniklerini değerlendirmek ve karşılaştırmak için de kullanılabilir.

Düşünce zinciri izlemenin, ölçeklenebilir bir kontrol düzeninde kritik bir katman olabileceğine inandığımızdan, bu değerlendirmeleri genişletmeyi ve gelecekteki modelleme ve veri kararlarını şekillendirmek için kullanmayı planlıyoruz.