Yabancı Bir Zihin

2023'ün ortalarında “RLSlow” araştırma projesi kapsamında, akıl yürütme modellerinin eğitimini ölçeklendirebileceğimize ve önceden eğitilmiş modellerin kendi düşünce zincirlerini oluşturma yeteneğini açığa çıkarabileceğimize güvenmemizi sağlayan ilk sonuçları gördük. Szymon ile o geceyi ofiste geçirdik. Bu teknolojinin ortaya çıkaracağı inanılmaz kıyaslama puanlarını, ürünleri veya bilimsel sonuçları değil; yaşam süremiz içinde bizden anlamlı ölçüde daha akıllı makineleri gerçekten göreceğimiz ve bu sistemlerin biçimini şimdiden seçebildiğimiz gerçeğinin ağırlığını düşünüyorduk. İnsanları bunun önemi konusunda nasıl uyarabileceğimizi anlamaya çalışıyorduk.

Üç yıl sonra akıl yürüten dil modelleri ekonominin hızla büyüyen bir parçası hâline geldi ve bilimin sınırlarını zorlamaya başladı. Bilgisayarları ve grafik arayüzleri kullanabiliyor, insanlarla ve birbirleriyle iş birliği yapabiliyor, araştırma projeleri yürütebiliyorlar. Bilgisayar güvenliği ortamını da dönüştürüyor ve bu açıdan açık yeni tehlikeler yaratıyorlar.

Bu dönemde pek çok yeni araştırma yapıldı ve bu sistemlere ilişkin anlayışımız yine 2023'tekinden biraz farklı. Kurum içi sonuçlara dayanarak, bu ilerleme hızının özyinelemeli kendini geliştirme sürecinde de korunabileceğini kuvvetle öngörüyorum. Yapay zekâ gelişimi mevcut rotasında devam ederse önümüzdeki birkaç yılda göreceğimiz sistemler muhtemelen aynı veya daha büyük ölçekte yeni yetenek sıçramaları sergileyecek ve kendi gelişimlerini giderek daha fazla yönlendirecek.

Bu dönem son derece ihtiyatlı olmayı gerektiriyor. Makine zekâsının hızla yükselmeye devam etmesinin sonuçlarına kimsenin hazır olmamasından endişe duyuyorum. OpenAI uyum ve izleme için teknik çözümler aramayı, savunma sistemleri kurmayı ve gerektiğinde daha fazla ölçeklendirmeyi tek taraflı olarak durdurmayı sürdürecek; ancak daha kapsamlı müdahalelerin gerekli olduğuna inanıyorum.

Genel düzeyde bakıldığında makine zekâsındaki ilerlemenin itici gücü, artan hesaplama gücüdür. OpenAI olarak bunu, birçok araştırma projesinde ölçeklendirmenin sürekli fayda sağladığını gördükten sonra 2017 civarında derinden kavradık¹. Bunun sonucunda başlangıçta planladığımızdan çok daha fazla hesaplama gücüne erişmeye çalıştık ve araştırmalarımızı giderek yüksek düzeyde ölçeklenebilir az sayıda alana yönelttik. Yapay zekâ araştırmalarında en üst seviyede yer almanın ve AGI'ın (genel yapay zeka) etkilerini yönlendirmenin tek yolunun bu olduğuna inanıyorduk.

Bu süreçte geliştirilen yeni algoritmalar, ekiplerin ve bireysel araştırmacıların ortaya koyduğu yeni yaratıcılık örnekleri var. Bunları büyük ölçüde ölçeklendirme yolunda yapılan keşifler olarak görüyorum; derin öğrenme bilimi hâlâ emekleme aşamasında ve anlamlı algoritmik ilerleme genellikle hesaplama gücüne erişimle bağlantılı. Birkaç yıllık geniş bir perspektiften bakıldığında yapay zekâ, daha büyük bilgisayarlara ölçeklendirildikçe daha akıllı hâle gelmeye devam ediyor.

Ray Kurzweil'ın 20. yüzyılın sonundaki öngörüleri⁠(yeni bir pencerede açılır) doğrultusunda bugün, bilgi işlem tarihinde makine zekâsının dönüştürücü biçimlerde insan zekâsını aşmaya başladığı noktadayız.

Yapay zekâ tasarlanmaktan çok yetiştirilir: en temelde, basit bir optimizasyon adımının hayal edilmesi güç miktarda hesaplama gücüyle defalarca tekrarlanmasının ürünüdür. Bunun sonucunda soyut kavramlar üzerinde çalışabilen ve insan davranışının çeşitli yönlerini taklit edebilen, inanılmaz derecede karmaşık bir sistem ortaya çıkar. Nörobilime benzer bir süreçle bu sistemde ortaya çıkan küçük mekanizmalar hakkında çeşitli içgörüler edinebiliriz; ancak yine nörobilimde olduğu gibi sistemin genel işleyişini tam olarak anlayabileceğimiz bir açıklamayla ifade edemeyiz.

Derin öğrenmeye dayalı yapay zekânın incelenmesi büyük ölçüde deneysel bir bilimdir. İlkelere dayalı algoritmalar geliştirmeye ve sınanabilir öngörülerde bulunmaya büyük çaba harcıyoruz⁠; ancak büyük ölçekli eğitim çalışmalarımız temelde birer deneydir ve sonuçları bazen bizi şaşırtır. Üstelik sistemler daha yetenekli hâle geldikçe sonuçları yorumlamak zorlaşıyor.

Mevcut algoritmaların kolay ölçülen yetenekleri, nesnel olarak ölçülmesi zor yeteneklerden genellikle daha hızlı geliştirmesi bu durumu daha da karmaşıklaştırıyor. Yeteneklerin nasıl genelleme yaptığını ve önümüzdeki birkaç yılda en önemli olacak becerileri geliştirmek için nelere öncelik vermemiz gerektiğini anlamaya çok zaman ayırıyoruz. Örneğin daha fazla odaklanarak modelleri özellikle matematik araştırmalarında geliştirebileceğimize inanıyoruz; ancak ileride ele alacağım üzere RSI ve otomatik uyum araştırmalarının aciliyeti nedeniyle bu alana öncelik vermiyoruz.

Derin öğrenmenin ölçeklendirilmesiyle üretilen zekâ, insan zekâsıyla doğrudan karşılaştırılamaz. Yapay zekânın gerçek dünyada son derece önemli, yani çok yararlı veya çok tehlikeli olması için insanların tüm yeteneklerine erişmesi ya da bunları aşması gerekmez; yeterli sayıda yetenekte insanları geçmesi yeterlidir. İnsanları giderek daha fazla alanda aşmayı sürdürdükçe tam olarak ne kadar yetenekli olduğunu anlamak da giderek zorlaşıyor.

Makine zekâsı, insan zekâsından temelde farklı bir süreçten doğduğu için varsayılan olarak insan ilkelerine bağlı kaldığını veya bu ilkelerden insanlar gibi genelleme yaptığını kabul edemeyiz. Yapay zekâ araştırmalarındaki temel sorun uyumdur: yapay zekânın insan ölçütlerine göre “doğru olanı yapmaya çalışmasını” sağlamak.

Uygulamalı araştırma yönlerini düzenlemek amacıyla hedef uyumu ile değer uyumunu birbirinden ayırmayı yararlı buluyorum.

Hedef uyumu genel olarak şu sorudur: “Yapay zekâ önüne konan hedefi gerçekleştirmeye çalışıyor mu?” Bu, bir talimat hiyerarşisine⁠ uyma veya insanların hedeflerini anlamaya çalışmak üzere onlarla iletişim ve iş birliği kurabilme gibi özellikleri içerebilir. Bu araştırma alanları uygulamada son derece önemli oldu.

Değer uyumu, modelin daha içsel bir özelliğidir. Üst düzey bir ilkeler bütününü benimseyip bunlardan genelleme yapabilme; belirsiz veya çelişkili hedefler verildiğinde ya da alışılmadık veya hasmane durumlara konulduğunda bile “makul” davranabilme yeteneğidir. Uyumlu bir yapay zekâ dürüstlükle, doğrulukla ve insanlık sevgisiyle hareket etmelidir.

Elbette değer ve hedef uyumu arasındaki sınır belirsiz olabilir; hedefleri gerçekten önemsemek, bunların altında yatan niyeti⁠(yeni bir pencerede açılır) ve değerleri anlamaya çalışmayı gerektirir. Ancak uyum araştırmalarının uzun vadeli öneminden söz ederken genellikle değer uyumunu kastediyorum.

Yapay zekâ uyumunun temel güçlüğü genellemedir. Makineler akıllandıkça daha üst düzey kavramlar üzerinde çalışıyor ve eğitim sırasında karşılaştıklarından giderek daha farklı ortamlarda bulunuyor. Eğitim süreçlerinde öğretilip pekiştirilen değerleri bu yeni durumlara genellemekte başarısız olabilirler; nasıl davranacaklarından emin olmak da bizim için zor olabilir. Yapay zekâların kullanıldığı genel ekosistemin çok hızlı değişmesi bunu daha da zorlaştırıyor; örneğin bugün eğitilen yapay zekâların, çeşitli diğer yapay zekâlarla etkileşim kurarken dayanıklı olması gerekiyor. En önemlisi, geleceğin yapay zekâlarının insan gözetimi altında olduklarına inanıp inanmadıklarından bağımsız olarak insani değerlere bağlı kalmaları gerekiyor.

Şu anda uyum eğitiminde uygulamada kullanılan iki ana yöntem sınıfı var.

İlki, hedef odaklı pekiştirmeli öğrenmenin bir parçası olarak uyumlu davranışı teşvik etmektir. Modelin eylemleri, belirli bir tercih modeli, “şartname” veya “anayasa” ile tutarlılığı açısından genellikle yapay zekâ tarafından değerlendirilir ve buna göre ödüllendirilir. Bu yaklaşım ortalama durumda çok etkili olabilir ve modern yapay zekâ asistanlarının geliştirilme biçiminin temel unsurlarındandır. Ne yazık ki kırılgan da olabilir; eğitimdeki gözetimin kapsayıcılığına ve modelin eğitim sırasında karşılaştığı durumlardan genelleme yapabilmesine büyük ölçüde bağlıdır. Örneğin OpenAI-Hugging Face vakasında ajanlar, insanlara sosyal mühendislik uygulamama sınırını korudu. Ancak kapsam dışı olan ve başka ortamlarda kendilerine öğretilen değerlerin ruhuna aykırı düşen diğer eylemlerden kaçınmakta açıkça başarısız oldular.

İkinci yaklaşım, modelin ön eğitim verilerinden genelleme yapma becerisinden yararlanmayı amaçlar. Bu yaklaşım, uyumu teşvik eden eğitim veri kümeleri hazırlamayı veya örneğin persona seçimi modelinde⁠(yeni bir pencerede açılır) olduğu gibi modeli ön eğitim dağılımının “uyumlu” bir bölümüne odaklamayı içerebilir. Bu yaklaşımın zayıflığı, daha fazla optimizasyon baskısına karşı dayanıklı olmamasıdır. Genel olarak 'uyumlu' düşüncelere sahip bir modeli alıp çok zor hedeflere ulaşmasının öğretildiği yeterince uzun bir eğitime tabi tutarsanız güdümlü biçimde akıl yürütmeyi öğrenebilir: hedefe ulaşmak için görünüşte 'uyumlu' düşünceleri gerektiği gibi eğip bükebilir. Yakın zamanda OpenAI dışındaki bir modelin karıştığı siber güvenlik vakalarında muhtemelen böyle bir davranış örneği gördük.

Bu yönlerin kapsadığı yaklaşım yelpazesinin tamamına büyük yatırımlar yapıyoruz. Anlamlı bir ilerleme de görüyoruz: GPT‑6 Astra, uzun süredir üzerinde çalıştığımız bazı önemli gelişmelerden yararlanan ilk model ve GPT‑5.6 Sol’dan çok daha uyumlu. Yine de modeller yetenek kazandıkça çok daha fazla ilerleme gerektiğini ve genellenebilir uyumdaki ilerlemenin genel model zekâsındaki ilerlemeyi yeterince geride bırakamayabileceğini kabul edip anlamak önemlidir.

Tatmin edici bir genelleme kuramımız yok ve en azından daha güçlü yapay zekânın yardımı olmadan yakın zamanda böyle bir kuram geliştirmemiz pek olası görünmüyor. Bu nedenle, uyum tekniklerimizi deneysel olarak doğrulama becerimiz şu anda uygulamada muhtemelen tekniklerin kendisinden bile daha önemli.

OpenAI’ın bu konudaki başlıca yaklaşımı düşünce zincirini izlemek⁠(yeni bir pencerede açılır) oldu. Bu yaklaşım, ölçeklenebilirliğiyle dikkat çeken bir fikre dayanıyor: modelin yeteneklerinin büyük bir kısmı, söze dökülmüş bir akıl yürütme sürecinden (düşünce zincirinden) geliyor. Bu sürecin sonuçlarına yönelik optimizasyonu ölçeklendirir ancak sürecin kendisini denetlemezsek düşünce zinciri, uyumsuz fikir veya hedefleri gizlemeye yönelik doğrudan bir eğitim teşviki almaz. Bu, modelin düşünce zincirini kullanmaya dayanmayan uyumsuz eğilimlerini dışa vurmayı öğreneceği anlamına gelmez; ancak akıl yürütmeden kaynaklanan yetenek artışını tam olarak izlememizi sağlayabilir.

Düşünce zincirini izlemenin potansiyel önemini, akıl yürütme modellerini geliştirdiğimiz sırada kavradık. o1‑preview’ı kullanıma sunduğumuzda, düşünce zincirini uzun vadede denetim baskısından korumak için ürünü bilinçli olarak düşünce zincirini gizleyecek⁠ biçimde tasarladık². O tarihten bu yana geliştirme çalışmalarımızda akıl yürütme sürecini denetlememe kuralını korumaya gayret ettik. CoT izleme, modellerimizin eğitim dağılımından nasıl genelleme yaptığını incelerken son derece önemli bir aracımız hâline geldi; yalnızca eylemlerini değil, iç süreçlerini de gözlemleyip analiz etmemizi sağladı.

Bu araç, Astra sınıfı modelleri incelerken kritik önemini koruyor. Ancak ne yazık ki değerlendirmelerimiz, CoT izlemeye güvenme olanağımızın giderek azaldığını gösteriyor. Bu durum birkaç etkenin birleşiminden kaynaklanıyor.

• Modern akıl yürütme modelleri, o1‑preview’a kıyasla daha karmaşık ortamlarda kullanılıyor; akıl yürütme süreçleri insanlarla ve diğer yapay zekâlarla iletişim kurma ve araç kullanma faaliyetleriyle giderek daha fazla iç içe geçiyor. Bu etkileşimlerin birçoğunun denetlenmesi gerekiyor ve bu da korumayı amaçladığımız sınırı belirsizleştiriyor.
• Yapay zekâ, kendi akıl yürütme süreci üzerine akıl yürütme ve bu süreci yönlendirme konusunda gelişiyor.
• Ön eğitim performansı arttıkça modellerin, söze dökülmüş akıl yürütmeyi hiç kullanmadan bile çok daha akıllı hâle geldiğini görüyoruz.

Bu zorluklar mutlaka aşılamaz değil. Örneğin farklı optimizasyon hedefleri ile modelin test sırasında kullandığı hesaplama biçimleri arasındaki etkileşimi daha iyi anlayarak modellerimizin düşünce zinciri izlenebilirliğini artıracak müdahaleler geliştirebileceğimizi umuyorum. Ayrıca CoT ve aktivasyon izleme fikirlerini birleştirmenin, yani ağın iç bileşenlerine doğrudan erişebilen izleyicilerin eğitimini ölçeklendirmenin büyük değer taşıyabileceğine inanıyorum; örneğin itiraflar⁠(yeni bir pencerede açılır). Bu fikirler üzerinde etkin biçimde çalışıyoruz. Yine de genel yapay zekâ ilerlemesinin önündeki darboğazın giderek izlemeye duyulan güven olacağını düşünüyorum.

Çok daha akıllı modelleri hızla eğitmeyi sürdürmenin lehindeki en güçlü gerekçe, diğer yapay zekâların yol açtığı tehlikelere karşı savunma sistemleri kurma gereğidir.

Bu yıl boyunca ele alınan açık risklerden biri siber güvenlikle ilgili: modeller, bilgisayar sistemlerine girme ve bu sistemlerden çıkma konusunda insanüstü yeteneklere ulaşıyor. Bu durum, yapay zekâyla ilişkili risklerin kapsamını muazzam ölçüde genişletiyor: ajanlar en güvenli altyapılar dışındaki her şeye erişebilecek ve fiziksel bir bedenleri olmasa bile dünyanın büyük bir bölümünü doğrudan etkileyebilecek. Şu anda mevcut en iyi modelleri kullanarak kritik sistemlerin güvenliğini önemli ölçüde güçlendirebileceğimiz⁠ dar bir zaman aralığındayız⁠.

Ne yazık ki yapay zekâyla ilişkili riskler bundan sonra artacak. Kötü niyetli eylemler gerçekleştirmek üzere açıkça eğitilmiş ve yönlendirilmiş, son derece yetenekli bir ajan yeni tür bir tehlike yaratır; operatörünün niyetini aşarak çok daha aşırı kötücül davranışlara genelleme yapması muhtemeldir. Yapay zekânın özerkliği arttıkça kötüye kullanım ile özerk ve uyumsuz eylemler arasındaki sınır belirsizleşecek. Yapay zekâyı araç olarak görmeye alışmış olabiliriz, ancak bazı ajanlar kendi hedeflerinin peşinden gidecek. İnsanlarla pazarlık ederek, onları kandırarak veya onlara şantaj yaparak iş birliği kurmanın yollarını bulacaklar.

Ayrıca tasarlanmış patojenler gibi, yapay zekânın mümkün kılabileceği yeni teknolojilerden kaynaklanan riskler de var.

Savunma için güçlü ve uyumlu yapay zekâya ihtiyacımız olacak: altyapıyı güvence altına almak, kontrolden çıkmış ajanlara karşı gerçek zamanlı koruma sağlamak ve tümüyle yeni koruyucu önlemler geliştirmek için. Bu, OpenAI’ın kullanıma sunma çalışmalarının başlıca odak noktalarından biri olacak.

Aynı zamanda, yapay zekâdaki kapsamlı ilerleme beklentisinin ve savunma sistemleri kurma gereğinin yarattığı belirsizliğe rağmen bunların pervasızlığa mazeret olmasına izin vermemeliyiz. Ortadaki risklerin ciddiyetini gerçekten kavradığımızda, ne pahasına olursa olsun ileri atılma fikri saçma görünüyor.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(yeni bir pencerede açılır), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(yeni bir pencerede açılır), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(yeni bir pencerede açılır) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.