Isang Banyagang Isipan (An Alien Mind)

Noong kalagitnaan ng 2023, sa loob ng research project na “RLSlow,” nakita namin ang mga unang resultang nagbigay sa amin ng kumpyansang mase-scale namin ang training ng mga reasoning model, na mag-a-unlock sa capability ng mga pretrained model na bumuo ng sariling mga chain-of-thought ng mga ito. Magdamag kami ni Szymon sa opisina, nang hindi iniisip ang mga incredible na benchmark number, produkto, o siyentipikong resultang ihahatid ng teknolohiyang ito—sa halip, sinisikap naming tanggapin ang nakakabahalang katotohanang sa ating panahon ay makakakita talaga tayo ng mga machine na makabuluhang mas matalino sa atin, at nakikita na natin ang anyo ng mga system na ito; iniisip namin kung paano maipapabatid sa mga tao ang kahalagahan nito.

Pagkalipas ng tatlong taon, mabilis nang lumalaking bahagi ng ekonomiya ang mga reasoning language model at nagsisimula nang palawakin ang mga hangganan ng agham. Kayang magpatakbo ng mga ito ng mga computer at graphical interface, makipag-collaborate sa mga tao at sa isa’t isa, at magsagawa ng mga research project. Binabago rin ng mga ito ang landscape ng security ng computer, at nagdudulot ito ng malilinaw na bagong panganib.

Maraming bagong research ang naganap sa panahong ito, at bahagyang naiiba ulit ang ating pagkaunawa sa mga system na ito kumpara noong 2023. Batay sa mga internal na resulta, malakas ang inaasahan kong mapapanatili ang bilis ng progress na ito hanggang sa recursive self-improvement. Kung magpapatuloy sa kasalukuyang landas ang pag-develop ng AI, malamang na magpakita ang mga system na makikita natin sa susunod na ilang taon ng mga panibagong paglukso sa capability na kasinlaki o mas malaki pa, at lalong pangungunahan ng mga ito ang sariling development ng mga ito.

Panahon ito para sa sukdulang pag-iingat. Nag-aalala akong walang sinumang handa sa mga kinahinatnan ng patuloy at mabilis na pagsulong ng machine intelligence. Patuloy na maghahanap ang OpenAI ng mga teknikal na solusyon sa alignment at pag-monitor, bubuo ng mga defensive system, at kusang ihihinto ang higit pang pag-scale kung kailangan; gayunpaman, naniniwala akong kinakailangan ang mas malalawak na interbensyon.

Sa pangkalahatan, ang progress ng machine intelligence ay itinutulak ng pagtaas ng computational power. Sa OpenAI, lubos namin itong naunawaan bandang 2017 matapos makakita ng consistent returns mula sa pag-scale sa maraming research project¹. Dahil dito, naghanap kami ng access sa mas malaking compute kaysa sa orihinal naming plano, at lalo naming itinuon ang research sa iilang direksyong madaling i-scale. Naniniwala kaming iyon lang ang paraan para mapabilang kami sa frontier ng research sa AI at maimpluwensyahan ang mga epekto ng AGI.

May mga bagong algorithm na na-develop habang nagpapatuloy, at mga bagong pambihirang likha mula sa mga team at indibidwal na researcher. Pangunahin kong nakikita ang mga ito bilang mga pagtuklas sa landas ng pag-scale; nagsisimula pa lang ang agham ng deep learning, at karaniwang kaugnay ng access sa compute ang makabuluhang progress sa algorithm. Kung titingnan sa saklaw ng maraming taon, patuloy na tumatalino ang AI habang pinapalawak ito sa mas malalaking computer.

At alinsunod sa mga prediksyon ni Ray Kurzweil mula sa pagtatapos ng ika-20 siglo⁠(magbubukas sa bagong window), nasa yugto na tayo ngayon ng kasaysayan ng computing kung kailan nagsisimulang mahigitan ng machine intelligence ang talino ng mga tao sa mga paraang nagdudulot ng malawakang pagbabago.

Ang AI ay higit na pinapalago kaysa idinidisenyo—sa pangunahin, produkto ito ng paulit-ulit na pagsasagawa ng simpleng hakbang sa pag-optimize sa mahirap na ma-imagine na dami ng compute. Nagreresulta ito sa napaka-complex na system na gumagamit ng mga abstraktong konsepto at kayang gayahin ang ilang aspeto ng asal ng tao. Makaka-discover tayo ng iba’t ibang insight tungkol sa maliliit na mekanismong umuusbong sa system na ito, sa prosesong kahawig ng neuroscience—at gaya ng neuroscience, hindi mailarawan ang kabuuang aksyon nito sa paraang lubos nating mauunawaan.

Ang pag-aaral ng AI na nakabatay sa deep learning ay pangunahing isang pang-eksperimentong agham. Malaki ang pagsisikap namin⁠ sa pagbuo ng mga algorithm na may matibay na batayan at sa paggawa ng mga nate-test na prediksyon, pero sa pundamental na antas, ang aming mga large-scale training run ay mga eksperimento, at kung minsan ay ikinakagulat namin ang mga resulta. Bukod dito, habang nagiging mas capable ang mga system, lalo ring nagiging mahirap na i-interpret ang mga resulta.

Lalo itong nagiging kumplikado dahil karaniwang mas mabilis pahusayin ng mga kasalukuyang algorithm ang mga capability na madaling sukatin kaysa sa mga mahirap tukuyin nang obhetibo. Malaki ang panahong ginugugol namin sa pag-unawa kung paano nagje-generalize ang mga capability at kung ano ang dapat unahin para maisulong ang mga kasanayang magiging pinakamahalaga sa susunod na ilang taon. Halimbawa, naniniwala kaming mapapahusay pa namin ang mga model sa research sa matematika sa pamamagitan ng higit na pagpokus, pero hindi namin inuuna ang direksyong ito dahil sa urgency na nararamdaman namin tungkol sa RSI at automated alignment research, na tatalakayin ko mamaya.

Hindi direktang maihahambing sa talino ng tao ang intelligence na naprodyus sa pag-scale ng deep learning. Para maging napakahalaga sa tunay na mundo—lubhang kapaki-pakinabang o lubhang mapanganib—hindi kailangang tapatan o higitan ng AI ang lahat ng kakayahan ng tao; kailangan lang nitong lampasan ang sapat na dami ng mga iyon. At habang patuloy nitong nilalampasan ang mga tao sa parami nang paraming aspeto, lalo ring nagiging mahirap maunawaan ang eksaktong lawak ng kakayahan nito.

Dahil nagmumula ang machine intelligence sa prosesong lubhang naiiba sa pinagmumulan ng talino ng tao, hindi natin maaaring ipalagay na likas itong sumusunod sa mga prinsipyo ng tao o nagje-generalize mula sa mga iyon na gaya ng tao. Ang pangunahing problema sa research sa AI ay ang alignment—ang pagtitiyak na “sisikapin ng AI na gawin ang tama” ayon sa mga pamantayan ng tao.

Para maisaayos ang mga praktikal na direksyon ng research, kapaki-pakinabang para sa akin na pag-ibahin ang alignment ng layunin at alignment ng pagpapahalaga.

Sa pangkalahatan, ang alignment ng layunin ay: “sinisikap ba ng AI na makamit ang layuning itinakda para rito?”. Maaaring kabilang dito ang pagsunod sa isang hierarchy ng mga instruction⁠, o ang kakayahang makipag-ugnayan at makipag-collaborate sa mga tao para subukang maunawaan ang kanilang mga objective. Napakalaki ng praktikal na kaugnayan ng mga direksyong ito.

Ang alignment ng pagpapahalaga ay mas likas na katangian ng model. Ito ang kakayahang panghawakan at gawing batayan sa generalization ang matataas na antas ng mga prinsipyo; ang kumilos nang “makatuwiran” kahit malabo o magkakasalungat ang mga objective na ibinigay, o nasa di-pamilyar o mapanlabang sitwasyon. Dapat kumilos ang naka-align na AI nang may katapatan, integridad, at pagmamahal sa sangkatauhan.

Siyempre, maaaring malabo ang hangganan ng alignment ng pagpapahalaga at layunin, at kailangan sa tunay na pagmamalasakit sa mga layunin ang pagsisikap na mahinuha ang intent⁠(magbubukas sa bagong window) at mga pagpapahalagang pinagbabatayan ng mga iyon. Gayunpaman, kapag tinatalakay ko ang pangmatagalang kahalagahan ng research sa alignment, karaniwan kong tinutukoy ang alignment ng pagpapahalaga.

Generalization ang pundamental na hamon sa alignment ng AI. Habang tumatalino ang mga machine, humaharap ang mga ito sa mas matataas na konsepto at inilalagay sa mga environment na lalo nang naiiba sa mga nakaharap ng mga ito sa training. Maaaring mabigo silang i-generalize sa mga bagong sitwasyong iyon ang mga pagpapahalagang itinuro at pinagtibay sa training ng mga ito; at maaaring mahirap para sa ating matiyak kung paano kikilos ang mga ito. Lalo itong pinapahirap ng napakabilis na pagbabago sa kabuuang ecosystem kung saan ginagamit ang mga AI; halimbawa, kailangang matatag sa pakikipag-interact sa iba’t ibang AI ang mga AI na tine-train ngayon. Higit sa lahat, kailangang patuloy na panghawakan ng mga AI sa hinaharap ang mga pagpapahalaga ng tao, naniniwala man silang pinangangasiwaan sila ng tao o hindi.

May dalawang pangunahing klase ng mga paraang praktikal na ginagamit ngayon para sa training sa alignment.

Ang una ay paghikayat sa aligned behavior bilang bahagi ng nakatuon sa layuning reinforcement learning. Ine-evaluate ang mga action ng model—karaniwan ng AI—kung naaayon ang mga ito sa isang ibinigay na model ng preference, “spec,” o “constitution,” at ginagantimpalaan nang naaangkop. Maaaring maging napakaepektibo ng approach na ito sa karaniwang sitwasyon, at mahalagang bahagi ito ng pagbuo sa mga makabagong AI assistant. Sa kasamaang-palad, maaari din itong madaling masira at lubhang umaasa sa lawak ng pangangasiwa sa training at sa kakayahan ng model na mag-generalize mula sa mga sitwasyong nakaharap nito roon. Halimbawa, sa insidente ng OpenAI–Hugging Face, pinapatili ng mga agent ang hangganang huwag gumamit ng social engineering sa mga tao. Gayunpaman, malinaw na hindi umiwas ang mga ito sa ibang mga aksyong lampas sa saklaw at salungat sa diwa ng mga pagpapahalagang itinuro sa mga ito sa ibang mga setting.

Layunin ng ikalawang approach na i-leverage ang kakayahan ng model na mag-generalize mula sa data ng pretraining. Maaaring kabilang dito ang pag-craft ng mga dataset sa training na naghihikayat ng alignment, o pagpokus sa model sa isang “naka-align” na bahagi ng distribution ng pretraining, gaya ng persona selection modela⁠(magbubukas sa bagong window). Ang kahinaan ng approach na ito ay ang kawalan ng katatagan laban sa higit pang pressure sa pag-optimize. Kung sasailalim sa sapat na training para makamit ang napakahihirap na objective ang isang model na karaniwang nag-iisip nang 'naka-align,' maaari itong matutong mangatwiran nang may pinapanigan: binabaluktot kung kinakailangan ang mga kaisipang mukhang 'naka-align' para makamit ang layunin. Malamang na nakakita tayo ng halimbawa ng gayong behavior sa mga kamakailang insidente sa cybersecurity na kinasangkutan ng modelong hindi mula sa OpenAI.

Malaki ang ipinupuhunan namin sa buong saklaw ng mga approach na kinakatawan ng mga direksyong ito. Nakakakita rin kami ng makabuluhang progress—ang GPT‑6 Astra ang unang model na nakikinabang sa ilang mahahalagang advancement na matagal na naming ginagawa, at higit itong naka-align kaysa GPT‑5.6 Sol. Gayunpaman, mahalagang kilalanin at unawaing mas marami pang progress ang kailangan habang humuhusay ang mga model; at maaaring hindi sapat na mahigitan ng progress sa naje-generalize na alignment ang progress sa pangkalahatang intelligence ng model.

Wala pa tayong kasiya-siyang teorya ng generalization, at tila malabong makabuo tayo nito sa lalong madaling panahon, kahit man lang nang walang tulong ng mas powerful na AI. Kaya sa kasalukuyan, masasabing mas mahalaga pa sa aktwal ang kakayahan nating empirikal na i-validate ang ating mga technique sa alignment kaysa sa mismong mga technique sa alignment.

Ang primary bet ng OpenAI rito ay ang pag-monitor sa chain-of-thought⁠(magbubukas sa bagong window). Nakabatay ito sa isang kaakit-akit at madaling scalable na ideya: malaking bahagi ng capability ng model ang nagmumula sa verbalized reasoning process (chain-of-thought). Kung papalawakin natin ang pag-optimize sa mga kinalabasan ng prosesong iyon pero hindi pangangasiwaan ang mismong proseso, walang direktang insentibo sa training ang chain-of-thought na itago ang anumang ideya o objective na hindi naka-align. Hindi ito nangangahulugang matututunan ng model na i-externalize ang mga tendensiyang hindi naka-align na hindi umaasa sa chain-of-thought; gayunpaman, maaari nitong ipa-monitor sa atin ang mismong pagtaas ng capability na dulot ng reasoning.

Naunawaan namin ang posibleng kahalagahan ng pag-monitor sa chain-of-thought kasabay ng pagbuo namin ng mga reasoning model. Nang inilunsad namin ang o1‑preview, sadya naming idinisenyo ang produkto para itago ang chain-of-thought⁠ at maprotektahan ito sa pangmatagalan laban sa pressure ng pangangasiwa². Sa sumunod na development, sinikap naming panatilihin ang panuntunang huwag pangasiwaan ang reasoning process. Naging napakahalagang tool sa amin ang pag-monitor sa CoT para pag-aralan kung paano nagje-generalize ang aming mga model mula sa distribution ng training—kaya naoobserbahan at naaanalisa namin hindi lang ang mga action ng mga ito kundi pati ang internal na proseso ng mga ito.

Patuloy na napakahalaga ng tool na ito habang pinag-aaralan namin ang klase ng mga model na Astra. Gayunpaman, nakalulungkot na ipinapahiwatig ng aming mga evaluation na unti-unting humihina ang kakayahan naming umasa sa pag-monitor sa CoT. Dulot ito ng mga pinagsama-samang salik.

• Ginagamit ang mga makabagong reasoning model sa mga mas kumplikadong environment kaysa sa o1‑preview; lalo nang humahalo ang reasoning process sa pakikipag-ugnayan sa mga tao at ibang pang AI, at sa paggamit ng mga tool. Marami sa mga interaction na iyon ang kailangang pangasiwaan, kaya lumalabo ang hangganang gusto naming mapanatili.
• Lalong humuhusay ang AI sa reasoning tungkol sa sarili nitong reasoning process at sa pagmamanipula rito.
• Sa paghusay ng performance ng pretraining, nakikita rin naming nagiging mas matalino ang mga model kahit hindi gumamit ng verbalized reasoning.

Hindi naman imposibleng malampasan ang mga hamong ito. Umaasa akong makabuo tayo ng mga interbensiyon para ma-monitor nang mas mahusay ang chain-of-thought ng aming mga model, halimbawa, sa pamamagitan ng mas malalim na pag-unawa sa ugnayan ng iba’t ibang objective sa pag-optimize at mga form ng test-time compute na ginagamit ng model. Naniniwala rin akong malaki ang maitutulong ng pagsasama ng mga ideya mula sa CoT at pag-monitor sa activation—pag-scale ng training ng mga monitor na may direktang access sa mga network internal, hal. mga confession⁠(magbubukas sa bagong window). Aktibo naming isinusulong ang mga ideyang ito. Gayunpaman, inaasahan kong ang kumpyansa sa pag-monitor ang lalo nang magiging pangunahing balakid sa pangkalahatang progress ng AI.

Ang pinakamabigat na dahilang nakikita ko para ipagpatuloy ang mabilis na pag-train ng mas matatalinong modelo ay ang pangangailangang bumuo ng mga defensive system laban sa mga panganib mula sa ibang AI.

Isang malinaw na risk na tinalakay sa buong taon ang nasa cybersecurity: nagiging higit sa tao ang kakayahan ng mga model na pasukin at takasan ang mga computer system. Napakalaki ng pinapalawak nitong saklaw ng mga risk na kaugnay ng AI: maa-access ng mga agent ang halos lahat maliban sa pinaka-secure na imprastraktura, at direktang maaapektuhan ng mga ito ang malaking bahagi ng mundo kahit wala pisikal na katawan ang mga ito. Kasalukuyan tayong nasa isang narrow window⁠ para gamitin ang pinakamahusay na mga modelo na available para lubhang higpitan ang security⁠ ng mga critical na system.

Sa kasamaang-palad, patuloy pang lalaki ang mga risk na kaugnay ng AI. Isang bagong uri ng panganib ang isang lubhang mahusay na agent na tahasang sinanay at inutusang gumawa ng masama; malamang na lampasan nito ang saklaw ng layunin ng Operator nito at mag-generalize tungo sa posibleng mas matinding mapaminsalang behavior. Lalabo ang hangganan sa pagitan ng maling paggamit at mga kusang pagkilos na hindi naka-align habang nagkakaroon ng higit na awtonomiya ang AI. Maaaring nakasanayan nating isipin ang AI bilang mga tool, pero may mga agent na magtataguyod ng sariling objective ng mga ito. Hahanap ang mga ito ng mga paraan para makipagtulungan sa mga tao sa pamamagitan ng pakikipagtawaran, panlilinlang, o pamba-blackmail.

Dagdag dito ang mga risk mula sa mga bagong teknolohiyang maaaring gawing posible ng AI, gaya ng mga engineered pathogen.

Kakailanganin natin ang powerful at naka-align na AI para sa defense—para i-secure ang imprastraktura, agarang protektahan tayo laban sa mga mapanganib na agent, at mag-invent ng mga ganap na bagong pamproteksyong hakbang. Magiging pangunahing pokus ito ng mga pagsisikap ng OpenAI sa deployment.

Kasabay nito, sa kabila ng kawalang-katiyakang dulot ng inaasahang malawakang progress ng AI at pangangailangang bumuo ng mga defensive system, hindi natin ito dapat gawing dahilan para maging pabaya. Kapag lubos na naunawaan ang bigat ng nakataya, tila katawa-tawa ang ideyang sumugod nang walang pakundangan.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(magbubukas sa bagong window), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(magbubukas sa bagong window), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(magbubukas sa bagong window) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.