Isang Banyagang Isipan (An Alien Mind)

Noong kalagitnaan ng 2023, sa loob ng research project na “RLSlow,” nakita namin ang mga unang resultang nagbigay sa amin ng kumpyansang mase-scale namin ang training ng mga reasoning model, na mag-a-unlock sa capability ng mga pretrained model na bumuo ng sariling mga chain-of-thought ng mga ito. Magdamag kami ni Szymon sa opisina, nang hindi iniisip ang mga incredible na benchmark number, produkto, o siyentipikong resultang ihahatid ng teknolohiyang ito—sa halip, sinisikap naming tanggapin ang nakakabahalang katotohanang sa ating panahon ay makakakita talaga tayo ng mga machine na makabuluhang mas matalino sa atin, at nakikita na natin ang anyo ng mga system na ito; iniisip namin kung paano maipapabatid sa mga tao ang kahalagahan nito.

Pagkalipas ng tatlong taon, mabilis nang lumalaking bahagi ng ekonomiya ang mga reasoning language model at nagsisimula nang palawakin ang mga hangganan ng agham. Kayang magpatakbo ng mga ito ng mga computer at graphical interface, makipag-collaborate sa mga tao at sa isa’t isa, at magsagawa ng mga research project. Binabago rin ng mga ito ang landscape ng security ng computer, at nagdudulot ito ng malilinaw na bagong panganib.

Maraming bagong research ang naganap sa panahong ito, at bahagyang naiiba ulit ang ating pagkaunawa sa mga system na ito kumpara noong 2023. Batay sa mga internal na resulta, malakas ang inaasahan kong mapapanatili ang bilis ng progress na ito hanggang sa recursive self-improvement. Kung magpapatuloy sa kasalukuyang landas ang pag-develop ng AI, malamang na magpakita ang mga system na makikita natin sa susunod na ilang taon ng mga panibagong paglukso sa capability na kasinlaki o mas malaki pa, at lalong pangungunahan ng mga ito ang sariling development ng mga ito.

Panahon ito para sa sukdulang pag-iingat. Nag-aalala akong walang sinumang handa sa mga kinahinatnan ng patuloy at mabilis na pagsulong ng machine intelligence. Patuloy na maghahanap ang OpenAI ng mga teknikal na solusyon sa alignment at pag-monitor, bubuo ng mga defensive system, at kusang ihihinto ang higit pang pag-scale kung kailangan; gayunpaman, naniniwala akong kinakailangan ang mas malalawak na interbensyon.

Sa pangkalahatan, ang progress ng machine intelligence ay itinutulak ng pagtaas ng computational power. Sa OpenAI, lubos namin itong naunawaan bandang 2017 matapos makakita ng consistent returns mula sa pag-scale sa maraming research project¹. Dahil dito, naghanap kami ng access sa mas malaking compute kaysa sa orihinal naming plano, at lalo naming itinuon ang research sa iilang direksyong madaling i-scale. Naniniwala kaming iyon lang ang paraan para mapabilang kami sa frontier ng research sa AI at maimpluwensyahan ang mga epekto ng AGI.

May mga bagong algorithm na na-develop habang nagpapatuloy, at mga bagong pambihirang likha mula sa mga team at indibidwal na researcher. Pangunahin kong nakikita ang mga ito bilang mga pagtuklas sa landas ng pag-scale; nagsisimula pa lang ang agham ng deep learning, at karaniwang kaugnay ng access sa compute ang makabuluhang progress sa algorithm. Kung titingnan sa saklaw ng maraming taon, patuloy na tumatalino ang AI habang pinapalawak ito sa mas malalaking computer.

At alinsunod sa mga prediksyon ni Ray Kurzweil mula sa pagtatapos ng ika-20 siglo⁠(magbubukas sa bagong window), nasa yugto na tayo ngayon ng kasaysayan ng computing kung kailan nagsisimulang mahigitan ng machine intelligence ang talino ng mga tao sa mga paraang nagdudulot ng malawakang pagbabago.

Ang AI ay higit na pinapalago kaysa idinidisenyo—sa pangunahin, produkto ito ng paulit-ulit na pagsasagawa ng simpleng hakbang sa pag-optimize sa mahirap na ma-imagine na dami ng compute. Nagreresulta ito sa napaka-complex na system na gumagamit ng mga abstraktong konsepto at kayang gayahin ang ilang aspeto ng asal ng tao. Makaka-discover tayo ng iba’t ibang insight tungkol sa maliliit na mekanismong umuusbong sa system na ito, sa prosesong kahawig ng neuroscience—at gaya ng neuroscience, hindi mailarawan ang kabuuang aksyon nito sa paraang lubos nating mauunawaan.

Ang pag-aaral ng AI na nakabatay sa deep learning ay pangunahing isang pang-eksperimentong agham. Malaki ang pagsisikap namin⁠ sa pagbuo ng mga algorithm na may matibay na batayan at sa paggawa ng mga nate-test na prediksyon, pero sa pundamental na antas, ang aming mga large-scale training run ay mga eksperimento, at kung minsan ay ikinakagulat namin ang mga resulta. Bukod dito, habang nagiging mas capable ang mga system, lalo ring nagiging mahirap na i-interpret ang mga resulta.

Lalo itong nagiging kumplikado dahil karaniwang mas mabilis pahusayin ng mga kasalukuyang algorithm ang mga capability na madaling sukatin kaysa sa mga mahirap tukuyin nang obhetibo. Malaki ang panahong ginugugol namin sa pag-unawa kung paano nagje-generalize ang mga capability at kung ano ang dapat unahin para maisulong ang mga kasanayang magiging pinakamahalaga sa susunod na ilang taon. Halimbawa, naniniwala kaming mapapahusay pa namin ang mga model sa research sa matematika sa pamamagitan ng higit na pagpokus, pero hindi namin inuuna ang direksyong ito dahil sa urgency na nararamdaman namin tungkol sa RSI at automated alignment research, na tatalakayin ko mamaya.

Hindi direktang maihahambing sa talino ng tao ang intelligence na naprodyus sa pag-scale ng deep learning. Para maging napakahalaga sa tunay na mundo—lubhang kapaki-pakinabang o lubhang mapanganib—hindi kailangang tapatan o higitan ng AI ang lahat ng kakayahan ng tao; kailangan lang nitong lampasan ang sapat na dami ng mga iyon. At habang patuloy nitong nilalampasan ang mga tao sa parami nang paraming aspeto, lalo ring nagiging mahirap maunawaan ang eksaktong lawak ng kakayahan nito.

Dahil nagmumula ang machine intelligence sa prosesong lubhang naiiba sa pinagmumulan ng talino ng tao, hindi natin maaaring ipalagay na likas itong sumusunod sa mga prinsipyo ng tao o nagje-generalize mula sa mga iyon na gaya ng tao. Ang pangunahing problema sa research sa AI ay ang alignment—ang pagtitiyak na “sisikapin ng AI na gawin ang tama” ayon sa mga pamantayan ng tao.

Para maisaayos ang mga praktikal na direksyon ng research, kapaki-pakinabang para sa akin na pag-ibahin ang alignment ng layunin at alignment ng pagpapahalaga.

Sa pangkalahatan, ang alignment ng layunin ay: “sinisikap ba ng AI na makamit ang layuning itinakda para rito?”. Maaaring kabilang dito ang pagsunod sa isang hierarchy ng mga instruction⁠, o ang kakayahang makipag-ugnayan at makipag-collaborate sa mga tao para subukang maunawaan ang kanilang mga objective. Napakalaki ng praktikal na kaugnayan ng mga direksyong ito.

Ang alignment ng pagpapahalaga ay mas likas na katangian ng model. Ito ang kakayahang panghawakan at gawing batayan sa generalization ang matataas na antas ng mga prinsipyo; ang kumilos nang “makatuwiran” kahit malabo o magkakasalungat ang mga objective na ibinigay, o nasa di-pamilyar o mapanlabang sitwasyon. Dapat kumilos ang naka-align na AI nang may katapatan, integridad, at pagmamahal sa sangkatauhan.

Siyempre, maaaring malabo ang hangganan ng alignment ng pagpapahalaga at layunin, at kailangan sa tunay na pagmamalasakit sa mga layunin ang pagsisikap na mahinuha ang intent⁠(magbubukas sa bagong window) at mga pagpapahalagang pinagbabatayan ng mga iyon. Gayunpaman, kapag tinatalakay ko ang pangmatagalang kahalagahan ng research sa alignment, karaniwan kong tinutukoy ang alignment ng pagpapahalaga.

Generalization ang pundamental na hamon sa alignment ng AI. Habang tumatalino ang mga machine, humaharap ang mga ito sa mas matataas na konsepto at inilalagay sa mga environment na lalo nang naiiba sa mga nakaharap ng mga ito sa training. Maaaring mabigo silang i-generalize sa mga bagong sitwasyong iyon ang mga pagpapahalagang itinuro at pinagtibay sa training ng mga ito; at maaaring mahirap para sa ating matiyak kung paano kikilos ang mga ito. Lalo itong pinapahirap ng napakabilis na pagbabago sa kabuuang ecosystem kung saan ginagamit ang mga AI; halimbawa, kailangang matatag sa pakikipag-interact sa iba’t ibang AI ang mga AI na tine-train ngayon. Higit sa lahat, kailangang patuloy na panghawakan ng mga AI sa hinaharap ang mga pagpapahalaga ng tao, naniniwala man silang pinangangasiwaan sila ng tao o hindi.

May dalawang pangunahing klase ng mga paraang praktikal na ginagamit ngayon para sa training sa alignment.

Ang una ay paghikayat sa aligned behavior bilang bahagi ng nakatuon sa layuning reinforcement learning. Ine-evaluate ang mga action ng model—karaniwan ng AI—kung naaayon ang mga ito sa isang ibinigay na model ng preference, “spec,” o “constitution,” at ginagantimpalaan nang naaangkop. Maaaring maging napakaepektibo ng approach na ito sa karaniwang sitwasyon, at mahalagang bahagi ito ng pagbuo sa mga makabagong AI assistant. Sa kasamaang-palad, maaari din itong madaling masira at lubhang umaasa sa lawak ng pangangasiwa sa training at sa kakayahan ng model na mag-generalize mula sa mga sitwasyong nakaharap nito roon. Halimbawa, sa insidente ng OpenAI–Hugging Face, pinapatili ng mga agent ang hangganang huwag gumamit ng social engineering sa mga tao. Gayunpaman, malinaw na hindi umiwas ang mga ito sa ibang mga aksyong lampas sa saklaw at salungat sa diwa ng mga pagpapahalagang itinuro sa mga ito sa ibang mga setting.

Layunin ng ikalawang approach na i-leverage ang kakayahan ng model na mag-generalize mula sa data ng pretraining. Maaaring kabilang dito ang pag-craft ng mga dataset sa training na naghihikayat ng alignment, o pagpokus sa model sa isang “naka-align” na bahagi ng distribution ng pretraining, gaya ng persona selection modela⁠(magbubukas sa bagong window). Ang kahinaan ng approach na ito ay ang kawalan ng katatagan laban sa higit pang pressure sa pag-optimize. Kung sasailalim sa sapat na training para makamit ang napakahihirap na objective ang isang model na karaniwang nag-iisip nang 'naka-align,' maaari itong matutong mangatwiran nang may pinapanigan: binabaluktot kung kinakailangan ang mga kaisipang mukhang 'naka-align' para makamit ang layunin. Malamang na nakakita tayo ng halimbawa ng gayong behavior sa mga kamakailang insidente sa cybersecurity na kinasangkutan ng modelong hindi mula sa OpenAI.

Malaki ang ipinupuhunan namin sa buong saklaw ng mga approach na kinakatawan ng mga direksyong ito. Nakakakita rin kami ng makabuluhang progress—ang GPT‑6 Astra ang unang model na nakikinabang sa ilang mahahalagang advancement na matagal na naming ginagawa, at higit itong naka-align kaysa GPT‑5.6 Sol. Gayunpaman, mahalagang kilalanin at unawaing mas marami pang progress ang kailangan habang humuhusay ang mga model; at maaaring hindi sapat na mahigitan ng progress sa naje-generalize na alignment ang progress sa pangkalahatang intelligence ng model.

Wala pa tayong kasiya-siyang teorya ng generalization, at tila malabong makabuo tayo nito sa lalong madaling panahon, kahit man lang nang walang tulong ng mas powerful na AI. Kaya sa kasalukuyan, masasabing mas mahalaga pa sa aktwal ang kakayahan nating empirikal na i-validate ang ating mga technique sa alignment kaysa sa mismong mga technique sa alignment.

Ang primary bet ng OpenAI rito ay ang pag-monitor sa chain-of-thought⁠(magbubukas sa bagong window). Nakabatay ito sa isang kaakit-akit at madaling scalable na ideya: malaking bahagi ng capability ng model ang nagmumula sa verbalized reasoning process (chain-of-thought). Kung papalawakin natin ang pag-optimize sa mga kinalabasan ng prosesong iyon pero hindi pangangasiwaan ang mismong proseso, walang direktang insentibo sa training ang chain-of-thought na itago ang anumang ideya o objective na hindi naka-align. Hindi ito nangangahulugang matututunan ng model na i-externalize ang mga tendensiyang hindi naka-align na hindi umaasa sa chain-of-thought; gayunpaman, maaari nitong ipa-monitor sa atin ang mismong pagtaas ng capability na dulot ng reasoning.

Naunawaan namin ang posibleng kahalagahan ng pag-monitor sa chain-of-thought kasabay ng pagbuo namin ng mga reasoning model. Nang inilunsad namin ang o1‑preview, sadya naming idinisenyo ang produkto para itago ang chain-of-thought⁠ at maprotektahan ito sa pangmatagalan laban sa pressure ng pangangasiwa². Sa sumunod na development, sinikap naming panatilihin ang panuntunang huwag pangasiwaan ang reasoning process. Naging napakahalagang tool sa amin ang pag-monitor sa CoT para pag-aralan kung paano nagje-generalize ang aming mga model mula sa distribution ng training—kaya naoobserbahan at naaanalisa namin hindi lang ang mga action ng mga ito kundi pati ang internal na proseso ng mga ito.

Patuloy na napakahalaga ng tool na ito habang pinag-aaralan namin ang klase ng mga model na Astra. Gayunpaman, nakalulungkot na ipinapahiwatig ng aming mga evaluation na unti-unting humihina ang kakayahan naming umasa sa pag-monitor sa CoT. Dulot ito ng mga pinagsama-samang salik.

• Ginagamit ang mga makabagong reasoning model sa mga mas kumplikadong environment kaysa sa o1‑preview; lalo nang humahalo ang reasoning process sa pakikipag-ugnayan sa mga tao at ibang pang AI, at sa paggamit ng mga tool. Marami sa mga interaction na iyon ang kailangang pangasiwaan, kaya lumalabo ang hangganang gusto naming mapanatili.

• Lalong humuhusay ang AI sa reasoning tungkol sa sarili nitong reasoning process at sa pagmamanipula rito.

• Sa paghusay ng performance ng pretraining, nakikita rin naming nagiging mas matalino ang mga model kahit hindi gumamit ng verbalized reasoning.

Hindi naman imposibleng malampasan ang mga hamong ito. Umaasa akong makabuo tayo ng mga interbensiyon para ma-monitor nang mas mahusay ang chain-of-thought ng aming mga model, halimbawa, sa pamamagitan ng mas malalim na pag-unawa sa ugnayan ng iba’t ibang objective sa pag-optimize at mga form ng test-time compute na ginagamit ng model. Naniniwala rin akong malaki ang maitutulong ng pagsasama ng mga ideya mula sa CoT at pag-monitor sa activation—pag-scale ng training ng mga monitor na may direktang access sa mga network internal, hal. mga confession⁠(magbubukas sa bagong window). Aktibo naming isinusulong ang mga ideyang ito. Gayunpaman, inaasahan kong ang kumpyansa sa pag-monitor ang lalo nang magiging pangunahing balakid sa pangkalahatang progress ng AI.

Ang pinakamabigat na dahilang nakikita ko para ipagpatuloy ang mabilis na pag-train ng mas matatalinong modelo ay ang pangangailangang bumuo ng mga defensive system laban sa mga panganib mula sa ibang AI.

Isang malinaw na risk na tinalakay sa buong taon ang nasa cybersecurity: nagiging higit sa tao ang kakayahan ng mga model na pasukin at takasan ang mga computer system. Napakalaki ng pinapalawak nitong saklaw ng mga risk na kaugnay ng AI: maa-access ng mga agent ang halos lahat maliban sa pinaka-secure na imprastraktura, at direktang maaapektuhan ng mga ito ang malaking bahagi ng mundo kahit wala pisikal na katawan ang mga ito. Kasalukuyan tayong nasa isang narrow window⁠ para gamitin ang pinakamahusay na mga modelo na available para lubhang higpitan ang security⁠ ng mga critical na system.

Sa kasamaang-palad, patuloy pang lalaki ang mga risk na kaugnay ng AI. Isang bagong uri ng panganib ang isang lubhang mahusay na agent na tahasang sinanay at inutusang gumawa ng masama; malamang na lampasan nito ang saklaw ng layunin ng Operator nito at mag-generalize tungo sa posibleng mas matinding mapaminsalang behavior. Lalabo ang hangganan sa pagitan ng maling paggamit at mga kusang pagkilos na hindi naka-align habang nagkakaroon ng higit na awtonomiya ang AI. Maaaring nakasanayan nating isipin ang AI bilang mga tool, pero may mga agent na magtataguyod ng sariling objective ng mga ito. Hahanap ang mga ito ng mga paraan para makipagtulungan sa mga tao sa pamamagitan ng pakikipagtawaran, panlilinlang, o pamba-blackmail.

Dagdag dito ang mga risk mula sa mga bagong teknolohiyang maaaring gawing posible ng AI, gaya ng mga engineered pathogen.

Kakailanganin natin ang powerful at naka-align na AI para sa defense—para i-secure ang imprastraktura, agarang protektahan tayo laban sa mga mapanganib na agent, at mag-invent ng mga ganap na bagong pamproteksyong hakbang. Magiging pangunahing pokus ito ng mga pagsisikap ng OpenAI sa deployment.

Kasabay nito, sa kabila ng kawalang-katiyakang dulot ng inaasahang malawakang progress ng AI at pangangailangang bumuo ng mga defensive system, hindi natin ito dapat gawing dahilan para maging pabaya. Kapag lubos na naunawaan ang bigat ng nakataya, tila katawa-tawa ang ideyang sumugod nang walang pakundangan.

Likas na bunga ng tuloy-tuloy na progress ng teknolohiya ang patuloy na paglaki ng papel ng machine intelligence sa sarili nitong development process. Kung magpapatuloy ang progress ng AI, ang recursive self-improvement (RSI) ng machine ang magiging pinakasentro ng siyentipikong pagtuklas sa hinaharap.

Ang Automated AI research ay mas dramatikong anyo ng pag-scale ng intelligence gamit ang compute; at bilang bahagi nito, siyempre, pahuhusayin ng AI ang mismong computational substrate⁠. At gaya ng pag-scale, itinutuon namin ang research ng OpenAI sa RSI dahil naniniwala kaming ito lang ang paraan para manatili sa frontier ng research sa AI sa hinaharap.

Gusto kong idiin na hindi ipinapahiwatig ng sinabi ko na sa palagay ko’y angkop na kolektibong hakbang para sa komunidad ng pananaliksik ang labis na pagpapabilis sa deep learning research, lalo na sa maikling panahon. Gayunpaman, naniniwala akong dito humahantong ang kasalukuyang landas, at kailangan nating lahat na sadyang magpasya kung paano magpapatuloy. Ang mga pangunahing paraan natin ay alinman sa paggabay sa proseso para patibayin ang alignment at pag-monitor kasabay ng AI at humanap ng mga paraan para manatiling kalahok ang mga tao; o pakikipag-ugnayan para pabagalin ang susunod na development kung kailangan habang pinapatibay ang tiwala sa mga hakbang na ito.

Sa kasalukuyan, kumbinasyon ng dalawa ang pinakamainam na landas na nakikita ko.

Karaniwang lubhang magkakaugnay sa pangkalahatang progress ng AI ang mga kongkretong progress natin sa alignment at pag-monitor. Magagandang halimbawa ang RL mula sa feedback ng tao⁠(magbubukas sa bagong window), na mahalaga sa pagsasanay ng mga unang AI assistant, at ang nabanggit na pag-monitor sa chain-of-thought⁠(magbubukas sa bagong window), na naging posible dahil sa mga pagsulong sa mga reasoning model. Dapat nating ituon ang lalo nag-i-increase na automated research process sa pag-develop ng mga bagong insight, algorithm, at theory na tulad nito, at unti-unting magtatag ng mga katibayan ng kaligtasan para sa mas capable na AI.

Dapat limitahan ng ating kumpyansa sa kaligtasan ang pag-scale ng mga AI system. Kailangan nating gawing mga malawakang ipinag-uutos na pamantayan sa kaligtasan para sa patuloy na pagbuo ang mga commitment gaya ng Preparedness Framework⁠ o Patakaran sa Responsableng Pag-scale⁠(magbubukas sa bagong window). Maaaring ipatupad ang mga ito ng isang network ng mga third-party auditor, mga ahensya ng pamahalaan, o mga pandaigdigang lupon.

Ang pangunahing hamon sa pag-automate ng research sa AI ay hindi ang “makarating doon”—kundi ang makarating doon sa paraang nananatiling bahagi ang mga tao ng tuloy-tuloy na proseso ng pagpapahusay at nananatili sa kamay ng sangkatauhan ang hinaharap.

Gaya ng ibinalangkas namin kamakailan kasama si Sam⁠, inuuna ng OpenAI ang gawaing nagsisilbi sa tatlong pangunahing gabay:

1. Pag-navigate sa susunod na period ng progress ng AI sa pamamagitan ng pag-build ng automated AI researcher, paulit-ulit na pakikipagtulungan dito ukol sa problema ng alignment, at paghahanap ng mga paraan para manatiling bahagi ang mga tao ng loop ng self-improvement.

2. Paghahatid ng mga benepisyo ng siyentipikong pag-usad at paglago ng ekonomiya na ginagawang posible ng lubhang matatalinong machine.

3. Pag-empower sa bawat isa sa pamamagitan ng personal na AGI.

Sa sanaysay na ito, sa unang punto lang ako nakatuon dahil naniniwala akong ito ang pinaka-urgent. Gayunpaman, malalim ang aking pag-asa at pagpapahalaga sa mga benepisyong idudulot ng higit pang pag-unlad ng teknolohiya. Maaaring isulong ng naka-align na AI sa hinaharap ang agham, bumuo ng mga bagong lunas, at maghatid ng malawakang material abundance. Makakatulong ang friendly at matapat na AI sa mga taong humaharap sa mga suliranin sa buhay, at makabuluhang mapabuti ang kanilang kaligayahan at pakiramdam ng katuparan. Napakalaki ng pagsisikap ng OpenAI para maisakatuparan ang mga benepisyong ito. Isang kasalukuyang halimbawang ipinagmamalaki ko—at nakatulong sa mga mahal ko sa buhay—ang malalim na pamumuhunan sa kakayahan ng ChatGPT na magbigay ng impormasyong pangkalusugan.

Gaano man kalaki ang pangmatagalang pangako ng AI, dapat nakatuon ang karamihan ng ating pansin sa susunod na ilang taon. Nahaharap tayo sa transition patungo sa isang mundong may mga machine na may hindi kapani-paniwalang talino, at kailangan nating tiyaking magiging mabuti para sa sangkatauhan ang pagbabagong iyon. Kailangan nating humanap ng mga paraan para mapanatili ang kakayahan ng tao na magpasya at kilalanin ang likas na halaga ng pagiging tao sa mundong kayang gawin ng AI ang karamihan ng mga gawain. Kailangan nating pigilan ang labis na pagkonsentra ng kapangyarihan sa mundong maisasagawa ng iilang taong nagpapatakbo ng isang malaking computer ang mga proyektong dati’y mangangailangan ng libo-libong eksperto. At tiyaking mananatiling kontrolado ng mga tao ang hinaharap at hindi sila maiiwan ng walang-pigil na pag-unlad na dulot ng isang banyagang talinong higit sa atin.

Sa kasalukuyan, naniniwala akong wala pang laboratoryong nakalutas sa alignment at monitoring sa antas na sapat para responsableng ipagpatuloy nang mas matagal ang scaling sa pinakamabilis na bilis. Inaasahan at inaasam kong maging karaniwan ang kusang pagpapabagal hanggang sa makapagtatag ng magkakatugmang pamantayan sa kaligtasan. At naniniwala akong dapat gawing pangunahing priyoridad ng mga pamahalaan sa buong mundo ang pandaigdigang koordinasyon sa pagbuo ng AI sa hinaharap.