Svešāds prāts

2023. gada vidū pētniecības projektā “RLSlow” mēs ieguvām pirmos rezultātus, kas deva pārliecību, ka spēsim mērogot spriestspējas modeļu apmācību, atraisot priekšapmācītu modeļu spēju veidot savas domu ķēdes. Tovakar mēs ar Šimonu palikām birojā un domājām nevis par neticamajiem etalontestu rezultātiem, produktiem vai zinātniskajiem sasniegumiem, ko šī tehnoloģija radīs, bet centāmies aptvert skarbo faktu, ka jau savas dzīves laikā patiešām pieredzēsim mašīnas, kas būs ievērojami gudrākas par mums, un ka jau redzam šo sistēmu aprises; mēs prātojām, kā cilvēkiem darīt zināmu tā nozīmīgumu.

Trīs gadus vēlāk spriestspējas valodas modeļi veido strauji augošu ekonomikas daļu un sāk paplašināt zinātnes iespēju robežas. Tie spēj lietot datorus un grafiskās saskarnes, sadarboties ar cilvēkiem un cits ar citu, kā arī īstenot pētniecības projektus. Tie pārveido arī datoru drošības vidi un tādējādi rada nepārprotamus jaunus draudus.

Šajā periodā veikts daudz jaunu pētījumu, un mūsu izpratne par šīm sistēmām atkal nedaudz atšķiras no 2023. gada izpratnes. Ņemot vērā iekšējos rezultātus, esmu pārliecināts, ka šādu attīstības tempu būs iespējams saglabāt arī rekursīvas pašpilnveides posmā. Ja MI izstrāde turpināsies pa pašreizējo ceļu, sistēmas, ko redzēsim nākamajos gados, visticamāk, piedzīvos tikpat lielus vai vēl lielākus spēju lēcienus un arvien vairāk pašas virzīs savu attīstību.

Šis ir laiks, kad nepieciešama ārkārtīga piesardzība. Mani satrauc tas, ka neviens nav gatavs sekām, ko radīs nepārtrauktais un straujais mašīninteliģences pieaugums. OpenAI turpinās meklēt tehniskus saskaņošanas un pārraudzības risinājumus, veidot aizsardzības sistēmas un vajadzības gadījumā vienpusēji atturēties no turpmākas mērogošanas; tomēr uzskatu, ka nepieciešami plašāki pasākumi.

Kopumā mašīninteliģences attīstību virza skaitļošanas jaudas pieaugums. Mēs OpenAI to pilnībā apzinājāmies ap 2017. gadu, kad vairākos pētniecības projektos novērojām stabilus mērogošanas ieguvumus¹. Tāpēc centāmies iegūt piekļuvi daudz lielākiem skaitļošanas resursiem, nekā sākotnēji plānots, un arvien vairāk koncentrējām pētniecību uz dažiem ļoti mērogojamiem virzieniem. Uzskatījām, ka tas ir vienīgais veids, kā palikt MI pētniecības robežšķirtnē un ietekmēt AGI radītās pārmaiņas.

Pa ceļam ir izstrādāti jauni algoritmi, un komandas un atsevišķi pētnieki ir demonstrējuši jaunu atjautību. Lielākoties uzskatu tos par atklājumiem mērogošanas ceļā; dziļās mācīšanās zinātne joprojām ir agrīnā stadijā, un nozīmīgs algoritmiskais progress mēdz būt saistīts ar piekļuvi skaitļošanas resursiem. Raugoties vairāku gadu perspektīvā, MI turpina kļūt gudrāks, to mērogojot darbam ar lielākiem datoriem.

Atbilstoši Reja Kurcveila prognozēm 20. gadsimta beigās⁠(atveras jaunā logā) esam nonākuši skaitļošanas vēstures brīdī, kad mašīninteliģence pārveidojošā veidā sāk pārspēt cilvēka intelektu.

MI drīzāk tiek izaudzēts, nevis projektēts – pirmām kārtām tas rodas, daudzkārt atkārtojot vienkāršu optimizācijas soli ar grūti aptveramu skaitļošanas resursu apjomu. Tā rodas neticami sarežģīta sistēma, kas darbojas ar abstraktiem jēdzieniem un spēj atdarināt cilvēku uzvedības aspektus. Mēs varam gūt dažādas atziņas par nelieliem mehānismiem, kas rodas šajā sistēmā, līdzīgi kā neirozinātnē, taču arī šeit sistēmas darbību kopumā nav iespējams pilnīgi saprotami aprakstīt.

Uz dziļo mācīšanos balstīta MI izpēte lielākoties ir eksperimentāla zinātne. Mēs veltām daudz pūļu⁠ principiālu algoritmu izstrādei un pārbaudāmu prognožu veidošanai, tomēr būtībā mūsu liela mēroga apmācības ir eksperimenti, un to rezultāti mūs dažkārt pārsteidz. Turklāt, sistēmām kļūstot spējīgākām, rezultātus ir grūtāk interpretēt.

Situāciju vēl vairāk sarežģī tas, ka pašreizējie algoritmi parasti ātrāk uzlabo viegli izmērāmas spējas nekā tās, kuras ir grūti objektīvi novērtēt. Mēs daudz laika veltām, lai izprastu, kā spējas vispārinās un kam dot priekšroku, attīstot prasmes, kas nākamajos gados būs visnozīmīgākās. Piemēram, uzskatām, ka ar papildu uzmanību varētu īpaši uzlabot modeļu spējas matemātikas pētniecībā, taču nedodam šim virzienam priekšroku, jo RSI un automatizēta saskaņošanas pētniecība, ko aplūkošu vēlāk, mums šķiet steidzamākas.

Ar dziļās mācīšanās mērogošanu radītais intelekts nav tieši salīdzināms ar cilvēka intelektu. Lai kļūtu ļoti nozīmīgs reālajā pasaulē – ļoti noderīgs vai ļoti bīstams – MI nav jāatbilst visām cilvēka spējām vai tās jāpārspēj; tam jāpārspēj tikai pietiekami daudzas no tām. Tam pārspējot cilvēkus arvien vairākās jomās, kļūst aizvien grūtāk precīzi saprast, cik spējīgs tas ir.

Tā kā mašīninteliģence rodas pilnīgi citādā procesā nekā cilvēka intelekts, nevaram pieņemt, ka tā pēc noklusējuma ievēro cilvēku principus vai vispārina tos tāpat kā cilvēki. MI pētniecības pamatproblēma ir saskaņošana – panākt, lai MI pēc cilvēku mērauklas “censtos rīkoties pareizi”.

Lai strukturētu praktiskos pētniecības virzienus, man šķiet lietderīgi nošķirt mērķu saskaņošanu un vērtību saskaņošanu.

Mērķu saskaņošana plašā nozīmē atbild uz jautājumu: “Vai MI cenšas sasniegt tam izvirzīto mērķi?” Tas var ietvert, piemēram, norādījumu hierarhijas⁠ ievērošanu vai spēju sazināties un sadarboties ar cilvēkiem, cenšoties izprast viņu mērķus. Šis virzienu kopums praksē ir bijis ārkārtīgi nozīmīgs.

Vērtību saskaņotība ir būtiskāka modeļa iekšējā īpašība. Tā ir spēja ievērot augsta līmeņa principu kopumu un vispārināt no tā – rīkoties “saprātīgi” pat tad, ja mērķi ir neskaidri vai pretrunīgi vai modelis nonāk nepazīstamās vai naidīgās situācijās. Saskaņotam MI būtu jārīkojas godīgi, godprātīgi un ar mīlestību pret cilvēci.

Protams, robeža starp vērtību un mērķu saskaņošanu var būt izplūdusi, un patiesas rūpes par mērķiem prasa centienus izsecināt to pamatā esošo nodomu⁠(atveras jaunā logā) un vērtības. Tomēr, runājot par saskaņošanas pētniecības nozīmi ilgtermiņā, parasti domāju vērtību saskaņošanu.

MI saskaņošanas galvenais izaicinājums ir vispārināšana. Mašīnām kļūstot gudrākām, tās strādā ar arvien augstāka līmeņa jēdzieniem un nonāk vidēs, kas arvien vairāk atšķiras no apmācībā pieredzētajām. Tās var nespēt apmācības laikā mācītās un nostiprinātās vērtības vispārināt uz šīm jaunajām situācijām, un mums var būt grūti droši paredzēt to rīcību. To vēl vairāk sarežģī ļoti straujās pārmaiņas kopējā ekosistēmā, kurā MI tiek izmantoti; piemēram, šodien apmācītiem MI jāspēj droši mijiedarboties ar dažādiem citiem MI. Īpaši svarīgi, lai nākotnes MI turpinātu ievērot cilvēku vērtības neatkarīgi no tā, vai tie uzskata, ka cilvēki tos pārrauga.

Pašlaik praksē izmanto divas galvenās saskaņošanas apmācības metožu grupas.

Pirmā veicina saskaņotu rīcību uz mērķiem orientētas stimulētās mācīšanās ietvaros. Modeļa darbības tiek izvērtētas (parasti ar MI), nosakot to atbilstību konkrētam preferenču modelim, “specifikācijai” vai “konstitūcijai”, un attiecīgi atalgotas. Vidusmēra gadījumā šī pieeja var būt ļoti efektīva, un tā ir būtiska mūsdienu MI asistentu izstrādes daļa. Diemžēl tā var būt arī trausla un ir ļoti atkarīga no apmācības pārraudzības tvēruma un modeļa spējas vispārināt apmācībā sastaptās situācijas. Piemēram, OpenAI un Hugging Face incidentā aģenti ievēroja robežu, kas aizliedza sociāli manipulēt ar cilvēkiem. Tomēr tie nepārprotami neatturējās no citām darbībām, kas pārsniedza uzdevuma robežas un bija pretrunā citos apstākļos mācīto vērtību būtībai.

Otrā pieeja cenšas izmantot modeļa spēju vispārināt no priekšapmācības datiem. Tā var ietvert saskaņošanu veicinošu apmācības datkopu izstrādi vai modeļa koncentrēšanu uz “saskaņotu” priekšapmācības sadalījuma daļu, piemēram, kā personas atlases modelī⁠(atveras jaunā logā). Šīs pieejas vājā vieta ir nepietiekama noturība pret turpmāku optimizācijas spiedienu. Ja modeli, kas kopumā domā “saskaņoti”, pietiekami ilgi māca sasniegt ļoti sarežģītus mērķus, tas var iemācīties spriest tendenciozi – pēc vajadzības pielāgot šķietami “saskaņotās” domas mērķa sasniegšanai. Šādas rīcības piemēru, visticamāk, redzējām nesenos kiberdrošības incidentos, kuros bija iesaistīts modelis, kas nav OpenAI modelis.

Mēs veicam lielus ieguldījumus visā šo virzienu aptvertajā pieeju spektrā. Redzam arī būtisku progresu – GPT‑6 Astra ir pirmais modelis, kas izmanto dažus svarīgus sasniegumus, pie kuriem ilgi esam strādājuši, un tas ir ievērojami labāk saskaņots nekā GPT‑5.6 Sol. Tomēr jāatzīst un jāsaprot, ka, modeļiem kļūstot spējīgākiem, vajadzīgs vēl daudz lielāks progress un ka vispārināmas saskaņošanas attīstība var nebūt pietiekami straujāka par modeļu vispārējā intelekta attīstību.

Mums nav apmierinošas vispārināšanas teorijas, un šķiet maz ticams, ka spēsim to drīzumā izstrādāt – vismaz bez jaudīgāka MI palīdzības. Tāpēc pašlaik mūsu spēja empīriski pārbaudīt saskaņošanas metodes praksē, iespējams, ir pat svarīgāka par pašām metodēm.

OpenAI galvenais uzsvars šajā jomā ir bijusi domu ķēdes pārraudzība⁠(atveras jaunā logā). Tās pamatā ir pievilcīgi mērogojama ideja: liela daļa modeļa spēju izriet no vārdos izteikta spriešanas procesa (domu ķēdes). Ja mērogojam šā procesa rezultātu optimizāciju, bet nepārraugām pašu procesu, apmācības laikā domu ķēdei nav tieša stimula slēpt nesaskaņotas idejas vai mērķus. Tas nenozīmē, ka modelis iemācīsies atklāti paust nesaskaņotas tendences, kurām domu ķēde nav vajadzīga; tomēr tā var ļaut mums pārraudzīt tieši spriestspējas radīto spēju pieaugumu.

Domu ķēdes pārraudzības iespējamo nozīmi mēs apzinājāmies vienlaikus ar spriestspējas modeļu izstrādi. Izlaižot o1‑preview, mēs apzināti izstrādājām produktu tā, lai slēptu domu ķēdi⁠ un ilgtermiņā pasargātu to no pārraudzības spiediena². Kopš tā laika izstrādē esam centušies ievērot principu nepārraudzīt spriešanas procesu. CoT pārraudzība mums kļuva par ārkārtīgi svarīgu rīku, pētot, kā mūsu modeļi vispārina ārpus apmācības sadalījuma, jo tā ļauj novērot un analizēt ne tikai to darbības, bet arī iekšējo procesu.

Šis rīks joprojām ir ļoti svarīgs, pētot Astra klases modeļus. Diemžēl mūsu novērtējumi liecina, ka iespēja paļauties uz CoT pārraudzību pakāpeniski mazinās. To izraisa vairāku faktoru kopums.

• Mūsdienu spriestspējas modeļus izmanto sarežģītākās vidēs nekā o1‑preview; to spriešanas process arvien vairāk saplūst ar saziņu ar cilvēkiem un citiem MI, kā arī rīku izmantošanu. Daudzas no šīm mijiedarbībām ir jāpārrauga, tādējādi izpludinot robežu, ko vēlamies saglabāt.
• MI arvien labāk spēj analizēt un ietekmēt pats savu spriešanas procesu.
• Uzlabojoties priekšapmācības rezultātiem, redzam arī, ka modeļi kļūst daudz gudrāki, pat nemaz neizmantojot vārdos izteiktu spriešanu.

Šie izaicinājumi ne vienmēr ir nepārvarami. Ceru, ka spēsim izstrādāt risinājumus savu modeļu domu ķēdes pārraugāmības uzlabošanai, piemēram, labāk izprotot mijiedarbību starp dažādiem optimizācijas mērķiem un modeļa izmantotajiem izskaitļošanas veidiem darbības laikā. Uzskatu arī, ka ļoti vērtīga varētu būt CoT un aktivāciju pārraudzības ideju apvienošana – tādu pārraugu apmācības mērogošana, kuriem ir tieša piekļuve tīkla iekšējai darbībai, piemēram, atzīšanās⁠(atveras jaunā logā). Mēs aktīvi attīstām šīs idejas. Tomēr sagaidu, ka vispārējo MI attīstību arvien vairāk ierobežos pārliecība par pārraudzības uzticamību.

Spēcīgākais arguments, ko redzu par labu daudz gudrāku modeļu straujas apmācīšanas turpināšanai, ir vajadzība veidot aizsardzības sistēmas pret citu MI radītajiem draudiem.

Acīmredzams risks, kas apspriests visu šo gadu, skar kiberdrošību: modeļu spēja ielauzties datorsistēmās un izkļūt no tām kļūst pārcilvēciska. Tas ārkārtīgi paplašina ar MI saistīto risku loku: aģenti varēs piekļūt gandrīz jebkurai infrastruktūrai, izņemot visdrošāko, un tieši ietekmēt lielu pasaules daļu pat bez fiziska ķermeņa. Pašlaik mums ir īss iespēju periods⁠, kurā labākos pieejamos modeļus varam izmantot, lai būtiski pastiprinātu kritisko sistēmu drošību⁠.

Diemžēl turpmāk ar MI saistītie riski tikai pieaugs. Ļoti spējīgs aģents, kas īpaši apmācīts un instruēts ļaunprātīgai rīcībai, rada jauna veida apdraudējumu; tas, visticamāk, pārkāps operatora ieceres robežas, vispārinot tās potenciāli daudz ļaunākā rīcībā. MI iegūstot lielāku rīcībspēju, robeža starp ļaunprātīgu izmantošanu un autonomu, nesaskaņotu rīcību izplūdīs. Iespējams, esam pieraduši MI uzskatīt par rīkiem, taču daži aģenti īstenos paši savus mērķus. Tie atradīs veidus, kā sadarboties ar cilvēkiem – kaulējoties, maldinot vai šantažējot viņus.

Turklāt pastāv riski, ko rada jaunas, ar MI palīdzību potenciāli radītas tehnoloģijas, piemēram, mākslīgi izstrādāti patogēni.

Aizsardzībai mums būs vajadzīgs jaudīgs, saskaņots MI – lai aizsargātu infrastruktūru, reāllaikā pretotos nekontrolējamiem aģentiem un izgudrotu pilnīgi jaunus aizsardzības līdzekļus. Tas būs viens no galvenajiem OpenAI ieviešanas darba virzieniem.

Vienlaikus, pat ņemot vērā nenoteiktību, ko rada gaidāmā plašā MI attīstība un vajadzība veidot aizsardzības sistēmas, mēs nedrīkstam ļaut tam kļūt par attaisnojumu pārgalvībai. Kad patiesi apzināmies, cik nopietnas ir likmes, doma par traukšanos uz priekšu par katru cenu šķiet absurda.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(atveras jaunā logā), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(atveras jaunā logā), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(atveras jaunā logā) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.