Intinn Choimhthíoch

I lár 2023, laistigh den tionscadal taighde “RLSlow”, chonaiceamar na chéad torthaí a thug muinín dúinn go mbeimis in ann oiliúint samhlacha réasúnaíochta a mhéadú, agus cumas samhlacha réamhoilte a scaoileadh chun a sraitheanna smaointe féin a chruthú. Chaith Szymon agus mé féin an oíche sin san oifig, gan sinn ag smaoineamh ar na huimhreacha dochreidte tagarmhairc, na táirgí ná na torthaí eolaíocha a chuirfeadh an teicneolaíocht seo ar fáil, ach ag iarraidh glacadh leis an bhfíric lom go bhfeicfimis, le linn ár saoil, meaisíní a bheadh i bhfad níos cliste ná sinn féin, agus go raibh cruth na gcóras sin le feiceáil againn cheana; agus muid ag fiafraí conas a d’fhéadfaimis a dtábhacht a chur in iúl do dhaoine.

Trí bliana ina dhiaidh sin, tá samhlacha teanga réasúnaíochta ina gcuid den gheilleagar atá ag fás go tapa agus tá siad ag tosú ar theorainneacha na heolaíochta a shíneadh. Tá siad in ann ríomhairí agus comhéadain ghrafacha a oibriú, comhoibriú le daoine agus lena chéile, agus tionscadail taighde a chur i gcrích. Tá siad ag claochlú thírdhreach na slándála ríomhaireachta freisin, agus cruthaíonn siad contúirtí soiléire nua dá bharr.

Rinneadh go leor taighde nua le linn na tréimhse seo, agus tá ár dtuiscint ar na córais seo beagán éagsúil arís ón tuiscint a bhí againn in 2023. Bunaithe ar thorthaí inmheánacha, táim ag súil go láidir go bhféadfaí an luas dul chun cinn seo a choinneáil ar aghaidh go dtí féinfheabhsú athchúrsach. Má leanann forbairt IS ar a bealach reatha, is dócha go mbeidh na córais a fheicfimid sna blianta beaga atá romhainn ina gcéimeanna eile cumais atá chomh mór céanna nó níos mó, agus go stiúrfaidh siad a bhforbairt féin níos mó de réir a chéile.

Is tráth é seo a éilíonn fíorchúram. Is cúis imní dom nach bhfuil aon duine ullamh d’iarmhairtí ardú tapa leanúnach na hintleachta meaisín. Leanfaidh OpenAI de réitigh theicniúla a lorg maidir le hailíniú agus faireachán, córais chosanta a thógáil agus tuilleadh méadúcháin a choinneáil siar go haontaobhach de réir mar is gá; creidim, áfach, go bhfuil idirghabhálacha níos leithne de dhíth.

Ar leibhéal ard, is cumhacht ríomhaireachta atá ag dul i méid a spreagann dul chun cinn in intleacht mheaisín. Thuigeamarne in OpenAI é seo go smior thart ar 2017, tar éis dúinn torthaí comhsheasmhacha ó mhéadú a fheiceáil i roinnt tionscadal taighde¹. Dá bharr sin, rinneamar iarracht rochtain a fháil ar i bhfad níos mó ríomhacmhainne ná mar a bhí beartaithe againn ar dtús, agus dhíríomar ár dtaighde níos mó ar líon beag treonna a bhí thar a bheith inscálaithe. Chreideamar gurbh é sin an t-aon bhealach dúinn fanacht ar thús cadhnaíochta i dtaighde IS agus tionchar a imirt ar éifeachtaí IGS.

Forbraíodh algartaim nua ar an mbealach, agus rinne foirne agus taighdeoirí aonair éachtaí nua seiftiúlachta. Feicim iad den chuid is mó mar fhionnachtana feadh chonair an mhéadúcháin; tá eolaíocht na domhainfhoghlama fós ina tús, agus is gnách go mbíonn dul chun cinn fiúntach algartamach comhghaolmhar le rochtain ar ríomhacmhainn. Má fhéachann tú ar an bpictiúr mór thar thréimhse roinnt blianta, tá IS ag éirí níos cliste i gcónaí de réir mar a mhéadaítear í ar ríomhairí níos mó.

Agus, de réir thuar Ray Kurzweil ó dheireadh an 20ú haois⁠(osclaíonn i bhfuinneog nua), táimid anois ag an bpointe i stair na ríomhaireachta a bhfuil intleacht mheaisín ag tosú ar intleacht an duine a shárú ar bhealaí claochlaitheacha.

Déantar IS a fhás seachas a dearadh — go bunúsach, is toradh í ar chéim shimplí barrfheabhsaithe a athdhéanamh go minic le méid ríomhacmhainne nach furasta a shamhlú. Cruthaíonn sé seo córas thar a bheith casta a oibríonn le coincheapa teibí agus atá in ann gnéithe d’iompar an duine a ionsamhlú. Is féidir linn léargais éagsúla a aimsiú faoi mheicníochtaí beaga a thagann chun cinn laistigh den chóras seo, i bpróiseas atá cosúil leis an néareolaíocht — agus, mar atá sa néareolaíocht, ní féidir linn cur síos iomlán sothuigthe a dhéanamh ar a oibriú foriomlán.

Is eolaíocht thurgnamhach den chuid is mó é staidéar IS atá bunaithe ar dhomhainfhoghlaim. Déanaimid tréaniarracht⁠ algartaim phrionsabalta a thógáil agus tuartha intástáilte a dhéanamh, ach go bunúsach is turgnaimh iad ár reatha oiliúna mórscála, agus uaireanta cuireann a dtorthaí iontas orainn. Ina theannta sin, de réir mar a éiríonn na córais níos cumasaí, éiríonn sé níos deacra na torthaí a léirmhíniú.

Cuireann sé leis an gcastacht go bhfeabhsaíonn na halgartaim reatha cumais atá éasca a thomhas níos tapa de ghnáth ná na cumais ar deacair iad a chainníochtú go hoibiachtúil. Caithimid go leor ama ag iarraidh tuiscint a fháil ar an gcaoi a nginearálann cumais agus ar cad ba cheart dúinn tús áite a thabhairt dó chun na scileanna is ábhartha sna blianta beaga amach romhainn a chur chun cinn. Mar shampla, creidimid go bhféadfaimis na samhlacha a fheabhsú go sonrach i dtaighde matamaitice le fócas breise, ach ní thugaimid tús áite don treo seo mar gheall ar an bpráinn a bhraithimid maidir le RSI agus taighde ailínithe uathoibrithe, mar a phléifidh mé ar ball.

Ní féidir an intleacht a chruthaítear trí dhomhainfhoghlaim a mhéadú a chur i gcomparáid go díreach le hintleacht an duine. Chun a bheith thar a bheith ábhartha sa saol mór — an-úsáideach nó an-chontúirteach — ní gá don IS gach cumas daonna a mheaitseáil ná a shárú; ní gá di ach a dóthain díobh a shárú. Agus de réir mar a leanann sí de dhaoine a shárú ar níos mó agus níos mó bealaí, tá sé ag éirí níos deacra a thuiscint go beacht cé chomh cumasach atá sí.

Ós rud é go dtagann intleacht mheaisín ó phróiseas atá éagsúil ó bhonn le hintleacht an duine, ní féidir linn glacadh leis go gcloíonn sí le prionsabail dhaonna mar réamhshocrú ná go nginearálann sí uathu ar nós duine. Is í bunfhadhb thaighde IS ná ailíniú — tabhairt ar an IS “iarracht a dhéanamh an rud ceart a dhéanamh” de réir chaighdeáin an duine.

Chun treonna praiticiúla taighde a eagrú, measaim gur fiú idirdhealú a dhéanamh idir ailíniú cuspóirí agus ailíniú luachanna.

Go ginearálta, is í an cheist a bhaineann le hailíniú cuspóirí ná: “an ndéanann an IS iarracht an cuspóir a leagtar amach di a bhaint amach?”. D’fhéadfadh rudaí ar nós cloí le hordlathas treoracha⁠ a bheith i gceist leis seo, nó an cumas cumarsáid agus comhoibriú le daoine chun iarracht a dhéanamh a gcuspóirí a thuiscint. Bhí an tsraith treonna seo thar a bheith ábhartha ó thaobh na praiticiúlachta de.

Is airí níos intreacha den tsamhail é ailíniú luachanna. Is é an cumas é cloí le tacar prionsabal ardleibhéil agus ginearálú uathu; gníomhú “go réasúnta” fiú nuair a thugtar cuspóirí doiléire nó contrártha di, nó nuair a chuirtear i gcásanna neamhchoitianta nó naimhdeacha í. Ba cheart do IS ailínithe gníomhú go hionraic, le hionracas agus le grá don chine daonna.

Ar ndóigh, d’fhéadfadh an teorainn idir ailíniú luachanna agus ailíniú cuspóirí a bheith doiléir, agus chun fíorchúram a dhéanamh de chuspóirí ní mór iarracht a dhéanamh an rún⁠(osclaíonn i bhfuinneog nua) agus na luachanna is bun leo a thuiscint. Mar sin féin, nuair a labhraím faoi thábhacht fhadtéarmach an taighde ailínithe, is d’ailíniú luachanna a bhím ag tagairt de ghnáth.

Is é ginearálú an bundúshlán a bhaineann le hailíniú IS. De réir mar a éiríonn meaisíní níos cliste, bíonn siad ag obair ar choincheapa ardleibhéil agus cuirtear iad i dtimpeallachtaí atá níos éagsúla de réir a chéile ó na cinn ar tháinig siad orthu san oiliúint. D’fhéadfadh sé nach n-éireodh leo na luachanna a múineadh agus a treisíodh ina bpróiseas oiliúna a ghinearálú chuig na cásanna nua sin; agus d’fhéadfadh sé a bheith deacair dúinn a bheith cinnte faoin gcaoi a ngníomhóidh siad. Déanann an t-athrú an-tapa ar an éiceachóras foriomlán ina n-úsáidtear ISanna an scéal níos deacra fós; mar shampla, ní mór do ISanna a oiltear inniu a bheith stóinsithe agus iad ag idirghníomhú le ISanna éagsúla eile. Rud ríthábhachtach, ní mór do ISanna na todhchaí leanúint de bheith dílis do luachanna daonna, is cuma an gcreideann siad go bhfuil daoine ag déanamh maoirseachta orthu.

Tá dhá phríomhaicme modhanna in úsáid go praiticiúil faoi láthair le haghaidh oiliúint ailínithe.

Is é an chéad cheann iompar ailínithe a spreagadh mar chuid d’fhoghlaim atreisiúcháin atá dírithe ar chuspóirí. Déantar gníomhartha na samhla a mheas (de ghnáth le IS) lena fháil amach an bhfuil siad comhsheasmhach le samhail tosaíochta, “sonraíocht” nó “bunreacht” ar leith, agus tugtar luach saothair cuí dóibh. Is féidir leis an gcur chuige seo a bheith an-éifeachtach sa ghnáthchás, agus is cuid lárnach é den chaoi a gcruthaítear cúntóirí IS nua-aimseartha. Ar an drochuair, is féidir leis a bheith sobhriste freisin agus braitheann sé go mór ar chuimsitheacht na maoirseachta oiliúna agus ar chumas na samhla ginearálú ó na cásanna ar tháinig sí orthu le linn oiliúna. Mar shampla, i dteagmhas OpenAI–Hugging Face, chloígh na gníomhairí le teorainn gan innealtóireacht shóisialta a dhéanamh ar dhaoine. Mar sin féin, is léir nár staon siad ó ghníomhartha eile a bhí lasmuigh den raon feidhme agus a sháraigh spiorad na luachanna a múineadh dóibh i gcomhthéacsanna eile.

Féachann an dara cur chuige le leas a bhaint as cumas na samhla ginearálú ó shonraí réamhoiliúna. D’fhéadfadh sé seo tacair sonraí oiliúna a cheapadh a spreagann ailíniú, nó an tsamhail a dhíriú ar chuid ‘ailínithe’ den dáileadh réamhoiliúna, mar a dhéantar, mar shampla, sa tsamhail roghnúcháin pearsan⁠(osclaíonn i bhfuinneog nua). Is é laige an chur chuige seo ná nach bhfuil sé stóinsithe in aghaidh tuilleadh brú barrfheabhsaithe. Má thógann tú samhail a smaoiníonn smaointe atá ‘ailínithe’ tríd is tríd agus má chuireann tú faoi dhóthain oiliúna í ina múintear di cuspóirí fíordheacra a bhaint amach, d’fhéadfadh sí foghlaim conas réasúnaíocht chlaonta a dhéanamh: na smaointe a bhfuil cuma 'ailínithe' orthu a lúbadh de réir mar is gá chun an cuspóir a bhaint amach. Is dócha go bhfaca muid sampla d’iompar den sórt sin i dteagmhais chibearshlándála le déanaí a bhain le samhail nach le OpenAI í.

Déanaimid infheistíocht mhór ar fud speictream na gcur chuige a chuimsítear sna treonna seo. Feicimid dul chun cinn fiúntach freisin — is í GPT‑6 Astra an chéad samhail a bhaineann tairbhe as roinnt dul chun cinn tábhachtach a bhfuilimid ag obair air le fada, agus tá sí ailínithe i bhfad níos fearr ná GPT‑5.6 Sol. Mar sin féin, tá sé tábhachtach a admháil agus a thuiscint go bhfuil i bhfad níos mó dul chun cinn de dhíth de réir mar a éiríonn samhlacha níos cumasaí; agus b’fhéidir nach sáróidh dul chun cinn in ailíniú inghinearálaithe an dul chun cinn in intleacht ghinearálta samhlacha a dhóthain.

Níl teoiric shásúil againn maidir le ginearálú, agus ní dócha gur féidir linn ceann a fhorbairt go luath, ar a laghad gan cabhair ó IS níos cumhachtaí. Dá bhrí sin, is féidir a áitiú go bhfuil ár gcumas ár dteicnící ailínithe a dheimhniú go heimpíreach níos tábhachtaí fós faoi láthair ná na teicnící féin.

Is é faireachán ar shraith smaointe⁠(osclaíonn i bhfuinneog nua) an príomh-gheall atá déanta ag OpenAI anseo. Tá sé bunaithe ar smaoineamh atá tarraingteach ó thaobh inscálaitheachta de: tagann cuid mhór de chumas na samhla ó phróiseas réasúnaíochta a chuirtear i bhfocail (sraith smaointe). Má mhéadaímid barrfheabhsú ar thorthaí an phróisis sin, ach gan maoirseacht a dhéanamh ar an bpróiseas féin, ní bhíonn aon dreasacht dhíreach oiliúna ag an tsraith smaointe sin chun smaointe ná cuspóirí mí-ailínithe a cheilt. Ní chiallaíonn sé seo go bhfoghlaimeoidh an tsamhail conas claonta mí-ailínithe nach mbraitheann ar an tsraith smaointe a nochtadh; áfach, féadann sé ligean dúinn faireachán beacht a dhéanamh ar an méadú cumais a eascraíonn as réasúnaíocht.

Thuigeamar tábhacht fhéideartha an fhaireacháin ar shraith smaointe agus muid ag forbairt samhlacha réasúnaíochta. Nuair a sheolamar o1‑preview, dhearamar an táirge d’aon ghnó chun an tsraith smaointe a cheilt⁠, chun í a chosaint ar bhrú maoirseachta san fhadtéarma². Sa tréimhse forbartha ó shin, rinneamar ár ndícheall cloí leis an riail gan maoirseacht a dhéanamh ar an bpróiseas réasúnaíochta. D’éirigh faireachán CoT thar a bheith tábhachtach dúinn chun staidéar a dhéanamh ar an gcaoi a nginearálann ár samhlacha ó dháileadh a gcuid oiliúna, mar lig sé dúinn ní hamháin a ngníomhartha ach a bpróiseas inmheánach a bhreathnú agus a anailísiú.

Tá an uirlis seo ríthábhachtach i gcónaí agus muid ag déanamh staidéir ar aicme samhlacha Astra. Ar an drochuair, áfach, léiríonn ár meastóireachtaí go bhfuil ár gcumas brath ar fhaireachán CoT ag dul i laghad de réir a chéile. Meascán tosca is cúis leis seo.

• Úsáidtear samhlacha réasúnaíochta nua-aimseartha i dtimpeallachtaí níos casta ná o1‑preview; tá a bpróiseas réasúnaíochta á chumasc níos mó le cumarsáid le daoine agus le ISanna eile, agus le húsáid uirlisí. Ní mór maoirseacht a dhéanamh ar go leor de na hidirghníomhaíochtaí sin, rud a fhágann an teorainn is mian linn a chaomhnú níos doiléire.
• Tá an IS ag éirí níos fearr ar réasúnaíocht a dhéanamh faoina phróiseas réasúnaíochta féin agus ar an bpróiseas sin a ionramháil.
• De réir mar a fheabhsaíonn feidhmíocht na réamhoiliúna, feicimid freisin go n-éiríonn na samhlacha i bhfad níos cliste fiú gan réasúnaíocht a chur i bhfocail ar chor ar bith.

Ní gá go mbeadh na dúshláin seo dosháraithe. Tá súil agam gur féidir linn bearta idirghabhála a fhorbairt chun inbhreathnaitheacht shraith smaointe ár samhlacha a fheabhsú, mar shampla trí thuiscint níos fearr a fháil ar an idirghníomhú idir cuspóirí éagsúla barrfheabhsaithe agus na cineálacha ríomha a úsáideann an tsamhail tráth tástála. Creidim freisin go bhféadfadh fiúntas mór a bheith ag baint le smaointe ó fhaireachán CoT agus faireachán gníomhachtaithe a chur le chéile — oiliúint monatóirí a mhéadú agus rochtain dhíreach acu ar inmheánach an líonra, mar shampla admhálacha⁠(osclaíonn i bhfuinneog nua). Táimid ag saothrú na smaointe seo go gníomhach. Mar sin féin, measaim go gcuirfidh muinín san fhaireachán srian níos mó de réir a chéile ar dhul chun cinn ginearálta IS.

Is í an argóint is láidre a fheicim ar son leanúint de shamhlacha i bhfad níos cliste a oiliúint go tapa ná an gá atá le córais chosanta a thógáil in aghaidh na gcontúirtí a bhaineann le IS eile.

Riosca soiléir a pléadh i gcaitheamh na bliana seo is ea an riosca don chibearshlándáil: tá cumas osdaonna á fhorbairt ag na samhlacha chun briseadh isteach i gcórais ríomhaireachta agus éalú astu. Leathnaíonn sé seo go mór raon na rioscaí a bhaineann le IS: beidh gníomhairí in ann teacht ar gach bonneagar seachas an ceann is sláine, agus dul i bhfeidhm go díreach ar chuid mhór den domhan, fiú gan corp fisiciúil. Táimid anois i bhfuinneog chúng⁠ inar féidir na samhlacha is fearr atá ar fáil a úsáid chun slándáil na gcóras criticiúil a neartú go suntasach⁠.

Ar an drochuair, ní dhéanfaidh na rioscaí a bhaineann le IS ach méadú as seo amach. Cruthaíonn gníomhaire sárchumasach a oiltear agus a threoraítear go sainráite chun drochghníomhartha a dhéanamh cineál nua contúirte; is dócha go rachaidh sé thar raon rún a oibreora agus go nginearálfaidh sé ina iompar a d’fhéadfadh a bheith níos mailísí fós. Éireoidh an teorainn idir mí-úsáid agus gníomhartha uathrialacha mí-ailínithe níos doiléire de réir mar a ghnóthaíonn IS níos mó neamhspleáchais. B’fhéidir go bhfuilimid cleachta le breathnú ar IS mar uirlisí, ach beidh roinnt gníomhairí ag saothrú a gcuspóirí féin. Gheobhaidh siad bealaí chun comhoibriú le daoine trí mhargáil leo, iad a chur amú nó dúmhál a dhéanamh orthu.

Ina theannta sin, tá na rioscaí ann a eascraíonn as teicneolaíochtaí nua a d’fhéadfadh IS a chumasú, amhail pataiginí innealtóireachta.

Beidh IS chumhachtach ailínithe de dhíth orainn le haghaidh cosanta: chun bonneagar a dhaingniú, cosaint i bhfíor-am ar ghníomhairí ceannairceacha agus bearta cosanta úrnua a cheapadh. Beidh sé seo ar cheann de phríomhfhócais iarrachtaí imlonnaithe OpenAI.

Ag an am céanna, fiú agus an éiginnteacht a bhaineann leis an dul chun cinn leathan IS a bhfuiltear ag súil leis agus leis an ngá córais chosanta a thógáil san áireamh, ní mór dúinn gan ligean dó sin a bheith ina leithscéal don mheargántacht. Nuair a thuigtear dáiríre cé chomh mór atá na geallta, is áiféiseach an smaoineamh é rás ar aghaidh ar ais nó ar éigean.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(osclaíonn i bhfuinneog nua), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(osclaíonn i bhfuinneog nua), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(osclaíonn i bhfuinneog nua) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.