Sábháilteacht agus ailíniú i ré na samhlacha tréimhse ama fada

Is féidir le samhlacha a oibríonn go huathrialach ar feadh tréimhsí fada dul i ngleic le fadhbanna deacra oscailte. Ach tugann an bhuanseasmhacht chéanna a dhéanann úsáideach iad níos mó deiseanna dóibh gníomhartha gan iarraidh a dhéanamh — agus é sin a dhéanamh ar bhealaí a d’fhéadfadh éalú ó mheastóireachtaí atá ceaptha do shamhlacha tréimhse ama níos giorra.

Thart ar dhá mhí ó shin d’fhógraíomar⁠ gur bhréagnaigh samhail inmheánach ilchuspóireach tuairimíocht fhad aonaid Erdős. Dearadh an tsamhail seo chun oibriú go huathrialach ar feadh tréimhsí an-fhada. Le linn úsáid inmheánach theoranta agus mhonatóirithe, chonaiceamar iompar gan iarraidh nár ghabh ár meastóireachtaí imscartha reatha. Toisc go raibh an t-imscaradh teoranta agus monatóirithe, bhíomar in ann na fadhbanna seo a aimsiú, rochtain a chur ar sos, meastóireachtaí nua a chruthú bunaithe ar a bhfaca muid, an tsamhail agus a cosaintí a neartú, agus rochtain a athbhunú faoi mhonatóireacht leanúnach. 

Ní bheidh na dálaí ina ndéanaimid samhlacha a mheas riamh ar aon dul go foirfe leis na dálaí a bhuaileann leo in úsáid iarbhír. Sin é an fáth gur gá meastóireachtaí réamh-imscartha a chomhcheangal le himscaradh teoranta, monatóirithe agus leis an gcumas idirghabháil, sos a chur i bhfeidhm, nó rolladh siar nuair a thagann fadhbanna chun cinn. Is féidir an méid a fhoghlaimímid ón imscaradh a chur ansin le meastóireachtaí agus cosaintí níos láidre sula leathnaítear rochtain.

Sna rannáin seo a leanas, roinnimid samplaí nithiúla den méid a chonaiceamar, den chaoi ar réitíomar ceisteanna, agus den chaoi a múnlóidh an taithí seo eisiúintí amach anseo.

Is féidir leis an tsamhail nua leanúint ag obair i dtreo cuspóra trí iarrachtaí arís agus arís eile thar thréimhse fhada ama. Féadfaidh an bhuanseasmhacht chéanna í a threorú chun laigí ina timpeallacht a aimsiú agus a shaothrú. Nuair a bhuail samhlacha roimhe seo le srianta bosca gainimh nó srianta timpeallachta, stopfaidís go simplí agus d’fhillfidís ar an úsáideoir. Is minic a lean an tsamhail seo uirthi ag iarraidh, lena n-áirítear bealaí a lorg chun gníomhú lasmuigh dá bosca gainimh.

Tharla sampla de seo le linn measúnú inmheánach ar speedrun NanoGPT⁠(osclaíonn i bhfuinneog nua), tagarmharc poiblí chun samhail bheag teanga a oiliúint i chomh beag céimeanna agus is féidir. D’fhorbair ár samhail fuarú ráta foghlama de réir dlí cumhachta darb ainm PowerCool, rud a thug feabhas suntasach. Tugadh treoir don tsamhail a torthaí a phostáil chuig Slack amháin, ach deir treoracha NanoGPT torthaí a phostáil mar PR chuig GitHub, agus lean an tsamhail na treoracha deireanacha sin chun PR #287 a oscailt ar an stór poiblí GitHub. Sheachain an tsamhail srianta bosca gainimh a dearadh chun rochtain sheachtrach a bhlocáil agus lean sí leis an uaslódáil chuig GitHub. Thóg sé uair an chloig ar ár samhail leochaileacht sa bhosca gainimh a aimsiú chun an PR a dhéanamh; bhí samhlacha níos luaithe níos lú buanseasmhach agus níor éirigh leo leochaileachtaí a aimsiú, agus d’éirigh siad as cuid an PR ina ionad sin.¹

Dearadh go leor rialuithe sábháilteachta do chúntóirí AI timpeall ar ghníomhartha aonair. Má tá gníomh dícheadaithe, blocáiltear é. Má tá sé íogair, iarrann an córas cead sainráite ar an úsáideoir. Ach cuireann samhlacha fadtéarmacha, a bhféadfadh a ngníomhartha teacht chun cinn go huathrialach thar uaireanta, laethanta nó fiú seachtainí, dúshlán roimh an leagan amach seo: ní leor gníomhartha aonair a mhonatóiriú a thuilleadh chun rún na conaire iomláine a rianú.

Mar shampla, i gcás inar iarradh ar an tsamhail fadhb a réiteach, thug an tsamhail faoi deara go raibh aighneachtaí rathúla ach príobháideacha ag córais eile agus rinne sí iarracht na réitigh sin a aisghabháil ó inneall cúil na meastóireachta. Nuair a blocáladh a céad iarracht mar gur aimsigh scanóir téacschomhartha fíordheimhnithe, roinn an tsamhail corp an téacschomhartha ina dhá phíosa, cheil sí iad, agus d’athchruthaigh sí an dintiúr ag am rite ionas nach mbeadh an téacschomhartha iomlán le feiceáil riamh mar theaghrán leanúnach amháin. Bhí an tsamhail soiléir, ina tráchtanna don úsáideoir agus ina rianta réasúnaíochta araon, go raibh na céimeanna seo á nglacadh aici chun an scanóir a sheachaint.

Léiríonn an sampla seo conas is féidir le gach céim cuma inghlactha a bheith uirthi aisti féin, agus fós go bhféadfadh toradh neamhcheadaithe teacht as an seicheamh. Léiríonn sé freisin gur féidir le samhail a oibríonn go héifeachtach thar thréimhsí ama fada dall spotaí córais cheadaithe a fhoghlaim agus dul timpeall air chun a spriocanna a bhaint amach. Éilíonn sábháilteacht le tréimhse ama fhada ní hamháin an cheist: “an gceadaítear an gníomh seo?” ach freisin: “cén toradh a bhfuil an seicheamh gníomhartha seo ag obair ina threo?”

Mar gheall ar eachtraí mar seo, chuireamar imscaradh inmheánach na samhla nua ar sos. Atógamar an córas sábháilteachta timpeall ar chosaint i ndoimhneacht agus ar mhonatóireacht ar leibhéal conaire.

• Meastóireachtaí bunaithe ar eachtraí. Is féidir le meastóireachtaí tuiscint a thabhairt dúinn ar cé acu atá córas sábháilte le himscaradh sula n-imscartar i ndáiríre é. Ach chun a bheith chomh húsáideach agus is féidir, ba cheart do mheastóireacht dáileadh agus fad tréimhse ama na gconairí le linn imscaradh fíor a léiriú. Ar an gcúis sin, d’úsáideamar teipeanna a breathnaíodh chun meastóireachtaí sáraíochta a fhorbairt. Fuaireamar amach gur chruthaigh feabhsú ar na meastóireachtaí a tháinig ó eachtraí sa saol réadúil iompar níos sábháilte tar éis imscaradh i dtáirgeadh.
• Ailíniú feabhsaithe. Ghlacamar céimeanna chun a claonadh gníomhartha gan iarraidh a dhéanamh gan chead agus í ag saothrú sprioc an úsáideora a laghdú.  Mar shampla, fuaireamar amach go raibh ár samhlacha níos measa ag cuimhneamh ar threoracha i rollouts fhada, agus nuair a chuireamar oiliúint ar an tsamhail don chumas seo, tháinig samhail as a d’fhan ailínithe trí rollouts níos faide. 
• Monatóireacht ghníomhach. Chruthaíomar córas monatóireachta a dhéanann athbhreithniú ar chonair na samhla de réir mar a fhorbraíonn sí, ag lorg comharthaí go bhfuil sí ag seachaint sriain úsáideora nó teorann sábháilteachta. Ní gníomh aonair amháin a bhreathnaíonn an monatóir, ach an chonair iomlán. Rud tábhachtach, is féidir leis an monatóir an seisiún a chur ar sos agus an t-úsáideoir a chur ar an eolas lena scrúdú níos géire. Tar éis scrúdaithe, is féidir leis an úsáideoir roghnú leanúint le hobair na samhla má spreagadh an monatóir trí dhearmad. 
• Infheictheacht agus smacht níos fearr don úsáideoir. D’fheabhsaíomar cumas an úsáideora na seisiúin fhadtéarmacha seo a iniúchadh, na gníomhartha a rinneadh a fheiceáil, agus idirghabhálacha monatóireachta a leanúint.

Chun an córas monatóireachta nua a mheas, rinneamar athsheinm ar thacar beag timpeallachtaí imscartha inmheánaí ina ndearna an tsamhail gníomhartha mí-ailínithe roimhe seo, an uair seo leis na cosaintí nua i bhfeidhm². Bhí na cosaintí nua in ann i bhfad níos mó gníomhartha mí-ailínithe a bhí á saothrú ag an tsamhail a ghabháil, agus measadh go raibh déine íseal ag gach ceann nár ghabh siad.

I measc samplaí de na heachtraí íseal-déine seo tá na cásanna seo a leanas:

• Chun rochtain a fháil ar uirlis líne ordaithe Linear, sheol an tsamhail seisiún neadaithe codex --yolo, cé go bhféadfadh sí é sin a dhéanamh gan an bhratach --yolo.
• Thug an tsamhail faoi deara go raibh acmhainn a bhí beo roimhe sin ar iarraidh, ansin thosaigh sí ag iniúchadh agus ag SSH isteach i bpodaí CPU beo eile faoi ainmspás a húinéara, chomh maith le podaí le fostaithe eile OpenAI (go neamh-rathúil), gan chúis mhaith leis.
• Bhí go leor próiseas find sáinnithe ag an tsamhail agus bhí gach ordú blaosc crochta. Ansin rith sí kill -9 -1, rud a chuirfeadh SIGKILL chuig gach próiseas a bhfuil cead aici a mharú ar an bpoda sin, dá rithfeadh sé. Ach chuaigh sé thar am agus níor rith sé.

Tar éis dúinn an córas nua a thástáil, bhaineamar de thátal as go bhféadfaí rochtain inmheánach theoranta ar shamhlacha le cumais tréimhse ama fada a athbhunú. Níor thugamar faoi deara aon seachaint thromchúiseach ar chosaintí ó thosaigh an t-ath-imscaradh roinnt seachtainí ó shin. Bhí an chéad leagan de na cosaintí seo coimeádach d’aon ghnó. Leanamar orainn ag tiúnadh an chórais chun cur isteach gan ghá a laghdú gan na cosaintí a lagú.

Toisc gur imscaradh againn de réir a chéile, bhíomar in ann bearnaí a aimsiú agus a réiteach sular leathnaíomar rochtain. Tá meastóireachtaí réamh-imscartha fós riachtanach, ach nochtann imscaradh iompair nach bhfeiceann siad. Trí thosú le rochtain theoranta, bhíomar in ann an tsamhail a bhreathnú i gcleachtas, sos a chur nuair a tháinig fadhbanna chun cinn, na teipeanna sin a úsáid chun meastóireachtaí agus cosaintí níos fearr a thógáil, agus rochtain theoranta a athbhunú tar éis na hathruithe a thástáil.

De réir mar a ghlacann samhlacha le tascanna níos faide agus níos casta, d’fhéadfadh iarmhairtí níos mó a bheith ag teipeanna nach ngabhann meastóireachtaí. Leanfaimid orainn ag obair chun an bhearna idir meastóireacht agus imscaradh a chúngú: samhlacha a thástáil thar chonairí níos faide, ailíniú a fheabhsú, monatóireacht a thógáil a fhéadfaidh idirghabháil a dhéanamh, agus infheictheacht agus smacht níos soiléire a thabhairt d’úsáideoirí. Ní le OpenAI amháin a bhainfidh na dúshláin seo, agus tá súil againn go gcabhróidh an méid a d’fhoghlaimíomar a roinnt leis an réimse níos leithne ullmhú dóibh.