Treoirleabhar comhroinnte do mheastóireachtaí iontaofa tríú páirtí

Tá ról ríthábhachtach⁠ ag meastóireachtaí neamhspleácha iontaofa tríú páirtí i neartú an éiceachórais sábháilteachta. Déantar na meastóireachtaí seo ar shamhail teorainn chun fianaise bhreise a sholáthar d’éilimh faoi chumais chriticiúla agus maoluithe sábháilteachta. Sa phost seo, roinnimid ceachtanna atá foghlamtha againn go dtí seo, agus molaimid cuir chuige chun meastóireachtaí a dhearadh ar féidir leo samhlacha teorainn a mheas go bailí, agus tá súil againn go gcabhróidh siad le caighdeáin atá ag teacht chun cinn sa réimse a mhúnlú.

Níos luaithe, chaith go leor meastóireachtaí le samhlacha mar chatbhotanna: thug an mheastóireacht leid do shamhail amhail is gur úsáideoir a bhí ag cur ceiste í, d’fhreagair an tsamhail, agus rinne meastóir breithiúnas ar an aschur. Is féidir le samhlacha teorainn an lae inniu i bhfad níos mó a dhéanamh: is féidir leo uirlisí a úsáid, faisnéis a rianú thar go leor céimeanna, agus gníomhú laistigh de shreabhadh oibre níos leithne. Ciallaíonn sé seo go mbraitheann feidhmíocht ní hamháin ar an tsamhail, ach freisin ar an timpeallacht ina dtarlaíonn an tasc, agus ar an socrú a éascaíonn a gníomhartha. Is féidir leis an socrú máguaird seo, ar a dtugaimid an “úim”, príomhghnéithe d’fheidhmíocht an chórais a athrú, lena n-áirítear an chaoi a n-úsáideann sé uirlisí, a rianaíonn sé faisnéis, nó a thagann sé chuige féin ó bhotúin.

Athraíonn sé seo an chaoi a gcaithfear meastóireachtaí a dhéanamh, agus an méid ba cheart do léitheoirí a lorg i dtuarascálacha meastóireachta. Dar linn, déanann na tuarascálacha is úsáidí cur síos follasach ar dhá rud thar an toradh féin: ar dtús, sonraíonn siad cén t-éileamh ar dearadh an socrú meastóireachta chun a thástáil, agus sa dara háit, roinneann siad an fhianaise atá ar fáil go bhfuil toradh na meastóireachta bailí.

Is gnách go dtagann éilimh a thástáiltear i meastóireachtaí faoi cheann de thrí chatagóir¹:

• Tarraingt amach cumais: An féidir le samhail an cumas atá á mheas a tháirgeadh go hiontaofa? 
• Feidhmíocht cosanta: Cé chomh láidir is atá na cosaintí a tástáladh i gcoinne an iompair nó an ionsaithe atá á mheas?
• Comparáid: Conas a fheidhmíonn samhlacha éagsúla faoi choinníollacha coibhéiseacha?

Ní mór do thuarascálacha meastóireachta a mhíniú freisin conas a rinne meastóirí seiceáil ar éifeachtaí a d’fhéadfadh tionchar a imirt ar bhailíocht toraidh. Áirítear leo seo:

• Haiceáil luaíochta: Aicearraí sa tasc nó sa scórálaí a shaothrú, ionas go bhfaigheann an córas creidiúint gan an t-iompar atá an mheastóireacht ceaptha a thomhas a léiriú.
• Diúltuithe: Diúltú ar bhealaí a cheileann an t-iompar atá á thástáil.
• Éilliú: Rófheidhmíocht toisc gur tháinig tascanna meastóireachta, freagraí, nó leaganacha an-chosúla chun cinn i sonraí oiliúna nó go raibh siad inaimsithe le linn na meastóireachta, mar shampla trí bhrabhsáil.
• Fadhbanna briste: Tearcfheidhmíocht toisc go bhfuil tascanna neamhbhailí. I measc na gcúiseanna d’fhéadfadh scóráil éagórach a bheith ann (m.sh. go n-éilíonn an freagra ceart sonraí cur chun feidhme nach luaitear) agus timpeallachtaí dothuaslagtha (m.sh. comhaid chriticiúla ar iarraidh nó uirlisí neamhiontaofa).
• Sandbagging: Tearcfheidhmíocht d’aon ghnó nuair a léiríonn siad feasacht go bhfuil siad á meas.

Thugamar faoi deara go bhfuil ról na húime thar a bheith tábhachtach do chórais a ghníomhaíonn thar chonairí níos faide. Nuair is féidir le samhlacha uirlisí a úsáid, staid a choinneáil, agus teacht chuige féin ó bhotúin thar go leor céimeanna, is féidir leis an úim an leibhéal feidhmíochta a bhreathnaítear a athrú, agus fiú a chinneadh an dtagann an cumas atá á mheas chun cinn sa mheastóireacht ar chor ar bith. Mar shampla, d’fhéadfadh úim a chaomhnaíonn staid agus a dhéanann atrialacha ar ghníomhartha ar theip orthu ligean do shamhail tasc ilchéime a chríochnú nach gcríochnaíonn an tsamhail chéanna riamh in úim níos simplí.

Sa tábla thíos, déanaimid idirdhealú idir trí chineál éilimh a d’fhéadfadh meastóirí a bheith ag iarraidh a dhéanamh agus an úim a chreidimid a éilíonn gach cineál éilimh.

Níl éilimh chumais ach chomh láidir leis an tarraingt amach atá taobh thiar díobh: ní mór do mheastóirí an úim is fearr a oireann don tasc agus don chumas atá an mheastóireacht ag iarraidh a thomhas a roghnú. D’fhéadfadh úim chaighdeánaithe a bheith ceart chun córais a chur i gcomparáid faoi choinníollacha comhionanna, ach d’fhéadfadh sí an cumas a ísliú nuair a fhágann sí ar lár gnéithe sonracha úime a chabhraíonn leis an tsamhail an tasc a dhéanamh. Mar shampla, léiríonn feidhmíocht GPT‑5.5 ar raonta cibear OpenAI conas is féidir le rogha úime an cumas tomhaiste a athrú go hábhartha ar thascanna a éilíonn úsáid fhada ilchéime uirlisí: feidhmíonn an tsamhail níos fearr nuair a úsáideann an úim comhdhlúthú⁠ chun comhthéacs atá ábhartha don tasc a chaomhnú de réir mar a éiríonn an idirghníomhaíocht níos faide. Léiríonn sé seo go ndéanfadh úim a fhágann comhdhlúthú ar lár tearraingt amach neamhleor ar fheidhmíocht do shamhlacha áirithe.

Léiríonn meastóireachtaí foilsithe eile² freisin go n-athraíonn roghanna úime agus buiséid torthaí meastóireachta. Is féidir le méadú ar ríomh ag am tástála athrú suntasach a dhéanamh ar an gcumas a tharraingíonn meastóireacht amach, go háirithe i réimsí ina bhfuil sé éasca rath a fhíorú, amhail go leor tascanna cibear. I meastóireacht raoin chibear UK AISI⁠(osclaíonn i bhfuinneog nua), chuir méadú an bhuiséid ó 10M go 100M téacschomhartha feabhas suas le 59% ar fheidhmíocht, agus bhí an fheidhmíocht fós ag méadú ag an mbuiséad is airde a tástáladh. Má mhínítear é seo, bíonn an mheastóireacht níos intuigthe: taispeánann sé do léitheoirí conas a bhraitheann an toradh ar an socrú tarraingthe amach a tástáladh. Nuair atá feidhmíocht fós ag feabhsú le buiséad breise, ba cheart cur síos a dhéanamh ar an scór mar fheidhmíocht faoin úim agus faoin mbuiséad sin, ní mar uasteorainn chumais thomhaiste. Is minic a bhíonn cumas ag brath ar acmhainní seachas a bheith ina chainníocht sheasta is féidir a thomhas go glan uair amháin agus go deo. Nuair is féidir rath a thomhas thar iarrachtaí arís agus arís eile, ba cheart do thuarascálacha an costas ionchais in aghaidh gach réitigh rathúil a mheas freisin, ní hamháin an ráta ratha ag buiséad seasta téacschomharthaí. D’fhéadfadh sé seo déine a dhéanamh níos éasca a léirmhíniú: d’fhéadfadh ráta ratha íseal a bheith suntasach go praiticiúil fós má tá costas iarrachtaí arís agus arís eile laistigh den tsamhail bhagartha ábhartha. Maidir le héilimh chumais, is teip tomhais é tearraingt amach neamhleor is féidir a sheachaint: má chuireann an úim nó an buiséad cosc ar an gcóras iompar a léiriú a d’fhéadfadh sé a tháirgeadh murach sin, ní thomhaiseann an scór an cumas atá á éileamh. Nuair a bhrúigh meastóirí an tarraingt amach chomh fada agus is indéanta agus go bhfuil feidhmíocht fós ag feabhsú, ba cheart do thuarascálacha é sin a rá go soiléir agus a dhéanamh soiléir nach bhfuil sa toradh ach meastachán íosteorann.

Is féidir le tástáil cosanta tearcmheas a dhéanamh ar cé acu is féidir le hionsaí éirí leis, agus cé chomh tromchúiseach a d’fhéadfadh sé a bheith, nuair nach gcuirtear san áireamh na hacmhainní atá ar fáil d’ionsaitheoirí, lena n-áirítear úimeanna saincheaptha. I meastóireacht chibear GPT‑5.5 UK AISI⁠(osclaíonn i bhfuinneog nua), d’aimsigh a modh na foirne deirge saineolach jailbreak uilíoch a tharraing amach ábhar cibear sáraitheach trasna na gceisteanna mailíseacha a chuir OpenAI ar fáil, lena n-áirítear i socruithe gníomhaireacha ilchasta. D’úsáid siad Codex chun úim shaincheaptha a chruthú chun feidhmíocht ionsaithe na samhla a neartú: leabaigh sé patrún in-athúsáidte seachbhóthair cosanta san idirghníomhaíocht, chaomhnaigh sé an patrún sin thar casanna agus bloic, agus chuir sé i bhfeidhm é trasna na gceisteanna mailíseacha cibear a chuir OpenAI ar fáil. Ba cheart go mbeadh tástáil cosanta ag teacht leis an naimhdeoir. Más faoi láidreacht i gcoinne mí-úsáide saineolach atá an t-éileamh, ba cheart don tástáil an straitéis ionsaithe ceann go ceann inchreidte is láidre a mheas faoi bhuiséad sainithe, lena n-áirítear aon úim is gá chun an straitéis sin a chaomhnú agus a athúsáid. Seachas sin, tá baol ann go mbeidh na torthaí míchalabraithe: d’fhéadfaidís tacú ach le héileamh níos cúinge faoi fhriotaíocht i gcoinne leideanna níos simplí, d’fhéadfaidís déine an ionsaithe agus a dhóchúlacht ratha a chailleadh nuair a chuirtear an modh tarraingthe amach i bhfeidhm go hoibríochtúil, agus d’fhéadfaidís freisin ró-mheastachán a dhéanamh ar cé chomh dóchúil nó tromchúiseach is atá fadhb má thugtar an iomarca buiséid di.

Tá am agus áit ann do chomparáidí úime caighdeánaithe, ach ba cheart do mheastóirí a bheith follasach faoi cén fáth go bhfuil sé cuí tacar comhsheasmhach úimeanna a úsáid agus cén t-éileamh is féidir leis tacú leis. Is sampla é meastóireacht léaslíne ama METR⁠(osclaíonn i bhfuinneog nua) de shocrú meastóireachta níos leithne atá socraithe go cuí: tá sé deartha chun torthaí inchomparáide a tháirgeadh trasna na gcóras a mheasann sé. Sainmhíníonn METR toradh coiteann, an fad tipiciúil do thasc daonna ag a bhfuiltear ag tuar go n-éireoidh le gníomhaire AI ag leibhéal iontaofachta ar leith. Cuireann sé sraith tascanna comhroinnte, modh scórála, modh feistiúcháin, agus tacar beag scafall in-athúsáidte ar nós Triframe agus ReAct⁠(osclaíonn i bhfuinneog nua) i bhfeidhm laistigh de gach baisc meastachán a thuairiscítear le chéile. Nuair a leathnaigh METR an tsraith tascanna agus a bhog sé bonneagar meastóireachta ó chreat darb ainm Vivaria go ceann darb ainm Inspect, thuairiscigh sé an t-athrú (nuashonrú Time Horizon 1.1⁠(osclaíonn i bhfuinneog nua)) agus rinne sé samhlacha a athmheas faoin socrú meastóireachta nua. Sin é luach socrú meastóireachta caighdeánaithe, lena n-áirítear tacar comhsheasmhach úime: is féidir leis muinín a thabhairt do léitheoirí go léiríonn difríocht i scóir i ndáiríre difríocht idir na córais atá á gcur i gcomparáid, seachas athrú sa socrú tomhais.

Molaimid go luafadh tuarascálacha meastóireachta tríú páirtí cén cineál éilimh atá a socrú meastóireachta ceaptha chun tacú leis; go ndéanfaidís cur síos ar cé chomh dlúth agus a léiríonn an méid a tástáladh an t-éileamh níos leithne sin; go ndéanfaidís cur síos ar na roghanna úime a mhúnlaigh an toradh; go mionsonróidís cathain a athraíonn na roghanna sin idir meastóireachtaí; agus go n-áireoidís fianaise thacúil chun a léiriú conas a táirgeadh an toradh agus cé chomh maith agus a ghinearálann sé chuig an éileamh.

De réir mar a éiríonn samhlacha níos cumasaí, éiríonn scóir mheastóireachta níos éasca a mhíléirmhíniú. I gcoibhneas le fíorchumais, is féidir scóir mheastóireachta a laghdú go saorga má aithníonn samhail go bhfuil sí á meas agus má dhéanann sí tearcfheidhmíocht straitéiseach. Is féidir iad a bhoilsciú má shaothraíonn an tsamhail aicearra sa tasc, sa leid, sa scórálaí, nó san úim. Is féidir iad a shaobhadh freisin le héilliú (nuair atá freagra ar eolas ag samhail cheana féin nó gur féidir léi é a aimsiú gan an tasc a réiteach) nó le fadhbanna “briste” atá débhríoch, scóráilte go mícheart, dothuaslagtha, nó leochaileach d’aicearraí neamhbheartaithe. Ba cheart do thuarascálacha meastóireachta, dá bhrí sin, plé ar na guaiseacha seo a chur le scóir cheannlíne, ionas gur féidir le léitheoirí measúnú a dhéanamh ar cé acu a léiríonn na scóir an t-iompar a bhí beartaithe.

Bíonn tionchar ag úimeanna, buiséid, uirlisí, rialacha scórála, monatóirí, agus nósanna imeachta athbhreithnithe ar cé acu atá gníomhaire ag réiteach an taisc a bhí beartaithe, á sheachaint, á chur de ghlanmheabhair, nó ag aimsiú bealaigh timpeall air. Déanann tuarascáil iontaofa na seiceálacha sin infheicthe: ba cheart do mheastóirí samplaí a athbhreithniú do na hiompair seo gach uair a reáchtáiltear measúnú.

Haiceáil luaíochta

Ciallaíonn haiceáil luaíochta scóir arda meastóireachta a bhaint amach ar bhealaí nach léiríonn an cumas a bhí beartaithe. Anseo, is é an imní ná go bhfaigheann an córas creidiúint trí leas a bhaint as an tasc, an scórálaí, an leid, nó an úim seachas tríd an obair a dhéanamh a bhí an mheastóireacht ceaptha a thomhas. Léiríonn meastóireacht METR ar GPT 5.4⁠(osclaíonn i bhfuinneog nua) cén fáth a bhfuil sé seo tábhachtach: cé gur éirigh leis an tsamhail ar thascanna ag ráta a chláródh mar léaslíne ama thart ar 13 uair an chloig ar an gcéad amharc, léirigh athbhreithniú daonna gur tháinig cuid de na rathanna sin ó haiceáil luaíochta, agus nuair a athbhreithníodh na torthaí chun cuntas a thabhairt ar na cásanna sin amháin gan haiceáil luaíochta, laghdaíodh an meastachán go dtí thart ar 6 huaire an chloig. Ba cheart do mheastóirí measúnú a dhéanamh ar an ngá atá le coigeartuithe den sórt sin agus, nuair is gá iad, iad a thuairisciú go soiléir: bíonn meastachán cumais i bhfad níos úsáidí nuair is féidir le léitheoirí a fheiceáil cé na rathanna dealraitheacha a dícháilíodh, cén fáth ar dícháilíodh iad, agus cé mhéid a bhraitheann an toradh ar an mbreithiúnas sin.

Diúltuithe

Is féidir le samhlacha tearcfheidhmíocht a dhéanamh i meastóireachtaí cumais freisin de bharr cosaintí. D’fhéadfadh feidhmíocht mheastóireachta níos ísle a bheith ag samhail ná mar atá sí in ann toisc go ndiúltaíonn sí tascanna meastóireachta seachas iad a chríochnú. Ba cheart do thuarascálacha, dá bhrí sin, a mhíniú an raibh diúltuithe mar chuid de thorthaí na meastóireachta agus, más ea, cé mhéad sampla a cuireadh i mbaol mar gheall orthu.

Éilliú

Tá éilliú is tábhachtaí do tagarmharcanna poiblí nó athúsáidte⁠. Má tá tascanna, freagraí, nó leaganacha an-chosúla le fáil i sonraí oiliúna nó más féidir le gníomhaire le brabhsáil iad a aimsiú, d’fhéadfadh an fheidhmíocht cuimhneamh nó aisghabháil a léiriú seachas feidhmíocht na samhla. Ba cheart do mheastóirí tascanna príobháideacha nó nuathógtha a roghnú nuair is féidir agus tástáil a dhéanamh ar cé acu a atáirgeann samhlacha sonraí sainiúla don tasc sula réitíonn siad é.

Fadhbanna briste

Áirítear le fadhbanna briste cásanna ar nós fadhb nach féidir a réiteach de thaisme. Tá fadhbanna briste coitianta go leor⁠(osclaíonn i bhfuinneog nua) gur cheart caitheamh leo mar riosca bailíochta caighdeánach. Áirítear leo fírinne bhunúsach mhícheart, leideanna débhríocha, comhaid ar iarraidh, seirbhísí neamhiontaofa, critéir scórála éagóracha, agus timpeallachtaí a nochtann aicearraí ar nós comhaid fhreagraí fholaithe nó stair stóir ina bhfuil an paiste fírinne bunúsaí.

Ligint síos

Ciallaíonn ligint síos ag samhail nó córas tearcfheidhmíocht straitéiseach nuair a bheadh feidhmíocht láidir ag teacht salach ar chuspóir éigin. Rinne meastóireacht GPT‑5.5 Apollo⁠(osclaíonn i bhfuinneog nua) tástáil air seo trí chomhthéacs a chruthú inar thuig an tsamhail go bhféadfadh scóir arda meastóireachta dífhoghlaim a spreagadh nó imscaradh a bhac. D’fhreagair GPT‑5.5 i gceart fós, rud a thugann le fios nach raibh mórán fianaise iompraíochta ann ar thearcfheidhmíocht straitéiseach³. Ach chuir a n-athbhreithniú ar lorganna réasúnaíochta comhthéacs tábhachtach leis: fuair Apollo comharthaí measartha nó níos airde d’fheasacht ar mheastóireacht ailínithe i 52% de shamplaí an choinníll ligint síos, i gcomparáid le 0% i gcásanna frithfhíorasacha. Cuireann an fhianaise sin castacht le léirmhíniú an toraidh, ach sa deireadh tugann sí níos mó comhartha do léitheoirí: is féidir le léitheoirí an toradh iompraíochta dearfach agus an chúis le bheith cúramach faoi ró-léirmhíniú a fheiceáil araon.

Éilíonn éilimh láidre an úim cheart chun an t-iompar a tharraingt amach agus seiceálacha bailíochta chun a léiriú go bhfuil an toradh fónta. Múnlaíonn ár dtuairim go bhfuil úimeanna agus seiceálacha bailíochta mar chuid den toradh meastóireachta an chaoi a dtacaímid le meastóireachtaí tríú páirtí go praiticiúil: 

• Táimid ag roinnt treorach shonraigh maidir le tarraingt amach uasta le meastóirí.
• Táimid ag iarraidh ar mheastóirí cumais Codex a úsáid mar bhunleibhéal coiteann do shamhlacha OpenAI: ba cheart do thástálacha bunlíne a rith ar a laghad tríd an gcomhéadan gníomhaireach céanna ar dócha go mbeidh úsáideoirí ag brath air, seachas trí chomhéadan samhla lom amháin.
• Táimid ag cur lorganna réasúnaíochta agus déantáin idirmheánacha eile ar fáil freisin nuair is gá iad chun meabhlaireacht, sandbagging, nó feasacht ar mheastóireacht a mheas. Bhain METR agus Apollo úsáid as an rochtain seo i meastóireachtaí OpenAI ó GPT‑5 i leith. 
• Ar deireadh, táimid ag tabhairt tosaíochta do thaighde chun tuiscint níos doimhne a fháil ar cathain agus conas a athraíonn roghanna úime torthaí go hábhartha, ó bhainistiú comhthéacs agus rochtain ar uirlisí go hiompar atrialach, scóráil, agus buiséid acmhainní.

Tá na moltaí seo ceaptha ní hamháin chun tuarascálacha meastóireachta aonair a fheabhsú, ach freisin chun caighdeáin náisiúnta ⁠(osclaíonn i bhfuinneog nua)agus idirnáisiúnta ⁠(osclaíonn i bhfuinneog nua)atá ag teacht chun cinn do mheastóireacht agus tuairisciú IS teorainn a threorú. Amach anseo, ba cheart go n-éileodh caighdeáin mheastóireachta tríú páirtí go leor sonraí chun go dtuigfeadh cinnteoirí cad iad na héilimh a dtacaíonn na meastóireachtaí sonracha leo, cén córas a tástáladh, conas a tarraingíodh amach an toradh, agus conas a sheiceáil meastóirí a bhailíocht. Maidir le córais teorainn atá á dtástáil ar thascanna ina bhfuil cumais ghníomhaireacha tábhachtach, ba cheart go n-áireofaí sna sonraí (faoi réir aon imní slándála nó rúndachta):

• An t-éileamh: cé acu a dhéanann an mheastóireacht córais a chur i gcomparáid, uasteorainn chumais a mheas, nó cosaintí a thástáil.
• Ábhar na meastóireachta: dóthain sonraí faoi na tascanna nó faoi dháileadh na dtascanna ionas go dtuigfidh léitheoirí cad iad na scileanna, na hiompair, nó na modhanna teipe atá an mheastóireacht ag tástáil i ndáiríre.
• An córas a tástáladh: an tsamhail, an socrú réasúnaíochta, rochtain ar uirlisí, an úim, agus na cosaintí.
• An buiséad: casanna, téacschomharthaí, iarrachtaí/atrialacha, am clogbhalla, costas tátail, agus nuair is infheidhme an costas ionchais in aghaidh gach réitigh rathúil.
• Modhanna tarraingthe amach: roghanna úime a úsáideadh chun an toradh a bhaint amach, agus cé chomh dlúth agus a léiríonn an méid a tástáladh an t-éileamh níos leithne atá á dhéanamh.
• Seiceálacha bailíochta: conas a d’fhéach measúnóirí le hacáil luaíochta, feasacht ar mheastóireacht, éilliú, diúltuithe, sandbagging agus iompair eile a d’fhéadfadh an bonn a bhaint den toradh, lena n-áirítear conas a chuaigh cásanna deimhnithe i bhfeidhm ar scóráil nó ar léirmhíniú.

Is féidir le caighdeáin a fhágann roghanna úime nó seiceálacha bailíochta ar lár tearcmheas a dhéanamh ar a bhfuil córas in ann a dhéanamh nó ró-mheastachán a dhéanamh ar mhuinín in éileamh sábháilteachta. Tá tógáil úimeanna láidre agus modhanna tarraingthe amach fós ina réimse taighde oscailte agus ba cheart go mbeadh sé ina fhócas d’imscrúdú agus d’infheistíocht bhreise.