Ár n-éiceachóras sábháilteachta a neartú le tástáil sheachtrach
An cur chuige atá againn i leith measúnuithe tríú páirtí ar AI teorann.
Ag OpenAI, creidimid go bhfuil ról ríthábhachtach ag measúnuithe neamhspleácha iontaofa ó thríú páirtithe in éiceachóras sábháilteachta AI teorann a neartú. Is meastóireachtaí iad measúnuithe tríú páirtí a dhéantar ar shamhlacha teorann chun éilimh faoi chumais chriticiúla sábháilteachta agus maoluithe a dheimhniú nó chun fianaise bhreise a sholáthar ina leith. Cabhraíonn na meastóireachtaí sin le héilimh sábháilteachta a bhailíochtú, cosaint a thabhairt ar spotaí dalla, agus trédhearcacht a mhéadú maidir le cumais agus rioscaí. Trí chuireadh a thabhairt do shaineolaithe seachtracha ár samhlacha teorann a thástáil, tá sé d’aidhm againn freisin muinín a chothú i ndoimhneacht ár meastóireachtaí ar chumais agus inár gcosaintí, agus cuidiú leis an éiceachóras sábháilteachta níos leithne a ardú.
Ó seoladh GPT‑4 i leith, tá OpenAI tar éis comhoibriú le raon comhpháirtithe seachtracha chun ár samhlacha a thástáil agus a mheas. Go ginearálta, bíonn ár gcomhoibrithe le tríú páirtithe i dtrí fhoirm:
- Meastóireachtaí neamhspleácha ar phríomhréimsí cumais agus riosca teorann amhail bithshlándáil, cibearshlándáil, féinfheabhsú AI, agus scéiméireacht
- Athbhreithnithe modheolaíochta a mheasann an chaoi a ndéanaimid riosca a mheas agus a léirmhíniú
- Promhadh ag saineolaithe ábhair (SME), ina ndéanann saineolaithe an tsamhail a mheas go díreach ar thascanna fíorshaoil SME agus ina soláthraíonn siad ionchur struchtúrtha dár measúnú ar a cumais agus ar na cosaintí gaolmhara1
Míníonn an blag seo conas a úsáidimid gach ceann de na cineálacha sin de mheasúnú seachtrach, cén fáth a bhfuil tábhacht leo, conas a mhúnlaigh siad cinntí imlonnaithe, agus na prionsabail a úsáidimid chun na comhoibrithe sin a struchtúrú. De mheon na trédhearcachta, táimid ag roinnt níos mó freisin faoi na téarmaí rúndachta agus foilseacháin a rialaíonn ár gcomhoibrithe le tástálaithe tríú páirtí.
Cuireann measúnóirí tríú páirtí ciseal neamhspleách meastóireachta lenár gcuid oibre inmheánaí, rud a neartaíonn déine agus a sholáthraíonn cosaintí breise ar fhéin-dheimhniú. Soláthraíonn a n-ionchur fianaise bhreise in éineacht lenár measúnuithe féin, rud a chabhraíonn le cinntí freagracha imlonnaithe do chórais chumhachtacha a threorú.
Feicimid measúnuithe tríú páirtí freisin mar chuid de éiceachóras sábháilteachta athléimneach a thógáil. Déanann ár bhfoirne tástáil inmheánach fhairsing ar fud réimsí cumais agus riosca, ach tugann eagraíochtaí neamhspleácha peirspictíochtaí agus cur chuige modheolaíochta breise leo. Oibrímid chun tacú le grúpa éagsúil d’eagraíochtaí measúnóirí cáilithe ar féidir leo samhlacha teorann a mheas go rialta in éineacht linn.
Ar deireadh, tá sé d’aidhm againn a bheith trédhearcach faoin gcaoi a gcabhraíonn an t-ionchur seo lenár bpróiseas sábháilteachta a mhúnlú. Déanaimid measúnuithe tríú páirtí a phoibliú go rialta—mar shampla, trí achoimrí ar mheastóireachtaí réamh-imlonnaithe a chur i gcártaí córais, agus trí thacú le heagraíochtaí measúnóirí obair níos mionsonraithe a fhoilsiú tar éis athbhreithniú rúndachta agus cruinnis. Cothaíonn an trédhearcacht seo muinín trí léiriú a thabhairt ar an gcaoi a múnlaíonn ionchur seachtrach ár meastóireachtaí ar chumais agus ár gcosaintí.
Cabhraíonn caidrimh bhuana atá tógtha ar rochtain iontaofa, trédhearcacht agus comhroinnt eolais leis an éiceachóras ar fad fanacht chun tosaigh ar rioscaí atá ag teacht chun cinn agus measúnuithe solúbtha, praiticiúla a chothú atá de dhíth le haghaidh caighdeán níos láidre agus rialachas níos eolasaí do chórais AI teorann.
Ag tosú le seoladh GPT‑4(osclaíonn i bhfuinneog nua), thacaíomar le meastóireachtaí neamhspleácha ar sheicphointí luatha samhlacha sular imlonnaíodh iad. Ón am sin i leith, tá ár gcuid oibre leathnaithe againn le raon eagraíochtaí tríú páirtí a bhfuil saineolas domhain acu i meastóireachtaí do phríomhréimsí cumais agus riosca teorann. Sainímid obair neamhspleách saotharlainne mar thástáil oscailte ina gcuireann foirne seachtracha a modhanna féin i bhfeidhm chun teacht ar éileamh nó ar mheasúnú a bhaineann le cumas teorann ar leith.
Mar shampla, i gcás GPT‑5, rinne OpenAI comhordú ar shraith leathan measúnuithe seachtracha ar chumais ar fud príomhréimsí riosca amhail neamhspleáchas fadtéarmach, scéiméireacht, meabhlaireacht agus sárú maoirseachta, indéantacht phleanáil saotharlainne fliche, agus meastóireachtaí ionsaitheacha cibearshlándála.
Forlíonann na meastóireachtaí neamhspleácha seo na meastóireachtaí a dhéantar de réir Creata Ullmhachta OpenAI, agus áirítear leo tagarmharcanna amhail meastóireacht amafhairsinge(osclaíonn i bhfuinneog nua) METR nó meastóireacht Virology Capabilities Test (VCT)(osclaíonn i bhfuinneog nua) SecureBio.
Chun tacú leis na meastóireachtaí seo, sholáthraíomar rochtain shlán ar sheicphointí luatha samhlacha, torthaí meastóireachta roghnaithe chun na feabhsuithe cumais atá á bhfeiceáil againn a dhéanamh níos nithiúla, coinneáil sonraí nialasach nuair ba ghá, agus samhlacha a raibh níos lú maoluithe orthu. Mar shampla, rinne eagraíochtaí a bhí ag tástáil sna réimsí cibearshlándála agus bithshábháilteachta samhlacha a thástáil le maoluithe sábháilteachta agus gan iad chun na bunchumais a fhiosrú. Fuair roinnt eagraíochtaí eile rochtain dhíreach ar an tsraith smaointe chun cur ar a gcumas rianta réasúnaíochta na samhla a iniúchadh. Cheadaigh an chéim mhéadaithe trédhearcachta seo do mheasúnóirí cásanna de mhála gainimh2 nó d’iompar scéiméireachta a aithint nach bhféadfaí a bhrath ach amháin trí shraith smaointe a léamh. Cuireadh rochtain ar fáil agus rialuithe slándála i bhfeidhm, agus leanaimid de na rialuithe sin a nuashonrú de réir mar a fhorbraíonn cumais samhlacha agus riachtanais tástála.
I gcomhthéacsanna áirithe, tá measúnóirí seachtracha i suíomh maith chun athbhreithniú modheolaíochta a sholáthar, rud a thugann peirspictíochtaí breise ar na creataí agus ar an bhfianaise a mbraitheann saotharlanna teorann orthu chun riosca a mheas. Mar shampla, le linn sheoladh gpt-oss, d’úsáideamar mionchoigeartú frithbheartaíoch chun cumais sa chás ba mheasa a mheas do shamhlacha meáchain oscailte, mar a thuairiscítear in Estimating worst case frontier risks of open weight LLMs. Ba í an phríomhcheist sábháilteachta an bhféadfadh drochghníomhaí an tsamhail a mhionchoigeartú chun cumas Ard a bhaint amach i réimsí amhail bith nó cibear faoi ár gCreata Ullmhachta. Toisc go raibh gá le mionchoigeartú frithbheartaíoch dian ar acmhainní chuige seo, thugamar cuireadh do mheasúnóirí tríú páirtí athbhreithniú a dhéanamh ar ár modhanna agus torthaí inmheánacha agus moltaí a dhéanamh fúthu seachas obair chomhchosúil a athdhéanamh.
Bhí próiseas ilseachtainí i gceist leis seo ina roinneadh cur i bhfeidhm meastóireachta, sonraí faoin gcur chuige i leith mionchoigeartaithe frithbheartaigh, agus inar bailíodh moltaí struchtúrtha faoi fheabhsú na modheolaíochta agus na meastóireachtaí do na rioscaí teorann sa chás ba mheasa. Tháinig athruithe ar an bpróiseas deiridh mionchoigeartaithe frithbheartaigh as aiseolas na measúnóirí agus léirigh sé luach an deimhnithe mhodheolaíochta. Thaifeadamar cé na míreanna a ghlacamar sa pháipéar agus sa chárta córais do gpt-oss, agus thugamar cúiseanna leo siúd nár ghlacamar leo.
Anseo, ba é athbhreithniú modheolaíochta an rogha cheart seachas meastóireachtaí neamhspleácha: bhí i gceist leis na meastóireachtaí turgnaimh mhórscála sa chás ba mheasa a reáchtáil, rud a éilíonn bonneagar agus saineolas teicniúil nach mbíonn ar fáil go coitianta lasmuigh de mhórshaotharlanna AI. Chiallaigh sé sin gur dócha nach mbeadh meastóireachtaí neamhspleácha in ann léargais dhíreacha a thabhairt ar chásanna sa chás ba mheasa, agus bhí sé níos táirgiúla measúnóirí seachtracha a dhíriú ar dheimhniú na n-éileamh. Rinne measúnóirí seachtracha athbhreithniú ar na modhanna agus ar an bhfianaise(osclaíonn i bhfuinneog nua), ag tarraingt aird ar bhearnaí ábhartha don chinnteoireacht a ndearnadh aghaidh orthu mar chuid den lúb aiseolais moltaí. Tá súil againn an cur chuige seo a leathnú chuig bealaí eile ina mbíonn rochtain nó riachtanais bhonneagair ina gcúis go mbíonn sé neamhphraiticiúil do thríú páirtí meastóireachtaí a reáchtáil go díreach é féin, nó nach mbíonn meastóireachtaí seachtracha ann fós.
Bealach eile ina dtéimid i dteagmháil le saineolaithe seachtracha ná trí phromhadh ag saineolaithe ábhair (SME), ina ndéanann saineolaithe an tsamhail a mheas go díreach agus ina soláthraíonn siad ionchur struchtúrtha trí shuirbhéanna dár measúnú ar a cumais. Tá sé seo éagsúil ó mhodh na foirne deirge, a bhfuil sé mar aidhm aige cosaintí sonracha a bhrú-thástáil. Ligeann sé seo dúinn meastóireachtaí an Chreata Ullmhachta a fhorlíonadh le léargais shainréimse a léiríonn breithiúnas saineolaithe agus comhthéacs an fhíorshaoil nach mb’fhéidir go ngabhfadh meastóireachtaí statacha leo féin. Mar shampla, thugamar cuireadh do phainéal saineolaithe ábhair samhail chuiditheach amháin3 a úsáid chun a gcásanna bith deireadh go deireadh féin a thriail do ChatGPT Agent agus GPT‑5. Rinne siad scóráil ar an méid a d’fhéadfadh an tsamhail saineolaí cosúil leo féin a ardú i gcomparáid le tosaitheoir nach raibh chomh taithí céanna aige, bunaithe ar úsáideacht na treorach a chuir sí ar fáil ina gcásanna. Ba é an sprioc ionchur breise a bhailiú ar cé chomh maith agus a d’fhéadfadh an córas tosaitheoir spreagtha a thabhairt i bhfad níos gaire d’fheidhmiú inniúil: rinne SMEanna brú-thástáil ar ár n-éilimh faoi “ardú tosaitheora” faoi shreafaí oibre réadúla a cheap siad féin agus thug siad aiseolas mion ar na háiteanna ar sholáthair an tsamhail cabhair shubstaintiúil céim ar chéim i gcomparáid le hachoimrí nach raibh chomh cabhrach. Cuireadh an cleachtadh promhaidh saineolaithe seo san áireamh mar chuid den mheasúnú foriomlán le haghaidh imlonnú na samhlacha seo, agus comhroinneadh é i gcártaí córais don dá sheoladh.
De mheon na trédhearcachta, táimid ag roinnt níos mó faoi na rudaí a n-aontaíonn measúnóirí tríú páirtí leo nuair a oibríonn siad linn, agus na prionsabail a threoraíonn ár gcomhoibrithe:
- Trédhearcacht le teorainneacha cúramacha rúndachta: Síníonn measúnóirí tríú páirtí comhaontuithe neamhnochta chun gur féidir faisnéis rúnda neamhphoiblí a roinnt chun tacú lena measúnuithe. In Aguisín an phoist seo, cuirimid sleachta ábhartha ó chonarthaí le measúnóirí tríú páirtí san áireamh a leagann amach cearta maidir le foilsiú agus ionchais maidir le hathbhreithniú. Oibrímid ar phrionsabal na trédhearcachta agus déanaimid ár ndícheall foilsiú a chumasú a chuireann tuiscint ar shábháilteacht agus ar mheastóireachtaí gaolmhara chun cinn gan faisnéis rúnda ná maoin intleachtúil a chur i mbaol. Mar chuid de seo, déanaimid athbhreithniú agus formheas ar fhoilseacháin ó mheasúnuithe tríú páirtí chun rúndacht agus cruinneas fíorasach araon a chinntiú. Le cúpla bliain anuas, tá roinnt measúnóirí tríú páirtí tar éis a gcuid oibre a fhoilsiú in éineacht lenár bhfoilsiú féin ar achoimrí measúnaithe i gcártaí córais. I measc roinnt samplaí d’obair atá foilsithe tar éis dúinn í a athbhreithniú maidir le rúndacht agus cruinneas tá: [tuarascáil GPT‑5 METR (osclaíonn i bhfuinneog nua), tuarascáil Apollo Research ar OpenAI o1(osclaíonn i bhfuinneog nua), Measúnú GPT‑5 Irregular(osclaíonn i bhfuinneog nua)]
- Nochtadh faisnéise machnamhach agus rochtain shlán, íogair: De réir réamhshocraithe, soláthraímid faisnéis agus rochtain ar shamhlacha atá ceaptha a bheith poiblí nó réidh don táirgeadh. Nuair is gá sin do na meastóireachtaí, soláthraímid rochtain níos doimhne, amhail ar shamhlacha cuiditheacha amháin nó ar fhaisnéis neamhphoiblí. Tá na cineálacha rochtana seo curtha ar fáil ag OpenAI nuair ba ghá do cheisteanna criticiúla sábháilteachta do mheasúnóirí tríú páirtí. Rud tábhachtach, éilíonn na cineálacha rochtana íogaire seo bearta dochta slándála, agus leanaimid de na rialuithe sin a nuashonrú de réir mar a fhorbraíonn cumais samhlacha agus riachtanais tástála.
- Dreasachtaí airgeadais cothromaithe: Creidimid go bhfuil sé tábhachtach a chinntiú go bhfuil éiceachóras an mheasúnaithe tríú páirtí maoinithe go maith agus inbhuanaithe. Dá bhrí sin, cuirimid cúiteamh ar fáil dár measúnóirí tríú páirtí go léir, agus roghnaíonn cuid acu é a dhiúltú ag brath ar fhealsúnacht a n-eagraíochta ina thaobh seo. I measc na gcineálacha cúitimh tá íocaíocht dhíreach as obair agus/nó fóirdheonú ar chostais úsáide samhlacha trí chreidmheasanna API nó ar bhealach eile. Ní bhíonn aon íocaíocht riamh ag brath ar thorthaí measúnaithe tríú páirtí.
I dteannta a chéile, cabhraíonn na tosca seo le measúnuithe tríú páirtí faisnéis íogair a chosaint agus trédhearcacht i sábháilteacht AI a chothú, agus cruthaíonn siad bealaí le go bhfaighidh measúnóirí tríú páirtí cúiteamh as a gcuid ama.
Ag féachaint chun cinn, feicimid go bhfuil gá le héiceachóras na n-eagraíochtaí atá in ann measúnuithe inchreidte, ábhartha don chinnteoireacht ar chórais AI teorann a dhéanamh a neartú tuilleadh. Éilíonn meastóireacht éifeachtach tríú páirtí saineolas speisialaithe, maoiniú cobhsaí, agus déine mhodheolaíochta. Beidh infheistíocht leanúnach in eagraíochtaí measúnóirí cáilithe, dul chun cinn san eolaíocht tomhais, agus slándáil do rochtain íogair riachtanach chun a chinntiú gur féidir le measúnuithe coinneáil suas le dul chun cinn i gcumais samhlacha.
Bealach amháin ina dtugaimid peirspictíocht sheachtrach isteach inár gcuid oibre sábháilteachta is ea measúnuithe tríú páirtí, agus oibríonn siad taobh le meicníochtaí eile. Comhoibrímid le saineolaithe seachtracha freisin trí iarrachtaí struchtúrtha modh na foirne deirge, tionscadail ailínithe chomhchoitinn, obair leis an U.S. CAISI agus UK AISI, agus grúpaí comhairleacha amhail ár Líonra Domhanda Lianna agus ár Comhairle Saineolaithe ar Fholláine agus AI chun cabhrú lenár gcuid oibre ar mheabhairshláinte agus folláine úsáideoirí a threorú. Cuireann na hiarrachtaí seo cineálacha éagsúla saineolais ar fáil agus tacaíonn siad le bunús níos leithne agus níos iontaofa chun córais ardleibhéil AI a mheas agus a rialú.
Seo a leanas sleachta léiritheacha ó ár gcomhaontuithe le tríú páirtithe atá ag comhoibriú linn ar mheasúnuithe réamh-imlonnaithe.
Údar
Fonótaí
- 1
Tá sé seo éagsúil ó mhodh na foirne deirge, a bhfuil sé d’aidhm aige cosaintí a bhrú-thástáil go mionsonrach agus sonraí a sholáthar d’fhorbairt meastóireachta.
- 2
Nuair a fheidhmíonn samhail d’aon ghnó faoi bhun a hacmhainne nó a cheiltíonn sí a fíorchumais nuair a thugann sí faoi deara go bhfuil sí á meas nó á tástáil.
- 3
Freagraíonn samhlacha cuiditheacha amháin d’aon iarratas, fiú má tá an t-iarratas díobhálach. Cruthaítear iad seo le modhanna iaroiliúna a bhaineann an t-iompar seo amach.


