Meastóireacht ar inmhonatóireacht na sraithe smaointe

Nuair a dhéanann córais IS cinntí atá deacair maoirseacht dhíreach a dhéanamh orthu, éiríonn sé tábhachtach tuiscint a fháil ar an gcaoi a ndéantar na cinntí sin. Cur chuige geallta amháin is ea monatóireacht a dhéanamh ar réasúnaíocht inmheánach samhla, seachas ar a gníomhartha nó ar a haschuir deiridh amháin.

Gineann samhlacha réasúnaíochta nua-aimseartha, ar nós GPT‑5 Thinking, sraith smaointe shoiléir sula dtugann siad freagra. Is féidir monatóireacht a dhéanamh ar na sraitheanna smaointe seo le haghaidh mí-iompair, agus d’fhéadfadh sé a bheith i bhfad níos éifeachtaí⁠ ná monatóireacht a dhéanamh ar ghníomhartha agus ar aschuir samhla amháin. Mar sin féin, tá imní ar thaighdeoirí ag OpenAI agus ar fud an tionscail níos leithne⁠(osclaíonn i bhfuinneog nua) go bhféadfadh an “inmhonatóireacht” seo ar an tsraith smaointe a bheith leochaileach d’athruithe ar nós imeachta oiliúna, ar fhoinsí sonraí, agus fiú ar inscálú leanúnach na n-algartam atá ann cheana féin.

Ba mhaith linn go seasfadh inmhonatóireacht na sraithe smaointe an fód de réir mar a scálaíonn samhlacha agus a imlonnaítear iad i suíomhanna níos airde geallta. Iarraimid ar thaighdeoirí ar fud an tionscail obair a dhéanamh chun inmhonatóireacht na sraithe smaointe a chaomhnú chomh fada agus is féidir agus chun a chinneadh an bhféadfadh sí feidhmiú mar chiseal rialaithe ualachiompartha do chórais IS amach anseo. Chun inmhonatóireacht a chaomhnú, ní mór dúinn a bheith in ann í a thomhas, ach is beag meastóireacht atá ann [1⁠(osclaíonn i bhfuinneog nua), 2⁠(osclaíonn i bhfuinneog nua), 3⁠(osclaíonn i bhfuinneog nua)] agus tá na modheolaíochtaí éagsúil.

Sa saothar seo, déanaimid staidéar córasach ar inmhonatóireacht na sraithe smaointe. Tugaimid isteach creat chun inmhonatóireacht na sraithe smaointe a mheas agus sraith de 13 mheastóireacht (arb ionann iad agus 24 timpeallacht san iomlán) atá ceaptha chun inmhonatóireacht córais a thomhas go coincréiteach. Tagann na meastóireachtaí seo faoi thrí chineálshamhail—idirghabháil, próiseas, agus tréith toraidh. Lena n-úsáid, déanaimid staidéar ar cé chomh hinmhonatóireachta is atá samhlacha móra teanga an lae inniu, agus ar an gcaoi a n-athraíonn an inmhonatóireacht le níos mó réasúnaíochta ag am tátail, le rithe foghlama atreisiúcháin níos mó, agus le scála réamhoiliúna méadaithe.

Faighimid amach go bhfuil formhór na samhlacha réasúnaíochta teorann sách hinmhonatóireachta, cé nach bhfuil siad foirfe. I mbeagnach gach suíomh a ndéanaimid staidéar air, tá monatóireacht ar shraitheanna smaointe i bhfad níos éifeachtaí ná monatóireacht ar ghníomhartha agus ar aschuir deiridh amháin. Bíonn samhlacha a smaoiníonn níos faide níos inmhonatóireachta de ghnáth, agus ní cosúil go ndéanann barrfheabhsú foghlama atreisiúcháin ag scálaí teorann reatha dochar suntasach don inmhonatóireacht.

Go suntasach, breathnaímid ar chomhairle idir iarracht réasúnaíochta agus méid samhla: nuair a ritear samhail le hiarracht íseal réasúnaíochta, is féidir le samhail níos lú a ritear le hiarracht níos airde réasúnaíochta cumas inchomparáide a bhaint amach agus í níos éasca le monatóiriú. Tagann sé seo ar chostas ríomha tátail méadaithe, rud a dtugaimid cáin inmhonatóireachta air. Ar deireadh, faighimid amach gur féidir feabhas breise a chur ar an inmhonatóireacht trí cheisteanna leantacha a chur agus monatóireacht a dhéanamh ar na sraitheanna smaointe a eascraíonn astu.

Sainmhínímid inmhonatóireacht mar chumas monatóra airíonna spéise faoi iompar gníomhaire a thuar. I mórán cásanna, freagraíonn na hairíonna seo do chineálacha mí-iompair—amhail meabhlaireacht, haiceáil luaíochta, nó réasúnaíocht chlaonta—ach is féidir leo airíonna neamhurchóideacha a áireamh freisin, mar shampla an raibh gníomhaire ag brath ar leid ar leith nó ag leanúint líne réasúnaíochta ar leith.

Is airí dhá thaobh í an inmhonatóireacht. Braitheann sí ar an monatóir ach freisin ar an ngníomhaire atá á mhonatóiriú.

• Monatóirí. D’fhéadfaimis monatóirí a dhéanamh níos cliste ar bhealaí éagsúla, agus ba mhaith linn go dtabharfadh ár meastóireachtaí scóir níos airde do mhonatóirí ar féidir leo tuartha níos fearr a dhéanamh faoi iompar gníomhaire.
• Gníomhairí. Tá go leor breathnuithe ar an ngníomhaire a d’fhéadfaí a thabhairt don mhonatóir, lena n-áirítear gníomhartha an ghníomhaire, aschuir, gníomhachtuithe néaracha, agus le déanaí, le teacht na samhlacha réasúnaíochta, an tsraith smaointe. Is féidir go mbíonn smaointe níos deacra le tuiscint ag gníomhairí áirithe ná ag gníomhairí eile, agus mar sin ba mhaith linn go mbeadh ár meastóireachtaí inmhonatóireachta in ann gníomhairí a chur i gcomparáid agus ní hamháin monatóirí.

Tá ár meastóireachtaí ceaptha chun an dá thaobh a mheas: an bhfuil gníomhairí áirithe níos éasca nó níos deacra le monatóiriú, agus an féidir le monatóirí níos cumasaí tuilleadh faisnéise a bhaint as na comharthaí céanna.

Roimh an nglúin reatha de shamhlacha réasúnaíochta, ba ghnách sraitheanna smaointe a spreagadh trí leid a thabhairt do shamhail “smaoineamh céim ar chéim.” 

Tá difríocht idir sraitheanna smaointe na samhlacha réasúnaíochta ar dhá bhealach thábhachtacha. Ar an gcéad dul síos, déantar iad a oiliúint go sainráite chun sraith smaointe a ghiniúint agus ansin freagra a thabhairt. Nuair a iarrtar ar shamhail chomhrá smaoineamh “céim ar chéim,” caithfidh an tsamhail cloí le haon sonraíochtaí a chuirtear ar an tsamhail, .i. a bheith cabhrach, neamhdhíobhálach, srl. A mhalairt ar fad, múineann an próiseas oiliúna foghlama atreisiúcháin do shamhail réasúnaíochta gur spás príobháideach é an CoT inar féidir léi cibé rud is mian léi a smaoineamh agus gan pionós a ghearradh uirthi, díreach mar is féidir le duine smaoineamh go príobháideach agus gan pionós a ghearradh air as “coireanna smaointe.” 

Ar an dara dul síos, déanann an próiseas oiliúna cuardach go héifeachtach ar shraitheanna smaointe atá is úsáidí ó thaobh ionstraim de don ghníomhaire chun freagra deiridh ard-luaíochta a fháil. Dá bhrí sin, ní hamháin gur spás é an tsraith smaointe inar féidir leis an tsamhail í féin a chur in iúl go saor, ach tá smaointeoireacht inti a chuidíonn leis an tsamhail a freagra deiridh a bhaint amach.

Eagraímid ár meastóireachtaí inmhonatóireachta i dtrí chineálshamhail ar leith, agus úsáideann gach ceann acu meicníocht éagsúil chun inmhonatóireacht a thomhas.

1. Meastóireachtaí idirghabhála, spreagtha ag Chen et al. 2025⁠(osclaíonn i bhfuinneog nua), Chua et al. 2025⁠(osclaíonn i bhfuinneog nua), Turpin et al. 2023⁠(osclaíonn i bhfuinneog nua), tugaimid isteach athrú rialaithe i dtimpeallacht an ghníomhaire agus déanaimid tástáil an féidir le monatóir a bhrath cén fáth ar athraigh an t-iompar trí fhianaise ar an idirghabháil sa tsraith smaointe a aithint. Murab ionann agus meastóireachtaí rialaithe caighdeánacha (m.sh. Shade-Arena⁠(osclaíonn i bhfuinneog nua)), ligeann meastóireachtaí idirghabhála dúinn scrúdú a dhéanamh an féidir le monatóir a bhrath cén fáth ar athraigh iompar, seachas a bhrath ar tharla iompar amháin. 
2. Díríonn meastóireachtaí próisis ar thascanna a bhfuil líon teoranta cosán réitigh bailí acu (mar shampla, ní féidir fadhb matamaitice a réiteach ach le teoirimí áirithe). Liostaíonn saineolaithe daonna na cosáin seo, agus déanaimid tástáil an féidir le monatóir a bhrath cé na céimeanna a ghlac an tsamhail i ndáiríre. Ligeann na meastóireachtaí seo dúinn nasc a dhéanamh idir an méid a rinne samhail agus céimeanna ar leith a chaithfidh an tsamhail a bheith tar éis a ghlacadh agus fiafraí an bhfuil na céimeanna sin inmhonatóireachta.
3. Baineann meastóireachtaí tréithe toraidh leis na cásanna ina féidir airí de chuid aschur na samhla a thomhas go hiontaofa. Sna cásanna seo, déanaimid tástáil an féidir le monatóir an airí sin—amhail haiceáil luaíochta—a thuar ó réasúnaíocht nó ó ghníomhartha na samhla. Mar shampla, i dtasc códaithe, d’fhéadfadh bealach iontaofa a bheith againn chun a mheas an bhfuil samhail ag déanamh gníomhartha chun comhartha luaíochta a hacáil, agus is féidir linn fiafraí an bhfaigheann monatóir fianaise ar rún chun an luaíocht a hacáil i smaointeoireacht nó i ngníomhartha na samhla.

Tugaimid tacsanomaíocht thíos dár meastóireachtaí. Féach ar ár bpáipéar le haghaidh cur síos iomlán ar gach meastóireacht aonair.

Ba cheart, i bprionsabal, go ndéanfadh sé sraitheanna smaointe inmhonatóireachta má chaitear leis an tsraith smaointe mar spás oibre príobháideach—agus má chuirtear oiliúint ar shamhlacha é a úsáid chun tascanna a réiteach go héifeachtach. Ag an am céanna, tá roinnt cúiseanna ann go bhféadfadh foghlaim atreisiúcháin dochar a dhéanamh d’inmhonatóireacht na sraithe smaointe.

Ar an gcéad dul síos, cruthaíonn srianta ar fhad réasúnaíochta, amhail teorainn a chur leis an am nó leis na téacschomharthaí atá ag samhail chun smaoineamh, spreagthaí do shamhlacha níos lú réasúnaíochta a dhéanamh. Ar an dara dul síos, fiú mura gcuirtear brú optamaithe díreach ar an tsraith smaointe féin, d’fhéadfadh brúnna indíreacha an inmhonatóireacht a laghdú fós. Mar shampla⁠(osclaíonn i bhfuinneog nua), d’fhéadfadh sé a bheith níos éasca do shamhlacha freagraí ard-luaíochta a bhaint amach má sheachnaíonn siad cosáin réasúnaíochta a d’fhéadfadh torthaí íseal-luaíochta nó neamh-inmhianaithe a thabhairt. Ar deireadh, d’fhéadfadh laghdú ar inmhonatóireacht teacht as sleamhnú spúrtha a spreagann torann grádáin foghlama atreisiúcháin.

Thíos, scrúdaímid an chaoi a n-athraíonn inmhonatóireacht thar dhá rith oiliúna foghlama atreisiúcháin teorann de chuid OpenAI. Cé nach ionann na torthaí seo agus ach dhá phointe sonraí, tugann siad le fios nach ndéanann barrfheabhsú foghlama atreisiúcháin ag scálaí teorann reatha díghrádú ábhartha ar inmhonatóireacht na sraithe smaointe, agus go méadaíonn sé an inmhonatóireacht do chéimeanna luatha. Mar sin féin, ní chuireann sé seo as an áireamh an fhéidearthacht go bhféadfadh scálaí foghlama atreisiúcháin i bhfad níos mó tionchar diúltach a imirt ar inmhonatóireacht amach anseo.

Tá cuid mhór d’intleacht na gcóras IS reatha á tiomáint ag scála réamhoiliúna méadaithe, áit a bhfuil líon na bparaiméadar samhla agus méideanna tacar sonraí araon tar éis fás go seasta ó thús pharadacsa an GPT. Ciallaíonn méadú ar líon na bparaiméadar go n-úsáidtear níos mó ríomha tátail in aghaidh an téacschomhartha a ghintear, rud a thugann, i gcás samhlacha réasúnaíochta, níos mó deise don chognaíocht sa tsamhail tarlú laistigh de ghníomhachtuithe seachas laistigh den tsraith smaointe. Dá bhrí sin, d’fhéadfaimis a bheith ag súil go mbeadh samhlacha níos mó níos lú inmhonatóireachta ag leibhéal cumais seasta. 

Ag an am céanna, d’fhéadfadh samhlacha níos lú a bheith chomh maith níos lú in ann an tsraith smaointe a úsáid go héifeachtach—rud a d’fhéadfadh tionchar a imirt ar an inmhonatóireacht freisin.

Chun an gaol idir méid réamhoiliúna, cumas, agus inmhonatóireacht a fhiosrú, rinneamar teaghlach samhlacha a oiliúint thar dhá ord méide de ríomh réamhoiliúna le doimhneacht agus leithead méadaithe, agus ansin chuireamar foghlaim atreisiúcháin i bhfeidhm ar gach ceann acu ar thacar sonraí comhroinnte de thascanna matamaitice, eolaíochta, agus códaithe. Rinneamar meastóireacht ar gach samhail thar raon iarrachtaí réasúnaíochta agus chuir muid inmhonatóireacht i gcomparáid ag leibhéil chumais mheaitseáilte.

Go ginearálta, faighimid amach dá ndéanfaimis samhail ar leith a imlonnú le hiarracht íseal réasúnaíochta, go bhféadfaimis ina háit sin samhail níos lú a imlonnú le hiarracht níos airde réasúnaíochta. I gcomparáid leis an ríomh breise a chaitheamh ar níos mó iarrachta réasúnaíochta ón mbunsamhail mhór, d’fhéadfaimis inmhonatóireacht níos airde a fháil ar chostas beag cumais, nó cáin inmhonatóireachta; áfach, d’fhéadfadh an t-am clogbhalla a thógann sé chun críochnú a chríochnú a bheith ina fhachtóir freisin i roinnt cinntí imlonnaithe, rud nach gcuirimid san áireamh anseo. De réir mar a fheabhsaíonn ár samhlacha agus a imlonnaítear iad i suíomhanna níos airde geallta, d’fhéadfadh sé éirí riachtanach cáin den sórt sin a íoc chun iad a imlonnú go sábháilte.

Tá na teorainneacha seo a leanas ag baint leis na torthaí seo: (1) ní dhéanaimid oiliúint ar gach samhail ach uair amháin, agus mar sin ní chuirimid éagsúlacht thar rithe oiliúna san áireamh. Mar shampla, is cosúil go bhfuil an tsamhail “mheánach” sách as treocht san inmhonatóireacht i gcomparáid leis na samhlacha eile sa tsraith, rud a d’fhéadfadh a bheith mar gheall air seo. (2) Déanaimid meastóireacht ar chumais i suíomhanna atá sách laistigh den dáileadh (matamaitic, eolaíocht, agus códú), agus d’fhéadfadh na comhbhabhtálacha athrú nuair a chuirtear stóinseacht lasmuigh den dáileadh san áireamh.

De réir mar a scálaíonn córais IS thar fheidhmíocht ar leibhéal an duine, éiríonn maoirseacht dhíreach dhaonna níos deacra i gcónaí. Go hidéalach, bheadh nósanna imeachta rialaithe inscálaithe againn a chuirfeadh ar chumas monatóirí iontaofa ach níos laige maoirseacht a dhéanamh ar ghníomhairí níos láidre, a d’fhéadfadh a bheith neamhiontaofa. Ba cheart go mbeadh nósanna imeachta den sórt sin in ann ríomh breise ag am tástála a ionsú agus tuartha níos cruinne a tháirgeadh chomh maith.

Is minic a chaitear le h-inmhonatóireacht na sraithe smaointe mar chainníocht sheasta: a luaithe a tháirgeann samhail freagra ag iarracht réasúnaíochta ar leith, déantar monatóireacht ar an tsraith smaointe a eascraíonn as chomh maith agus is féidir. Toisc gur aimsíomar go seasta go bhfeabhsaíonn an inmhonatóireacht de réir mar a mhéadaímid iarracht réasúnaíochta ár ngníomhairí, spreagadh muid chun fiafraí an bhféadfaimis níos mó téacschomharthaí a fháil le monatóiriú ar bhealach éigin.

Chun é seo a fhiosrú, rinneamar turgnamh ar cheisteanna leantacha a chur tar éis do shamhail freagairt, agus an leid bhunaidh, an tsraith smaointe, agus an freagra á gcoinneáil sa chomhthéacs. Díríonn na ceisteanna leantacha seo ar an airí atá á mhonatóiriú—mar shampla, “Ar úsáid tú an leid ar bhealach ciallmhar chun do fhreagra a roghnú?” nó “An ndearna tú rud éigin amhrasach?” I bprionsabal, toisc go gcoinníonn an tsamhail rochtain ar a réasúnaíocht níos luaithe, d’fhéadfadh sí a bheith in ann smaointe nár cuireadh i bhfocail roimhe seo a thabhairt chun solais sa tsraith smaointe leantach nó sa fhreagra.

Tá na torthaí seo réamhobrach. Ní dhearnamar iniúchadh ach ar líon beag formáidí ceiste leantaí agus creidimid go bhfuil go leor spáis ann le haghaidh modheolaíochta feabhsaithe. Ina theannta sin, tá an modh seo cosúil ó thaobh spioraid de le admhálacha samhla⁠, agus táimid ag obair go gníomhach ar na cur chuige a chur i gcomparáid.

Seachas feabhas a chur ar inmhonatóireacht, tá an cur chuige seo tarraingteach toisc gur féidir é a chur i bhfeidhm iardain, agus ní thabhaíonn sé costas ríomha breise ach amháin nuair a bhíonn iniúchadh níos doimhne de dhíth. Ag féachaint chun cinn, má chuirtear oiliúint ar shamhlacha a bheith ag súil le hathruithe ar iarracht réasúnaíochta i lár comhrá, d’fhéadfadh leanuithe iardain ag iarracht níos airde réasúnaíochta feabhas breise a chur ar inmhonatóireacht fiú nuair atá an iarracht tosaigh réasúnaíochta íseal nó as láthair.

Tomhaiseann gach meastóireacht inár sraith an bhfuil gné aonair den phróiseas réasúnaíochta inmhonatóireachta. Cé go bhfuil sé mar aidhm againn raon leathan iompraíochtaí a chlúdach—lena n-áirítear siceafantaíocht, sandbagging, claonadh, plotaireacht, agus haiceáil luaíochta—tá go leor airíonna eile ann fós nach ndearnadh tástáil orthu.

Mar is amhlaidh le haon tagarmharc, d’fhéadfadh ár meastóireachtaí fulaingt ó réadúlacht theoranta nó ó fheasacht mheasúnaithe mhéadaithe, agus b’fhéidir nach nginearálóidh na torthaí chuig braite mí-iompair sa saol fíor. 

Ar deireadh, de réir mar a fheabhsaíonn ailíniú, d’fhéadfadh samhlacha mí-iompar a dhéanamh níos lú minice i suíomhanna rialaithe meastóireachta, rud a laghdódh an comhartha atá ar fáil do mheastóireachtaí inmhonatóireachta agus rialaithe a bhraitheann ar mhí-iompar a bhrath. Sna cásanna sin, fanann meastóireachtaí inmhonatóireachta “neodracha” infheidhme, cé gur ceist oscailte í cé chomh tuarthach is atá siad maidir le teipeanna sa saol fíor.

Mura féidir fadhb an ailínithe a réiteach go hiomlán, beidh modhanna rialaithe inscálaithe thar a bheith tábhachtach dár gcumas samhlacha an-chumasaí a imlonnú go sábháilte. D’fhéadfadh monatóireacht ar an tsraith smaointe agus modhanna gaolmhara a bheith ar cheann de bheagán meicníochtaí rialaithe atá ar fáil dúinn. Is féidir leis an tsraith smaointe buntáistí móra a thabhairt freisin chun níos mó a thuiscint faoina bhfuil ar siúl inár samhlacha, m.sh. an bhfuil siad ar an eolas go bhfuil siad i measúnú agus ag iompar ar bhealach difriúil ná mar a d’iompróidís in imlonnú, an bhfuil fianaise ann ar aon spriocanna díobhálacha nár léiríodh go fóill inár meastóireachtaí, srl. Dá bhrí sin, creidimid go bhfuil sé fíorthábhachtach tuiscint a fháil ar conas agus cathain a d’fhéadfaimis inmhonatóireacht a chailleadh.

Féachaimid ar mhonatóireacht na sraithe smaointe mar rud comhlántach le hinléirmhínitheacht mheicníoch, ní mar ionad di. Cosúil le gach modh rialaithe agus inléirmhínitheachta is eol, tá teorainneacha agus spotaí dalla ag gach ceann acu. Is é an t-ionchas atá againn ná gur féidir le cur chuige iolrach a chomhcheangal—straitéis chosanta i ndoimhneacht—cabhrú le bearnaí a chlúdach a fhágann aon mhodh amháin nochta. Go suntasach, d’fhéadfaí na meastóireachtaí a tugadh isteach sa saothar seo a chur i bhfeidhm freisin chun teicnící monatóireachta bunaithe ar inléirmhínitheacht mheicníoch a mheas agus a chur i gcomparáid.

Toisc go gcreidimid go bhféadfadh monatóireacht na sraithe smaointe a bheith ina sraith ualachiompartha i scéim rialaithe inscálaithe, tá sé i gceist againn na meastóireachtaí seo a leathnú agus iad a úsáid chun eolas a chur ar chinntí samhaltaithe agus sonraí amach anseo.