Bíonn deacracht ag samhlacha réasúnaíochta a sraitheanna smaointe a rialú, agus is maith an rud é sin

De réir mar a éiríonn gníomhairí IS in ann tascanna atá ag éirí níos casta agus níos uathrialaí a chur i gcrích, éiríonn sé níos tábhachtaí maoirseacht iontaofa a choinneáil ar a n-iompar. Ag teacht lenár bprionsabal maidir le himscaradh atriallach, déanaimid staidéar ar an gcaoi a n-iompraíonn córais i suíomhanna an tsaoil fhíor agus déanaimid cosaintí a bheachtú go leanúnach de réir mar a théann cumais chun cinn. Chun tacú leis seo, úsáideann ár gcur chuige sábháilteachta⁠ cosaint i ndoimhneacht, le roinnt sraitheanna cosanta comhlántacha ar nós oiliúint sábháilteachta⁠, tástáil iompraíochta⁠, athbhreithniú cód gníomhach⁠(osclaíonn i bhfuinneog nua), agus faireachán sraithe smaointe (CoT)⁠. Déanann faireachán CoT anailís ar na céimeanna réasúnaíochta a ghineann gníomhairí agus iad ag tabhairt faoi thascanna. Is féidir leis na lorganna réasúnaíochta seo comharthaí luachmhara a sholáthar le linn oiliúna agus imscartha araon, rud a chabhraíonn le córais faireacháin a aithint nuair a d’fhéadfadh iompar gníomhaire a bheith neamhshábháilte nó neamhréireach leis na spriocanna a bhí beartaithe ag an úsáideoir.

Faoi láthair, faighimid amach go bhfuil réasúnaíocht samhlacha inléirmhínithe go ginearálta agus éasca le faireachán a dhéanamh uirthi⁠. Mar sin féin, amach anseo, d’fhéadfadh monatóireacht a bheith lochtach ar chúiseanna éagsúla⁠(osclaíonn i bhfuinneog nua). Anseo, dírímid ar chonair amháin den sórt sin: má éiríonn gníomhairí in ann a réasúnaíocht a athmhúnlú nó a cheilt d’aon ghnó nuair a bhíonn a fhios acu go bhfuil faireachán á dhéanamh orthu, d’fhéadfadh meastóireachtaí ailíniú nó sábháilteacht córais a rómheastachán, agus d’fhéadfadh córais faireacháin éirí níos lú iontaofa.

Sa saothar seo, déanaimid staidéar ar cibé an bhfuil samhlacha réasúnaíochta reatha in ann a sraith smaointe a rialú ar bhealaí a laghdaíonn monatóireacht. Tá sé tábhachtach an cumas seo a thuiscint chun a chinntiú go bhfanann faireachán CoT ina chosaint láidir de réir mar a éiríonn córais IS níos cumasaí. Faighimid amach go mbíonn deacracht ag samhlacha réasúnaíochta reatha a gcuid CoTanna a rialú, fiú nuair a deirtear leo go bhfuil faireachán á dhéanamh orthu. Cé go bhfuil inrialaitheacht níos airde i samhlacha níos mó, laghdaíonn sí nuair a iarrtar ar shamhlacha réasúnú a dhéanamh ar feadh níos faide agus nuair a théann siad faoi iaroiliúint bhreise. Tugann ár dtorthaí le fios nach dócha go gcuirfidh inrialaitheacht CoT mórbhaol do mhonatóireacht CoT faoi láthair, cé go mbeidh meastóireacht leanúnach tábhachtach de réir mar a théann samhlacha chun cinn.

Tagraíonn sraith smaointe do na céimeanna idirmheánacha réasúnaíochta a ghineann gníomhaire IS agus tasc á réiteach aige. Is féidir leis na lorganna réasúnaíochta seo comharthaí úsáideacha sábháilteachta a sholáthar, rud a chabhraíonn le córais faireacháin measúnú a dhéanamh ar cé acu an bhfuil iompar gníomhaire sábháilte nó ailínithe.

Is éard atá in inrialaitheacht CoT ná cumas samhail réasúnaíochta airíonna a CoT a rialú ar bhealaí a laghdaíonn monatóireacht. Tá sé dúshlánach an cumas seo a thomhas faoi raon iomlán na ndreasachtaí réadúla chun monatóireacht a sheachaint a mbeimis ag súil leo i gcleachtas. Ina ionad sin, úsáidimid seachtháscaire praiticiúil: tomhaisimid cumas na samhla treoracha úsáideora faoina CoT a leanúint. Mar shampla, déanaimid tástáil ar cibé an féidir le samhail treoracha a leanúint a mbíonn tionchar acu ar a réasúnaíocht inmheánach—amhail litreacha beaga amháin a úsáid, eochairfhocail áirithe a sheachaint, nó frásaí sonracha a chur leis—in ionad a haschur infheicthe a athrú amháin.

Chun staidéar a dhéanamh air seo, tugaimid isteach CoT-Control, sraith mheastóireachta foinse oscailte chun inrialaitheacht CoT samhlacha réasúnaíochta a thomhas. Áirítear le CoT-Control breis agus 13,000 tasc a tógadh ó thagarmharcanna seanbhunaithe: GPQA, MMLU-Pro, HLE, BFCL agus SWE-Bench Verified⁠. Cruthaítear gach tasc trí fhadhb thagarmhairc a phéireáil le treoir CoT amháin, amhail eochairfhocail áirithe atá ábhartha don fhadhb a sheachaint i gCoT, litreacha beaga amháin a úsáid, nó focal ar leith a chur le deireadh gach abairte.

Rithimid meastóireachtaí ar 13 shamhlach réasúnaíochta, agus faighimid amach go mbíonn deacracht ag gach ceann acu a gcuid CoTanna a rialú go hiontaofa. Tomhaisimid inrialaitheacht mar chodán de lorganna réasúnaíochta ina gcomhlíonann an tsamhail ár dtreoracha CoT go rathúil. Ar fud samhlacha teorainn, tá scóir inrialaitheachta CoT íseal, ag raonú ó 0.1% agus gan dul thar 15.4% d’aon tsamhail teorainn reatha a ndearna muid tástáil uirthi.

Ní eascraíonn an neamhábaltacht seo as míthuiscint ar an tasc: is minic a aithníonn samhlacha ina gCoT go bhfuil siad ag teip ar chomhlíonadh na dtreoracha CoT a tugadh dóibh agus—fiú tar éis an tuiscint sin—leanann siad orthu ag teip fós. Is dea-scéal é an fheidhmíocht íseal iontach seo do mhonatóireacht CoT: tugann sé le fios go bhféadfadh sé nach bhfuil an cumas ag samhlacha a réasúnaíocht a cheilt ar an gcaoi chéanna chun ár monatóirí a sheachaint.

Cé go bhfeicimid go n-ardaíonn inrialaitheacht le méid na samhla, faighimid amach freisin go laghdaíonn sí go tapa leis an méid iaroiliúna agus ríomha ag am tástála. Ag breathnú ar dhá theaghlach de shamhlacha meáchain oscailte, bhí samhlacha níos mó beagán níos fearr ag rialú a sraitheanna smaointe, cé gur mhaolaigh an éifeacht ag méideanna níos mó. Ach nuair a lig muid do shamhlacha smaoineamh ar feadh níos faide, bhí siad níos lú ábalta na sraitheanna smaointe sin a rialú. Chonaiceamar treocht chosúil d’oiliúint RL ar OLMo-3-7B-RL-Zero-Math: thit a scór inrialaitheachta níos mó ná deich n-oiread le linn na hoiliúna.

Ardaíonn inrialaitheacht le scála i samhlacha meáchain oscailte ach meathann sí le réasúnú níos faide agus níos mó oiliúna RL.

Chun dreasachtaí réadúla chun monatóirí a sheachaint a insamhladh, tomhaisimid inrialaitheacht nuair a deirtear le samhlacha go bhfuil faireachán nó meastóireacht á déanamh orthu. Méadaíonn sé seo inrialaitheacht beagán (ach go suntasach). Úsáidimid barrfheabhsú leide uathoibrithe freisin chun leideanna a aimsiú a spreagann inrialaitheacht ard. Cé gur féidir leis an mbarrfheabhsaitheoir inrialaitheacht a mhéadú ar thacar oiliúna, aistríonn na gnóthachain seo go dona chuig cineálacha treoracha nua (amhail gan spásanna a cheangal idir focail).

Is seachtháscairí praiticiúla iad na tascanna i CoT-Control: bheadh meastóireacht idéalach ar inrialaitheacht CoT bunaithe ar thástáil a dhéanamh ar cibé an féidir le samhlacha a shaothraíonn spriocanna mí-ailínithe go nádúrtha a CoT a rialú chun faireachán a sheachaint. Ina ionad sin, meastaímid cumas gníomhairí a gcuid CoTanna a rialú trína gcumas treoracha faoina gCoT a leanúint a thomhas. Ina theannta sin, is fearr a rialaíonn samhlacha roinnt gnéithe dá gCoT ná gnéithe eile, agus d’fhéadfadh CoT-Control a bheith ag ró- nó ag fo-mheastachán na hinrialaitheachta trí shraith chúng cineálacha inrialaitheachta amháin a thomhas.

Is gné í inrialaitheacht íseal CoT, ní locht. Fágann inrialaitheacht íseal samhlacha réasúnaíochta reatha go bhfuil faireachán CoT níos iontaofa mar chosaint. Ag an am céanna, ní thuigimid fós cén fáth a bhfuil inrialaitheacht samhlacha réasúnaíochta reatha íseal—ná an mairfidh an tréith seo de réir mar a éiríonn samhlacha níos cumasaí. Dá bhrí sin, is féidir breathnú ar mheastóireachtaí inrialaitheachta CoT mar mheastóireacht chanáraigh: comhartha luathrabhaidh maidir le cibé an bhfuil samhlacha ag éirí níos fearr ag múnlú nó ag cur a réasúnaíochta i bhfolach.

Tugann ár dtorthaí le fios nach dócha go gcuirfidh inrialaitheacht CoT mórbhaol do mhonatóireacht CoT faoi láthair. Mar sin féin, ní leor inrialaitheacht íseal inti féin chun monatóireacht ard a ráthú, toisc go bhféadfadh monatóireacht meath fós de dheasca meicníochtaí eile amhail brú díreach optamaithe ar CoTanna.

Chun cuidiú leis na dinimicí seo a rianú le himeacht ama, tosóimid ag tuairisciú inrialaitheacht CoT taobh le monatóireacht CoT⁠ i gcártaí córais do shamhlacha teorainn amach anseo, ag tosú le GPT‑5.4 Thinking, agus é sin ag tógáil ar ár ngealltanas leanúnach⁠ gan brú optamaithe a chur i bhfeidhm go díreach ar CoTanna samhlacha réasúnaíochta teorainn.