Noocyada caqliyeynta way ku dhibtoodaan xakamaynta silsiladaha fikirkooda, taasina waa wax wanaagsan

Maaddaama wakiillada AI ay awood u yeelanayaan inay qabtaan hawlo sii adkaanaya oo is-maamul badan leh, ilaalinta kormeer lagu kalsoonaan karo oo ku saabsan hab-dhaqankooda waxay noqoneysaa mid ka sii muhiim badan. Si waafaqsan mabda’aheenna hirgelinta isdaba-joogga ah, waxaan barannaa sida siistamyadu ugu dhaqmaan xaaladaha dunida dhabta ah, waxaana si joogto ah u sii hagaajinnaa ilaalinnada marka awooduhu horumarayaan. Si taas loo taageero, habkeenna amniga⁠ wuxuu adeegsadaa difaac lakabyo badan leh, oo leh lakabyo difaac oo is-dhammeystira sida tababbarka amniga⁠, tijaabinta hab-dhaqanka⁠, dib-u-eegista koodka ee wakiilnimo⁠(ku furmaa daaqad cusub), iyo la socodka silsilada fikirka (CoT)⁠. La socodka CoT wuxuu falanqeeyaa tallaabooyinka caqliyeynta ee wakiilladu soo saaraan iyagoo hawlo fulinaya. Raadadkan caqliyeynta ah waxay bixin karaan calaamado amni oo qiimo leh inta lagu jiro tababbar iyo hirgelin labadaba, iyagoo ka caawinaya siistamyada kormeerka inay gartaan marka hab-dhaqanka wakiil uu noqon karo mid aan ammaan ahayn ama aan la jaanqaadayn ujeeddooyinka uu isticmaaluhu damacsan yahay.

Maanta, waxaan ogaanay in caqliyeynta noocyadu guud ahaan la fasiri karo oo ay fududahay in lala socdo⁠. Si kastaba ha ahaatee, mustaqbalka, la-socodku wuu burburi karaa sababo kala duwan dartood⁠(ku furmaa daaqad cusub). Halkan, waxaan diiradda saareynaa hal waddo oo noocaas ah: haddii wakiilladu ay awood u yeeshaan inay si ula kac ah u dib-u-qaabeeyaan ama u qariyaan caqliyeyntooda marka ay ogaadaan in lala socdo, qiimeyntu waxay ka badbadin kartaa iswaafajinta ama amniga siistamka, waxaana laga yaabaa in siistamyada kormeerku noqdaan kuwo aan sidaas u la isku hallayn karin.

Shaqadan, waxaan ku daraaseyneynaa in noocyada caqliyeynta ee hadda jira ay awood u leeyihiin inay xakameeyaan silsiladdooda fikirka siyaabo yareeya la-socodka. Fahamka awooddan waa muhiim si loo hubiyo in la socodka CoT uu ahaado ilaalin adag marka siistamyada AI ay sii awood bataan. Waxaan ogaanay in noocyada caqliyeynta ee hadda jira ay ku dhibtoodaan xakamaynta CoT-yadooda, xitaa marka loo sheego in lala socdo. In kasta oo xakamayntu ka sarreyso noocyada waaweyn, haddana way yaraataa marka noocyada laga codsado inay muddo dheer caqliyeeyaan iyo marka lagu sameeyo tababbar dheeraad ah kadib. Natiijooyinkayagu waxay muujinayaan in xakamaynta CoT aysan hadda u badnayn inay khatar weyn ku noqoto la-socodka CoT, inkastoo qiimeyn joogto ah ay muhiim ahaan doonto marka noocyadu horumarayaan.

Silsilada fikirku waxay tixraacdaa tallaabooyinka dhexe ee caqliyeynta ee wakiil AI soo saaro marka uu xallinayo hawl. Raadadkan caqliyeynta ah waxay bixin karaan calaamado amni oo waxtar leh, iyagoo ka caawinaya siistamyada kormeerka inay qiimeeyaan in hab-dhaqanka wakiilku ammaan yahay ama iswaafaqsan yahay.

Xakamaynta CoT waa awoodda nooca caqliyeynta ee lagu xakameeyo sifooyinka CoT-giisa siyaabo yareeya la-socodka. Cabbiridda awooddan iyadoo la eegayo dhammaan noocyada dhiirrigelinnada macquulka ah ee dhabta ah ee ka fakashada kormeerayaasha laga filan karo ficil ahaan waa adag tahay. Halkii, waxaan isticmaalnaa tilmaame wax ku ool ah: waxaan cabbirnaa awoodda nooca ee raacidda tilmaamaha isticmaalaha ee ku saabsan CoT-gooda. Tusaale ahaan, waxaan tijaabinnaa in nooc uu raaci karo tilmaamo saameeya caqliyeyntiisa gudaha—sida inuu isticmaalo keliya xarfo yaryar, ka fogaado ereyo-fureedyo gaar ah, ama ku daro weedho cayiman—halkii uu si fudud u beddeli lahaa wax-soo-saarkiisa muuqda.

Si tan loo barto, waxaan soo bandhigaynaa CoT-Control, oo ah xirmo qiimeyn il-furan ah oo lagu cabbiro xakamaynta CoT ee noocyada caqliyeynta. CoT-Control waxaa ku jira in ka badan 13,000 hawlood oo laga dhisay miisaanno la aasaasay: GPQA, MMLU-Pro, HLE, BFCL iyo SWE-Bench Verified⁠. Hawl kasta waxaa la abuuraa iyadoo la lammaaninayo dhibaato miisaan ah iyo hal tilmaam CoT sida ka fogaanshaha ereyo-fureedyo gaar ah oo la xiriira dhibaatada ee ku jira CoT, isticmaalka keliya ee xarfo yaryar, ama ku darista eray la siiyey dhammaadka jumlad kasta.

Waxaan qiimeyn ku wadnaa 13 nooc oo caqliyeyn ah, waxaana ogaanay inay dhammaantood ku dhibtoodaan inay si lagu kalsoonaan karo u xakameeyaan CoT-yadooda. Waxaan u cabbirnaa xakamaynta inay tahay saamiga raadadka caqliyeynta ee noocku si guul leh ugu hoggaansamo tilmaamaheenna CoT. Guud ahaan noocyada ugu casriyeysan, dhibcaha xakamaynta CoT way hooseeyaan, waxayna u dhexeeyaan 0.1% mana dhaafaan 15.4% nooc kasta oo ugu casriyeysan oo hadda jira oo aan tijaabinnay.

Awood-darradani kama dhalato faham la’aan hawsha: noocyadu badanaa waxay CoT-gooda ku gartaan inay ku fashilmayaan inay u hoggaansamaan tilmaamihii CoT ee la siiyay, haddana—xitaa kadib garashadaas—way sii wadaan fashilka. Waxqabadkan si lama filaan ah u hooseeya waa war wanaagsan oo ku saabsan la-socodka CoT: wuxuu soo jeedinayaa in noocyadu si la mid ah uga maqan karto awoodda ay ku qarin karaan caqliyeyntooda si ay uga dhuuntaan kormeerayaasheenna.

In kasta oo aan aragno in xakamayntu ku kororto cabbirka nooca, haddana waxaan sidoo kale ogaanay inay si degdeg ah hoos ugu dhacdo marka ay kordhaan tababbarka dambe iyo xisaabinta waqtiga tijaabada. Markii aan eegnay laba qoys oo noocyo open-weight ah, noocyada waaweyn wax yar ayay uga fiicnaayeen xakamaynta silsiladaha fikirkooda, inkastoo saameyntu yaraatay marka cabbirku sii weynaaday. Laakiin markii aan u oggolaannay noocyada inay muddo dheer fikiraan, waxay noqdeen kuwo aan sidaas ugu awood badnayn inay xakameeyaan silsiladahaas fikirka. Waxaan sidoo kale aragnay isbeddel la mid ah tababbarka RL ee OLMo-3-7B-RL-Zero-Math: dhibcihiisa xakamayntu waxay hoos uga dhacday wax ka badan toban-jibbaar inta tababbarku socday.

Xakamayntu waxay ku kordhaa cabbirka noocyada open-weight ah balse way xumaataa marka caqliyeyntu dheeraato iyo tababbarka RL uu bato.

Si loo daydo dhiirrigelinno macquul ah oo dhab ah oo looga fakado kormeerayaasha, waxaan cabbirnaa xakamaynta marka noocyada loo sheego in lala socdo ama la qiimeynayo. Tani wax yar ayay (laakiin si la dareemi karo) u kordhisaa xakamaynta. Waxaan sidoo kale adeegsannaa tayeynta tooska ah ee weydiimaha si aan u helno weydiimo soo saara xakamayn sare. In kasta oo tayeeyehu kordhin karo xakamaynta ku jirta xog tababbar ah, kororkaas si liidata ayuu ugu gudbaa noocyo tilmaamo oo cusub (sida in loo baahdo inaan boos bannaan la gelin ereyada dhexdooda).

Hawlaha ku jira CoT-Control waa tilmaamayaal wax ku ool ah: qiimeynta ku habboon ee xakamaynta CoT waxay ku jiri lahayd tijaabinta in noocyada si dabiici ah u raadsada yoolal aan iswaafaqsanayn ay xakameyn karaan CoT-gooda si ay uga dhuuntaan kormeerka. Halkii, waxaan qiyaasnaa awoodda wakiillada ee xakamaynta CoT-yadooda annagoo cabbirayna awooddooda raacidda tilmaamaha ku saabsan CoT-gooda. Intaa waxaa dheer, noocyadu waxay si ka fiican uga xakameyn karaan qaar ka mid ah astaamaha CoT-gooda marka loo eego kuwa kale, waxaana suurtagal ah in CoT-Control uu si ka badan ama ka yar xaqiiqda u qiyaasayo xakamaynta maaddaama uu cabbirayo keliya qayb cidhiidhi ah oo noocyada xakamaynta ah.

Xakamayn hoose oo CoT ah waa sifo, ma aha cilad. Xakamaynta hoose ee noocyada caqliyeynta ee hadda jira waxay ka dhigtaa la socodka CoT mid lagu kalsoonaan karo sidii ilaalin. Isla mar ahaantaana, weli ma fahmin sababta xakamaynta noocyada caqliyeynta ee hadda jirta ay u hooseyso—ama in sifooyinkani sii jiri doonaan marka noocyadu sii awood bataan. Sidaas darteed, qiimeynta xakamaynta CoT waxaa loo arki karaa canary eval: digniin hore oo muujinaysa in noocyadu ku sii fiicnaanayaan qaabaynta ama qarinaya caqliyeyntooda.

Natiijooyinkayagu waxay soo jeedinayaan in xakamaynta CoT aysan hadda u badnayn inay khatar weyn ku noqoto la-socodka CoT. Si kastaba ha ahaatee, xakamayn hoose oo keliya kuma filna dammaanad qaadidda la-socod sare, sababtoo ah la-socodku weli wuu xumaan karaa sababo kale sida cadaadis tayayn toos ah oo lagu saaro CoT-yada.

Si aan uga caawino dabagalka isbeddelladan waqti ka dib, waxaan bilaabi doonnaa inaan ka warbixinno xakamaynta CoT annagoo la socodsiinayna la-socodka CoT⁠ gudaha kaararka siistamka ee noocyada ugu casriyeysan ee mustaqbalka, laga bilaabo GPT‑5.4 Thinking, annagoo ku dhiseyna ballanqaadkeenna socda⁠ ee ah inaanan cadaadis tayayn si toos ah ugu saarin CoT-yada noocyada caqliyeynta ugu casriyeysan.