Vlerësimi i monitorimit të zinxhirit të mendimit

Kur sistemet e AI marrin vendime që janë të vështira për t'u mbikëqyrur drejtpërdrejt, është e rëndësishme të kuptosh se si merren ato vendime. Një qasje premtuese është të monitorohet arsyetimi i brendshëm i një modeli, në vend që të vëzhgohen vetëm veprimet ose rezultatet përfundimtare.

Modelet moderne të arsyetimit, si GPT‑5 Thinking, përftojnë një zinxhir mendimesh të qartë përpara se të japin një përgjigje. Monitorimi i këtyre zinxhirëve të mendimit për sjellje të keqe mund të jetë shumë më efikas⁠ sesa monitorimi i veprimeve dhe daljeve të një modeli vetëm. Megjithatë, studiuesit në OpenAI dhe në të gjithë sektorin më të gjerë shqetësohen⁠(hapet në një dritare të re) se ky "monitorim" i zinxhirit të mendimit mund të jetë i brishtë ndaj ndryshimeve në procedurën e trajnim, burimet e të dhënave dhe madje edhe shkallëzimit të vazhdueshëm të algoritmave ekzistues.

Ne duam që monitorimi i zinxhirit të mendimit të mbetet i qëndrueshëm ndërsa modelet rriten dhe vendosen në mjedise me më shumë rëndësi. Ne u bëjmë thirrje studiuesve në të gjithë sektorin të punojnë për të ruajtur monitorimin e zinxhirit të mendimit sa më gjatë të jetë e mundur dhe të përcaktojnë nëse mund të shërbejë si një shtresë mbajtëse kontrolli për sistemet e ardhshme të AI. Për të ruajtur monitorimin, duhet të jemi në gjendje ta masim, megjithatë ekzistojnë pak vlerësime [1⁠(hapet në një dritare të re), 2⁠(hapet në një dritare të re), 3⁠(hapet në një dritare të re)] dhe metodologjitë ndryshojnë.

Në këtë punim, ne studiojmë monitorimin e zinxhirit të mendimit në mënyrë sistematike. Ne prezantojmë një kuadër për të vlerësuar monitorimin e zinxhirit të mendimit dhe një grup prej 13 vlerësimesh (që përfshijnë gjithsej 24 mjedise) të krijuara për të matur në mënyrë konkrete monitorimin e një sistemi. Këto vlerësime ndahen në tre arketipa — ndërhyrje, proces dhe atribut-rezultat. Duke i përdorur ato, ne studiojmë se sa të monitorueshme janë modelet e mëdha të modelit të gjuhës së sotme dhe si ndryshon monitorimi me më shumë arsyetim gjatë kohës së inferencës, me ekzekutime më të mëdha të trajnimit përforcues dhe me shkallë më të madhe të para-trajnimit.

Ne zbulojmë se shumica e modeleve të arsyetimit në kufi janë mjaft të monitorueshme, megjithëse jo në mënyrë të përsosur. Në pothuajse çdo mjedis që studiojmë, monitorimi i zinxhirëve të mendimit është dukshëm më efikas sesa monitorimi i veprimeve dhe rezultateve përfundimtare vetëm. Modelet që mendojnë për më gjatë priren të jenë më të monitorueshme, dhe optimizimi i trajnimit përforcues në shkallët aktuale të avancuara nuk duket se degradon në mënyrë domethënëse monitorimin.

Është e dukshme se vërejmë një kompromis midis përpjekjes së arsyetimit dhe madhësisë së modelit: kur një model ekzekutohet me përpjekje të ulët arsyetimi, një model më i vogël që ekzekutohet me përpjekje më të lartë arsyetimi mund të arrijë aftësi të krahasueshme duke qenë më i lehtë për t'u monitoruar. Kjo vjen me koston e rritjes së llogaritjeve të inferencës, të cilën e quajmë taksa e monitorimit. Së fundi, ne zbulojmë se bërja e pyetjeve pasuese dhe monitorimi i zinxhirëve të mendimit që rezultojnë mund të përmirësojë më tej monitorimin.

Ne e përcaktojmë monitorimin si aftësinë e një monitoruesi për të parashikuar vetitë e interesit për sjelljen e një agjenti. Në shumë raste, këto prona korrespondojnë me forma të sjelljes së keqe — si mashtrimi, manipulimi i shpërblimeve, ose arsyetimi i njëanshëm — por ato gjithashtu mund të përfshijnë atribute të padëmshme, si nëse një agjent u mbështet në një sugjerim të caktuar ose ndoqi një linjë specifike të arsyetimit.

Monitorimi është një veti me dy anë. Kjo varet si nga monitoruesi ashtu edhe nga agjenti që po monitorohet.

• Monitoruesit. Ne mund t'i bëjmë monitoruesit më inteligjentë në mënyra të ndryshme dhe do të donim që vlerësimet tona t'u jepnin pikë më të larta monitoruesve që mund të bëjnë parashikime më të mira për sjelljen e një agjenti.
• Agjentët. Ka shumë vëzhgime të agjentit që mund t'i jepen monitoruesit, duke përfshirë veprimet e agjentit, daljet, aktivizimet nervore dhe së fundmi, me ardhjen e modeleve të arsyetimit, zinxhiri i mendimit. Është e mundur që disa agjentë të kenë mendime që janë më të vështira për t'u kuptuar se të tjerët, prandaj ne dëshirojmë që vlerësimet tona të monitorimit të mund të krahasojnë agjentët dhe jo vetëm monitoruesit.

Vlerësimet tona janë të krijuara për të vlerësuar të dyja anët: nëse disa agjentë janë më të lehtë apo më të vështirë për t'u monitoruar, dhe nëse monitoruesit më të aftë mund të nxjerrin më shumë informacion nga të njëjtat sinjale.

Para gjeneratës aktuale të modeleve të arsyetimit, zinxhirët e mendimit zakonisht nxiteshin duke i kërkuar modelit të “mendojë hap pas hapi.” 

Zinxhirët e mendimit të modeleve të arsyetimit ndryshojnë në dy mënyra të rëndësishme. Së pari, ata trajnohen në mënyrë eksplicite për të gjeneruar një zinxhir të mendimit dhe pastaj të japin një përgjigje. Kur i kërkohet një modeli bisedë të mendojë "hap pas hapi", modeli duhet të respektojë çdo specifikim të vendosur mbi të, si të jetë i dobishëm, i padëmshëm, etj. Përkundrazi, trajnimi përforcues i mëson një modeli arsyetimi se CoT është një hapësirë private ku mund të mendojë çfarëdo që dëshiron dhe të mos ndëshkohet, ashtu si një njeri mund të mendojë privatisht dhe të mos ndëshkohet për "krime mendimi." 

Së dyti, procesi i trajnimit kërkon me efikasitet zinxhirët e mendimit që janë më të dobishëm në mënyrë instrumentale për agjentin në marrjen e një përgjigjeje përfundimtare me shpërblim të lartë. Kështu, zinxhiri i mendimit jo vetëm që është një hapësirë ku modeli mund të shprehet lirshëm, por përmban mendime që e ndihmojnë modelin të arrijë përgjigjen e vet përfundimtare.

Ne organizojmë vlerësimet tona të monitorimit në tre arketipa të dallueshëm, secili duke përdorur një mekanizëm të ndryshëm për të matur monitorimin.

1. Vlerësimet e ndërhyrjeve, të frymëzuara nga Chen et al. 2025⁠(hapet në një dritare të re), Chua et al. 2025⁠(hapet në një dritare të re), Turpin et al. 2023⁠(hapet në një dritare të re), ne prezantojmë një ndryshim të kontrolluar në mjedisin e agjentit dhe testojmë nëse një monitorues mund të zbulojë arsyen e ndryshimit të sjelljes duke identifikuar prova të ndërhyrjes në zinxhirin e mendimit. Ndryshe nga vlerësimet standarde të kontrollit (p.sh. Shade-Arena⁠(hapet në një dritare të re)), vlerësimet e ndërhyrjeve na lejojnë të hetojmë nëse një monitorues mund të zbulojë pse sjellja ndryshoi, në vend që thjesht të zbulojë nëse një sjellje ka ndodhur. 
2. Vlerësimet e procesit fokusohen në detyra me një numër të kufizuar rrugësh zgjidhjeje të vlefshme (për shembull, një problem matematikor mund të zgjidhet vetëm me teorema të caktuara). Ekspertët njerëz numërojnë këto rrugë, dhe ne testojmë nëse një monitorues mund të zbulojë cilët hapa modeli në të vërtetë ka ndjekur. Këto vlerësime na lejojnë të lidhim atë që një model bëri me hapat e veçantë që modeli duhet të ketë ndërmarrë dhe të pyesim nëse këto hapa janë të monitorueshëm.
3. Vlerësimet e vetive të rezultateve zbatohen kur një atribut i outputit të modelit mund të matet në mënyrë të besueshme. Në këto raste, ne testojmë nëse një monitorues mund të parashikojë atë veçori — si hakimi shpërblyes — nga arsyetimi ose veprimet e modelit. Për shembull, në një detyrë kodimi, mund të kemi një mënyrë të besueshme për të vlerësuar nëse një model po ndërmerr veprime për të hakuar një sinjal shpërblimi, dhe mund të pyesim nëse një monitorues gjen prova të qëllimit për të manipuluar shpërblimin në mendimet ose veprimet e modelit.

Më poshtë ofrojmë një taksonomi për vlerësimet tona. Shiko punimin tonë për një përshkrim të plotë të çdo vlerësimi individual.

Trajnimi i zinxhirit të mendimit si një hapësirë pune private — dhe trajnimi i modeleve për ta përdorur atë për të zgjidhur detyrat me efikasitet — duhet, në parim, të bëjë që zinxhirët e mendimit të jenë të monitorueshëm. Në të njëjtën kohë, ka disa arsye pse trajnimi përforcues mund të dëmtojë monitorimin e zinxhirit të mendimit.

Së pari, kufizimet në gjatësinë e arsyetimit, si kufizimi i kohës ose i tokenëve që një model ka për të menduar, krijojnë stimuj që modelet të arsyetojnë më pak. Së dyti, edhe pa ushtruar presion të drejtpërdrejtë optimizimi mbi vetë zinxhirin e mendimit, presionet indirekte mund të zvogëlojnë monitorimin. Për shembull⁠(hapet në një dritare të re), modelet mund ta kenë më të lehtë të arrijnë përgjigje me shpërblim të lartë nëse shmangin rrugët e arsyetimit që mund të çojnë në rezultate me shpërblim të ulët ose të padëshirueshme. Së fundi, monitorimi i reduktuar mund të lindë nga devijimi i rremë i shkaktuar nga zhurma e gradientit të trajnimit përforcues.

Më poshtë, ne shqyrtojmë se si ndryshon monitorimi gjatë dy prej trajnimeve të avancuara të trajnimit përforcues të OpenAI. Ndërsa këto rezultate përfaqësojnë vetëm dy pika të dhënash, ato sugjerojnë se optimizimi i trajnimit përforcues në shkallët aktuale të kufirit nuk e dëmton materialisht monitorimin e zinxhirit të mendimit dhe rrit monitorimin për hapat e hershëm. Megjithatë, kjo nuk përjashton mundësinë që shkallëzime dukshëm më të mëdha të trajnimit përforcues të mund të ndikojnë negativisht në monitorimin në të ardhmen.

Një pjesë e madhe e inteligjencës së sistemeve aktuale të AI është e nxitur nga rritja e shkallës së paratrajnimit, ku si parametrat e modelit ashtu edhe madhësitë e dataseteve janë rritur vazhdimisht që nga fillimi i paradigmës GPT. Rritja e numrit të parametrave çon në përdorimin e më shumë llogaritjeve inferencash për çdo token të gjeneruar, gjë që, në rastin e modeleve të arsyetimit, ofron më shumë mundësi që njohja e modelit të ndodhë brenda aktivizimeve sesa brenda zinxhirit të mendimit. Kështu, mund të presim që modelet më të mëdha të jenë më pak të monitorueshme në një nivel të caktuar të aftësive. 

Në të njëjtën kohë, modelet më të vogla mund të jenë gjithashtu më pak të afta për të përdorur zinxhirin e mendimit me efikasitet — gjë që mund të ndikojë gjithashtu në aftësinë për monitorim.

Për të hetuar marrëdhënien midis madhësisë së paratrajnimit, aftësisë dhe monitorimit, ne trajnuam një familje modelesh mbi dy renditje madhësie të llogaritjes së paratrajnimit me thellësi dhe gjerësi në rritje, dhe më pas aplikuam të mësuarit përforcues për secilin në një dataset të përbashkët të detyrave të matematikës, shkencës dhe kodimit. Ne vlerësuam secilin model në një gamë përpjekjesh arsyetimi dhe krahasuam monitorimin në nivele të barabarta të aftësive.

Në përgjithësi, ne zbulojmë se nëse do të vendosnim një model të caktuar me përpjekje të ulët arsyetimi, mund të vendosnim një model më të vogël me përpjekje më të lartë arsyetimi. Krahasuar me shpenzimin e burimeve shtesë kompjuterike për më shumë përpjekje arsyetimi nga modeli i madh origjinal, mund të arrijmë një monitorim më të lartë me një kosto të vogël të aftësive, ose taksa e monitorimit; megjithatë, koha që duhet për të përfunduar një përfundim mund të jetë gjithashtu një faktor në disa vendime për implementim, të cilin nuk e marrim parasysh këtu. Ndërsa modelet tona përmirësohen dhe vendosen në mjedise me më shumë rëndësi, mund të bëhet e nevojshme të paguhet një taksë e tillë për t'i vendosur ato në mënyrë të sigurt.

Këto rezultate kanë kufizimet e mëposhtme: (1) ne trajnojmë secilin model vetëm një herë dhe, për këtë arsye, nuk bëjmë llogari për variancën nëpër ekzekutimet e trajnimit. Për shembull, modeli “i mesëm” duket mjaft jashtë trendit për sa i përket monitorimit krahasuar me modelet e tjera në seri, gjë që mund të jetë për shkak të kësaj. (2) Ne vlerësojmë aftësitë në mjedise relativisht të shpërndara (matematikë, shkencë dhe kodim), dhe kompromiset mund të ndryshojnë kur merret parasysh qëndrueshmëria jashtë shpërndarjes.

Ndërsa sistemet e AI rriten përtej performancës në nivelin njerëzor, mbikëqyrja e drejtpërdrejtë nga njerëzit bëhet gjithnjë e më e vështirë. Në mënyrë ideale, do të kishim procedura kontrolli të shkallëzueshme që lejojnë monitorues të besuar, por më të dobët, të mbikëqyrin agjentë më të fortë, potencialisht të pabesueshëm. Procedurat e tilla duhet gjithashtu të jenë në gjendje të përthithin burime shtesë kompjuterike gjatë kohës së testimit dhe të prodhojnë parashikime më të sakta.

Monitorimi i zinxhirit të mendimit shpesh trajtohet si një sasi e pandryshueshme: sapo një model prodhon një përgjigje me një përpjekje të caktuar arsyetimi, monitorohet zinxhiri i mendimit që rezulton sa më mirë të jetë e mundur. Për shkak se kemi zbuluar vazhdimisht se monitorimi përmirësohet ndërsa rrisim përpjekjen e arsyetimit të agjentëve tanë, u frymëzuam të pyesim nëse mund të marrim më shumë tokenë për të monitoruar.

Për të eksploruar këtë, ne eksperimentuam duke bërë pyetje pasuese pasi një model përgjigjej, duke mbajtur në kontekst kërkesën origjinale, zinxhirin e mendimit dhe përgjigjen. Këto ndjekje fokusohen në pronën që po monitorohet — për shembull, "A e përdore sugjerimin në një mënyrë kuptimplotë për të zgjedhur përgjigjen tënde?" ose "A bëre diçka të dyshimtë?" Në parim, sepse modeli ruan aksesin në arsyetimin e tij të mëparshëm, mund të jetë në gjendje të shfaqë mendime të mëparshme të paartikuluara në zinxhirin pasues të mendimit ose përgjigjes.

Këto rezultate janë paraprake. Ne eksploruam vetëm një numër të vogël formatesh të pyetjeve pasuese dhe besojmë se ka hapësirë të konsiderueshme për përmirësimin e metodologjisë. Për më tepër, kjo metodë është e ngjashme në frymë me rrëfimet e modelit⁠, dhe ne po punojmë aktivisht për të krahasuar qasjet.

Përtej përmirësimit të monitorimit, kjo qasje është tërheqëse sepse mund të zbatohet pas faktit, duke shkaktuar kosto shtesë të llogaritjes vetëm kur nevojitet një inspektim më i thellë. Duke parë përpara, nëse modelet trajnohen të presin ndryshime në përpjekjen e arsyetimit gjatë bisedës, ndjekjet pasuese me përpjekje më të lartë arsyetimi mund të përmirësojnë më tej monitorimin edhe kur përpjekja fillestare e arsyetimit është e ulët ose mungon.

Çdo vlerësim në paketën tonë mat nëse një aspekt i vetëm i procesit të arsyetimit është i monitorueshëm. Ndërsa synojmë të mbulojmë një gamë të gjerë sjelljesh — duke përfshirë servilizmin, 'sandbagging', paragjykimin, komplotimin dhe manipulimin e shpërblimeve — ka shumë veti shtesë që mbeten të patestuara.

Si me çdo standard, vlerësimet tona mund të vuajnë nga realizmi i kufizuar ose rritja e ndërgjegjësimit për vlerësimin, dhe rezultatet mund të mos përgjithësohen për të zbuluar sjellje të pahijshme në natyrë. 

Së fundi, ndërsa përmirësohet përafrimi, modelet mund të sillen keq më rrallë në mjedise të kontrolluara të vlerësimit, duke reduktuar sinjalin e disponueshëm për monitorimin dhe kontrollin e vlerësimeve që mbështeten në zbulimin e sjelljeve të papërshtatshme. Në ato raste, vlerësimet e monitorimit “neutral” mbeten të zbatueshme, megjithatë mbetet një çështje e hapur se sa parashikuese janë ato për dështimet në botën reale.

Nëse problemi i përafrimit nuk mund të zgjidhet plotësisht, atëherë metodat e kontrollit të shkallëzueshme do të jenë jashtëzakonisht të rëndësishme për aftësinë tonë për të vendosur në mënyrë të sigurt modele shumë të afta. Monitorimi i zinxhirit të mendimit dhe metodat e lidhura mund të jenë një nga mekanizmat e paktë të kontrollit që kemi në dispozicion. Zinxhiri i mendimit gjithashtu mund të sjellë përfitime të mëdha në kuptimin më të mirë të modeleve tona, p.sh. nëse janë të vetëdijshëm se janë në një vlerësim dhe sillen ndryshe nga sa do të bënin në vendosje, nëse ka prova të ndonjë qëllimi të dëmshëm që ende nuk është shfaqur në vlerësimet tona, etj. Prandaj, ne besojmë se është jashtëzakonisht e rëndësishme të kuptojmë se si dhe kur mund të humbasim aftësinë për të monitoruar.

Ne e konsiderojmë monitorimin e zinxhirit të mendimit si plotësues të interpretimit mekanik, jo si një zëvendësim për të. Si të gjitha metodat e njohura të kontrollit dhe interpretimit, secila ka kufizime dhe pika të verbra. Ne presim që kombinimi i qasjeve të shumta — një strategji e mbrojtjes në thellësi — të ndihmojë në mbulimin e boshllëqeve që çdo metodë e vetme lë të ekspozuara. Në mënyrë të veçantë, vlerësimet e prezantuara në këtë punim mund të përdoren gjithashtu për të vlerësuar dhe krahasuar teknikat e monitorimit të bazuara në interpretimin mekanik.

Sepse besojmë se monitorimi i zinxhirit të mendimit mund të jetë një shtresë mbajtëse në një skemë kontrolli të shkallëzueshme, planifikojmë të zgjerojmë këto vlerësime dhe t'i përdorim për të informuar vendimet e ardhshme për modelimin dhe të dhënat.