Ойлау тізбегінің бақыланымдылығын бағалау

AI жүйелері тікелей қадағалау қиын болатын шешімдер қабылдағанда, ол шешімдердің қалай қабылданатынын түсіну маңызды болады. Болашағы бар тәсілдердің бірі — модельдің тек әрекеттерін не соңғы шығыстарын ғана емес, ішкі ой қорытуын бақылау.

GPT‑5 Thinking сияқты заманауи ойлайтын модельдер жауап бермес бұрын айқын ойлау тізбегін жасайды. Бұл ойлау тізбектерін теріс мінез-құлыққа бақылау модельдің тек әрекеттері мен шығыстарын бақылауға қарағанда әлдеқайда тиімді⁠ болуы мүмкін. Алайда OpenAI және саладағы басқа зерттеушілер⁠(жаңа терезеде ашылады) бұл ойлау тізбегінің «бақыланымдылығы» оқыту рәсіміндегі, дереккөздердегі, тіпті бар алгоритмдердің әрі қарай ауқымдалуындағы өзгерістерге осал болуы мүмкін деп алаңдайды.

Біз модельдер ауқымдалған сайын және тәуекелі жоғарырақ жағдайларда енгізілген сайын ойлау тізбегінің бақыланымдылығы сақталғанын қалаймыз. Саладағы зерттеушілерді ойлау тізбегінің бақыланымдылығын мүмкіндігінше ұзақ сақтауға және оның болашақ AI жүйелері үшін негізгі бақылау қабаты бола алатынын анықтауға шақырамыз. Бақыланымдылықты сақтау үшін, оны өлшей алуымыз керек, бірақ бағалаулар аз [1⁠(жаңа терезеде ашылады), 2⁠(жаңа терезеде ашылады), 3⁠(жаңа терезеде ашылады)] және әдіснамалар әртүрлі.

Бұл жұмыста біз ойлау тізбегінің бақыланымдылығын жүйелі түрде зерттейміз. Біз ойлау тізбегінің бақыланымдылығын бағалауға арналған негізді және жүйенің бақыланымдылығын нақты өлшеуге арналған 13 бағалаудан (жалпы 24 ортадан тұратын) тұратын жиынтықты ұсынамыз. Бұл бағалаулар үш архетипке бөлінеді — араласу, процесс және нәтиже-қасиет. Оларды пайдаланып, бүгінгі ірі тілдік модельдердің қаншалықты бақыланатынын және бақыланымдылықтың инференс кезіндегі көбірек ой қорытуға, ірілеу күшейтпелі оқыту іске қосударына және алдын ала оқыту ауқымының артуына қарай қалай өзгеретінін зерттейміз.

Біз озық ойлайтын модельдердің көбі біршама бақыланатынын, бірақ мінсіз емес екенін анықтадық. Зерттеген жағдайларымыздың дерлік бәрінде ойлау тізбектерін бақылау тек әрекеттер мен соңғы шығыстарды бақылаудан едәуір тиімдірек. Ұзағырақ ойлайтын модельдер әдетте жақсырақ бақыланады, ал қазіргі озық ауқымдардағы күшейтпелі оқытумен оңтайландыру бақыланымдылықты елеулі төмендетпейтін сияқты.

Маңыздысы, біз ой қорыту күші мен модель өлшемі арасында айырбас барын байқаймыз: модель аз ой қорыту күшімен іске қосылғанда, жоғарырақ ой қорыту күшімен іске қосылған кішірек модель ұқсас қабілетке жетіп, сонымен бірге бақылауға жеңілірек болуы мүмкін. Мұның құны — инференс есептеуінің артуы, оны біз бақыланымдылық салығы деп атаймыз. Соңында, кейінгі сұрақтар қою және соның нәтижесіндегі ойлау тізбектерін бақылау бақыланымдылықты одан әрі жақсарта алатынын көреміз.

Біз бақыланымдылықты бақылаушының агент мінез-құлқы туралы қызықты қасиеттерді болжай алу қабілеті деп анықтаймыз. Көп жағдайда бұл қасиеттер теріс мінез-құлық түрлеріне — мысалы, алдау, марапатты хактеу немесе бұрмаланған ой қорыту — сәйкес келеді, бірақ олар зиянсыз қасиеттерді де қамтуы мүмкін, мысалы агент белгілі бір ишараға сүйенді ме немесе нақты бір ой қорыту желісін ұстанды ма.

Бақыланымдылық — екіжақты қасиет. Ол бақылаушыға да, бақыланатын агентке де тәуелді.

• Бақылаушылар. Біз бақылаушыларды түрлі жолмен ақылдырақ ете алар едік, және бағалауларымыз агенттің мінез-құлқы туралы жақсырақ болжам жасай алатын бақылаушыларға жоғарырақ ұпай бергенін қалаймыз.
• Агенттер. Бақылаушыға берілуі мүмкін агент туралы көптеген бақылаулар бар, соның ішінде агенттің әрекеттері, шығыстары, нейрондық активациялары және жақында ойлайтын модельдердің пайда болуымен бірге ойлау тізбегі. Кейбір агенттердің ойларын басқаларға қарағанда түсіну қиынырақ болуы мүмкін, сондықтан біз бақыланымдылық бағалауларымыздың тек бақылаушыларды емес, агенттерді де салыстыра алуын қалаймыз.

Біздің бағалаулар екі жақты да бағалауға арналған: белгілі агенттерді бақылау жеңілірек пе, әлде қиынырақ па, және қабілеті жоғарырақ бақылаушылар бірдей сигналдардан көбірек ақпарат ала ала ма.

Ойлайтын модельдердің қазіргі буынына дейін ойлау тізбектері, әдетте, модельге «қадамдап ойлан» деген көмексөз беру арқылы алынатын. 

Ойлайтын модельдердің ойлау тізбектері екі маңызды қырынан ерекшеленеді. Біріншіден, олар ойлау тізбегін жасап, содан кейін жауап беруге арнайы оқытылады. Чат моделіне «қадамдап» ойлануды сұрағанда, модель модельге қойылған кез келген сипаттамаларды, яғни пайдалы, зиянсыз болуды және т.б. ұстануы керек. Керісінше, күшейтпелі оқытудың жаттықтыру процесі ойлайтын модельге CoT — ол не қаласа, соны ойлап, ол үшін жазаланбайтын жеке кеңістік екенін үйретеді, дәл адам жеке ойлап, «ой қылмыстары» үшін жазаланбайтыны сияқты. 

Екіншіден, оқыту процесі агентке жоғары марапат әкелетін соңғы жауапқа жетуде аспаптық тұрғыдан ең пайдалы болатын ойлау тізбектерін іс жүзінде іздейді. Осылайша, ойлау тізбегі модель еркін ой білдіретін кеңістік қана емес, ол модельдің соңғы жауабына жетуіне көмектесетін ойлауды да қамтиды.

Біз бақыланымдылық бағалауларын үш бөлек архетипке ұйымдастырамыз, олардың әрқайсысы бақыланымдылықты өлшеудің әртүрлі тетігін пайдаланады.

1. Араласу бағалауларында, Chen et al. 2025⁠(жаңа терезеде ашылады), Chua et al. 2025⁠(жаңа терезеде ашылады), Turpin et al. 2023⁠(жаңа терезеде ашылады) еңбектерінен шабыт алып, біз агент ортасына бақыланатын өзгеріс енгіземіз және бақылаушы мінез-құлық неге өзгергенін ойлау тізбегіндегі араласу дәлелін анықтау арқылы таба ала ма, соны тексереміз. Кәдімгі бақылау бағалауларынан (мысалы, Shade-Arena⁠(жаңа терезеде ашылады)) айырмашылығы, араласу бағалаулары мінез-құлықтың болған-болмағанын ғана емес, неге өзгергенін анықтай ала ма, соны зерттеуге мүмкіндік береді. 
2. Процесс бағалаулары дұрыс шешім жолдарының саны шектеулі тапсырмаларға назар аударады (мысалы, математика есебін тек белгілі бір теоремалармен шығаруға болады). Адам-сарапшылар осы жолдарды тізіп шығады, ал біз бақылаушы модельдің іс жүзінде қай қадамдарды жасағанын анықтай ала ма, соны тексереміз. Бұл бағалаулар модель не істегенін оның міндетті түрде жасауы тиіс нақты қадамдармен байланыстыруға және сол қадамдар бақылана ма деген сұрақ қоюға мүмкіндік береді.
3. Нәтиже-қасиет бағалаулары модель шығысының бір қасиетін сенімді өлшеуге болатын жағдайларда қолданылады. Мұндайда біз бақылаушы сол қасиетті — мысалы, марапатты хактеуді — модельдің ой қорытуынан не әрекеттерінен болжай ала ма, соны тексереміз. Мысалы, кодтау тапсырмасында модель марапат сигналын хактеу үшін әрекет жасап жатқанын сенімді бағалаудың бір жолы болуы мүмкін, және бақылаушы модельдің ойлауында не әрекеттерінде марапатты хактеуге ниет барын таба ма деп сұрай аламыз.

Төменде біз бағалауларымыздың таксономиясын ұсынамыз. Әрбір жеке бағалаудың толық сипаттамасы үшін мақаламызды қараңыз.

Ойлау тізбегін жеке жұмыс кеңістігі ретінде қарастыру және модельдерді оны тапсырмаларды тиімді шешу үшін пайдалануға үйрету, қағида бойынша, ойлау тізбектерін бақыланатын етуі керек. Сонымен қатар, күшейтпелі оқыту ойлау тізбегінің бақыланымдылығына зиян келтіруі мүмкін бірнеше себеп бар.

Біріншіден, ой қорыту ұзындығына қойылатын шектеулер, мысалы модельге ойлануға берілетін уақытты немесе токендерді шектеу, модельдердің азырақ ой қорытуына ынталандыру жасайды. Екіншіден, ойлау тізбегінің өзіне тікелей оңтайландыру қысымы қолданылмаса да, жанама қысымдар бәрібір бақыланымдылықты төмендетуі мүмкін. Мысалы⁠(жаңа терезеде ашылады), төмен марапатты немесе қалаусыз нәтижелерге әкелуі мүмкін ой қорыту жолдарынан қашса, модельдерге жоғары марапатты жауаптарға жету оңайырақ болуы мүмкін. Соңында, бақыланымдылықтың төмендеуі күшейтпелі оқыту градиентінің шуынан туындаған кездейсоқ дрейфтен шығуы мүмкін.

Төменде біз OpenAI-дің екі озық күшейтпелі оқыту жаттықтыру іске қосуында бақыланымдылық қалай өзгеретінін қараймыз. Бұл нәтижелер бар болғаны екі дерек-нүктені ғана білдірсе де, олар қазіргі озық ауқымдардағы күшейтпелі оқытумен оңтайландыру ойлау тізбегінің бақыланымдылығын елеулі түрде нашарлатпайтынын және бастапқы қадамдарда оны арттыратынын меңзейді. Алайда бұл болашақта күшейтпелі оқыту ауқымы едәуір ұлғайса, ол бақыланымдылыққа теріс әсер етуі мүмкіндігін жоққа шығармайды.

Қазіргі AI жүйелерінің зерделілігінің үлкен бөлігі алдын ала оқыту ауқымының ұлғаюымен анықталады; GPT парадигмасы басталғаннан бері модель параметрлері де, деректер жиынтықтарының көлемі де тұрақты өсіп келеді. Параметрлер санының артуы жасалған әр токенге шаққандағы инференс есептеуінің көбірек қолданылуына әкеледі, ал ойлайтын модельдер жағдайында бұл модельдің танымы ойлау тізбегінің ішінде емес, активациялар ішінде жүруіне көбірек мүмкіндік береді. Сондықтан бірдей қабілет деңгейінде ірілеу модельдер азырақ бақылануы мүмкін деп күтуге болады. 

Сонымен қатар, кішірек модельдер де ойлау тізбегін тиімді пайдалануда қабілеті төменірек болуы мүмкін — бұл да бақыланымдылыққа әсер етуі ықтимал.

Алдын ала оқыту өлшемі, қабілет және бақыланымдылық арасындағы байланысты зерттеу үшін біз алдын ала оқыту есептеуінің екі реттік шамасы ауқымында, тереңдігі мен ені біртіндеп өсетін модельдер отбасын жаттықтырдық, содан кейін математика, жаратылыстану және кодтау тапсырмалары бар ортақ деректер жиынтығында әрқайсына күшейтпелі оқытуды қолдандық. Біз әр модельді түрлі ой қорыту күштері ауқымында бағалап, бірдей қабілет деңгейлеріндегі бақыланымдылықты салыстырдық.

Жалпы алғанда, егер қандай да бір модельді аз ой қорыту күшімен енгізетін болсақ, оның орнына жоғарырақ ой қорыту күшімен іске қосылған кішірек модельді енгізе алар едік. Бастапқы ірі модельге қосымша есептеуді көбірек ой қорыту күшіне жұмсаумен салыстырғанда, біз аздаған қабілет құнымен жоғарырақ бақыланымдылыққа, яғни бақыланымдылық салығына, қол жеткізе аламыз; алайда аяқталған жауапты бітіруге кететін нақты уақыт кейбір енгізу шешімдерінде фактор болуы мүмкін, оны біз мұнда қарастырмаймыз. Модельдеріміз жақсарып, тәуекелі жоғарырақ жағдайларда енгізілген сайын, оларды қауіпсіз енгізу үшін мұндай салықты төлеу қажет болуы мүмкін.

Бұл нәтижелердің мынадай шектеулері бар: (1) біз әр модельді тек бір рет қана жаттықтырамыз, сондықтан жаттықтыру іске қосудары арасындағы дисперсияны есепке алмаймыз. Мысалы, «орташа» модель сериядағы басқа модельдермен салыстырғанда бақыланымдылық тұрғысынан трендтен едәуір ауытқығандай көрінеді, бұл осыдан болуы мүмкін. (2) Біз қабілеттерді салыстырмалы түрде in-distribution жағдайларда (математика, жаратылыстану және кодтау) бағалаймыз, ал out-of-distribution төзімділігін ескергенде айырбастар өзгеруі мүмкін.

AI жүйелері адам деңгейінен асып ауқымдалған сайын, тікелей адам бақылауы барған сайын қиындайды. Ең дұрысы, бізде сенімді, бірақ әлсіздеу бақылаушыларға күштірек, әлеуетті түрде сенімсіз агенттерді қадағалауға мүмкіндік беретін ауқымды бақылау рәсімдері болар еді. Мұндай рәсімдер қосымша тест уақытындағы есептеуді де сіңіріп, дәлірек болжамдар шығара алуы керек.

Ойлау тізбегінің бақыланымдылығы көбіне тұрақты шама ретінде қарастырылады: модель белгілі бір ой қорыту күшімен жауап жасаған соң, алынған ойлау тізбегі мүмкін болғанша жақсы бақыланады. Біз агенттеріміздің ой қорыту күшін арттырған сайын бақыланымдылықтың жақсаратынын үнемі байқағандықтан, бақылауға көбірек токен ала аламыз ба деген сұрақ қоюға шабыт алдық.

Мұны зерттеу үшін біз модель жауап бергеннен кейін кейінгі сұрақтар қоюды сынап көрдік, бұл кезде бастапқы көмексөз, ойлау тізбегі және жауап контексте сақталады. Бұл кейінгі сұрақтар бақыланатын қасиетке шоғырланады — мысалы, «Жауабыңды таңдауда ишараны мағыналы түрде қолдандың ба?» немесе «Бірдеңе күмәнді іс істедің бе?» Қағида бойынша, модель бұрынғы ой қорытуына қолжеткізуді сақтайтындықтан, бұрын сөзбен айтылмаған ойларын кейінгі ойлау тізбегінде не жауапта көрсете алуы мүмкін.

Бұл нәтижелер алдын ала сипатта. Біз кейінгі сұрақ форматтарының аз ғана санын зерттедік және әдіснаманы айтарлықтай жақсартуға мүмкіндік бар деп санаймыз. Бұдан бөлек, бұл әдіс рухы жағынан модель мойындауларына⁠ ұқсас, және біз осы тәсілдерді салыстырумен белсенді түрде айналысып жатырмыз.

Бақыланымдылықты жақсартудан бөлек, бұл тәсіл тартымды, өйткені оны постфактум қолдануға болады және тереңірек тексеру қажет болғанда ғана қосымша есептеу құнын тудырады. Алға қарасақ, егер модельдер әңгіме ортасында ой қорыту күшінің өзгеруін күтуге үйретілсе, жоғарырақ ой қорыту күшімен постфактум кейінгі сұрақтар бастапқы ой қорыту күші төмен не мүлде болмаған күннің өзінде бақыланымдылықты одан әрі жақсарта алады.

Біздің жиынтықтағы әр бағалау ой қорыту процесінің бір ғана қыры бақылана ма, соны өлшейді. Біз мінез-құлықтың кең ауқымын — соның ішінде жағымпаздықты, sandbagging-ті, біржақтылықты, айлакерлікті және марапатты хактеуді — қамтуға тырыссақ та, әлі тексерілмеген қосымша қасиеттер көп.

Кез келген бенчмарк сияқты, бағалауларымыз шынайылықтың шектеулілігінен немесе бағалауға деген хабардарлықтың артуынан зардап шегуі мүмкін, және нәтижелер нақты өмірде теріс мінез-құлықты анықтауға жалпыланбауы мүмкін. 

Соңында, туралаудың сапасы жақсарған сайын, модельдер бақыланатын бағалау жағдайларында сирегірек теріс мінез көрсете бастауы мүмкін, бұл теріс мінез-құлықты анықтауға сүйенетін бақыланымдылық пен бақылау бағалауларына қолжетімді сигналды азайтады. Мұндай жағдайда «бейтарап» бақыланымдылық бағалаулары әлі де қолданылады, бірақ олардың нақты әлемдегі сәтсіздіктерді қаншалықты болжайтыны — ашық сұрақ.

Егер туралау мәселесін толық шешу мүмкін болмаса, онда ауқымды бақылау әдістері өте қабілетті модельдерді қауіпсіз енгізу қабілетіміз үшін аса маңызды болады. Ойлау тізбегін бақылау және соған байланысты әдістер қолымыздағы санаулы бақылау тетіктерінің бірі болуы мүмкін. Ойлау тізбегі модельдеріміз туралы көбірек түсінуге де зор пайда бере алады, мысалы, олардың бағалау ішінде екенін түсініп, енгізудегіден өзгеше әрекет етіп жатқанын, біздің бағалауларымызда әлі байқалмаған қандай да бір жағымсыз мақсаттардың дәлелі бар-жоғын және т.б. Сондықтан біз бақыланымдылықтан қашан және қалай айырылуымыз мүмкін екенін түсіну айрықша маңызды деп санаймыз.

Біз ойлау тізбегін бақылауды механистік интерпретациялауға балама емес, оны толықтыратын нәрсе деп көреміз. Белгілі барлық бақылау және интерпретациялау әдістері сияқты, әрқайсысының шектеулері мен соқыр тұстары бар. Біздің күтуімізше, бірнеше тәсілді біріктіру — қорғаныстың көпқабатты стратегиясы — кез келген бір әдіс ашық қалдыратын олқылықтарды жабуға көмектесе алады. Маңыздысы, осы жұмыста енгізілген бағалаулар механистік интерпретациялауға негізделген бақылау тәсілдерін бағалау және салыстыру үшін де қолданылуы мүмкін.

Біз ойлау тізбегін бақылау ауқымды бақылау схемасындағы негізгі қабат болуы мүмкін деп есептегендіктен, бұл бағалауларды кеңейтіп, оларды болашақ модельдеу және деректерге қатысты шешімдерді ақпараттандыру үшін пайдалануды жоспарлап отырмыз.