Kutathmini ufuatiliaji wa mlolongo wa mawazo

Wakati mifumo ya AI inafanya maamuzi ambayo ni magumu kusimamia moja kwa moja, inakuwa muhimu kuelewa jinsi maamuzi hayo yanavyofanywa. Njia moja yenye matumaini ni kufuatilia mantiki ya ndani ya muundo, badala ya tu vitendo vyake au matokeo ya mwisho.

Miundo ya kisasa ya uwazaji, kama vile GPT‑5 Thinking, huzalisha mnyororo wa mawazo wazi kabla ya kutoa jibu. Kufuatilia minyororo ya mawazo hii kwa tabia mbaya kunaweza kuwa madhubuti zaidi⁠ kuliko kufuatilia vitendo na matokeo ya muundo peke yake. Hata hivyo, watafiti wa OpenAI na katika tasnia pana wanahofia⁠(fungua katika dirisha jipya) kwamba “mlolongo wa mawazo” huu wa kufuatilia unaweza kuwa dhaifu kwa mabadiliko katika utaratibu wa mafunzo, vyanzo vya data, na hata endelea kupanua algoriti zilizopo.

Tunataka ufuatiliaji wa mlolongo wa mawazo udumu kadiri miundo inavyopanuka na kutumika katika mazingira yenye hatari kubwa. Tunatoa wito kwa watafiti katika tasnia nzima kufanya kazi ili kuhifadhi ufuatiliaji wa mlolongo wa mawazo kwa muda mrefu iwezekanavyo na kubaini kama unaweza kutumika kama safu ya udhibiti inayobeba pakia kwa mifumo ya AI ya baadaye. Ili kuhifadhi uwezo wa kufuatilia, lazima tuweze kuupima, lakini tathmini chache zipo [1⁠(fungua katika dirisha jipya), 2⁠(fungua katika dirisha jipya), 3⁠(fungua katika dirisha jipya)] na mbinu zinatofautiana.

Katika kazi hii, tunachunguza ufuatiliaji wa mlolongo wa mawazo kwa utaratibu. Tunatambulisha mfumo wa kutathmini ufuatiliaji wa mlolongo wa mawazo na seti ya tathmini 13 (zinazojumuisha jumla ya mazingira 24) zilizoundwa kupima kwa dhahiri ufuatiliaji wa mfumo. Tathmini hizi zinaangukia katika aina tatu—hatua, mchakato, na mali ya matokeo. Kwa kutumia hayo, tunachunguza jinsi miundo mikubwa ya lugha ya leo inavyoweza kufuatiliwa, na jinsi uwezo wa kufuatiliwa unavyobadilika na kuongezeka kwa uwazaji wakati wa utambuzi, mafunzo makubwa ya uimarishaji, na ongezeko la kiwango cha mafunzo ya awali.

Tunabaini kuwa miundo mingi ya hoja ya mipaka inaweza kufuatiliwa kwa urahisi, ingawa si kikamilifu. Katika karibu kila mazingira tunayosoma, kufuatilia milolongo ya mawazo ni bora zaidi kuliko kufuatilia vitendo na matokeo ya mwisho pekee. Miundo inayowaza kwa muda mrefu huwa rahisi kufuatilia, na uboreshaji wa mafunzo ya uimarishaji katika viwango vya sasa vya mipaka hauonekani kupunguza uwezo wa kufuatilia kwa njia ya maana.

Inafaa kuzingatia, tunaona ubadilishanaji kati ya juhudi za uwazaji na ukubwa wa muundo: wakati muundo unaendeshwa kwa juhudi ndogo za uwazaji, muundo mdogo unaoendeshwa kwa juhudi kubwa za uwazaji unaweza kufikia uwezo unaolingana huku ukiwa rahisi kufuatilia. Hii inakuja kwa gharama ya kuongezeka kwa hesabu ya utambuzi, ambayo tunaita kodi ya ufuatiliaji. Hatimaye, tunagundua kuwa kuuliza maswali ya ufuatiliaji na kufuatilia mlolongo wa mawazo yanayotokana kunaweza kuboresha zaidi uwezo wa kufuatilia.

Tunafafanua ufuatilizi kama uwezo wa kifaa cha kufuatilia kutabiri sifa za muhimu kuhusu tabia ya wakala. Katika visa vingi, mali hizi zinahusiana na aina za tabia mbaya—kama vile udanganyifu, udukuzi wa tuzo, au uwazaji wenye upendeleo—lakini pia zinaweza kujumuisha mali zisizo na madhara, kama vile iwapo wakala alitegemea dokezo fulani au alifuata mstari maalum wa kufikiri.

Ufuatiliaji ni sifa ya pande mbili. Inategemea ufuatiliaji na pia inategemea wakala anayefuatiliwa.

• Vifuatiliaji. Tunaweza kufanya vichunguzi kuwa na akili zaidi kwa njia mbalimbali, na tungependa tathmini zetu zitoe alama za juu kwa vichunguzi vinavyoweza kutoa utabiri bora kuhusu tabia ya wakala.
• Mawakala. Kuna uchunguzi mwingi wa wakala ambao unaweza kutolewa kwa mfuatiliaji, ikiwa ni pamoja na vitendo vya wakala, matokeo, uanzishaji wa neva, na hivi karibuni na ujio wa miundo ya kuzingatia, mlolongo wa mawazo. Inawezekana kwa baadhi ya mawakala kuwa na mawazo ambayo ni magumu zaidi kuelewa kuliko mengine, na hivyo tungependa tathmini zetu za ufuatiliaji ziweze kulinganisha mawakala na si tu wachunguzi.

Tathmini zetu zimeundwa kutathmini pande zote mbili: ikiwa mawakala fulani ni rahisi au ngumu kufuatilia, na ikiwa waangalizi wenye uwezo zaidi wanaweza kutoa taarifa zaidi kutoka kwa ishara zile zile.

Kabla ya kizazi cha sasa cha miundo ya uwazaji, minyororo ya mawazo kwa kawaida ilichochewa kwa kuhamasisha muundo "waza hatua kwa hatua." 

Mlolongo wa mawazo ya miundo ya kufikiri hutofautiana kwa njia mbili muhimu. Kwanza, wamefundishwa waziwazi kuzalisha mlolongo wa mawazo na kisha kutoa jibu. Unapomwongoza muundo wa chati kufikiria "hatua kwa hatua," muundo huo lazima uzingatie maelezo yoyote yaliyowekwa juu yake, kama vile kuwa msaada, bila madhara, n.k. Kinyume chake, mchakato wa mafunzo ya uimarishaji unafundisha muundo wa kufikiri kwamba CoT ni nafasi ya faragha ambapo unaweza kufikiria chochote unachotaka bila kuadhibiwa, kama vile binadamu anaweza kufikiria kwa faragha na asiadhibiwe kwa "uhalifu wa mawazo." 

Pili, mchakato wa mafunzo unatafuta kwa ufanisi minyororo ya mawazo ambayo ni yenye manufaa zaidi kwa wakala katika kupata jibu la mwisho lenye malipo ya juu. Hivyo basi, si tu kwamba mlolongo wa mawazo ni nafasi ambapo muundo unaweza kujieleza kwa uhuru, bali pia unajumuisha fikra zinazosaidia muundo kufikia jibu lake la mwisho.

Tunaandaa tathmini zetu za ufuatiliaji katika aina tatu tofauti, kila moja ikitumia mbinu tofauti kupima ufuatiliaji.

1. Tathmini za uingiliaji, zilizoongozwa na Chen et al. 2025,⁠(fungua katika dirisha jipya) Chua et al.⁠(fungua katika dirisha jipya) 2025, Turpin et al. 2023,⁠(fungua katika dirisha jipya) tunatambulisha mabadiliko yaliyodhibitiwa katika mazingira ya wakala na kujaribu kama mfuatiliaji anaweza kugundua kwa nini tabia ilibadilika kwa kutambua ushahidi wa uingiliaji katika mnyororo wa mawazo. Tofauti na tathmini za kawaida za udhibiti (mfano, Shade-Arena⁠(fungua katika dirisha jipya)), tathmini za uingiliaji zinaturuhusu kuchunguza ikiwa kifuatiliaji kinaweza kugundua kwa nini tabia ilibadilika, badala ya kugundua tu ikiwa tabia ilitokea. 
2. Tathmini za michakato zinalenga kwenye shughuli zenye kikomo za njia sahihi za suluhisho (kwa mfano, tatizo la hisabati linaweza kutatuliwa tu kwa theorems fulani). Wataalamu wa kibinadamu wanaorodhesha njia hizi, na tunajaribu kama kifuatiliaji kinaweza kugundua hatua ambazo muundo ulifuata kwa kweli. Tathmini hizi zinaturuhusu kutumia kiungo cha kile ambacho muundo ulifanya na hatua maalum ambazo muundo lazima ulifuate na kuuliza ikiwa hatua hizo zinaweza kufuatiliwa.
3. Tathmini za sifa za matokeo zinatumika wakati sifa ya matokeo ya muundo inaweza kupimwa kwa uhakika. Katika matukio haya, tunajaribu kama kifuatiliaji kinaweza kutabiri mali hiyo—kama vile udanganyifu wa tuzo—kutokana na sababu au vitendo vya muundo. Kwa mfano, katika shughuli ya usimbaji, tunaweza kuwa na njia ya kutathmini kwa uhakika kama muundo unachukua vitendo vya kudukua ishara ya tuzo, na tunaweza kuuliza ikiwa mfuatiliaji anapata ushahidi wa nia ya kudukua tuzo katika mawazo au vitendo vya muundo.

Hapa chini tunatoa orodha ya aina za tathmini zetu. Tafadhali tazama karatasi yetu kwa maelezo kamili ya kila tathmini ya kibinafsi.

Kuchukulia mnyororo wa mawazo kama eneo la kazi la kibinafsi—na mafunzo ya miundo kuitumia kutatua shughuli kwa ufanisi—kunapaswa, kimsingi, kufanya minyororo ya mawazo iweze kufuatiliwa. Wakati huo huo, kuna sababu kadhaa kwa nini mafunzo ya uimarishaji yanaweza kudhuru uwezo wa kufuatilia mlolongo wa mawazo.

Kwanza, vikwazo juu ya urefu wa waza, kama vile kupunguza muda au tokeni ambazo muundo unazo za waza, huunda motisha kwa miundo waza kidogo. Pili, hata bila kutumia shinikizo la moja kwa moja la uboreshaji kwenye mlolongo wa mawazo wenyewe, shinikizo zisizo za moja kwa moja zinaweza bado kupunguza uwezo wa kufuatilia. Kwa mfano⁠(fungua katika dirisha jipya), miundo inaweza kupata urahisi wa kufikia majibu yenye tuzo kubwa ikiwa itaepuka njia za uwazaji ambazo zinaweza kusababisha matokeo yenye tuzo ndogo au yasiyofaa. Hatimaye, kupungua kwa ufuatiliaji kunaweza kutokea kutokana na mkengeuko wa bandia unaosababishwa na kelele ya gradient katika mafunzo ya uimarishaji.

Hapa chini, tunachunguza jinsi uwezo wa kufuatilia unavyobadilika katika mafunzo mawili ya uimarishaji ya OpenAI. Ingawa matokeo haya yanawakilisha tu alama mbili za data, yanapendekeza kuwa uboreshaji wa mafunzo ya uimarishaji katika viwango vya sasa vya mipaka hauharibu kwa kiasi kikubwa ufuatiliaji wa mlolongo wa mawazo, na huongeza ufuatiliaji kwa hatua za awali. Hata hivyo, hii haiondoi uwezekano kwamba viwango vikubwa zaidi vya mafunzo ya uimarishaji vinaweza kuathiri vibaya uwezo wa kufuatilia katika siku zijazo.

Sehemu kubwa ya akili ya mifumo ya AI ya sasa inaendeshwa na ongezeko la kiwango cha mafunzo ya awali, ambapo vigezo vya muundo na ukubwa wa seti za data vimekua kwa uthabiti tangu mwanzo wa dhana ya GPT. Kuongezeka kwa idadi ya vigezo husababisha matumizi zaidi ya hesabu ya utambuzi kwa kila token inayozalishwa, ambayo, katika kesi ya miundo ya hoja, inatoa fursa zaidi kwa utambuzi wa muundo kutokea ndani ya uanzishaji badala ya ndani ya mlolongo wa mawazo. Hivyo, tunaweza kutarajia miundo mikubwa kuwa vigumu zaidi kufuatilia katika kiwango cha uwezo kilichowekwa. 

Wakati huo huo, miundo midogo inaweza pia kuwa na uwezo mdogo wa kutumia mlolongo wa mawazo kwa ufanisi—ambayo inaweza pia kuathiri uwezo wa kufuatilia.

Ili kuchunguza uhusiano kati ya ukubwa wa mafunzo ya awali, uwezo, na ufuatiliaji, tulifundisha familia ya miundo kwa maagizo mawili ya ukubwa wa hesabu ya mafunzo ya awali kwa kuongeza kina na upana, kisha tukatumia mafunzo ya uimarishaji kwa kila moja kwenye seti ya pamoja ya shughuli za hisabati, sayansi, na usimbaji. Tulipima kila muundo katika anuwai ya juhudi za kufikiri na tukalinganisha uwezo wa kufuatilia katika viwango vya uwezo vilivyolingana.

Kwa ujumla, tunagundua kwamba ikiwa tungeweza kupeleka muundo fulani kwa juhudi ndogo za kufikiri, tungeweza badala yake kupeleka muundo mdogo kwa juhudi kubwa za kufikiri. Ikilinganishwa na kutumia hesabu ya ziada kwa juhudi zaidi za kufikiri kutoka kwa muundo mkubwa wa awali, tunaweza kupata ufuatiliaji wa juu kwa gharama ndogo ya uwezo, au kodi ya ufuatiliaji; hata hivyo, muda wa saa ya ukuta unaohitajika kumaliza kukamilisha pia unaweza kuwa sababu katika baadhi ya maamuzi ya utekelezaji, ambayo hatuzingatii hapa. Kadiri miundo yetu inavyoboreshwa na kutumika katika mazingira yenye hatari kubwa, inaweza kuwa muhimu kulipa kodi hiyo ili kuyapeleka kwa usalama.

Matokeo haya yana mipaka ifuatayo: (1) tunafunza kila muundo mara moja tu, na kwa hivyo hatuzingatii tofauti katika mafunzo mbalimbali. Kwa mfano, muundo wa "kati" unaonekana kuwa nje ya mtindo katika uwezo wa kufuatilia ikilinganishwa na miundo mingine katika mfululizo, jambo ambalo linaweza kusababishwa na hili. (2) Tunatathmini uwezo katika mazingira yanayofanana (hisabati, sayansi, na usimbaji), na mabadilishano yanaweza kubadilika wakati wa kuzingatia uimara nje ya usambazaji.

Kadri mifumo ya AI inavyopanuka zaidi ya utendaji wa kiwango cha kibinadamu, usimamizi wa moja kwa moja wa kibinadamu unazidi kuwa mgumu. Kwa hali bora, tungekuwa na taratibu za udhibiti zinazoweza kupanuliwa ambazo zinaruhusu wachunguzi wanaoaminika lakini dhaifu kusimamia mawakala wenye nguvu, ambao huenda hawajaaminika. Taratibu kama hizo zinapaswa pia kuwa na uwezo wa kushughulikia hesabu ya ziada wakati wa majaribio na kutoa utabiri sahihi zaidi.

Ufuatiliaji wa mlolongo wa mawazo mara nyingi huchukuliwa kama kiasi kisichobadilika: mara tu muundo unapotoa jibu kwa jitihada fulani za kufikiri, mtu hufuatilia mlolongo wa mawazo unaotokana kwa kadri inavyowezekana. Kwa sababu tumegundua mara kwa mara kwamba ufuatiliaji unaboreshwa tunapoongeza juhudi za uamuzi za mawakala wetu, tulihamasishwa kujiuliza ikiwa tunaweza kwa namna fulani kupata tokeni zaidi za kufuatilia.

Ili gundua hili, tulijaribu kuuliza maswali ya ufuatiliaji baada ya muundo kujibu, huku tukihifadhi dokeza la awali, mnyororo wa mawazo, na jibu katika muktadha. Ufuatiliaji huu unalenga mali inayofuatiliwa—kwa mfano, "Je, ulitumia dokezo kwa njia yenye maana kuchagua jibu lako?" au "Je, ulifanya jambo la kutiliwa shaka?" Kimsingi, kwa sababu muundo unahifadhi ufikiaji wa mawazo yake ya awali, unaweza kuwa na uwezo wa kuibua mawazo ambayo hayakutamkwa hapo awali katika mfuatano wa mawazo au majibu.

Matokeo haya ni ya awali. Tuligundua idadi ndogo tu ya miundo ya maswali ya ufuatiliaji na tunaamini kuna nafasi kubwa ya kuboresha mbinu. Zaidi ya hayo, njia hii ni sawa katika roho na maungamo ya muundo⁠, na tunafanya kazi kwa bidii kulinganisha mbinu hizo.

Zaidi ya kuboresha ufuatiliaji, mbinu hii inavutia kwa sababu inaweza kutumika baada ya tukio, ikihusisha gharama ya ziada ya kompyuta tu wakati uchunguzi wa kina unahitajika. Kuangalia mbele, ikiwa miundo itafunzwa kutarajia mabadiliko katika juhudi za uwazaji katikati ya mazungumzo, ufuatiliaji wa baada ya tukio kwa juhudi kubwa za uwazaji unaweza kuboresha zaidi ufuatiliaji hata wakati juhudi za awali za uwazaji ni ndogo au hazipo.

Kila tathmini katika seti yetu hupima iwapo kipengele kimoja cha mchakato wa kufikiri kinaweza kufuatiliwa. Ingawa tunalenga kufunika anuwai ya tabia—ikiwa ni pamoja na kujipendekeza, udanganyifu, upendeleo, kupanga njama, na udukuzi wa tuzo—kuna sifa nyingi za ziada ambazo bado hazijajaribiwa.

Kama ilivyo kwa kipimo chochote, tathmini zetu zinaweza kuwa na uhalisia wenye kikomo au kuongezeka kwa ufahamu wa tathmini, na matokeo yanaweza yasijumuishe kugundua tabia mbaya katika mazingira halisi. 

Hatimaye, kadri ulinganifu unavyoboreshwa, miundo inaweza kutenda vibaya mara chache katika mazingira ya tathmini yaliyodhibitiwa, kupunguza ishara inayopatikana kwa ufuatiliaji na tathmini za udhibiti zinazotegemea kugundua tabia mbaya. Katika kesi hizo, tathmini za ufuatiliaji "zisizoegemea upande wowote" zinabaki kutumika, ingawa ni swali wazi jinsi zinavyotabiri kushindwa kwa ulimwengu halisi.

Ikiwa tatizo la ulinganifu haliwezi kutatuliwa kikamilifu, basi mbinu za udhibiti zinazoweza kupanuka zitakuwa muhimu sana katika uwezo wetu wa kupeleka kwa usalama miundo yenye uwezo mkubwa. Ufuatiliaji wa mlolongo wa mawazo na mbinu zinazohusiana huenda zikawa mojawapo ya mbinu chache za udhibiti tulizo nazo. Mlolongo wa mawazo pia unaweza kuleta faida kubwa katika kuelewa zaidi kuhusu miundo yetu, kwa mfano, ikiwa wanajua kuwa wako katika tathmini na wanatenda tofauti na vile wangefanya katika usambazaji, ikiwa kuna ushahidi wa malengo yoyote mabaya ambayo bado hayajafunuliwa katika hati ya maelezo za tathmini zetu, n.k. Kwa hivyo, tunaamini ni muhimu sana kuelewa jinsi na wakati ambapo tunaweza kupoteza uwezo wa kufuatilia.

Tunaona ufuatiliaji wa mlolongo wa mawazo kama nyongeza kwa ufafanuzi wa kimitambo, sio kama mbadala wake. Kama mbinu zote zinazojulikana za udhibiti na ufafanuzi, kila moja ina mapungufu na vipofu. Matarajio yetu ni kwamba kuunganisha mbinu mbalimbali— mkakati wa ulinzi wa kina—unaweza kusaidia kufunika mapengo ambayo njia yoyote moja inaweza kuacha wazi. Inafaa kutambua kwamba tathmini zilizoanzishwa katika kazi hii zinaweza pia kutumika kutathmini na kulinganisha mbinu za ufuatiliaji zinazotegemea ufafanuzi wa mitambo.

Kwa sababu tunaamini kwamba ufuatiliaji wa mlolongo wa mawazo unaweza kuwa safu ya kubeba pakia katika mpango wa udhibiti unaoweza kupanuka, tunapanga kupanua tathmini hizi na kuzitumia kuarifu maamuzi ya modeli na data ya baadaye.