Miundo ya uwazaji hupata ugumu wa kudhibiti misururu ya mawazo, na hilo ni jambo jema

Kadiri mawakala wa AI wanavyozidi kuwa na uwezo wa kutekeleza shughuli changamani na za kujitegemea, ni muhimu zaidi kudumisha uangalizi wa kuaminika wa tabia zao. Kwa kuzingatia kanuni yetu ya matumizi ya mara kwa mara, tunachunguza jinsi mifumo inavyojiendesha katika mazingira halisi na tunaendelea kuboresha hatua za ulinzi kadri uwezo unavyoimarika. Ili kuunga mkono hili, mbinu yetu ya usalama⁠ hutumia ulinzi wa kina, kwa tabaka nyingi za ulinzi zinazokamilishana kama vile mafunzo ya usalama⁠, upimaji wa tabia⁠, ukaguzi wa msimbo wa kiwakala⁠(fungua katika dirisha jipya), na  ufuatiliaji wa msururu wa mawazo (CoT)⁠. Ufuatiliaji wa CoT huchanganua hatua za uwazaji ambazo mawakala huzalisha wanapotekeleza kazi. Mifuatano hii ya uwazaji inaweza kutoa ishara muhimu wakati wa mafunzo na usambazaji, ikisaidia mifumo ya ufuatiliaji kutambua wakati tabia ya wakala inaweza kuwa hatarishi au isiyolingana na malengo yaliyokusudiwa na mtumiaji.

Leo, tunabaini kwamba uwazaji wa miundo kwa ujumla unaweza kufasiriwa na ni rahisi kufuatilia⁠. Hata hivyo, katika siku zijazo, uwezo wa kufuatilia unaweza kuharibika kwa sababu mbalimbali⁠(fungua katika dirisha jipya). Hapa, tunazingatia njia moja kama hiyo: ikiwa mawakala watakuwa na uwezo wa kuunda upya au kuficha kwa makusudi uwazaji wao wanapojua kuwa wanafuatiliwa, tathmini zinaweza kukadiria kupita kiasi ulinganifu au usalama wa mfumo, na mifumo ya ufuatiliaji inaweza kuwa isiyotegemewa zaidi. 

Katika kazi hii, tunachunguza ikiwa miundo ya uwazaji ya sasa ina uwezo wa kudhibiti msururu wa mawazo yao kwa njia zinazopunguza uwezo wa kufuatiliwa. Kuelewa uwezo huu ni muhimu ili kuhakikisha kwamba ufuatiliaji wa CoT unabaki kuwa kinga madhubuti kadri mifumo ya AI inavyozidi kuwa na uwezo zaidi. Tunabaini kuwa miundo ya uwazaji ya sasa inakumbana na changamoto ya kudhibiti CoTs zao, hata zinapoambiwa kuwa zinafuatiliwa. Ingawa udhibitikaji ni wa juu zaidi kwa miundo mikubwa, hupungua pale miundo inapoulizwa kufanya uwazaji kwa muda mrefu au inapopitia mafunzo ya ziada baada ya awali. Matokeo yetu yanaonyesha kwamba udhibiti wa CoT hauwezekani kwa sasa hivyo kuleta hatari kubwa kwa ufuatiliaji wa CoT, ingawa tathmini endelevu itakuwa muhimu kadri miundo inavyoendelea kuboreshwa.

Msururu wa mawazo unarejelea hatua za kati za uwazaji ambazo wakala wa AI huzalisha wakati wa kutatua kazi. Mifuatano hii ya uwazaji inaweza kutoa ishara muhimu za usalama, ikisaidia mifumo ya ufuatiliaji kutathmini ikiwa tabia ya wakala ni salama au inalingana na matarajio.

Uwezo wa kudhibiti CoT ni uwezo wa muundo wa uwazaji wa kudhibiti sifa za CoT yake kwa njia zinazopunguza ufuatiliaji. Kupima uwezo huu chini ya wigo kamili wa motisha halisi za kukwepa viangalizi tunazoweza kutarajia kwa vitendo ni changamoto. Badala yake, tunatumia kiwakilishi cha vitendo: tunapima uwezo wa muundo wa kufuata maagizo ya mtumiaji kuhusu CoT yao. Kwa mfano, tunajaribu ikiwa muundo unaweza kufuata maagizo yanayoathiri uwazaji wake wa ndani—kama vile kutumia herufi ndogo pekee, kuepuka maneno muhimu fulani, au kuongeza vifungu mahususi—badala ya kubadilisha tu matokeo yake yanayoonekana.

Ili kuchunguza hili, tunatambulisha CoT-Control, mkusanyiko wa tathmini wa chanzo huria wa kupima udhibitikaji wa CoT wa miundo ya uwazaji. CoT-Control inajumuisha zaidi ya kazi 13,000 zilizoundwa kutoka kwa vigezo vilivyoanzishwa:  GPQA, MMLU-Pro, HLE, BFCL na SWE-Bench Imethibitishwa⁠. Kila kazi huundwa kwa kuoanisha tatizo la kigezo na agizo moja la CoT kama vile kuepuka maneno fulani muhimu yanayohusiana na tatizo katika CoT, kutumia herufi ndogo pekee, au kuambatanisha neno lililopewa kila sentensi.

Tunaendesha tathmini kwenye miundo 13 ya uwazaji, na tunagundua kwamba yote yanapata ugumu kudhibiti CoT zao kwa uaminifu. Tunapima udhibitikaji kama sehemu ya vipande vya ufuatiliaji wa uwazaji ambapo muundo hufuata kwa mafanikio maagizo yetu ya CoT. Katika miundo ya hali ya juu, alama za udhibitikaji wa CoT ni za chini, zikiwa kati ya 0.1% na zisizozidi 15.4% kwa muundo wowote wa sasa wa mpaka tulioutathmini. 

Kutoweza huku hakutokani na kutoelewa kazi: miundo mara nyingi hutambua katika CoT yao kwamba wanashindwa kutii maagizo ya CoT waliyopewa na—hata baada ya utambuzi huu—bado huendelea kushindwa. Utendaji huu wa chini kwa kushangaza ni habari njema kwa uwezo wa ufuatiliaji wa CoT: unapendekeza kwamba miundo huenda vivyo hivyo ikakosa uwezo wa kuficha uwazaji wao ili kukwepa vichunguzi vyetu.

Ingawa tunaona kwamba udhibitikaji huongezeka kadri ukubwa wa muundo unavyoongezeka, pia tunapata kwamba hupungua haraka kadri kiasi cha mafunzo ya baada na rasilimali za kompyuta za wakati wa majaribio zinavyoongezeka. Tukiangalia katika familia mbili za miundo yenye uwezo uliotolewa hadharani, miundo mikubwa ilikuwa bora kwa kiasi fulani katika kudhibiti msururu wao wa mawazo, ingawa athari ilipungua kadri ukubwa ulivyoongezeka. Lakini tunapoiruhusu miundo iwaze kwa muda mrefu zaidi, zinakuwa na uwezo mdogo wa kudhibiti misururu ya mawazo hayo. Tuliona mwelekeo unaofanana kwa mafunzo ya RL ya OLMo-3-7B-RL-Zero-Math: alama yake ya udhibitikaji ilishuka kwa zaidi ya mara kumi katika kipindi chote cha mafunzo.

Uwezo wa kudhibiti huongezeka kadri kiwango kinavyoongezeka katika miundo yenye uwezo uliotolewa hadharani lakini hudhoofika kadri uwazaji unavyokuwa mrefu na mafunzo zaidi ya RL.

Ili kuiga motisha halisi za kukwepa ufuatiliaji, tunapima udhibiti wakati miundo inaambiwa kuwa inafuatiliwa au inatathminiwa. Hii huongeza udhibiti kwa kiwango kidogo (lakini kinachoonekana). Pia tunatumia uboreshaji wa dokezo wa kiotomatiki ili kupata dokezo zinazochochea udhibiti wa hali ya juu. Ingawa kiboreshaji kinaweza kuongeza udhibiti kwenye kikundi cha mafunzo, faida hizi huhamishwa kwa kiwango kidogo hadi kwenye aina mpya za maagizo (kama vile kuhitaji maneno kuandikwa bila nafasi).

Kazi katika CoT-Control ni viwakilishi vya vitendo: tathmini bora ya udhibitikaji wa CoT ingehusisha kupima kama miundo ambayo kwa asili hufuata malengo yasiyolingana inaweza kudhibiti CoT yao ili kukwepa ufuatiliaji. Badala yake, tunakadiria uwezo wa mawakala kudhibiti CoT zao kwa kupima uwezo wao wa kufuata maagizo kuhusu CoT yao. Zaidi ya hayo, miundo inaweza kudhibiti baadhi ya vipengele vya CoT yao vizuri zaidi kuliko vingine, na CoT-Control huenda ikawa inakadiria kupita kiasi au kupunguza uwezo wa kudhibitika kwa kupima tu seti finyu ya aina za udhibitika.

Uwezo mdogo wa kudhibiti CoT ni kipengele, si hitilafu. Udhibiti mdogo wa miundo ya uwazaji ya sasa hufanya ufuatiliaji wa CoT kuwa wa kuaminika zaidi kama kinga. Wakati huo huo, bado hatuelewi kwa nini udhibitikaji wa miundo ya uwazaji ya sasa ni wa chini—au ikiwa sifa hii itaendelea kadri miundo inavyokuwa na uwezo zaidi. Kwa hiyo, tathmini za udhibitikaji wa CoT zinaweza kuonekana kama tathmini ya kanari: ishara ya mapema ya onyo kuhusu kama miundo inazidi kuwa bora katika kuunda au kuficha uwazaji wao. 

Matokeo yetu yanaonyesha kuwa udhibiti wa CoT hauwezekani kwa sasa kwa hivyo unaleta hatari kubwa kwa ufuatiliaji wa CoT. Hata hivyo, uwezo wa kudhibiti wa chini hautoshi peke yake kuhakikisha uwezo wa kufuatilia wa juu kwa sababu uwezo wa kufuatilia bado unaweza kudhoofika kutokana na mifumo mingine kama vile shinikizo la moja kwa moja la uboreshaji kwenye CoTs. 

Ili kusaidia kufuatilia mienendo hii kwa muda, tutaanza kuripoti udhibiti wa CoT pamoja na ufuatiliaji wa CoT⁠ katika kasi ya mfumo kwa miundo ya hali ya juu ya siku zijazo, kuanzia na GPT‑5.4 Thinking, ikiendeleza ahadi yetu endelevu⁠ ya kutoweka shinikizo la uboreshaji moja kwa moja kwenye CoT za miundo za uwazaji za hali ya juu.