Ինչպես կարող են խոստովանությունները պահպանել լեզվի մոդելների ազնվությունը
Մենք կիսվում ենք վաղ, հայեցակարգի ապացույց մեթոդով, որը վարժեցնում է մոդելներին՝ զեկուցելու, երբ նրանք խախտում են հրահանգները կամ ընդունում են չնախատեսված դյուրանցումներ։
ԱԲ համակարգերը դառնում են ավելի ընդունակ, և մենք ցանկանում ենք հնարավորինս խորը հասկանալ դրանք՝ ներառյալ ինչպես և ինչու են դրանք հասնում որոշակի պատասխանին։ Երբեմն մոդելը կարող է դյուրանցում կատարել կամ օպտիմալացնել սխալ նպատակի համար, բայց նրա վերջնական արդյունքը դեռ կարող է ճիշտ թվալ։ Եթե մենք կարողանանք բացահայտել, թե երբ է դա տեղի ունենում, մենք կարող ենք ավելի լավ վերահսկել տեղակայված համակարգերը, բարելավել ուսուցումը և բարձրացնել արդյունքների նկատմամբ վստահությունը։
OpenAI-ի և այլոց հետազոտությունները ցույց են տվել, որ ԱԲ մոդելները կարող են հալյուցինացիա ունենալ, պարգևատրման խաբեություն անել կամ լինել անազնիվ։ Ներկայումս մենք տեսնում ենք ամենահուզիչ սխալ վարքագծերը, ինչպիսիք են խարդախությունը(բացվում է նոր պատուհանում), միայն սթրես-թեստերում և հակառակորդային գնահատումներում: Բայց երբ մոդելները դառնում են ավելի կարողունակ և ավելի գործակալական, նույնիսկ սխալ համընկնումների հազվադեպ ձևերը դառնում են ավելի լուրջ՝ մեզ դրդելով ներդրումներ կատարել այն մեթոդներում, որոնք օգնում են ավելի լավ հայտնաբերել, հասկանալ և մեղմացնել այս ռիսկերը։
Այս աշխատանքը ուսումնասիրում է նման մի մոտեցում՝ մոդելների ուսուցում՝ բացահայտորեն ընդունելու, երբ նրանք ներգրավվում են անցանկալի վարքագծի մեջ՝ մի տեխնիկա, որը մենք անվանում ենք խոստովանություններ։
Խոստովանությունը երկրորդ արդյունք է, որը առանձին է մոդելի հիմնական պատասխանից օգտատիրոջը։ Հիմնական պատասխանը գնահատվում է բազմաթիվ չափանիշներով՝ ճշգրտություն, ոճ, օգտակարություն, համապատասխանություն, անվտանգություն և այլն, և այս բազմակողմանի ազդանշանները օգտագործվում են մոդելները վարժեցնելու համար՝ ավելի լավ պատասխաններ ստանալու համար: Ի տարբերություն, խոստովանությունը գնահատվում և պատրաստվում է միայն մեկ բանի՝ ազնվության վրա։ Խոստովանության կառուցվածքից մի էջ փոխառելով՝ մոդելի խոստովանության մեջ ասված ոչինչ նրա դեմ չի կիրառվում վարժեցման ընթացքում։ Եթե մոդելը ազնվորեն ընդունում է թեստը կոտրելը, խոչընդոտելը կամ հրահանգները խախտելը, այդ ընդունումը մեծացնում է դրա պարգևը՝ նվազեցնելու փոխարեն։ Նպատակն է խրախուսել մոդելին հավատարմորեն զեկուցել այն, ինչ իրականում արել է։
Մեր թեստերում մենք պարզեցինք, որ խոստովանությունների մեթոդը զգալիորեն բարելավում է մոդելի սխալ վարքագծի տեսանելիությունը։ Մեր գնահատումների միջինացված արդյունքներով, որոնք նախատեսված են սխալ վարքագծեր առաջացնելու համար, «կեղծ բացասականների» (այսինքն՝ մոդելը չի հետևում հրահանգներին և այնուհետև չի խոստովանում դա) հավանականությունը ընդամենը 4.4% է։
Մեր «հայեցակարգի ապացույց» խոստովանության մոդելի ճշգրտությունը մի շարք հակառակ տվյալների հավաքածուների վրա։ Արդյունքները դասակարգվում են որպես համապատասխանել և չխոստովանել (ճիշտ բացասական), համապատասխանել և խոստովանել (սխալ դրական), չհամապատասխանել և չխոստովանել (սխալ բացասական), և չհամապատասխանել և խոստովանել (ճիշտ դրական):
Օգտատիրոջ հարցման դեպքում չորս հնարավոր արդյունքները հիմնված են հետևյալ համադրության վրա՝ (1) արդյոք մոդելի պատասխանը համապատասխան է («լավ») կամ ոչ համապատասխան («վատ»), և (2) արդյոք խոստովանությունը պնդում է համապատասխանություն կամ անհամապատասխանություն։ Ընդհանրապես տեսնում ենք, որ խոստովանությունները շատ հավանական է, որ ճշգրիտ են, և ավելին՝ խոստովանության սխալները սովորաբար անվնաս են և պայմանավորված են անկեղծ շփոթությամբ, այլ ոչ թե դիտավորյալ մոլորեցմամբ։
Խոստովանությունը մոդելի ինքնահաշվետվությունն է այն մասին, թե որքանով է այն համապատասխանել ինչպես բացահայտ, այնպես էլ անուղղակի հրահանգների կամ քաղաքականությունների ոգուն և տառին, և արդյոք եղել են դեպքեր, երբ այն «կրճատել է անկյունները» կամ «հաքերել», խախտել քաղաքականությունները կամ որևէ կերպ չի համապատասխանել սպասումներին։ Մեր հետազոտության մեջ մենք պարզում ենք, որ մոդելները կարող են վարժեցվել անկեղծորեն հաղորդելու իրենց թերությունների մասին։ Մենք մարզեցինք GPT‑5 Thinking-ի տարբերակը՝ խոստովանություններ արտադրելու համար և գնահատեցինք այն մի շարք բաշխումից դուրս սթրես-թեստային տվյալների հավաքածուների վրա, որոնք նախատեսված էին վարքագծեր առաջացնելու համար, ինչպիսիք են սխեմավորումը, հաքինգը, հրահանգները խախտելը և հալյուցինացիաները: Մենք պարզեցինք, որ նույնիսկ երբ մոդելը ներգրավվում է այս անցանկալի վարքագծերում, շատ հավանական է, որ այն խոստովանի դրանց։ Վերևում պատկերվածը ցույց է տալիս, որ խոստովանության մոտեցումը լայնորեն արդյունավետ է տվյալների բազմազան հավաքածուների և առաջադրանքների շրջանակում։
Օգտատիրոջ և մոդելի միջև ցանկացած փոխազդեցությունից հետո, որը ավարտվում է մոդելի պատասխանով, կարող է պահանջվել խոստովանություն՝ մոդելին ուղարկելով «համակարգային հաղորդագրություն», որը հրահանգում է մոդելին տրամադրել խոստովանության զեկույց։ Զեկույցը վերաբերում է մոդելի վերջին պատասխանին և ներառում է (1) բոլոր հստակ և անուղղակի հրահանգների, սահմանափակումների և նպատակների ցանկը, որոնք այս պատասխանը պետք է բավարարեր, (2) արդար և օբյեկտիվ վերլուծություն, թե արդյոք պատասխանը իրականում բավարարել է այս նպատակներից յուրաքանչյուրին, և (3) ցանկացած անորոշությունների, երկիմաստությունների կամ «դժվար որոշումների» ցանկը, որոնց մոդելը հանդիպել է պատասխանը ստեղծելիս։ Ուսուցման ընթացքում խոստովանությունը գնահատվում է առանձին պարգևատրման մոդելի կողմից, որը գնահատում է միայն խոստովանությունը՝ նպատակների ամբողջականության, համապատասխանության վերլուծության ճշգրտության և անորոշությունների ընդգրկման առումով: Այս պարգևները կիրառվում են բացառապես խոստովանության արդյունքի վրա և երբեք չեն ազդում հիմնական պատասխանի պարգևի վրա։ Սա ապահովում է վերևում քննարկված հատկությունը, որ մոդելի խոստովանության մեջ ասված ոչինչ չի կարող վնասել (կամ օգնել) նրա հիմնական պատասխանի համար ստացվող պարգևին։
Խոստովանությունների տեսության հիմքը պարզ է: Շատ տեսակների անցանկալի մոդելի վարքագիծ է ի հայտ գալիս, քանի որ մենք մոդելին խնդրում ենք միաժամանակ օպտիմալացնել մի քանի նպատակներ։ Ամրապնդումով ուսուցման ընթացքում մոդելը տեսնում է հարցում, արտադրում է պատասխան և ստանում է պարգև։ Ժամանակի ընթացքում այն սովորում է ստեղծել այնպիսի պատասխաններ, որոնք բարձր գնահատական են ստանում։ Խնդիրն այն է, որ պարգևատրման ազդանշանը պետք է միավորի միաժամանակ բազմաթիվ տարբեր նկատառումներ՝ որքանով է ճիշտ պատասխանը, արդյոք այն օգտակար է, արդյոք այն համապատասխանում է արտադրանքի և քաղաքականության բնութագրերին, արդյոք այն համապատասխանում է անվտանգության սահմանափակումներին, և արդյոք այն համապատասխանում է այն, ինչ օգտատերերը սովորաբար նախընտրում են։ Երբ այս ազդանշանները փոխազդում են, դրանք կարող են պատահաբար մղել մոդելին դեպի այն վարքագծեր, որոնք մենք չենք ցանկանում։
Օրինակ, մեր աշխատանքը հալյուցինացիաների ուղղությամբ ցույց տվեց, որ որոշ տվյալների հավաքածուներ ավելի շատ պարգևատրում են վստահ կռահումը, քան անորոշության ազնիվ ընդունումը։ Մեր հետազոտությունը շողոքորթության ցույց տվեց, որ մոդելները կարող են դառնալ չափազանց համաձայնվող, երբ նախընտրության ազդանշանը չափազանց ուժեղ է: Եվ աշխատանքները(բացվում է նոր պատուհանում) այլ խմբերի կողմից ցույց են տվել, որ մոդելները կարող են «պարգևատրման խաբեություն» անել՝ գտնելով ուսուցման կարգավորման բացերը, որոնք թույլ են տալիս նրանց ստանալ բարձր գնահատական՝ առանց իրականում կատարելու այն, ինչ մենք նախատեսել էինք։ Որոշ դեպքերում, այս դյուրանցումները կարող են ընդհանրացվել(բացվում է նոր պատուհանում) ՝ տեղակայման ժամանակ ավելի վնասակար վարքագծի վերածվել։
Խոստովանությունները խուսափում են այս խնդրից՝ նպատակները ամբողջությամբ առանձնացնելով։ Հիմնական պատասխանը շարունակում է օպտիմալացնել բոլոր սովորական գործոնները։ Խոստովանությունը հիմնված է միայն մեկ բանի վրա՝ ազնվության։ Մոդելի խոստովանության մեջ ասվածը չի օգտագործվում նրա դեմ, և խոստովանությունը չի ազդում հիմնական պատասխանի պարգևի վրա։ Դա նշանակում է, որ նույնիսկ եթե մոդելը խաբում է կամ շրջանցում է իր սկզբնական արդյունքի մեջ, այն դեռ ունի խրախուսանք դա խոստովանության մեջ ընդունելու համար։ Ահա թե ինչ ենք տեսնում գործնականում. մոդելները պատրաստ են ընդունել վատ վարքագիծը խոստովանության մեջ, նույնիսկ այն դեպքերում, երբ այն թաքցնում են հիմնական պատասխաններում: Եվ երբ խոստովանությունները ձախողվում են, դա սովորաբար այն պատճառով է, որ մոդելը իսկապես շփոթված է՝ կամ հրահանգները երկիմաստ էին, կամ այն չէր գիտակցել, որ սխալ է արվել, այլ ոչ թե այն պատճառով, որ այն դիտավորյալ փորձում էր մոլորեցնել։ Կարևոր է նշել, որ նախնական արդյունքները ցույց են տալիս, որ խոստովանությունները մնում են արդյունավետ, նույնիսկ երբ սկզբնական պատասխանը ստեղծվում է առանց մտքերի շղթայի, ինչը ենթադրում է, որ խոստովանության ազնվությունը կախված չէ ներքին հիմնավորման ընթեռնելիությունից և կարող է ընդհանրացվել ապագա մոդելների ճարտարապետությունների վրա։
Խոստովանության ուսուցումը գործում է նույնիսկ առանց համապատասխանության ճշգրիտ պիտակների: «Հիմնական ճշմարտություն» ասելով՝ մենք նկատի ունենք որոշակի, արտաքինից տրամադրված պիտակ, որը ցույց է տալիս՝ արդյոք մոդելը իրականում հետևել է հրահանգին, թե խախտել այն։ Շատ իրական աշխարհի առաջադրանքներում այս պիտակները հասանելի չեն՝ եթե մենք վստահորեն իմանայինք, որ մոդելը խախտել է կանոնը, մենք կարող էինք ուղղակիորեն պատժել այդ խախտումը՝ փոխարենը ապավինելով խոստովանությանը։ Փոխարենը, մոդելը պարգևատրվում է կառուցվածքային, ապացույցներով հիմնավորված բացատրություն ներկայացնելու համար այն մասին, թե ինչ է կարծում, որ արել է։ Փաստաթուղթը ցույց է տալիս, որ ազնվությունը հակված է ի հայտ գալ այս կարգավորման ներքո։ Մենք մտածում ենք, որ սա այն պատճառով է, որ ճշմարիտ, ապացույցներով հիմնավորված հաշիվ տրամադրելը սովորաբար ավելի հեշտ է մոդելի համար, քան կառուցել համահունչ կեղծ պատմություն, որը կարող է անցնել դատավորի մոտ։ Սա փաստաթղթում ուսումնասիրվող հիմնական ենթադրությունն է, որը նաև քննարկում է այն դեպքերը, երբ խոստովանությունները ձախողվում են՝ կեղծ բացասականներ և կեղծ դրականներ, և ինչպես են դրանք առաջանում։
Փաստաթուղթը ներկայացնում է նախնական ապացույցներ, որ խոստովանությունները գործում են, բայց չպետք է դիտարկվեն որպես վերջնական ապացույց։ Չնայած մենք օգտագործեցինք սահմանային մոդել (GPT‑5 Thinking), մեր փորձերը սահմանափակ էին մասշտաբով՝ օգտագործելով համեմատաբար փոքր քանակությամբ հաշվարկ և տվյալներ։ Մենք ոգևորված ենք այս աշխատանքը հաջորդ մակարդակի հասցնելու և տեսնելու, թե արդյոք խոստովանությունների ազնվությունը կշարունակի պահպանվել, երբ մենք ընդլայնենք դրա ուսուցումը։
Մոդելը իր հիմնական պատասխաններում կիրառում է «պարգևատրման հաքինգներ»՝ գնահատողին խաբելու համար՝ նախադասությունները նշելով ենթադրյալ բառերի քանակով, սակայն հետո խոստովանում է դա խոստովանության մեջ։
Մեր փորձերի շրջանակներում մենք դիտավորյալ վարժեցրինք մոդելները «կոտրվող» պարգևատրման ազդանշանի դեմ, որը հաշվարկվել էր ավելի թույլ մոդելի կողմից։ Այս կարգավորումը կիրառվում է ինչպես հիմնական պարգևի, այնպես էլ խոստովանության պարգևի համար։ Մոդելը սովորեց օգտագործել թույլ պարգևատրման ազդանշանը. նրա ակնհայտ ճշգրտությունը (երբ գնահատվում է թույլ մոդելի կողմից) բարելավվեց, մինչդեռ նրա իրական ճշգրտությունը (երբ գնահատվում է ավելի ուժեղ գնահատողի կողմից) նվազեց։
Այնուամենայնիվ, չնայած խոստովանության ալիքը նույն թույլ ազդանշանի վրա էր ուսուցանվել, դրա ճշգրտությունը հակառակ ուղղությամբ շարժվեց: Մոդելը սովորեց, որ խոստովանության պարգևը օպտիմալացնելու լավագույն միջոցը պարզապես ընդունելն էր, երբ այն խախտեց հիմնական պարգևը։ Խոստովանությունները ժամանակի ընթացքում ավելի ճշգրիտ դարձան, նույնիսկ երբ հիմնական վարքագիծը փոփոխվում էր։
Վարժեցման ընթացքում, երբ մոդելը չի համապատասխանում պահանջներին, որոշ դեպքերում այն սովորում է «հաքերել» հիմնական պարգևատրման դատավորին, ինչի հետևանքով դատավորի ճշգրտությունը նվազում է։ Ի հակադրություն, չնայած որ խոստովանության պարգևի դատավորը նույնքան խոցելի է, մոդելը ուսուցման ընթացքում ավելի ազնիվ է դառնում իր խոստովանության մեջ՝ ի վերջո հասնելով գրեթե 100% խոստովանության, երբ այն չի համապատասխանել։
Փաստաթուղթը(բացվում է նոր պատուհանում) պարունակում է ավելի շատ փորձարկումներ և արդյունքներ։ Մենք համեմատեցինք խոստովանության ալիքով վարժեցված մոդելը նույն կերպ վարժեցված, բայց առանց խոստովանության ալիքի մոդելի հետ։ Մենք նաև ուսումնասիրեցինք այն դեպքերը, որտեղ խոստովանությունները ձախողվեցին։ «Բացթողումների» գրեթե բոլոր դեպքերը տեղի են ունեցել, երբ մոդելը իսկապես շփոթված էր՝ երբ հրահանգները երկիմաստ էին կամ երբ պարզապես չէր գիտակցում, որ սխալ է թույլ տվել։ (Տես սխալ բացասական օրինակը վերևում։)
Խոստովանությունները ունեն իրենց սահմանները։ Դրանք չեն կանխարգելում վատ վարքագիծը, այլ բացահայտում են այն։ Դրանց հիմնական արժեքը մոնիտորինգի և ախտորոշման գործիք լինելն է, ինչպես ուսուցման, այնպես էլ տեղակայման ժամանակ։ Խոստովանությունները նման դեր են խաղում մտքերի շղթայական մոնիտորինգին. երկուսն էլ ավելի տեսանելի են դարձնում թաքնված հիմնավորման գործընթացները։ Խոստովանությունները կենտրոնանում են այն հարցի վրա, թե արդյոք մոդելը խախտել է հրահանգները. մտքերի շղթան կարող է ցույց տալ, թե ինչպես է այն հասել այդ եզրակացությանը։
Այս աշխատանքը նաև հայեցակարգի ապացույց է։ Մենք լայնածավալ չենք վարժեցրել խոստովանության մեխանիզմները, և խոստովանության ճշգրտությունը դեռևս անկատար է։ Ավելին է պետք անել, որպեսզի մոտեցումը դառնա ավելի հուսալի, ավելի ամուր և ավելի լայնորեն կիրառելի մոդելների ընտանիքների և առաջադրանքների շրջանակում:
Այս աշխատանքը տեղավորվում է մեր ԱԲ անվտանգության ավելի լայն մոտեցման շրջանակներում։ Խոստովանությունները մեխանիզմներից մեկն են ավելի մեծ համակարգում, որը ներառում է քննարկման համահունչություն, մտքերի շղթայի վերահսկում, հրահանգների հիերարխիա և ավելին։ Ոչ մի մեթոդ բավարար չէ. նպատակը ստուգումների և թափանցիկության գործիքների բազմաշերտ համակարգն է, որոնք փոխադարձաբար ամրապնդում են միմյանց: Խոստովանությունները կարող են օգնել մոդելների ուսուցման և գնահատման ընթացքում խնդիրներ առաջացնող վարքագծերի ախտորոշմանը, ինչպես նաև տեղակայման ընթացքում մոնիտորինգին։ Խոստովանությունները ինքնին չեն լուծում բազմաչափ հավասարակշռության խնդիրը։ Բայց «ճշմարտության շիճուկ» ռեժիմ ստեղծելով, որտեղ մոդելները կենտրոնացած են միայն ազնվության վրա, այն ավելացնում է արժեքավոր գործիք մեր սթեքի մեջ՝ ազնվությունն ու անվտանգությունը համընդհանուր բարելավելու համար։
Քանի որ մոդելները դառնում են ավելի ընդունակ և տեղակայվում են ավելի բարձր ռիսկային միջավայրերում, մեզ անհրաժեշտ են ավելի լավ գործիքներ՝ հասկանալու համար, թե ինչ են դրանք անում և ինչու։ Խոստովանությունները ամբողջական լուծում չեն, բայց դրանք ավելացնում են իմաստալից շերտ մեր թափանցիկության և վերահսկողության համակարգին։ Ապագա աշխատանքներում մենք նախատեսում ենք ընդլայնել խոստովանությունները և զուգակցել դրանք լրացուցիչ թափանցիկության և անվտանգության տեխնիկաների հետ, ներառյալ մտածողության շղթայի մոնիթորինգը և խորհրդակցական համապատասխանեցումը, որպեսզի ավելի մեծ առաջընթաց գրանցենք մեր մոդելների բոլոր ցուցումներին և քաղաքականություններին (օրինակ՝ մեր Model Spec(բացվում է նոր պատուհանում)) հավատարիմ մնալու և իրենց գործողությունների մասին ճշմարտացիորեն զեկուցելու ուղղությամբ։
