Հրահանգների հիերարխիայի բարելավումը առաջադեմ LLM-ներում
Ներկայացնում ենք IH-Challenge-ը՝ ուսուցման տվյալների հավաքածու, որը ամրապնդում է հրահանգների հիերարխիան, անվտանգության կառավարելիությունը և հարցումների ներարկման նկատմամբ դիմադրողականությունը։
ԱԲ համակարգերը հաճախ հրահանգներ են ստանում բազմաթիվ աղբյուրներից։ Դրանք կարող են ներառել անվտանգության քաղաքականություններ համակարգային հաղորդագրություններից, արտադրանքի վերաբերյալ ուղեցույց մշակողներից, հարցումներ օգտատերերից և առցանց հայտնաբերված տեղեկություններ։ Մոդելներին սովորեցնելը, որպեսզի այս աղբյուրների մեջ հուսալիորեն առաջնահերթություն տան ամենավստահելի հրահանգներին, անվտանգ տեղակայման կարևոր մաս է։
ԱԲ անվտանգության և հուսալիության բազմաթիվ խնդիրներ կարող են առաջանալ, երբ այս առաջնահերթությունների սահմանումը խափանվում է։ Մոդելները կարող են ստանալ արգելված բովանդակության հարցումներ, մասնավոր տեղեկատվություն բացահայտելու փորձեր կամ հարցումների ներարկման հարձակումներ, որոնք ներդրված են առցանց տվյալների մեջ։ Այս սցենարներից յուրաքանչյուրում համապատասխան կերպով չվարվելը ունի նույն հիմնական պատճառը. մոդելը կարող է հետևել սխալ հրահանգին։
Երբ այս ցուցումները հակասում են, մոդելը պետք է որոշի, թե որոնք առաջնահերթ համարել։ Եթե այն անվստահելի հրահանգը դիտարկի որպես հեղինակավոր, մոդելը կարող է վարվել այնպիսի ձևերով, որոնք խախտում են քաղաքականությունները կամ մշակողի և օգտատիրոջ մտադրությունը։
Մենք ցույց ենք տալիս, որ պատշաճ ձևավորված հրահանգների հիերարխիայի առաջադրանքները, որոնք ուսուցանում են մոդելներին առաջնահերթություն տալ հրահանգներին՝ ըստ դրանց վստահության մակարդակի, բարելավում են իրական աշխարհի անվտանգության մի շարք հատկություններ։ Այս առաջադրանքներով վերապատրաստված մոդելները դառնում են ավելի արձագանքող համակարգային հարցումներում անվտանգության բնութագրերին (բարելավելով անվտանգության ուղղորդելիությունը) և ավելի դիմացկուն՝ գործիքների ելքերում ներդրված հարցումների ներարկում հարձակումների նկատմամբ։
Հակասությունները կարգավորելու համար OpenAI-ի մոդելները վարժեցված են հետևելու հստակ հրահանգների հիերարխիայի:
Համակարգ > Ծրագրավորող > Օգտատեր > Գործիք
Ավելի բարձր առաջնահերթություն ունեցող հրահանգներն ավելի վստահելի են։ Մոդելը պետք է հետևի միայն ավելի ցածր առաջնահերթության հրահանգներին, երբ դրանք չեն հակասում ավելի բարձր առաջնահերթության սահմանափակումներին։ Այս սկզբունքները ներկայացված են OpenAI մոդելի բնութագրեր(բացվում է նոր պատուհանում)-ում։
Օրինակ՝ եթե համակարգային հաղորդագրությունը ներառում է անվտանգության քաղաքականություն, և օգտատերը մոդելից խնդրում է խախտել այն, մոդելը պետք է մերժի։ Եթե գործիքի ելքը պարունակում է վնասակար հրահանգներ, մոդելը պետք է անտեսի դրանք՝ դրանց որպես հրամաններ չվերաբերվելու փոխարեն։
Սա ճիշտ անելն անվտանգության, ապահովության և հուսալիության համար հիմնարար է։
Աջ կողմի մոդելը ճիշտ է հետևում մշակողի հրահանգին, որը ավելի բարձր առաջնահերթություն ունի, քան օգտատիրոջը, երբ երկու հրահանգները հակասում են։
Ամրապնդումով ուսուցումը բնականորեն համապատասխանում է հրահանգների հիերարխիան ուսուցանելուն։ Մենք կարող ենք ստեղծել հակասական հրահանգներով խոսակցություններ, հարցում անել մոդելին պատասխանելու համար և պարգևատրել այն, երբ այն հետևում է ճիշտ հրահանգին։
Մենք նույնականացրել ենք այդ բաղադրատոմսը միամտորեն կիրառելու երեք թերություն՝
- Հրահանգներին հետևելու ձախողումները կարող են նաև հանդես գալ որպես հրահանգների հիերարխիայի ձախողումներ. մոդելը կարող է չկարողանալ լուծել հրահանգների հակասությունը՝ ոչ թե այն պատճառով, որ չի հասկանում դերերի հիերարխիան, այլ որովհետև հենց հրահանգներն են չափազանց բարդ։
- Հրահանգների հակասությունները կարող են լինել նրբերանգային և նույնիսկ սուբյեկտիվ։ Տարածված մոտեցում է թույլ տալ, որ առանձին LLM դատավոր-մոդելը պարգևներ նշանակի վարժեցվող LLM-ին, սակայն դատավորներն իրենք էլ անսխալական չեն։
- Մոդելները հակված են սովորել կարճ ուղիներ, որոնք հանգեցնում են բարձր պարգևատրման, բայց գործնականում անօգուտ են(բացվում է նոր պատուհանում). Դասական օրինակը չափազանց մերժումներն են. մոդելները կարող են սովորել առավելագույնի հասցնել անվտանգությունը՝ հրաժարվելով նույնիսկ անվնաս հարցումներից։
Մենք նախագծում ենք IH-Challenge-ը՝ ամրապնդումով ուսուցման վարժեցման տվյալների հավաքածու, որպեսզի լուծենք այդ թերություններից յուրաքանչյուրը։ Մենք հետևում ենք հետևյալ սկզբունքներին:
- Առաջադրանքները պարզ են և հետևում են հրահանգներին
- Դրանք օբյեկտիվորեն գնահատելի են պարզ Python սցենարի միջոցով
- Չկան ոչ մի պարզ կարճ ճանապարհներ, որոնք երաշխավորում են բարձր պարգև բոլոր առաջադրանքներում
IH-Challenge-ում յուրաքանչյուր առաջադրանք ըստ էության զրույց է՝ ներառելով հետևյալ հաղորդագրությունները:
- Բարձր արտոնություններով դերակատարից ստացված հրահանգային հաղորդագրություն, օրինակ՝ «Պատասխանիր միայն «այո» կամ «ոչ» բառերով»։
- Ստորին արտոնությունների դեր ունեցող հրահանգային հաղորդագրություն, որը փորձում է ստիպել մոդելին խախտել ավելի բարձր արտոնությունների հաղորդագրության հրահանգները։
Վարժեցվող մոդելը ստեղծում է հաջորդ հաղորդագրությունը։ Մենք առաջադրանքները/միջավայրերը գրում ենք այնպես, որ հնարավոր լինի ծրագրային եղանակով ստուգել՝ արդյոք մոդելի պատասխանը բավարարում է ավելի բարձր մակարդակի սահմանափակմանը։
Մենք վարժեցրեցինք մոդել IH‑Challenge-ի վրա և ստեղծեցինք ներքին մոդել, որը մենք կոչում ենք GPT‑5 Mini-R, հետևյալ բարելավումներով:
- Ավելի լավ է գործում հրահանգների հիերարխիայի չափանիշների վրա։
- Բարելավված կատարողականը ընդհանրացվում է հետաձգված և հակառակորդական հրահանգների հիերարխիայի թեստերի համար։
- Պահպանում է ընդհանուր օգտակարությունը՝ առանց չափազանց մերժման մեջ ընկնելու
Սա է այն, ինչը մոտեցումը դարձնում է հատկապես համոզիչ անվտանգության համար. IH-challenge առաջադրանքներում մոդելներին ուղղակիորեն ուսուցանելով՝ ճիշտ լուծել հրահանգների հակասությունները, մենք ստանում ենք IH բարելավումներ, որոնք ընդհանրացվում են նոր հարձակումների և նոր իրավիճակների վրա։
Ակադեմիական չափանիշների նկատմամբ կայունություն
գնահատում | GPT‑5‑Mini | GPT‑5 Mini-R |
Gandalf Գաղտնաբառ (համակարգ-օգտատեր) | 0.99 | 0.99 (+0) |
Gandalf գաղտնաբառ (ծրագրավորող-օգտատեր) | 0.98 | 1.00 (+0.02) |
TensorTrust (համակարգ-օգտատեր) | 0.86 | 0.94 (+0.08) |
TensorTrust (ծրագրավորող-օգտատեր) | 0.76 | 0.91 (+0.15) |
RealGuardrails (Շեղողներ) | 0.88 | 0.95 (+0.07) |
RealGuardrails (Ձեռագիր) | 0.82 | 0.89 (+0.07) |
Համակարգ IFEval | 0.92 | 0.96 (+0.04) |
Կայունություն ներքին հենանիշների վրա
գնահատում | GPT‑5‑Mini | GPT‑5 Mini-R |
TutorJailbreak (համակարգ-օգտատեր) | 0.96 | 0.99 (+0.03) |
Tutor Jailbreak (ծրագրավորող -օգտատեր) | 0.97 | 0.99 (+0.02) |
Համակարգ <> Օգտատեր հակասություն | 0.84 | 0.95 (+0.11) |
Համակարգ <> Ծրագրավորող հակասություն | 0.86 | 0.86 (+0) |
Ծրագրավորող <> Օգտատեր հակասություն | 0.83 | 0.95 (+0.12) |
Հնարավորությունների հետընթացներ չկան
գնահատում | GPT‑5‑Mini | GPT‑5 Mini-R |
IH-Մարտահրավեր (գերամերժում) | 0.79 | 1.00 (+0.21) |
TensorTrust (գերամերժում) | 0.91 | 0.90 (-0.01) |
GPQA Diamond | 0.83 | 0.83 (+0) |
AIME 2024 | 0.93 | 0.94 (+0.01) |
Չաթի հաղթանակի տոկոսը՝ ի համեմատ o1‑ի | 0.71 | 0.66 (-0.05) |
Նախընտրության գնահատական | 0.46 | 0.40 (-0.06) |
Ավելի ուժեղ հրահանգների հիերարխիան միաժամանակ ապահովում է անվտանգության մի քանի առավելություններ, այդ թվում՝ անվտանգության կառավարելիության և հարցումների ներարկման նկատմամբ կայունության առումով։
Մենք գնահատում ենք անվտանգության կառավարելիությունը՝ համակարգի հարցումին ավելացնելով կատեգորիա-հատուկ անվտանգության բնութագրեր և չափելով վարքագիծը OpenAI-ի անվտանգության Production Benchmarks-ում (անվտանգության նկատմամբ զգայուն խոսակցությունների հավաքածու, որը ներկայացուցչական է արտադրական միջավայրում ChatGPT‑ի համար)։
IH-ով ուսուցանված մոդելը ցույց է տալիս հետևողական բարելավում. անվտանգության սպեցիֆիկացիայի առկայության դեպքում այն հասնում է ավելի բարձր մերժման և անվտանգ ավարտման ցուցանիշների՝ թույլ չտրված կատեգորիաների շրջանակում, ինչը ցույց է տալիս, որ հրահանգների հիերարխիայի ավելի ուժեղ վարքագիծը այն ավելի լավ է դարձնում հակասությունները լուծելու հարցում, երբ անապահով հարցումները գալիս են ավելի ցածր առաջնահերթության հրահանգներից։ Հատկանշական է, որ այս բարելավումը չի ուղեկցվում օգտակարության ցուցանիշի համապատասխան նվազումով (այսինքն՝ այն պարզապես ընդհանուր առմամբ ավելի շատ մերժելով չի դառնում ավելի քիչ «օգտակար»)։
Օրինակ, թե ինչպես է IH-ով մարզված մոդելը դիմադրում GPT‑5 Mini (Baseline)-ի կողմից հաճախ հանդիպող արագ ներարկումներին։
Հրահանգների հիերարխիան նաև առանցքային է հարցումների ներարկմանը դիմակայելու գործում, երբ չարամիտ հրահանգները ներդրված են գործիքների ելքերում։ Մենք գնահատում ենք IH-ով վերապատրաստված մոդելը հարցումների ներարկման երկու հենանիշների վրա—ակադեմիական հենանիշ CyberSecEval 2 և OpenAI-ի ներքին հարցումների ներարկման հենանիշ, որը բաղկացած է հարձակումներից, ինչպիսին է այն, որը ցուցադրվել է ChatGPT Atlas-ի ավելի հին տարբերակի վրա։
Բազային մակարդակի համեմատ, IH-trained GPT‑5 Mini-R մոդելը բարելավում է հարցումների ներարկման նկատմամբ կայունությունը երկու չափանիշներում էլ և այս փորձերում էապես բարելավում է արդյունավետությունը մեր ներքին ստատիկ հարցումների ներարկման գնահատման մեջ։
Քանի որ մոդելները դառնում են ավելի գործակալային՝ գործիքներ կանչելով, անվստահելի փաստաթղթեր կարդալով և աշխարհում գործողություններ ձեռնարկելով, վստահելի հրահանգները անվստահելի հրահանգներից հետևողականորեն առաջնահերթելու կարողությունը դառնում է անվտանգության հիմնական հատկություն։
Այս աշխատանքը ցույց է տալիս, որ IH կայունության ուսուցման մի շարք թերություններ կարելի է հաղթահարել՝ նախագծելով ուսուցման միջավայրեր, որոնք ուղղված են այդ թերությունների լուծմանը։ Թեև մեր IH-Challenge տվյալների հավաքածուն թվում է պարզ, այս միջավայրերից սովորող IH վարքագծի մոդելները ընդհանրացվում են ավելի իրատեսական, հաճախ ոչ օբյեկտիվորեն գնահատելի չափանիշների վրա։
Հրահանգների հիերարխիայի ամրապնդումը ոչ միայն բարելավում է հուսալիությունը, այլև միաժամանակ բացում է անվտանգության և անվտանգության ապահովման մի շարք առավելություններ՝ հիմք, որը դառնում է ավելի ու ավելի կարևոր, քանի որ ԱԲ-ի համակարգերը դառնում են ավելի կարողունակ և ինքնավար։
Այս ոլորտում հետագա հետազոտություններին աջակցելու համար մենք թողարկում ենք IH‑Challenge տվյալների հավաքածուն այստեղ(բացվում է նոր պատուհանում)։
