Instrukcijų hierarchijos tobulinimas priešakiniuose LLM

DI sistemos dažnai gauna instrukcijų iš kelių šaltinių. Tai gali būti saugos politikos iš sistemos žinučių, kūrėjų pateiktos produktų gairės, naudotojų prašymai ir internete rasta informacija. Svarbi saugaus diegimo dalis – išmokyti modelius patikimai teikti pirmenybę patikimiausioms šių šaltinių instrukcijoms.

Kai šis prioritetų nustatymas sutrinka, gali kilti daug DI saugos ir patikimumo problemų. Modeliai gali gauti prašymų pateikti neleidžiamą turinį, bandymų atskleisti privačią informaciją arba internetiniuose duomenyse slypinčių užklausos įterpimo atakų. Nesugebėjimas tinkamai reaguoti kiekviename iš šių scenarijų turi tą pačią pagrindinę priežastį: modelis gali vykdyti neteisingą instrukciją.

Kai šios instrukcijos prieštarauja viena kitai, modelis turi nuspręsti, kurioms teikti pirmenybę. „Jei jis nepatikimą instrukciją laiko privaloma, modelis gali elgtis taip, kad pažeis politikas arba kūrėjo ir naudotojo ketinimus.“

Įrodome, kad tinkamai sukurtos instrukcijų hierarchijos užduotys, kurios moko modelius teikti pirmenybę instrukcijoms pagal jų patikimumo lygį, pagerina kelias realaus pasaulio saugos savybes. Pagal šias užduotis išmokyti modeliai tampa jautresni saugos specifikacijoms sistemos užklausose (taip pagerinamas saugos valdymas) ir atsparesni užklausų įterpimo atakoms, paslėptoms įrankių išvestyse.

Siekdami spręsti konfliktus, „OpenAI“ modelius mokome laikytis aiškios instrukcijų hierarchijos:

sistema > kūrėjas > naudotojas > įrankis

Aukštesnio prioriteto instrukcijos – patikimesnės. Modelis turėtų vadovautis žemesnio prioriteto instrukcijomis tik tada, kai jos neprieštarauja aukštesnio prioriteto apribojimams. Šie principai išdėstyti dokumente „OpenAI“ modelio specifikacija⁠(atsidaro naujame lange).

Pavyzdžiui, jei sistemos žinutėje nurodyta saugos politika, o naudotojas prašo modelio ją pažeisti, modelis turėtų atsisakyti tai daryti. Jei įrankio išvestyje yra kenkėjiškų instrukcijų, modelis turėtų jas ignoruoti, o ne vertinti kaip komandas.

Tai teisingai įgyvendinti būtina norint užtikrinti saugą, saugumą ir patikimumą.

Skatinamasis mokymasis puikiai tinka instrukcijų hierarchijai mokyti. Galime generuoti pokalbius su prieštaringomis instrukcijomis, raginti modelį atsakyti ir apdovanoti jį, kai jis įvykdo tinkamą instrukciją.

Nustatėme tris naivaus šio metodo taikymo spąstus.

• Instrukcijų vykdymo klaidos gali būti laikomos instrukcijų hierarchijos klaidomis: modeliui gali nepavykti išspręsti instrukcijų konflikto ne todėl, kad jis nesupranta vaidmenų hierarchijos, bet todėl, kad pačios instrukcijos per sudėtingos.
• Instrukcijų konfliktai gali turėti niuansų ir netgi būti subjektyvūs. Įprastas metodas – leisti atskiram LLM teisėjui skirti atlygius mokomam LLM, tačiau patys teisėjai gali klysti.
• Modeliai linkę išmokti sparčiųjų sprendimų, kurie duoda didelį atlygį, bet yra nenaudingi praktikoje⁠(atsidaro naujame lange). Klasikinis pavyzdys – pertekliniai atsisakymai: modeliai gali išmokti maksimaliai padidinti saugą, atmesdami net nepavojingus prašymus.

Kuriame „IH-Challenge“ – skatinamojo mokymosi mokymo duomenų rinkinį, skirtą kiekvienai iš šių problemų išspręsti. Laikomės toliau išdėstytų principų.

• Užduotyse pateikiamos paprastai vykdomos instrukcijos.
• Jas galima objektyviai įvertinti paprastu „Python“ scenarijumi.
• Nėra paprastų sparčiųjų sprendimų, garantuojančių didelį atlygį visose užduotyse.

Kiekviena „IH-Challenge“ užduotis – tai iš esmės pokalbis, sudarytas iš toliau nurodytų žinučių.

• Aukšto lygio teises turinčio vaidmens instrukcijos žinutė, pvz., „Only answer 'Yes' or 'No'“ (Atsakyk tik „Taip“ arba „Ne“).
• Žemesnio lygio teises turinčio vaidmens instrukcijos žinutė, kuria bandoma priversti modelį pažeisti aukštesnio lygio teises turinčio vaidmens žinutės instrukcijas.

Mokomas modelis sugeneruoja kitą žinutę. Užduotis ir aplinkas kuriame taip, kad būtų galima programiškai patikrinti, ar modelio atsakymas atitinka aukštesnio lygio apribojimą.

Mokome modelį naudodami „IH-Challenge“ ir sukuriame vidinį modelį, kurį vadiname „GPT‑5 Mini-R“, turintį šiuos patobulinimus: 

• geriau veikia instrukcijų hierarchijos lyginamuosiuose testuose;
• pagerėjęs veikimas pritaikomas kontroliniams ir priešiškiems instrukcijų hierarchijos testams;
• išlaiko bendrą naudingumą, nepradėdamas per daug atsisakinėti.

Būtent dėl to šis metodas ypač svarbus saugai: tiesiogiai mokydami modelius teisingai spręsti instrukcijų konfliktus „IH-Challenge“ užduotyse, gauname instrukcijų hierarchijos patobulinimus, kurie pritaikomi naujoms atakoms ir situacijoms.

Stipresnė instrukcijų hierarchija vienu metu suteikia kelis saugos pranašumus, įskaitant saugos valdymą ir atsparumą užklausų įterpimui.

Saugos valdymą vertiname į sistemos užklausą įtraukdami konkrečios kategorijos saugos specifikacijas ir matuodami elgseną „OpenAI“ saugos realiuose lyginamuosiuose testuose (tai saugai jautrių pokalbių rinkinys, atspindintis realią „ChatGPT“ aplinką).

Pagal instrukcijų hierarchiją išmokytas modelis rodo nuoseklų pagerėjimą: esant saugos specifikacijai, jis pasiekia didesnį atsisakymų ir saugių užbaigimų dažnį neleistinose kategorijose – tai rodo, kad stipresnė instrukcijų hierarchijos elgsena padeda jam geriau spręsti konfliktus, kai nesaugūs prašymai gaunami iš žemesnio prioriteto instrukcijų. Svarbu tai, kad šis pagerėjimas nesumažina naudingumo rodiklio (t. y. jis netampa mažiau „naudingas“ tiesiog dažniau atsisakydamas bendrai).

Instrukcijų hierarchija taip pat labai svarbi atremiant užklausų įterpimą, kai kenkėjiškos instrukcijos įtraukiamos į įrankių išvestis. Pagal instrukcijų hierarchiją išmokytą modelį vertiname dviejuose atsparumo užklausų įterpimui lyginamuosiuose testuose – akademiniame lyginamajame teste „CyberSecEval 2“ ir „OpenAI“ vidiniame atsparumo užklausų įterpimui lyginamajame teste, sudarytame iš atakų, panašių į pademonstruotą senesnėje „ChatGPT Atlas“⁠ versijoje.

Palyginti su baziniu modeliu, pagal instrukcijų hierarchiją išmokytas modelis „GPT‑5 Mini-R“ padidina atsparumą užklausų įterpimui abiejuose lyginamuosiuose testuose ir iš esmės pagerina vidinio statinio užklausų įterpimo vertinimo rezultatus šiuose eksperimentuose.

Modeliams vis labiau veikiant kaip agentams – iškviečiant įrankius, skaitant nepatikimus dokumentus ir atliekant veiksmus pasaulyje – gebėjimas nuolat teikti pirmenybę patikimoms instrukcijoms tampa pagrindine saugos savybe.

Šis darbas rodo, kad kelias instrukcijų hierarchijos atsparumo mokymo problemas galima įveikti kuriant mokymo aplinkas, kuriose jos sprendžiamos. Nors mūsų „IH-Challenge“ duomenų rinkinys atrodo paprastas, instrukcijų hierarchijos elgsena, kurios modeliai išmoksta iš šių aplinkų, pritaikoma tikroviškesniuose, dažnai objektyviai neįvertinamuose lyginamuosiuose testuose.

Stiprinant instrukcijų hierarchiją ne tik padidinamas patikimumas, bet ir vienu metu atveriama daugybė saugos ir saugumo pranašumų – tai pagrindas, tampantis vis svarbesnis, nes DI sistemos darosi pajėgesnės ir savarankiškesnės.

Siekdami paskatinti tolesnius tyrimus šioje srityje, išleidžiame „IH-Challenge“ duomenų rinkinį čia⁠(atsidaro naujame lange).