Izboljševanje hierarhije navodil v naprednih velikih jezikovnih modelih

Sistemi umetne inteligence pogosto prejemajo navodila iz več virov. To lahko vključuje varnostne politike iz sistemskih sporočil, navodila o izdelku od razvijalcev, zahteve uporabnikov in informacije, najdene na spletu. Učenje modelov, da zanesljivo dajejo prednost najbolj zaupanja vrednim navodilom med temi viri, je ključni del varnega uvajanja.

Številne težave na področju varnosti UI in zanesljivosti lahko nastanejo, kadar to razvrščanje prioritet odpove. Modeli lahko prejmejo zahteve za nedovoljeno vsebino, poskuse razkritja zasebnih informacij ali napade z vstavljanjem zavajajočega poziva, vključene v spletne podatke. Neustrezno ravnanje v vsakem od teh scenarijev ima isti temeljni vzrok: model lahko sledi napačnemu navodilu.

Kadar si ta navodila nasprotujejo, se mora model odločiti, katerim bo dal prednost. Če nezaupanja vredno navodilo obravnava kot avtoritativno, lahko model ravna na način, ki krši politike ali namen razvijalca in uporabnika.

Dokazujemo, da ustrezno zasnovane naloge hierarhije navodil, pri katerih se modeli učijo dajati prednost navodilom glede na raven zaupanja, izboljšujejo več varnostnih lastnosti v resničnem svetu. Modeli, ki se učijo na teh nalogah, postanejo bolj odzivni na varnostne specifikacije v sistemskih pozivih (s čimer se izboljšuje zmožnost usmerjanja varnosti sistema), in robustnejši proti napadom z vstavljanjem zavajajočega poziva, vgrajenim v izhode orodij.

Za obravnavo konfliktov so OpenAI-jevi modeli usposobljeni, da sledijo jasni hierarhiji navodil:

Sistem > razvijalec > uporabnik > orodje

Navodilom z višjo prednostjo se bolj zaupa. Model lahko sledi navodilom nižje prioritete samo, kadar niso v nasprotju z omejitvami višje prioritete. Ta načela so opisana v specifikacijah modela OpenAI⁠(odpre se v novem oknu).

Na primer, če sistemsko sporočilo vključuje politiko varnosti in uporabnik prosi model, naj jo krši, mora model to zavrniti. Če izhod orodja vsebuje zlonamerna navodila, jih mora model prezreti, namesto da bi jih obravnaval kot ukaze.

Pravilno ravnanje v takih primerih je temelj varnosti, zaščite in zanesljivosti.

Okrepljeno učenje je naravna izbira za poučevanje hierarhije navodil. Ustvarimo lahko pogovore z nasprotujočimi si navodili, model pozovemo k odgovoru in ga nagradimo, kadar sledi pravilnemu navodilu.

Prepoznali smo tri pasti pri preveč poenostavljeni uporabi tega pristopa:

• Napake pri sledenju navodilom se lahko kažejo tudi kot napake pri hierarhiji navodil: model morda ne razreši konflikta med navodili ne zato, ker ne razume hierarhije vlog, temveč zato, ker so navodila sama po sebi preveč zapletena.
• Konflikti med navodili so lahko subtilni in celo subjektivni. Pogost pristop je, da nagrade velikemu jezikovnemu modelu, ki se uči, dodeljuje drug veliki jezikovni model, vendar so tudi taki ocenjevalci zmotljivi.
• Modeli se običajno naučijo bližnjic, ki prinašajo visoko nagrado, vendar so v praksi neuporabne⁠(odpre se v novem oknu). Klasičen primer so pretirane zavrnitve: modeli se lahko naučijo maksimirati varnost tako, da zavrnejo celo neškodljive zahteve.

Zasnovali smo IH-Challenge, podatkovni nabor za usposabljanje z okrepljenim učenjem, da bi odpravili vsako od teh pasti. Za obravnavo vsake od teh pasti smo zasnovali IH-Challenge, učni nabor podatkov za spodbujevalno učenje. Upoštevamo naslednja načela:

• Naloge so zasnovane tako, da je sledenje navodilom pri njih preprosto
• Objektivno jih je mogoče ovrednotiti s preprostim skriptom v Pythonu
• Ni nekih preprostih bližnjic, ki bi pri vseh nalogah zagotavljali visoko nagrado

Vsaka naloga v IH-Challenge je v bistvu pogovor z naslednjimi sporočili:

• Sporočilo z navodili iz vloge z višjimi privilegiji, npr. »Odgovori samo z ‘Da’ ali ‘Ne’.«
• Sporočilo z navodilom iz vloge z nižjimi privilegiji, ki poskuša model pripraviti do tega, da krši navodila iz sporočila z višjimi privilegiji.

Model, ki se uči, ustvari naslednje sporočilo. Naloge oziroma okolja zasnujemo tako, da je mogoče programsko preveriti, ali modelov odgovor izpolnjuje omejitev na višji ravni.

Model učimo na podlagi hierarhije navodil IH-challenge in ustvarimo interni model, ki ga imenujemo GPT‑5 Mini-R, z naslednjimi izboljšavami: 

• Dosega boljše rezultate pri primerjalnih preizkusih za vrednotenje hierarhije navodil
• Izboljšano delovanje se kaže tudi pri novih preizkusih hierarhije navodil in pri testih robustnosti sistema
• Ohranja splošno uporabnost, ne da bi prešel v pretirano zavračanje

Prav to dela ta pristop z vidika varnosti še posebej prepričljiv: če modele neposredno učimo, da pri nalogah IH-Challenge pravilno razrešujejo konflikte med navodili, dosežemo izboljšave pri IH-challenge, ki se kažejo tudi pri novih napadih in v novih situacijah.

Močnejša hierarhija navodil prinaša več varnostnih koristi hkrati, tudi na področju vodljivosti varnosti sistema in robustnosti proti vstavljanju zavajajočega poziva.

Vodljivost varnosti ocenjujemo tako, da sistemskemu pozivu dodamo varnostne specifikacije za posamezne kategorije in merimo vedenje na OpenAI-jevih varnostnih Production Benchmarks (naboru varnostno občutljivih pogovorov, reprezentativnih za ChatGPT v produkciji).

Model, ki se je učil na hierarhiji navodil, kaže dosledno izboljšanje: ob prisotni varnostni specifikaciji dosega višje stopnje zavračanja in varnega zaključevanja v različnih nedovoljenih kategorijah, kar kaže, da je zaradi močnejšega ravnanja v skladu s hierarhijo navodil uspešnejši pri razreševanju konfliktov, kadar nevarne zahteve izhajajo iz navodil z nižjo prioriteto. Pomembno je, da tega izboljšanja ne spremlja ustrezno zmanjšanje stopnje uporabnosti (model ne postaja manj »uporaben« zgolj zato, ker bi na splošno več zavračal).

Hierarhija navodil je prav tako osrednjega pomena pri upiranju vstavljanju zavajajočega poziva, ko so zlonamerna navodila vdelana v izhode orodij. Model, ki se je učil na podlagi hierarhije navodil (IH), ocenjujemo z dvema primerjalnima preizkusoma za preverjanje ravnanja ob vstavljanju zavajajočega poziva: z raziskovalnim primerjalnim preizkusom CyberSecEval 2 in z OpenAI-jevim internim primerjalnim preizkusom, ki vključuje napade, kakršen je tisti, prikazan na starejši različici ChatGPT Atlas⁠.

V primerjavi z izhodiščnim modelom model GPT‑5 Mini-R, ki se je učil na podlagi hierarhije navodil (IH), v obeh primerjalnih preizkusih dosega večjo robustnost pri vstavljanju zavajajočega poziva, v teh poskusih pa tudi občutno izboljša rezultate pri naši interni statični evalvaciji vstavljanja zavajajočega poziva.

Ko modeli postajajo vse bolj agentski, npr. prikličejo orodje, berejo nezaupanja vredne dokumente in izvajajo dejanja v resničnem svetu, postaja zmožnost doslednega dajanja prednosti zaupanja vrednim navodilom pred nezaupljivimi osrednja lastnost v smislu varnosti.

V tem delu pokažemo, da je mogoče več pasti usposabljanja robustnosti IH premagati z zasnovo učnih okolij, ki te pasti obravnavajo. Čeprav je naš nabor podatkov IH-Challenge na videz preprost, se vedenje v skladu s hierarhijo navodil, ki se ga modeli naučijo v teh okoljih, posploši tudi na bolj realistične primerjalne preizkuse, pri katerih objektivno vrednotenje pogosto ni mogoče.

Krepitev hierarhije navodil ne izboljšuje le zanesljivosti, temveč hkrati odpira več koristi na področju varnosti in zaščite, kar je temelj, ki postaja vse pomembnejši, ko sistemi umetne inteligence postajajo zmogljivejši in bolj avtonomni.

Za podporo nadaljnjim raziskavam na tem področju objavljamo nabor podatkov IH‑Challenge tukaj⁠(odpre se v novem oknu).