Poboljšanje hijerarhije instrukcija u graničnim LLM-ovima

AI sistemi često primaju upute iz više izvora. Ovo može uključivati sigurnosne politike iz sistemskih poruka, smjernice o proizvodu od programera, zahtjeve korisnika i informacije pronađene online. Obučavanje modela da pouzdano daje prioritet najpouzdanijim uputama među ovim izvorima ključni je dio sigurne implementacije.

Mnogi problemi sigurnosti i pouzdanosti AI-ja mogu nastati kada se ova prioritizacija raspadne. Modeli mogu primati zahtjeve za nedozvoljeni sadržaj, pokušaje otkrivanja privatnih informacija ili napade ubrizgavanja upita ugrađene u online podatke. Neuspjeh da se ponašate prikladno u svakom od ovih scenarija dijeli isti osnovni uzrok: model može slijediti pogrešno uputstvo.

Kada su ove upute u sukobu, model mora odlučiti kojima će dati prednost. Ako tretira nepouzdanu instrukciju kao autoritativnu, model se može ponašati na načine koji krše politike ili namjeru programera i korisnika.

Pokazujemo da pravilno osmišljeni zadaci hijerarhije instrukcija, koji obučavaju modele da daju prioritet instrukcijama prema njihovom nivou povjerenja, poboljšavaju nekoliko sigurnosnih svojstava u stvarnom svijetu. Modeli obučeni na ovim zadacima postaju osjetljiviji na sigurnosne specifikacije u sistemskim upitima (poboljšavajući upravljivost sigurnosti) i robusniji na napade ubrizgavanja upita ugrađene u izlaze alata.

Da bi se riješili sukobi, OpenAI-jevi modeli su obučeni da slijede jasnu hijerarhiju instrukcija:

Sistem > programer > korisnik > alat

Uputstva višeg prioriteta su pouzdanija. Model treba slijediti samo upute nižeg prioriteta kada nisu u sukobu s ograničenjima višeg prioriteta. Ovi principi su navedeni u Specifikaciji modela OpenAI⁠(otvara se u novom prozoru).

Na primjer, ako sistemska poruka uključuje sigurnosnu politiku i korisnik zatraži od modela da je prekrši, model bi trebao odbiti. Ako izlaz alata sadrži zlonamjerne instrukcije, model bi ih trebao ignorisati umjesto da ih tretira kao komande.

Ispravno uraditi ovo je temelj sigurnosti, bezbjednosti i pouzdanosti.

Učenje s potkrepljivanjem prirodno odgovara podučavanju hijerarhije instrukcija. Možemo generisati razgovore s konfliktnim uputama, upit modelu da odgovori i nagraditi ga kada slijedi ispravnu uputu.

Identificirali smo tri zamke naivnog primjenjivanja tog recepta:

• Neuspjesi u praćenju instrukcija mogu se također smatrati neuspjesima hijerarhije instrukcija: model možda neće uspjeti razriješiti sukob instrukcija, ne zato što ne razumije hijerarhiju uloga, već zato što su same instrukcije previše složene.
• Sukobi uputa mogu biti suptilni i subjektivni. Čest pristup je da se zasebnom LLM sudiji povjeri dodjela nagrada LLM-u koji se trenira, ali i sudije mogu griješiti.
• Modeli obično uče prečice koje rezultiraju visokom nagradom, ali su beskorisne u praksi⁠(otvara se u novom prozoru). Klasičan primjer je prekomjerno odbijanje: modeli mogu naučiti da maksimiziraju sigurnost odbijajući čak i benigne zahtjeve.

Dizajniramo IH-Challenge, skup podataka za obuku učenja s potkrepljivanjem, kako bismo riješili sve te zamke. Pridržavamo se sljedećih principa:

• Zadaci su praćenje uputstava-jednostavno
• Oni se mogu objektivno ocijeniti jednostavnom Python skriptom
• Ne postoje trivijalne prečice koje garantuju visoku nagradu kroz sve zadatke

Svaki zadatak u IH-Challenge je u suštini razgovor sa sljedećim porukama:

• Poruka s uputama od uloge s visokim privilegijama, npr. „Samo odgovorite ‘Da’ ili ‘Ne’”.
• Instrukcijska poruka iz uloge s nižim privilegijama, koja pokušava navesti model da prekrši upute u poruci s višim privilegijama.

Model koji se trenira generiše sljedeću poruku. Zadatke/okruženja pišemo tako da je moguće programski provjeriti da li modelov odgovor ispunjava ograničenje višeg nivoa.

Obučavamo model na IH‑Challenge i proizvodimo interni model, koji nazivamo GPT‑5 Mini-R, sa sljedećim poboljšanjima: 

• Postiže bolje rezultate na testovima hijerarhije instrukcija
• Poboljšane performanse se generalizuju na izdvojene i neprijateljske testove hijerarhije instrukcija
• Održava ukupnu korisnost, bez kolapsa u pretjerano odbijanje

Ovo je ono što ovaj pristup čini posebno uvjerljivim za sigurnost: direktnim obučavanjem modela da ispravno rješavaju konflikte u uputama na IH-challenge zadacima, dobijamo IH poboljšanja koja se generalizuju na nove napade i nove situacije.

Snažnija hijerarhija instrukcija donosi višestruke sigurnosne koristi, uključujući upravljivost sigurnosti i otpornost na ubrizgavanje upita.

Evaluiramo upravljivost sigurnošću dodavanjem sigurnosnih specifikacija specifičnih za kategoriju u sistemski upit i mjerenjem ponašanja na OpenAI-jevim sigurnosnim Production Benchmarks (skup sigurnosno osjetljivih razgovora reprezentativnih za ChatGPT u produkciji).

IH-obučeni model pokazuje dosljedno poboljšanje: uz prisutnu sigurnosnu specifikaciju, postiže veće stope odbijanja i sigurnog dovršavanja u svim nedozvoljenim kategorijama, što ukazuje na to da snažnije ponašanje hijerarhije instrukcija čini model boljim u rješavanju sukoba kada nesigurni zahtjevi dolaze iz instrukcija nižeg prioriteta. Važno je napomenuti da ovo poboljšanje ne dolazi s odgovarajućim smanjenjem stope korisnosti (tj. ne postaje manje „korisno“ jednostavnim odbijanjem većeg ukupnog sadržaja).

Hijerarhija instrukcija je ključna za otpor ubrizgavanju upita, kada su zlonamjerne instrukcije ugrađene u izlaze alata. Evaluiramo IH-obučeni model na dva benchmarka za ubrizgavanje upita: akademski benchmark CyberSecEval 2 i OpenAI interni benchmark za ubrizgavanje upita, koji uključuje napade poput onog demonstriranog na starijoj verziji ChatGPT Atlas⁠.

U odnosu na baznu liniju, IH-obučeni GPT‑5 Mini-R model poboljšava otpornost na ubrizgavanje upita na oba benchmarka i značajno poboljšava performanse na našoj internoj statičkoj evaluaciji ubrizgavanja upita u ovim eksperimentima.

Kako modeli postaju agentičniji—pozivaju alate, čitaju nepouzdane dokumente i poduzimaju radnje u svijetu—sposobnost da dosljedno daju prioritet pouzdanim instrukcijama u odnosu na nepouzdane postaje osnovno sigurnosno svojstvo.

Ovaj rad pokazuje da se nekoliko zamki obuke robusnosti IH može prevladati osmišljavanjem okruženja za obuku koja se bave tim zamkama. Iako naš skup podataka IH-Challenge djeluje jednostavno, ponašanje koje modeli uče iz ovih okruženja generalizuje se na realističnije, često neobjektivno ocjenjive testove.

Jačanje hijerarhije instrukcija ne samo da poboljšava pouzdanost, već istovremeno otključava višestruke dobitke u sigurnosti i zaštiti—temelj koji postaje sve važniji kako AI sistemi postaju sposobniji i autonomniji.

Kako bismo podržali daljnja istraživanja u ovoj oblasti, objavljujemo skup podataka IH‑Challenge ovdje⁠(otvara se u novom prozoru).