Zlepšovanie hierarchie inštrukcií v prelomových LLM

Systémy umelej inteligencie často prijímajú pokyny z viacerých zdrojov. Môže ísť o bezpečnostné zásady zo systémových správ, pokyny k produktom od vývojárov, požiadavky od používateľov a informácie nájdené online. Trénovanie modelov tak, aby spoľahlivo uprednostňovali najdôveryhodnejšie pokyny spomedzi týchto zdrojov, je kľúčovou súčasťou bezpečného nasadenia.

Keď sa toto stanovovanie priorít naruší, môže vzniknúť veľa problémov s bezpečnosťou a spoľahlivosťou umelej inteligencie. Modely môžu dostávať žiadosti o zakázaný obsah, pokusy o odhalenie súkromných informácií alebo útoky typu vkladanie príkazov vložené do online údajov. Neschopnosť správať sa primerane v každom z týchto scenárov má rovnakú základnú príčinu: model sa môže riadiť nesprávnym pokynom.

Keď sú tieto inštrukcie v konflikte, model sa musí rozhodnúť, ktoré z nich uprednostní. Ak model považuje nedôveryhodnú inštrukciu za autoritatívnu, môže sa správať spôsobom, ktorý porušuje pravidlá alebo zámer vývojára a používateľa.

Preukazujeme, že správne navrhnuté úlohy hierarchie inštrukcií, ktoré trénujú modely tak, aby uprednostňovali inštrukcie podľa ich úrovne dôveryhodnosti, zlepšujú niekoľko bezpečnostných vlastností v reálnom svete. Modely trénované na tieto úlohy sa stávajú citlivejšími na bezpečnostné špecifikácie v systémových príkazoch (zlepšuje sa bezpečnostná ovládateľnosť) a odolnejšími voči útokom typu „vkladanie falošných príkazov“ vloženým do výstupov nástrojov.

Na riešenie konfliktov sú modely OpenAI trénované tak, aby dodržiavali jasnú hierarchiu inštrukcií:

Systém > vývojár > používateľ > nástroj

Inštrukcie s vyššou prioritou sú dôveryhodnejšie. Model by sa mal riadiť iba inštrukciami s nižšou prioritou, keď nie sú v rozpore s obmedzeniami s vyššou prioritou. Tieto zásady sú uvedené v špecifikácii modelu OpenAI⁠(otvorí sa v novom okne).

Napríklad, ak systémová správa obsahuje bezpečnostnú politiku a používateľ požiada model o jej porušenie, model by mal odmietnuť. Ak výstup nástroja obsahuje škodlivé inštrukcie, model by ich mal ignorovať, a nie považovať ich za príkazy.

Správne dodržanie tohto postupu je základom bezpečnosti, ochrany a spoľahlivosti.

Učenie posilňovaním je prirodzenou voľbou na vyučovanie hierarchie inštrukcií. Môžeme generovať konverzácie s protichodnými inštrukciami, vyzvať model k reakcii a odmeniť ho, keď postupuje podľa správnej inštrukcie.

Identifikovali sme tri úskalia naivného uplatňovania tohto receptu:

• Zlyhania pri dodržiavaní inštrukcií sa môžu zdvojnásobiť aj zlyhaniami hierarchie inštrukcií: model nemusí vyriešiť konflikt inštrukcií nie preto, že by nerozumel hierarchii rolí, ale preto, že samotné inštrukcie sú príliš komplikované.
• Konflikty v inštrukciách môžu byť jemné a dokonca subjektívne. Bežným prístupom je nechať samostatného posudzovateľa LLM priradiť odmeny trénovanému LLM, ale samotní posudzovatelia sú omylní.
• Modely majú tendenciu učiť sa skratky, ktoré vedú k vysokej odmene, ale v praxi sú zbytočné⁠(otvorí sa v novom okne). Klasickým príkladom je nadmerné odmietnutie: modely sa môžu naučiť maximalizovať bezpečnosť odmietnutím aj neškodných žiadostí.

Navrhli sme IH-Challenge, tréningový súbor údajov pre učenie posilňovaním, aby sme riešili každý z týchto problémov. Dodržiavame nasledujúce zásady:

• Úlohy sú jednoduché, postupuje sa podľa inštrukcie
• Sú objektívne hodnotiteľné pomocou jednoduchého skriptu v jazyku Python
• Neexistujú žiadne triviálne skratky, ktoré by zaručovali vysokú odmenu za všetky úlohy

Každá úloha v IH-Challenge je v podstate konverzácia s nasledujúcimi správami:

• Správa s inštrukciami od roly s vysokými oprávneniami, napr. „Odpovedz iba ‚Áno‘ alebo ‚Nie‘“.
• Správa s inštrukciami od roly s nižšími oprávneniami, ktorá sa pokúša prinútiť model porušiť inštrukcie v správe s vyššími oprávneniami.

Trénovaný model generuje ďalšiu správu. Úlohy/prostredia píšeme tak, aby bolo možné programovo skontrolovať, či odpoveď modelu spĺňa obmedzenie vyššej úrovne.

Trénujeme model na IH-Challenge a vytvárame interný model, ktorý nazývame GPT‑5 Mini-R, s nasledujúcimi vylepšeniami: 

• Dosahuje lepšie výsledky v benchmarkoch hierarchie inštrukcií
• Zlepšený výkon sa zovšeobecňuje aj na testy hierarchie inštrukcií s odloženou a adversariálnou stránkou.
• Zachováva celkovú užitočnosť bez toho, aby sa zvrhla na nadmerné odmietnutie

Práve to robí tento prístup obzvlášť presvedčivým z hľadiska bezpečnosti: tým, že modely priamo trénujeme, aby správne riešili konflikty inštrukcií v úlohách IH-Challenge, dosahujeme zlepšenia IH, ktoré sa zovšeobecňujú na nové útoky a nové situácie.

Silnejšia hierarchia inštrukcií prináša viacero bezpečnostných výhod naraz, vrátane bezpečnej ovládateľnosti a odolnosti voči vkladaniu falošných príkazov.

Hodnotíme bezpečnostnú riaditeľnosť pridaním bezpečnostných špecifikácií pre konkrétnu kategóriu do systémového príkazu a meraním správania na bezpečnostných produkčných benchmarkoch od OpenAI (súbor bezpečnostne citlivých konverzácií reprezentatívnych pre ChatGPT v produkcii).

Model trénovaný pomocou IH vykazuje konzistentné zlepšenie: pri prítomnosti bezpečnostnej špecifikácie dosahuje vyššiu mieru odmietnutia a bezpečného dokončenia naprieč zakázanými kategóriami, čo naznačuje, že silnejšie správanie v rámci hierarchie inštrukcií ho robí lepším pri riešení konfliktov, keď nebezpečné požiadavky pochádzajú z inštrukcií s nižšou prioritou. Je pozoruhodné, že toto zlepšenie nie je sprevádzané zodpovedajúcim poklesom miery užitočnosti (t.j., nestáva sa menej „užitočným“ tým, že jednoducho celkovo viac odmieta).

Hierarchia inštrukcií je tiež kľúčová pri odolávaní voči vkladaniu falošných príkazov, keď sú škodlivé inštrukcie vložené do výstupov nástrojov. Model trénovaný pomocou IH hodnotíme na dvoch benchmarkoch pre vkladanie falošných príkazov – akademickom benchmarku CyberSecEval 2 a internom benchmarku pre vkladanie falošných príkazov od OpenAI, ktorý pozostáva z útokov, ako je ten, ktorý bol demonštrovaný na staršej verzii ChatGPT Atlas⁠.

V porovnaní so základnou úrovňou model GPT‑5 Mini-R trénovaný pomocou IH zlepšuje odolnosť voči vkladaniu falošných príkazov na oboch benchmarkoch a výrazne zlepšuje výkon v našom internom statickom hodnotení vkladania falošných príkazov v týchto experimentoch.

Keď sa modely stávajú viac agentickými—získavajú nástroje, čítajú nedôveryhodné dokumenty a vykonávajú akcie vo svete—schopnosť konzistentne uprednostňovať dôveryhodné inštrukcie pred nedôveryhodnými sa stáva kľúčovou bezpečnostnou vlastnosťou.

V tejto práci ukazujeme, že viaceré úskalia tréningu odolnosti IH možno prekonať navrhnutím tréningových prostredí, ktoré tieto úskalia riešia. Hoci sa náš dataset IH-Challenge zdá jednoduchý, správanie, ktoré sa modely naučia v týchto prostrediach, sa zovšeobecňuje na realistickejšie, často nie objektívne hodnotiteľné benchmarky.

Posilnenie hierarchie inštrukcií nielen zlepšuje spoľahlivosť, ale zároveň odomyká viacero prínosov v oblasti bezpečnosti a zabezpečenia naraz. Tento základ sa stáva čoraz dôležitejším, keď sa systémy umelej inteligencie stávajú schopnejšími a autonómnejšími.

Na podporu ďalšieho výskumu v tejto oblasti zverejňujeme dataset IH‑Challenge tu⁠(otvorí sa v novom okne).