Forbedring af instruktionshierarkiet i banebrydende LLM'er

AI-systemer modtager ofte instruktioner fra flere kilder. Disse kan omfatte sikkerhedspolitikker fra systemmeddelelser, produktvejledning fra udviklere, anmodninger fra brugere og oplysninger fundet online. At træne modeller til pålideligt at prioritere de mest troværdige instruktioner blandt disse kilder er en central del af sikker udrulning.

Mange problemer med AI-sikkerhed og -pålidelighed kan opstå, når denne prioritering bryder sammen. Modeller kan modtage anmodninger om ikke-tilladt indhold, forsøg på at afsløre private oplysninger eller prompt‑injection-angreb indlejret i onlinedata. At undlade at opføre sig passende i hver af disse scenarier har den samme grundlæggende årsag: modellen kan følge den forkerte instruktion.

Når disse instruktioner er i konflikt, skal modellen beslutte, hvilke der skal prioriteres. Hvis den behandler en ikke-pålidelig instruktion som autoritativ, kan modellen opføre sig på måder, der overtræder politikker eller udviklerens og brugerens hensigt.

Vi viser, at korrekt designede instruktionshierarki-opgaver, som træner modeller til at prioritere instruktioner efter deres tillidsniveau, forbedrer flere sikkerhedsegenskaber i den virkelige verden. Modeller, der trænes på disse opgaver, bliver mere lydhøre over for sikkerhedsspecifikationer i systemprompts (hvilket forbedrer sikkerhedsstyrbarheden) og mere robuste over for prompt injection-angreb, der er indlejret i værktøjsoutput.

For at håndtere konflikter er OpenAI's modeller trænet til at følge et klart instruktionshierarki:

System > udvikler > bruger > værktøj

Instruktioner med højere prioritet er mere pålidelige. Modellen bør kun følge instruktioner med lavere prioritet, når de ikke er i konflikt med begrænsninger med højere prioritet. Disse principper er angivet i OpenAI-modelspecifikationer⁠(åbner i et nyt vindue).

For eksempel, hvis en systemmeddelelse indeholder en sikkerhedspolitik, og en bruger beder modellen om at overtræde den, bør modellen afvise. Hvis et værktøjsoutput indeholder ondsindede instruktioner, bør modellen ignorere dem i stedet for at behandle dem som kommandoer.

At få dette rigtigt er grundlæggende for sikkerhed, tryghed og pålidelighed.

Forstærkende læring er et naturligt valg til at lære instruktionshierarkiet. Vi kan generere samtaler med modstridende instruktioner, prompte modellen til at svare og belønne den, når den følger den korrekte instruktion.

Vi har identificeret tre faldgruber ved naivt at anvende den opskrift:

• Manglende efterlevelse af instruktioner kan også være en fejl i instruktionshierarkiet: Modellen kan undlade at løse en instruktionskonflikt, ikke fordi den ikke forstår rollehierarkiet, men fordi instruktionerne i sig selv er for komplicerede.
• Instruktionskonflikter kan være nuancerede og endda subjektive. En almindelig tilgang er at lade en separat LLM-dommer tildele belønninger til den LLM, der trænes, men dommere er selv fejlbarlige.
• Modeller har en tendens til at lære genveje, der giver høj belønning, men er ubrugelige i praksis⁠(åbner i et nyt vindue). Det klassiske eksempel er overnægtelser: Modeller kan lære at maksimere sikkerheden ved at afvise selv harmløse anmodninger.

Vi udvikler IH-Challenge, et træningsdatasæt til forstærkende læring, for at håndtere hver af disse faldgruber. Vi overholder følgende principper:

• Opgaverne er enkle og følger instruktionerne
• De kan bedømmes objektivt med et simpelt Python-script
• Der er ingen trivielle genveje, der garanterer høj belønning på tværs af alle opgaver

Hver opgave i IH-Challenge er grundlæggende en samtale med følgende beskeder:

• En instruktionsmeddelelse fra en rolle med høje privilegier, f.eks. “Besvar kun ‘Ja’ eller ‘Nej’”.
• En instruktionsmeddelelse fra en rolle med lavere privilegier, som forsøger at få modellen til at overtræde instruktionerne i meddelelsen med højere privilegier.

Den model, der trænes, genererer den næste besked. Vi skriver opgaverne/miljøerne, så det er muligt programmatisk at kontrollere, om modellens svar opfylder den overordnede begrænsning.

Vi træner en model på IH‑Challenge og producerer en intern model, som vi kalder GPT‑5 Mini-R, med følgende forbedringer: 

• Præsterer bedre på benchmarks for instruktionshierarki
• Forbedret ydeevne generaliserer til held‑out- og fjendtlige instruktionshierarkitests
• Bevarer den generelle nytteværdi uden at ende i overdreven afvisning

Det er det, der gør tilgangen særligt overbevisende for sikkerheden: ved at træne modeller direkte til at løse instruktionskonflikter korrekt på IH-challenge-opgaver opnår vi IH-forbedringer, der generaliserer til nye angreb og situationer.

Et stærkere instruktionshierarki giver flere sikkerhedsfordele på én gang, herunder bedre sikkerhedsstyrbarhed og robusthed over for prompt injection.

Vi evaluerer sikkerhedsstyring ved at tilføje kategorispecifikke sikkerhedsspecifikationer til systemprompten og måle adfærd på OpenAI's sikkerhedsproduktionsbenchmarks (et sæt sikkerhedsfølsomme samtaler, der repræsenterer ChatGPT i produktion).

Den IH-trænede model viser en konsekvent forbedring: med sikkerhedsspecifikationen til stede opnår den højere afvisnings- og sikre svar-rater på tværs af ikke-tilladte kategorier, hvilket indikerer, at stærkere adfærd i instruktionshierarkiet gør den bedre til at løse konflikter, når usikre anmodninger kommer fra instruktioner med lavere prioritet. Det er bemærkelsesværdigt, at denne forbedring ikke ledsages af et tilsvarende fald i nytteprocenten (dvs. at den ikke bliver mindre “nyttig” ved blot at afvise mere samlet set).

Instruktionshierarkiet er også centralt for at modstå prompt injection, når ondsindede instruktioner er indlejret i værktøjsoutput. Vi evaluerer den IH-trænede model på to prompt injection-benchmarks – et akademisk benchmark, CyberSecEval 2, og et internt OpenAI-prompt injection-benchmark, der består af angreb som det, der blev demonstreret på en ældre version af ChatGPT Atlas⁠.

Relativt til baseline forbedrer den IH-trænede GPT‑5 Mini-R-model robustheden over for prompt injection på begge benchmarks og forbedrer i væsentlig grad ydeevnen på vores interne statiske prompt injection-evaluering i disse eksperimenter.

Efterhånden som modeller bliver mere agentiske – kalder værktøjer, læser upålidelige dokumenter og foretager handlinger i verden – bliver evnen til konsekvent at prioritere pålidelige instruktioner over upålidelige en central sikkerhedsegenskab.

Dette arbejde viser, at flere faldgruber ved IH-robusthedstræning kan overvindes ved at designe træningsmiljøer, der adresserer disse faldgruber. Selvom vores IH-Challenge-datasæt virker simpelt, generaliserer de IH-adfærdsmodeller, som modellerne lærer fra disse miljøer, til mere realistiske, ofte ikke-objektivt-bedømmelige benchmarks.

Styrkelse af instruktionshierarkiet forbedrer ikke kun pålideligheden, men muliggør også flere sikkerheds- og tryghedsgevinster på én gang – et fundament, der bliver stadig vigtigere, efterhånden som AI-systemer bliver mere kompetente og autonome.

For at støtte yderligere forskning på dette område lancerer vi IH‑Challenge-datasættet her⁠(åbner i et nyt vindue).