Verbeteringen aan de instructie-hiërarchie in grensverleggende LLM's

AI-systemen ontvangen vaak instructies uit meerdere bronnen. Deze kunnen veiligheidsbeleid uit systeemberichten omvatten, productrichtlijnen van ontwikkelaars, verzoeken van gebruikers en informatie die online is gevonden. Het trainen van modellen om betrouwbaar prioriteit te geven aan de meest vertrouwde instructies uit deze bronnen is een belangrijk onderdeel van veilige implementatie.

Veel AI-veiligheids- en betrouwbaarheidsproblemen kunnen ontstaan wanneer er iets mis gaat met het kiezen van de prioriteit. Modellen kunnen verzoeken ontvangen om niet-toegestane inhoud, pogingen om privégegevens te onthullen, of prompt‑injectionaanvallen die in online gegevens zijn ingebed. Als het model zich in elk van deze scenario's niet op de juiste manier gedraagt, heeft dat dezelfde hoofdoorzaak: het kan de verkeerde instructie opvolgen.

Wanneer deze instructies met elkaar in conflict komen, moet het model beslissen welke prioriteit krijgt. Als het een onvertrouwde instructie als gezaghebbend behandelt, kan het model zich gedragen op manieren die beleid of de intentie van de ontwikkelaar en gebruiker schenden.

We tonen aan dat goed ontworpen taken met een instructie-hiërarchie, die modellen trainen om instructies te prioriteren op basis van hun vertrouwensniveau, verschillende praktische veiligheidseigenschappen verbeteren. Modellen die op deze taken zijn getraind, worden responsiever op veiligheidsspecificaties in systeemprompts (waardoor de veiligheidsstuurbaarheid verbetert) en robuuster tegen prompt-injectieaanvallen die zijn ingebed in tooluitvoer.

Om conflicten af te handelen, zijn de modellen van OpenAI getraind om een duidelijke instructie-hiërarchie te volgen:

Systeem > ontwikkelaar > gebruiker > hulpprogramma

Instructies met een hogere prioriteit zijn betrouwbaarder. Het model mag alleen instructies met lagere prioriteit opvolgen wanneer deze niet in conflict zijn met beperkingen met hogere prioriteit. Deze principes worden uiteengezet in de OpenAI modelspecificaties⁠(opent in een nieuw venster).

Bijvoorbeeld, als een systeembericht een veiligheidsbeleid bevat en een gebruiker het model vraagt om dit te schenden, moet het model weigeren. Als de uitvoer van een tool kwaadaardige instructies bevat, moet het model deze negeren in plaats van ze als opdrachten te behandelen.

Het is essentieel voor veiligheid, beveiliging en betrouwbaarheid om dit goed te doen.

Reinforcement learning is een natuurlijke keuze om de instructie-hiërarchie aan te leren. We kunnen gesprekken genereren met conflicterende instructies, het model aansporen om te reageren en het belonen wanneer het de juiste instructie volgt.

We hebben drie valkuilen geïdentificeerd bij het naïef toepassen van dat recept:

• Mislukkingen bij het opvolgen van instructies kunnen ook worden gezien als mislukkingen van de instructie-hiërarchie: het model kan er mogelijk niet in slagen een instructieconflict op te lossen, niet omdat het de hiërarchie van rollen niet begrijpt, maar omdat de instructies zelf te ingewikkeld zijn.
• Instructieconflicten kunnen genuanceerd en zelfs subjectief zijn. Een gangbare aanpak is om een aparte LLM-beoordelaar beloningen toe te laten kennen aan de LLM die wordt getraind, maar beoordelaars zelf zijn feilbaar.
• Modellen hebben de neiging te leren om shortcuts te nemen die een hoge beloning opleveren, maar in de praktijk nutteloos zijn⁠(opent in een nieuw venster). Het klassieke voorbeeld is overmatige weigeringen: modellen kunnen leren om de veiligheid te maximaliseren door zelfs goedaardige verzoeken te weigeren.

We ontwerpen IH-Challenge, een reinforcement learning-trainingsdataset, om elk van die valkuilen aan te pakken. We houden ons aan de volgende principes:

• Taken: eenvoudige taken voor het volgen van instructies
• Ze zijn objectief te beoordelen met een eenvoudig Python-script.
• Er zijn geen triviale shortcuts die een hoge beloning garanderen voor alle taken.

Elke taak in IH-Challenge is in wezen een gesprek met de volgende berichten:

• Een instructiebericht van een rol met hoge bevoegdheden, bijvoorbeeld: "Antwoord alleen met ‘Ja’ of ‘Nee’".
• Een instructiebericht van een rol met lagere privileges, dat probeert het model ertoe aan te zetten de instructies in het bericht met hogere privileges te overtreden.

Het model dat wordt getraind genereert het volgende bericht. We schrijven de taken/omgevingen zo dat het mogelijk is om programmatisch te controleren of de reactie van het model voldoet aan de beperking op een hoger niveau.

We trainen een model op IH‑Challenge en produceren een intern model, dat we GPT‑5 Mini-R noemen, met de volgende verbeteringen: 

• Presteert beter op instructie-hiërarchie‑benchmarks
• De verbeterde prestaties gelden ook voor ongeziene en adversariële tests van de instructie-hiërarchie
• Behoudt de algehele bruikbaarheid, zonder terug te vallen op overmatige weigering

Dit is wat de benadering vooral overtuigend maakt voor veiligheid: door modellen rechtstreeks te trainen om instructieconflicten correct op te lossen bij IH-challenge-taken, krijgen we IH-verbeteringen die toepasbaar zijn op nieuwe aanvallen en nieuwe situaties.

Een sterkere instructie-hiërarchie levert meerdere veiligheidsvoordelen tegelijk op, waaronder op het gebied van veiligheidsstuurbaarheid en robuustheid tegen prompt-injectie.

We evalueren veiligheidstuurbaarheid door categoriespecifieke veiligheidsspecificaties toe te voegen aan de systeemprompt en gedrag te meten op OpenAI’s safety Production Benchmarks (een set veiligheidsgevoelige gesprekken die representatief zijn voor ChatGPT in productie).

Het IH-getrainde model laat een consistente verbetering zien: met de veiligheidsspecificatie aanwezig behaalt het hogere percentages van weigeringen en veilige afhandelingen in alle niet-toegestane categorieën, wat aangeeft dat sterker gedrag volgens de instructie-hiërarchie het beter maakt in het oplossen van conflicten wanneer onveilige verzoeken afkomstig zijn van instructies met een lagere prioriteit. Opmerkelijk is dat deze verbetering niet gepaard gaat met een overeenkomstige daling van de behulpzaamheidsscore (d.w.z. het wordt niet minder behulpzaam door simpelweg in het algemeen vaker te weigeren).

Instructie-hiërarchie is ook essentieel bij het weerstaan van prompt-injectie, wanneer kwaadaardige instructies zijn ingebed in tool-uitvoer. We evalueren het met IH getrainde model op twee prompt-injectiebenchmarks: een academische benchmark, CyberSecEval 2, en een interne OpenAI-prompt-injectiebenchmark die bestaat uit aanvallen zoals die welke is gedemonstreerd op een oudere versie van ChatGPT Atlas⁠.

Vergeleken met het basismodel verbetert het met IH getrainde GPT‑5 Mini-R-model de robuustheid tegen prompt-injectie op beide benchmarks en presteert het aanzienlijk beter op onze interne statische evaluatie voor prompt-injectie in deze experimenten.

Naarmate modellen autonomer worden, tools aanroepen, onbetrouwbare documenten lezen en acties in de wereld ondernemen, wordt het steeds belangrijker dat ze consequent voorrang geven aan vertrouwde instructies boven onbetrouwbare.

In dit werk laten we zien dat verschillende valkuilen van IH-robuustheidstraining kunnen worden overwonnen door trainingsomgevingen te ontwerpen die die valkuilen aanpakken. Hoewel onze IH-Challenge-dataset eenvoudig lijkt, houden de gedragingen die modellen hier leren ook stand in realistischere benchmarks, die vaak niet objectief te beoordelen zijn.

Het versterken van de hiërarchie van instructies verbetert niet alleen de betrouwbaarheid, maar levert ook meerdere veiligheids- en beveiligingsvoordelen tegelijk op: een fundament dat steeds belangrijker wordt naarmate AI-systemen capabeler en autonomer worden.

Om verder onderzoek op dit gebied te ondersteunen, maken we de IH‑Challenge-gegevensset hier⁠(opent in een nieuw venster) openbaar.