Verbesserung der Anweisungshierarchie in Frontier-LLMs

KI-Systeme erhalten häufig Anweisungen aus mehreren Quellen. Dazu können Sicherheitsrichtlinien aus Systemnachrichten, Produkthinweise von Entwickler:innen, Anfragen von Benutzer:innen und online gefundene Informationen gehören. Modelle so zu trainieren, dass sie zuverlässig die vertrauenswürdigsten Anweisungen unter diesen Quellen priorisieren, ist ein zentraler Bestandteil einer sicheren Bereitstellung.

Viele Probleme in Bezug auf KI-Sicherheit und -Zuverlässigkeit können auftreten, wenn diese Priorisierung versagt. Modelle können Anfragen nach unzulässigen Inhalten erhalten oder Ziel von Versuchen zur Offenlegung privater Informationen sowie von in Online-Daten eingebetteten Prompt-Injection-Angriffen werden. Wenn sich das Modell in jedem dieser Szenarien nicht angemessen verhält, hat das dieselbe Grundursache: Das Modell folgt möglicherweise der falschen Anweisung.

Wenn diese Anweisungen im Widerspruch stehen, muss das Modell entscheiden, welche es priorisieren soll. Wenn es eine nicht vertrauenswürdige Anweisung als maßgeblich behandelt, kann sich das Modell auf eine Weise verhalten, die gegen Richtlinien oder die Absicht von Entwickler:innen und Benutzer:innen verstößt.

Wir zeigen, dass korrekt konzipierte Aufgaben zur Anweisungshierarchie, die Modelle darauf trainieren, Anweisungen entsprechend ihrem Vertrauensgrad zu priorisieren, mehrere sicherheitsrelevante Eigenschaften in der Praxis verbessern. Modelle, die mit diesen Aufgaben trainiert wurden, reagieren stärker auf Sicherheitsspezifikationen in System-Prompts (was die sicherheitsbezogene Steuerbarkeit verbessert) und sind robuster gegenüber in Tool-Ausgaben eingebetteten Prompt-Injection-Angriffen.

Um Konflikte zu bewältigen, werden die Modelle von OpenAI darauf trainiert, einer klaren Anweisungshierarchie zu folgen:

System > Entwickler:in > Benutzer:in > Tool

Anweisungen mit höherer Priorität wird stärker vertraut. Das Modell sollte Anweisungen mit niedrigerer Priorität nur befolgen, wenn sie nicht mit Einschränkungen höherer Priorität in Konflikt stehen. Diese Prinzipien sind in der OpenAI-Modellspezifikation⁠(wird in einem neuen Fenster geöffnet) dargelegt.

Zum Beispiel: Wenn eine Systemnachricht eine Sicherheitsrichtlinie enthält und ein:e Benutzer:in das Modell auffordert, dagegen zu verstoßen, sollte das Modell die Anfrage ablehnen. Wenn eine Tool-Ausgabe bösartige Anweisungen enthält, sollte das Modell sie ignorieren, statt sie als Befehle zu behandeln.

Das richtig umzusetzen, ist grundlegend für Sicherheit, Schutz und Zuverlässigkeit.

Reinforcement Learning eignet sich hervorragend zum Vermitteln der Anweisungshierarchie. Wir können Gespräche mit widersprüchlichen Anweisungen generieren, das Modell mit einem Prompt zur Antwort auffordern und es belohnen, wenn es der richtigen Anweisung folgt.

Wir haben drei Fallstricke identifiziert, die bei einer naiven Anwendung dieses Rezepts auftreten können:

• Fehler beim Befolgen von Anweisungen können zugleich Fehler in der Anweisungshierarchie sein: So kann es sein, dass das Modell es nicht schafft, einen Anweisungskonflikt aufzulösen – nicht weil es die Hierarchie der Rollen nicht versteht, sondern weil die Anweisungen selbst zu komplex sind.
• Anweisungskonflikte können nuanciert und sogar subjektiv sein. Ein gängiger Ansatz besteht darin, dass ein separates LLM als Judge Belohnungen für das zu trainierende LLM vergibt, aber selbst Judges sind fehlbar.
• Modelle neigen dazu, Abkürzungen zu lernen, die zu einer hohen Belohnung führen, aber in der Praxis nutzlos sind⁠(wird in einem neuen Fenster geöffnet). Das klassische Beispiel sind übermäßige Ablehnungen (Overrefusals): Modelle können lernen, die Sicherheit zu maximieren, indem sie sogar harmlose Anfragen ablehnen.

Wir entwickeln IH-Challenge, einen Reinforcement-Learning-Trainingsdatensatz, um jeden dieser Fallstricke zu adressieren. Wir halten uns an die folgenden Prinzipien:

• Die Aufgaben sind in Bezug auf das Befolgen von Anweisungen einfach.
• Sie sind mit einem einfachen Python-Skript objektiv bewertbar
• Es gibt keine trivialen Abkürzungen, die bei allen Aufgaben eine hohe Belohnung garantieren

Jede Aufgabe in IH-Challenge ist im Wesentlichen ein Gespräch mit den folgenden Nachrichten:

• Eine Anweisungsnachricht von einer Rolle mit hohen Berechtigungen, z. B. „Antworte nur mit ‚Ja‘ oder ‚Nein‘“.
• Eine Anweisungsnachricht von einer Rolle mit geringeren Berechtigungen, die versucht, das Modell dazu zu bringen, die Anweisungen in der Nachricht mit höheren Berechtigungen zu verletzen.

Das Modell, das trainiert wird, generiert die nächste Nachricht. Wir schreiben die Aufgaben/Umgebungen so, dass es möglich ist, programmgesteuert zu überprüfen, ob die Antwort des Modells die übergeordnete Einschränkung erfüllt.

Wir trainieren ein Modell auf IH‑Challenge und erstellen ein internes Modell, das wir GPT‑5 Mini-R nennen, mit den folgenden Verbesserungen: 

• Erzielt eine bessere Leistung bei Anweisungshierarchie-Benchmarks
• Die verbesserte Leistung lässt sich auf nicht im Training enthaltene sowie Adversarial-Tests zur Anweisungshierarchie verallgemeinern
• Bewahrt die allgemeine Nützlichkeit, ohne in übermäßige Ablehnungen zu verfallen

Das macht den Ansatz besonders überzeugend für die Sicherheit: Indem wir Modelle direkt darauf trainieren, Anweisungskonflikte bei IH-Challenge-Aufgaben korrekt zu lösen, erzielen wir IH-Verbesserungen, die sich auf neue Angriffe und neue Situationen verallgemeinern lassen.

Eine stärkere Anweisungshierarchie bietet mehrere Sicherheitsvorteile gleichzeitig, unter anderem bei der Sicherheitssteuerbarkeit und der Prompt-Injection-Robustheit.

Wir evaluieren die sicherheitsbezogene Steuerbarkeit, indem wir dem System-Prompt kategoriespezifische Sicherheitsspezifikationen hinzufügen und das Verhalten anhand der „Production Benchmarks“ für Sicherheit von OpenAI messen (eine Reihe sicherheitssensibler Gespräche, die repräsentativ für ChatGPT in Produktion sind).

Das IH-trainierte Modell zeigt eine konsistente Verbesserung: Bei vorhandener Sicherheitsspezifikation erreicht es über alle unzulässigen Kategorien hinweg höhere Ablehnungs- und „Sicherer Abschluss“-Raten, was darauf hindeutet, dass stärkeres Anweisungshierarchie-Verhalten es besser darin macht, Konflikte zu lösen, wenn unsichere Anfragen aus Anweisungen mit niedrigerer Priorität stammen. Bemerkenswert ist, dass diese Verbesserung nicht mit einer entsprechenden Abnahme der Nützlichkeitsrate einhergeht (d. h., das Modell wird nicht weniger „hilfreich“, indem es insgesamt einfach häufiger ablehnt).

Die Anweisungshierarchie ist ebenfalls zentral, um Prompt Injection zu widerstehen, wenn bösartige Anweisungen in Tool-Ausgaben eingebettet sind. Wir bewerten das IH-trainierte Modell anhand von zwei Prompt-Injection-Benchmarks – einem akademischen Benchmark (CyberSecEval 2) und einem internen Prompt-Injection-Benchmark von OpenAI, der aus Angriffen wie dem besteht, der an einer älteren Version von ChatGPT Atlas⁠ demonstriert wurde.

Im Vergleich zur Baseline verbessert das IH-trainierte GPT‑5 Mini-R-Modell in diesen Experimenten die Prompt-Injection-Robustheit bei beiden Benchmarks und verbessert die Leistung in unserer internen statischen Prompt-injection-Evaluierung deutlich.

Da Modelle immer agentischer werden – sie rufen Tools auf, lesen nicht vertrauenswürdige Dokumente und führen Aktionen in der realen Welt aus –, wird die Fähigkeit, vertrauenswürdige Anweisungen konsequent gegenüber nicht vertrauenswürdigen zu priorisieren, zu einer zentralen Sicherheitseigenschaft.

In dieser Arbeit zeigen wir, dass sich mehrere Fallstricke des IH-Robustheitstrainings überwinden lassen, indem Trainingsumgebungen entworfen werden, die diese Fallstricke berücksichtigen. Obwohl unser IH-Challenge-Datensatz einfach erscheint, lässt sich das aus diesen Umgebungen von den Modellen gelernte IH-Verhalten auf realistischere, oft nicht objektiv bewertbare Benchmarks übertragen.

Die Stärkung der Anweisungshierarchie verbessert nicht nur die Zuverlässigkeit, sondern erschließt gleichzeitig mehrere Sicherheitsvorteile – eine Grundlage, die mit zunehmender Leistungsfähigkeit und Autonomie von KI-Systemen immer wichtiger wird.

Um weitere Forschung in diesem Bereich zu unterstützen, veröffentlichen wir den IH‑Challenge-Datensatz hier⁠(wird in einem neuen Fenster geöffnet).