KI-Agenten so entwickeln, dass sie Prompt Injection widerstehen

KI-Agenten sind zunehmend in der Lage, im Web zu surfen, Informationen abzurufen und im Namen von Nutzer:innen Aktionen auszuführen. Diese Funktionen sind nützlich, aber sie schaffen auch neue Möglichkeiten für Angreifer:innen, das System zu manipulieren.

Diese Angriffe werden oft als Prompt Injection⁠ beschrieben: Anweisungen, die in externen Inhalten platziert werden, um das Modell dazu zu bringen, etwas zu tun, worum der/die Benutzer:in nicht gebeten hat. Unserer Erfahrung nach ähneln die effektivsten, in der Praxis vorkommenden Varianten dieser Angriffe zunehmend eher Social Engineering als einfachen Eingabemanipulationen.

Dieser Wandel ist von Bedeutung. Wenn das Problem nicht nur darin besteht, eine bösartige Zeichenfolge zu identifizieren, sondern irreführenden oder manipulativen Inhalten im Kontext zu widerstehen, dann kann die Abwehr dagegen nicht allein auf dem Filtern von Eingaben beruhen. Das System muss außerdem so konzipiert sein, dass die Auswirkungen von Manipulationen begrenzt bleiben, selbst wenn einige Angriffe erfolgreich sind.

Frühe Angriffe vom Typ „Prompt Injection“ konnten so einfach sein wie das Bearbeiten eines Wikipedia-Artikels, um direkte Anweisungen für KI-Agenten einzufügen, die ihn besuchen; ohne Trainingserfahrung mit einer solchen feindlichen Umgebung folgten KI-Modelle diesen Anweisungen oft, ohne sie zu hinterfragen¹. Da Modelle intelligenter geworden sind, sind sie auch weniger anfällig für diese Art von Suggestion geworden, und wir haben beobachtet, dass Prompt-Injection-Angriffe darauf reagiert haben, indem sie Elemente des Social Engineering einbeziehen:

Im breiteren KI-Sicherheitsökosystem ist es üblich geworden, Techniken wie „KI-Firewalling“ zu empfehlen, bei dem ein Vermittler zwischen dem KI-Agenten und der Außenwelt versucht, Eingaben in bösartige Prompt Injection und reguläre Eingaben zu klassifizieren – doch diese vollständig ausgereiften Angriffe werden von solchen Systemen in der Regel nicht erkannt. Bei solchen Systemen wird das Erkennen einer böswilligen Eingabe zu demselben sehr schwierigen Problem wie das Erkennen einer Lüge oder von Fehlinformationen – und oft ohne den notwendigen Kontext.

Während reale Prompt-Injection-Angriffe immer komplexer geworden sind, haben wir festgestellt, dass die effektivsten Angriffstechniken Social-Engineering-Taktiken nutzten. Anstatt diese Prompt-Injection-Angriffe mittels Social Engineering als eigenständige oder völlig neue Problemkategorie zu betrachten, begannen wir, sie unter dem gleichen Blickwinkel zu betrachten, unter dem wir auch Social-Engineering-Risiken für Menschen in anderen Bereichen handhaben. In diesen Systemen ist das Ziel nicht darauf beschränkt, böswillige Eingaben perfekt zu identifizieren, sondern Agenten und Systeme so zu entwerfen, dass die Auswirkungen von Manipulation eingeschränkt sind, selbst wenn sie erfolgreich ist. Solche Systeme erweisen sich als wirksam bei der Abwehr sowohl von Prompt Injection als auch von Social Engineering.

Auf diese Weise können wir uns den KI-Agenten als Teil eines ähnlichen Drei-Akteure-Systems vorstellen wie eine:n Kundendienstmitarbeiter:in: Der Agent möchte im Namen seines Arbeitgebers handeln, ist jedoch ständig externen Einflüssen ausgesetzt, die versuchen könnten, ihn in die Irre zu führen. Die Fähigkeiten des/der Kundendienstmitarbeiter:in – sei es ein Mensch oder eine KI – müssen eingeschränkt werden, um das mit dem Einsatz in einem derart böswilligen Umfeld verbundene Risiko zu begrenzen.

Stell dir einen Umstand vor, in dem ein Mensch ein Kundensupportsystem bedient und in der Lage ist, Geschenkkarten und Rückerstattungen für Unannehmlichkeiten auszugeben, die der Kunde erlebt hat, wie z. B. langsame Lieferung, Schäden infolge einer Fehlfunktion usw. Dies ist ein Problem mit mehreren Parteien, bei dem das Unternehmen darauf vertrauen muss, dass der/die Mitarbeiter:in Rückerstattungen aus den richtigen Gründen gewährt, während diese:r auch mit Dritten interagiert, die versuchen könnten, ihn/sie in die Irre zu führen oder ihn/sie sogar unter Druck zu setzen.

In der realen Welt erhält der/die Mitarbeiter:in eine Reihe von Regeln, an die er/sie sich halten muss, doch es ist zu erwarten, dass er/sie in dem feindlichen Umfeld, in dem er/sie sich befindet, in die Irre geführt wird. Vielleicht sendet ein:e Kund:in eine Nachricht und behauptet, dass die Rückerstattung nie angekommen ist, oder droht mit Gewalt, wenn keine Rückerstattung gewährt wird. Die deterministischen Systeme, mit denen der/die Mitarbeiter:in interagiert, begrenzen die Höhe der Rückerstattungen, die Kund:innen gewährt werden können, weisen auf potenzielle Phishing-E-Mails hin und bieten weitere Maßnahmen dieser Art, um die Auswirkungen einer Kompromittierung eines/einer einzelnen Mitarbeiter:in zu begrenzen. 

Diese Denkweise hat zu einer Reihe wirksamer Gegenmaßnahmen geführt, die wir ergriffen haben, um die Sicherheitserwartungen unserer Nutzer:innen zu erfüllen.

In ChatGPT kombinieren wir dieses Social-Engineering-Modell mit traditionelleren Security-Engineering-Ansätzen wie der Source-Sink-Analyse.

In diesem Rahmen benötigt ein:e Angreifer:in sowohl eine Quelle oder eine Möglichkeit, das System zu beeinflussen, als auch ein Ziel oder eine Fähigkeit, die im falschen Kontext gefährlich wird. Bei agentischen Systemen bedeutet das oft, nicht vertrauenswürdige externe Inhalte mit einer Aktion zu kombinieren, etwa Informationen an Dritte zu übermitteln, einem Link zu folgen oder mit einem Tool zu interagieren.

Unser Ziel ist es, eine grundlegende Sicherheitserwartung der Nutzer:innen zu wahren: Potenziell gefährliche Aktionen oder Übertragungen potenziell sensibler Informationen, sollten nicht stillschweigend oder ohne angemessene Schutzmaßnahmen erfolgen.

Angriffe, die wir am häufigsten gegen ChatGPT beobachten, bestehen meist darin, zu versuchen, den Assistenten davon zu überzeugen, dass er geheime Informationen aus einem Gespräch entnehmen und an einen böswilligen Dritten übermitteln sollte. In den meisten uns bekannten Fällen scheitern diese Angriffe, weil unser Sicherheitstraining dazu führt, dass der Agent die Anfrage ablehnt. Für die Fälle, in denen der Agent überzeugt wird, haben wir eine Minderungsstrategie namens Safe Url entwickelt, die darauf ausgelegt ist zu erkennen, wann Informationen, die der Assistent im Gespräch erfahren hat, an einen Dritten übermittelt würden. In diesen seltenen Fällen zeigen wir dem/der Benutzer:in entweder die Informationen an, die übermittelt würden, und bitten ihn/sie um Bestätigung, oder wir blockieren dies und weisen den Agenten an, einen anderen Weg zu finden, um die Nutzeranfrage zu bearbeiten.

Derselbe Mechanismus gilt für Navigationen und Lesezeichen in Atlas⁠ sowie für Suchen und Navigationen in Deep Research⁠. ChatGPT Canvas⁠ und ChatGPT Apps⁠ verfolgen einen ähnlichen Ansatz und ermöglichen es dem Agenten, funktionale Anwendungen zu erstellen und zu nutzen. Diese laufen in einer Sandbox, die unerwartete Kommunikation erkennen kann und den/die Nutzer:in um Zustimmung bittet⁠(wird in einem neuen Fenster geöffnet).

Mehr Informationen zu Safe Url und ein Paper über seine Struktur findest du im dazugehörigen Blogbeitrag So sind deine Daten sicher, wenn ein KI-Agent auf einen Link klickt⁠.

Für vollständig autonome Agenten ist ein sicherer Umgang mit der feindseligen Außenwelt unerlässlich. Bei der Integration eines KI-Modells in ein Anwendungssystem empfehlen wir, zu fragen, welche Kontrollen ein menschlicher Agent in einer ähnlichen Situation haben sollte, und diese zu implementieren. Wir erwarten, dass ein maximal intelligentes KI-Modell Social Engineering besser widerstehen kann als ein:e menschlicher Mitarbeiter:in, aber dies ist je nach Anwendung nicht immer machbar oder kosteneffektiv.

Wir untersuchen weiterhin die Auswirkungen von Social Engineering auf KI-Modelle und die Abwehrmaßnahmen dagegen und integrieren unsere Erkenntnisse sowohl in unsere Anwendungssicherheitsarchitekturen als auch in das Training, das wir unsere KI-Modelle durchlaufen lassen.