Cyber-Evaluierungen von OpenAI-Modellen durch Dritte
Unabhängige Tests helfen uns, Risiken vor der Bereitstellung zu überprüfen und besser zu verstehen. Einige Cyber-Evaluierungen nutzen bewusst angepasste Konfigurationen, darunter reduzierte Schutzmaßnahmen. So sollen die grundlegenden Fähigkeiten gemessen werden, nicht das übliche Verhalten der Modelle in öffentlich verfügbaren Anwendungen.
Bei kürzlich durchgeführten Evaluierungen stellten zwei externe Testunternehmen Vorfälle fest, bei denen die Kombination aus Testkonfigurationen, Kontrollen und den fortgeschrittenen Fähigkeiten neuer Modelle dazu führte, dass Modellaktivitäten die vorgesehenen Grenzen der Testumgebung überschritten. Die Vorfälle zeigen, wie wichtig die Zusammenarbeit innerhalb der Branche und mit unabhängigen Evaluierungsunternehmen ist. Mit zunehmenden Fähigkeiten der Modelle müssen auch die Standards für Testumgebungen und -verfahren weiterentwickelt werden. Anmerkung der Redaktion: Diese Vorfälle stehen nicht mit dem Sicherheitsvorfall bei Hugging Face in Verbindung. Aktuelle Informationen zum Vorfall bei Hugging Face veröffentlichen wir weiterhin hier.
Bei den neuen Vorfällen griffen Modelle von OpenAI während externer Cyber-Evaluierungen auf das öffentliche Internet zu. Dies geschah unter besonderen Bedingungen und bei Konfigurationen mit reduzierten Schutzmaßnahmen, die nicht dem normalen Einsatz entsprachen. Im Einzelnen ging es um folgende Vorfälle:
- UK AISI, das AI Security Institute der britischen Regierung, führte Evaluierungen in Cyber-Testumgebungen durch. Der Internetzugang war bewusst aktiviert, damit Agenten selbstständig Werkzeuge finden und unter Bedingungen agieren konnten, die denen echter Angreifender näherkamen. Cyber-Klassifikatoren waren deaktiviert, um die grundlegenden Fähigkeiten zu messen. Den Blogbeitrag von UK AISI findest du hier.(wird in einem neuen Fenster geöffnet)
- Irregular, eines unserer externen Cybersecurity-Testunternehmen, führte Evaluierungen nach dem Capture-the-Flag-Prinzip durch, die vom Internet isoliert sein sollten. Aufgrund einer Fehlkonfiguration der Testumgebung konnten die Modelle jedoch auf das öffentliche Internet zugreifen.
Im Folgenden fassen wir zusammen, was geschehen ist, welche Testbedingungen die Aktivität ermöglichten, wie sie eingedämmt wurde und was wir unternehmen, damit unabhängige Labore immer leistungsfähigere Modelle weiterhin gründlich und sicher evaluieren können.
Diese Vorfälle verdeutlichen dieselbe grundlegende Herausforderung, die wir bereits in unserem aktuellen Beitrag zum Vorfall bei Hugging Face beschrieben haben: Wenn die Fähigkeiten von Modellen zunehmen, müssen sich auch die zugehörigen Sicherheits- und Schutzsysteme weiterentwickeln. Das gilt sowohl für die Entwicklungsumgebungen der Modelle als auch für die Umgebungen, in denen Labore und unabhängige Partner sie evaluieren.
In den kommenden Wochen werden wir unseren Ansatz für Tests durch Dritte überprüfen. Dabei geht es unter anderem darum, Evaluierungen mit höherem Risiko zu erkennen, den Umfang zu vereinbaren und Anfragen nach Internetzugang oder reduzierten Schutzmaßnahmen zu bewerten. Außerdem wollen wir klarere Vorgaben für Isolation, den Umgang mit Zugangsdaten, Überwachung und Abbruchkriterien sowie eindeutigere Verfahren für Vorfallmeldungen und Eskalationen festlegen.
Wir werden gemeinsam mit der Branche die Verfahren für eine sichere Durchführung risikoreicher Evaluierungen verbessern. Dazu wollen wir in den kommenden Wochen unter anderem nationale KI-Institute, unabhängige Evaluierungsunternehmen, andere KI-Labore und weitere Gruppen zusammenbringen. Unser Ziel ist es, den Nutzen gründlicher unabhängiger Evaluierungen zu erhalten und zugleich sicherzustellen, dass die Testverfahren mit den zunehmenden Fähigkeiten der Modelle Schritt halten.
Am 3. August informierte uns UK AISI darüber, dass Modelle von OpenAI und einem anderen Labor bei einer routinemäßigen, am 25. Juli begonnenen Cyber-Evaluierung in einigen Fällen den vorgesehenen Testumfang überschritten hatten. Die Evaluierung fand in kontrollierten Cyber-Testumgebungen statt, die reale Netzwerke nachbilden sollten. An zwei der 19 festgestellten Ereignisse war ein Modell von OpenAI beteiligt: GPT‑5.6 Sol. In den übrigen Fällen waren Modelle eines anderen Labors beteiligt.
Für diese Evaluierung sollten die Agenten in einer Capture-the-Flag-Übung als Cybersecurity-Fachleute agieren: Sie sollten drei miteinander verbundene simulierte Umgebungen kompromittieren und die abschließende Flag sichern. Der Prompt zur Aufgabe bezeichnete die Netzwerke innerhalb der Testumgebung als zulässige Ziele und schloss mehrere Systeme ausdrücklich aus. UK AISI aktivierte außerdem den Internetzugang, damit die Agenten Werkzeuge herunterladen und unter Bedingungen agieren konnten, die denen menschlicher Angreifender näherkamen. Zugleich deaktivierte UK AISI die Cyber-Klassifikatoren des Modells, um dessen grundlegende Fähigkeiten zu messen.
Die von UK AISI vorgesehene Autorisierungsgrenze war die simulierte Cyber-Testumgebung: Die Agenten durften die angegebenen simulierten Netzwerke angreifen und eine Flag abrufen, aber nicht mit Systemen außerhalb der Netzwerkgrenzen der Testumgebung interagieren. Den Agenten wurde jedoch nicht ausdrücklich mitgeteilt, wie sie den offenen Internetzugang nutzen durften und wie nicht. UK AISI nennt dies als möglichen Faktor, der zu dem Vorfall beigetragen hat.
Bei diesen Durchläufen stellte UK AISI fest, dass GPT‑5.6 Sol auf der Suche nach einem Weg in die simulierte Testumgebung und zur Flag zwei nicht autorisierte Handlungen ausführte:
- GPT‑5.6 Sol verwendete ein GitHub-Token weiter, das der Agent eines anderen Labors öffentlich zugänglich hinterlassen hatte, um zu prüfen, ob ein System innerhalb der Testumgebung GitHub oder einen anderen Update-Dienst abfragte. Das Modell versuchte zudem, die Kontowiederherstellung und Anfragelimits zu umgehen, und registrierte Konten bei externen DNS- und Tunneling-Anbietern.
- GPT‑5.6 Sol nutzte einen öffentlichen Tunneling-Dienst, um einen lokal in seiner Evaluierungsumgebung betriebenen DNS-Server aus dem öffentlichen Internet erreichbar zu machen. Der Server enthielt Payloads, die eine bekannte Schwachstelle in einer Software innerhalb der Testumgebung ausnutzen sollten. Die Konfiguration funktionierte nicht. Es gibt keine Hinweise darauf, dass ein echter Resolver sie abgefragt hat, und die Infrastruktur wurde nach Abschluss der Evaluierung entfernt.
Obwohl das Modell die Cyber-Testumgebung erfolgreich durchlaufen wollte, stufte UK AISI diese Handlungen als nicht autorisiert ein, da sie echte externe Konten und Dienste außerhalb der Testumgebung betrafen und für die Aufgabe nicht erforderlich waren. Der DNS-Server stellte die Exploit-Payloads zudem im öffentlichen Internet bereit. Die Konfiguration funktionierte jedoch nicht, und es gibt keine Hinweise darauf, dass ein echter Resolver sie abgefragt hat.
UK AISI stellte die Aktivität am 28. Juli fest, nachdem die Sicherheitsüberwachung ungewöhnliche Datenübertragungen erkannt hatte. UK AISI beendete die betreffenden Evaluierungen, isolierte die relevanten Systeme und dämmte die Aktivität innerhalb von etwa einer Stunde nach ihrer Erkennung ein.
Wir schätzen die partnerschaftliche Zusammenarbeit mit UK AISI während des gesamten Prozesses, insbesondere die Identifizierung und Untersuchung der Aktivität sowie die Weitergabe von Einzelheiten. Wir freuen uns darauf, unsere Zusammenarbeit fortzusetzen.
Am 29. Juli informierte uns Irregular, eines unserer externen Evaluierungsunternehmen, über einen Vorfall mit Modellen von OpenAI bei Cybersecurity-Evaluierungen nach dem Capture-the-Flag-Prinzip (CTF). Die Modelle sollten verborgene Informationen finden, indem sie Schwachstellen in einer simulierten Umgebung ausnutzten. Ihnen wurde mitgeteilt, dass sie keinen Internetzugang hätten. Aufgrund einer Fehlkonfiguration der Testumgebung konnten die Modelle jedoch auf das öffentliche Internet zugreifen.
In einem Test stimmte der Name des fiktiven Ziels der CTF-Aufgabe unbeabsichtigt mit einer echten Domain überein. Da die Testumgebung versehentlich mit dem Internet verbunden war, nutzte das Modell eine Schwachstelle einer echten Website aus, die es für einen Teil der simulierten Umgebung hielt. Dabei handelte es sich weder um einen komplexen Ausbruch aus der Sandbox noch um eine Zero-Day-Schwachstelle. Der Internetzugang war Folge einer Fehlkonfiguration, und das Modell nutzte offenbar eine einfache Sicherheitslücke aus.
Laut der Untersuchung von Irregular fand und verwendete das Modell außerdem Zugangsdaten, mit denen sich dieselbe Website verwalten ließ. Irregular hat keine Auswirkungen über die eigenen Daten der betroffenen Website hinaus festgestellt. Die Prüfung dauert an. Irregular hat die Evaluierungen ausgesetzt und mit der Behebung begonnen. Betroffene Dritte wurden benachrichtigt. Irregular teilte uns mit, dass alle im Zusammenhang mit dem Vorfall festgestellten Probleme inzwischen behoben sind und die Testumgebung um entsprechende Schutzmaßnahmen ergänzt wurde. Irregular hat außerdem über ähnliche Vorfälle mit anderen Laboren in derselben Testumgebung informiert.
Wir schätzen die partnerschaftliche Zusammenarbeit mit Irregular und werden weiterhin eng mit dem Unternehmen zusammenarbeiten, um seine Prüfung zu unterstützen. Irregular erarbeitet zudem ein Whitepaper mit bewährten Verfahren zur Eindämmung von Vorfällen und zur sicheren Durchführung von Cyber-Evaluierungen. Wir freuen uns darauf, am Whitepaper mitzuwirken, die Erkenntnisse der Community zugänglich zu machen und unsere Zusammenarbeit fortzusetzen. Eine solche Zusammenarbeit ist aus unserer Sicht entscheidend, um heutige und künftige Modelle sicher und gründlich evaluieren zu können.
