Der Vorfall bei Hugging Face und der weitere Weg

Im Mai und Juni starteten wir Reinforcement-Learning-(RL)-Trainingsläufe für mehrere neue Forschungsmodelle, die nicht für eine öffentliche Veröffentlichung vorgesehen waren. Eines dieser Modelle war letztlich für die Aktivitäten hinter dem Vorfall bei Hugging Face verantwortlich. Dies ist ein ausschließlich intern genutztes Forschungsmodell, das wir Internal Model 1 (IM1) nennen.

Wir haben für viele der Umgebungen in diesen Trainingsexperimenten weder den Internetzugang noch die Kommunikation zwischen Agenten aktiviert. Trotz dieser Einschränkungen entdeckten die Agenten Möglichkeiten, unsere Forschungsinfrastruktur auszunutzen, um miteinander zu kommunizieren und auf das Internet zuzugreifen.

Die Modelle fanden zunächst Wege, miteinander zu kommunizieren, indem sie Dateien in den Artifactory-Paketmanagerdienst schrieben. Dadurch wurde Artifactory faktisch zu einem unbeabsichtigten Messageboard, in dem Agenten Informationen untereinander austauschen konnten. Weiterlesen: Wie Agenten das Messageboard genutzt haben 

Bis zum 4. Juli hatte anhaltende Agenten-Aktivität die betroffene Artifactory-Instanz destabilisiert, was zu einem Ausfall führte. Am 5. Juli wurde ein Sicherheitsvorfall gemeldet. Das Sicherheitsteam blockierte einen bekannten Weg zur Rechteausweitung, entfernte offengelegte Zugangsdaten und baute Artifactory neu auf. Dies hatte den Nebeneffekt, dass der Inhalt des Messageboards gelöscht wurde. Nachdem diese Abhilfemaßnahmen umgesetzt worden waren, wurden die Cybersicherheits-Evaluationen wieder aufgenommen.

Zu diesem Zeitpunkt waren die umfassenderen Implikationen der Eindämmung und Ausrichtung des improvisierten Messageboards und des unbeabsichtigten Internetzugangs noch nicht verstanden. Der technische Vorfallsbericht liefert weitere Einzelheiten dazu, welchen Kenntnisstand verschiedene OpenAI-Teams zu diesem Zeitpunkt hatten. Kurz gesagt beobachtete ein internes Team Ende Mai, wie ein Agent Aktivitäten auf einem Messageboard ausführte und in einigen Fällen unerlaubt auf das Internet zugriff. Die Existenz des improvisierten Messageboards und die Bedeutung der Kommunikationsaktivität zwischen Agenten waren den für die Erkennung und Reaktion auf Vorfälle verantwortlichen Führungskräften jedoch nicht ersichtlich. Wir untersuchen weiterhin den Prozess und die Betriebspraktiken, die die Erkennungs- und Reaktionsmaßnahmen im Vorfeld dieses Vorfalls geprägt haben.

Mit dem neu aufgebauten Artifactory-Dienst haben wir die Cybersicherheitsbewertungen wieder aufgenommen. Wir führen diese Evaluationen durch, um zu verstehen, wozu unsere Modelle in der Lage sind, und um die geeigneten Schutzmaßnahmen für die Bereitstellung festzulegen. Dazu aktivieren wir nicht dasselbe Maß an Schutzmaßnahmen wie bei unseren extern bereitgestellten Systemen. Die Evaluation, die zu diesem Vorfall geführt hat, ExploitGym, ist sehr schwierig – für einige Aufgaben gibt es möglicherweise keine bekannte Lösung. Um erfolgreich zu sein, müssen die Agenten Wege finden, Schwachstellen in einer Software auszunutzen, um eine als „Flag“ bekannte Antwort abzurufen.

Nach dem Vorfall haben wir erhebliche Anstrengungen unternommen, um zu untersuchen, warum das Modell dieses fehlausgerichtete Verhalten zeigte, einschließlich Fehlausrichtungsproblemen beim Training und bei der Evaluation sowie der Schutzmaßnahmenabdeckung in internen Evaluationen.

Wir haben vier Fehlanpassungsmuster identifiziert, die zum Verhalten der Modelle beitrugen: Reward Hacking, Beharrlichkeit bei scheinbar unmöglichen Aufgaben, unbefugte Kommunikation und Agenten, die Ziele voneinander übernehmen.

Um diese zu verstehen, haben wir Rollouts für Modelltraining und -evaluierung analysiert.¹ Wir haben umfangreiche retrospektive Überprüfungen von Gedankenketten (CoT), Aktionen und finalen Ausgaben mit unseren neuesten CoT-Überwachungstechniken⁠ durchgeführt. Dabei haben wir die Erkennungsrate unseres Monitors speziell für die Verhaltensweisen verbessert, die bei dem Vorfall aufgetreten sind, indem wir die Erkenntnisse aus unserer Untersuchung im Nachhinein genutzt haben.

Der Versuch von Agenten, bei ihren Aufgaben zu betrügen, indem sie online nach Lösungen suchten, war ein wesentlicher Auslöser des Hugging Face-Vorfalls. Dieses Verhalten wird als Reward Hacking bezeichnet: Agenten erledigen Aufgaben auf unbeabsichtigte Weise, um höhere Belohnungen zu erzielen oder diese Belohnungen leichter zu erhalten. Reward Hacking ist in KI-Systemen sowohl historisch (siehe diese Arbeit von vor einem Jahrzehnt⁠, Abbildung unten) als auch in aktuellen Frontier-LLMs⁠(wird in einem neuen Fenster geöffnet) zu beobachten. Wir haben erheblich in Methoden investiert, um solche Hacks zu erkennen und zu beheben⁠.

Ein weiterer wesentlicher Faktor für das fehlgeleitete Verhalten war, dass die Agenten ihre Evaluierungsaufgaben nur selten „aufgaben“, selbst wenn die Aufgaben unlösbar zu sein schienen. Als die Agenten ihre Reasoning-Budgets aufbrauchten, verfolgten einige zunehmend riskante und unzulässige Strategien, darunter schließlich die Ausnutzung von Infrastruktur Dritter.

Im Verlauf unserer Untersuchung stellten wir fest, dass bei der ExploitGym-Evaluation keines unserer Modelle vor dem Vorfall jemals bei 198 der 898 Aufgaben eine korrekte Antwort generiert hatte. Diese ungelösten Aufgaben erwiesen sich letztlich als wesentlicher Treiber der Agenten-Aktivität – 93 % der Aufgaben, die während des Hugging Face-Vorfalls im Artifactory-Messageboard diskutiert wurden, stammten aus dieser Gruppe von 198 Fragen.

Zweitens wurde der Vorfall hauptsächlich durch Agenten verursacht, denen unglaublich große Reasoning-Budgets zugewiesen wurden, darunter Kapazitäten, die weit über denen liegen, die in unseren externen Produkten verfügbar sind.

Unbefugte, persistente Messageboards standen im Mittelpunkt dieses Vorfalls. Agenten, die unabhängig voneinander arbeiten sollten, konnten Erkenntnisse teilen, ihre Bemühungen koordinieren und dort weitermachen, wo andere aufgehört hatten. Dies ermöglichte es ihnen, Arbeit und Rechenleistung über separate Evaluationen hinweg zu bündeln, wodurch ihre Fähigkeiten weit über das hinaus verstärkt wurden, was ein einzelner Agent allein erreichen könnte. Agentenkommunikation ist für sich genommen kein problematisches Verhalten – wir trainieren und stellen Multi-Agenten-Systeme bereit, die über ein Zusammenarbeitstool zur selben Aufgabe kommunizieren können. Bei den Ereignissen im Juli fanden Agenten mit unterschiedlichen Aufgaben eigene Wege, außerhalb dieser Grenzen, zusammenzuarbeiten – mit unvorhersehbaren Folgen.

Bei der Untersuchung dieses Vorfalls haben wir seltene Fälle entdeckt, in denen Agenten ohne Multi-Agenten-Tools Wege fanden, während des Trainings über Seitenkanäle zusammenzuarbeiten. Wir glauben, dass dieses Verhalten durch Generalisierung aus dem Multi-Agenten-Training entstanden ist.

Die unbefugte Kommunikation begann oft damit, dass ein Agent eine Notiz oder Datei in einem externen System hinterließ, in der Regel als eine Form externen Speichers. Wenn andere Agenten diese Artefakte bemerkten, führte sie das häufig zu der Erkenntnis, dass sie diesen externen Dienst für die Zusammenarbeit nutzen konnten. Als hypothetisches Beispiel, das das von uns beobachtete Verhalten besonders deutlich veranschaulicht, wurden Nachrichten in URL-Pfaden kodiert, die auf einer gemeinsam genutzten Indexseite gespeichert waren, etwa in folgender Form:

Eine letzte, besonders anschauliche Erkenntnis im Hugging Face-Vorfall war das Agenten-„Ökosystem“, das auf dem Messageboard entstand. Sobald dieses Messageboard eingerichtet war, hatten Agenten starke Anreize zur Kommunikation: Es ermöglicht Agenten, Notizen zu bewahren, auf den Entdeckungen anderer aufzubauen und die Rechenressourcen ansonsten getrennter Durchläufe zu bündeln. Dieses komplexe und amorphe Kollektiv von Agenten zeigt interessante und beispielhafte Verhaltensweisen, und im Folgenden beschreiben wir einige davon, die wir beobachtet haben.

Agenten begannen, die Arbeit autonom untereinander aufzuteilen. Einige untersuchten mögliche Exploits, andere suchten nach Zugangsdaten, und wieder andere konzentrierten sich auf Kommunikation oder Koordination. Agenten boten ihre eigene Expertise im Austausch für Unterstützung an anderer Stelle, tauschten Informationen über bevorstehende Aufgaben aus und hinterließen Anfragen für Kollegen, die möglicherweise besser positioniert waren, um einem bestimmten Hinweis nachzugehen.

Neben der Fehlausrichtung war ein weiterer Faktor für diesen Vorfall, dass wir die leistungsstarken Schutzmaßnahmen, die wir für unsere extern bereitgestellten Modelle einsetzen, nicht auf alle internen Evaluierungen ausgeweitet haben.

Zunächst gibt es zahlreiche Mechanismen, die Fehlausrichtung in Produktionsumgebungen für unsere Kunden verringern, darunter System-Prompts, Harnesses und Kontrollmechanismen wie unsere Modelle zur automatischen Überprüfung und Sicherheitsklassifikatoren. Diese Schutzmaßnahmen wurden in der während des Vorfalls laufenden Evaluierungsumgebung nicht angewendet. Nach dem Vorfall entwickelten wir eine Evaluation, die misst, wie stark ein Modell bei ExploitGym-Evaluierungen dazu neigt, Infrastruktur zu kompromittieren. Wir stellten fest, dass diese Neigung bei Verwendung des Codex-Harnesses und des System-Prompts der Produktionsumgebung um mehr als den Faktor 100 zurückgehen kann. Wir haben das Codex-Auto-Prüfsystem auch auf eine Reihe von Rollouts angewendet, die am Vorfall bei Hugging Face beteiligt waren, und festgestellt, dass es eine Vielzahl gefährlicher Aktionen der Modelle erkannt hätte.

Zweitens hatten wir vor dem Vorfall erheblich in das Monitoring der Gedankenkette⁠ investiert, darunter in das Monitoring vieler unserer Frontier-RL-Trainingsläufe und des überwiegenden Teils der internen Nutzung von Coding-Agenten⁠. Diese Überwachungen wurden bei den Evaluationen in diesem Vorfall nicht durchgeführt.

In retrospektiven Evaluationen stellten wir fest, dass unsere CoT-Monitore sehr effektiv darin waren, Aktivitäten im Zusammenhang mit dem Vorfall zu erkennen. Wenn unser derzeit eingesetztes System zur Überwachung der Gedankenkette zum Zeitpunkt des Vorfalls in Betrieb gewesen wäre, hätte es unser Sicherheitsteam wahrscheinlich innerhalb einer Stunde nach dem ersten unbefugten Zugriff auf ein System eines Drittanbieters benachrichtigt. Dies war mehr als 30 Stunden, bevor Modelle in die Systeme von Hugging Face eindrangen. Wir arbeiten außerdem daran, die Latenz dieser Warnmeldungen weiter zu reduzieren.

Drittens konnten die Agenten, obwohl wir diese Sandbox getestet und validiert hatten, zuvor unbekannte Zero-Day-Schwachstellen im innerhalb der Sandbox zugänglichen Paketverwaltungsdienst kombinieren, um Beschränkungen zu umgehen, wie im technischen Vorfallbericht ausführlich beschrieben. Seit dem Vorfall haben wir erhebliche Fortschritte bei der Härtung unserer internen Sandboxes erzielt, um ähnliche Risiken während der Bereitstellung und bei Evaluierungen zu minimieren.

Die Mission von OpenAI ist es, sicherzustellen, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugutekommt. Das hier beschriebene Verhalten unserer Modelle blieb deutlich hinter unseren Ansprüchen zurück. Dieser Vorfall hätte nicht passieren dürfen. Er hat gezeigt, wie entscheidend es ist, unsere Sicherheit, Überwachung und Ausrichtung kontinuierlich zu verbessern, insbesondere da unsere Modelle ein Fähigkeitsniveau erreichen, das einen tatsächlichen Kontrollverlust ermöglichen könnte.

Wie wir in unserem aktuellen Update zur Taktung der Modellentwicklung⁠ mitgeteilt haben, haben wir das Training unserer neuesten, für den Einsatz vorgesehenen Modelle mit Reinforcement Learning (RL) pausiert. Wir haben diese Zeit genutzt, um die Sicherheit unserer Frontier-Forschungsumgebungen weiter zu verstärken und durch Red Teaming zu testen. Wir haben Mitarbeitende umverteilt, damit sie an Sicherheit, Schutz und Alignment arbeiten. Unser größter geplanter Frontier-RL-Lauf bleibt ausgesetzt, während wir Trainingsläufe und Evaluationen in kleinerem Maßstab durchführen, um das Modellverhalten zu bewerten, unsere Sicherheitsmaßnahmen zu validieren und vor dem weiteren Vorgehen zusätzliche Belege für Alignment zu sammeln. Diese Arbeit hat erheblichen technischen Aufwand erfordert, verbunden mit erheblichen Kosten und Verzögerungen für die Frontier-Forschung.

Wie in unserem Bericht dargelegt, konzentriert sich unsere Antwort darauf, die Forschungssicherheit und Überwachung zu stärken, die Modellausrichtung zu beschleunigen und die Art und Weise zu verbessern, wie wir Vorfälle erkennen, eskalieren und darauf reagieren.