OpenAI und Hugging Face reagieren gemeinsam auf Sicherheitsvorfall bei Modellevaluation

Letzte Woche hat Hugging Face eine neuartige Art von Sicherheitsvorfall offengelegt⁠(wird in einem neuen Fenster geöffnet), nachdem das Unternehmen einen KI-Agenten entdeckt und eingedämmt hatte, der seine Infrastruktur kompromittiert hatte. Wir gehen davon aus, dass solche Vorfälle mit der Verbreitung zunehmend cyberfähiger Modelle häufiger werden. Nach der Untersuchung wissen wir nun, dass dieser konkrete Vorfall durch eine Kombination von OpenAI-Modellen ausgelöst wurde, darunter GPT‑5.6 Sol und ein noch leistungsfähigeres Pre-Release-Modell. Bei allen waren die Ablehnungen von Cyber-Anfragen zu Evaluationszwecken reduziert, während sie intern anhand eines Benchmarks⁠(wird in einem neuen Fenster geöffnet) für Cyber-Fähigkeiten getestet wurden.

Wir betrachten dies als beispiellosen Cybervorfall mit hochentwickelten Cyber-Fähigkeiten und reagieren entsprechend. Wir teilen zu diesem Zeitpunkt vorläufige Erkenntnisse, damit Sicherheitsverantwortliche nachvollziehen können, was passiert ist, und besser einschätzen können, wozu Modelle inzwischen in der Lage sind. Wir werden die Untersuchung gemeinsam mit Hugging Face gründlich fortsetzen und weitere Details zu den Schwachstellen, dem Vorfall und den Erkenntnissen veröffentlichen, sobald unsere Untersuchung abgeschlossen ist.

Dieser Vorfall ereignete sich während einer internen Evaluation, bei der Modelle angewiesen werden, komplexe Angriffswege für fortgeschrittene Exploitation zu verfolgen, um ihre Cyber-Fähigkeiten zu quantifizieren. Wir schätzen maximale Cyber-Fähigkeiten, indem wir diese Evaluation ohne Produktionsklassifikatoren durchführen, die Modelle daran hindern sollen, risikoreiche Cyberaktivitäten zu verfolgen. Unsere Benchmarks laufen in einer stark isolierten Umgebung. Der Netzwerkzugriff ist darauf beschränkt, Pakete über eine intern gehostete Drittanbietersoftware zu installieren, die als Proxy und Cache für Paket-Registries dient.

Die Modelle identifizierten und verketteten Schwachstellen in der Forschungsumgebung von OpenAI und der Produktionsinfrastruktur von Hugging Face, um Testlösungen direkt aus der Produktionsdatenbank von Hugging Face zu beziehen. Alle Hinweise deuten darauf hin, dass die Modelle extrem darauf fokussiert waren, eine Lösung für ExploitGym zu finden, und dafür ungewöhnlich weit gingen, um ein recht enges Testziel zu erreichen.

Während unsere Modelle in unserer Sandbox-Testumgebung arbeiteten, setzten sie erhebliche Inferenz-Rechenleistung ein, um einen Weg zu offenem Internetzugang zu finden und das Evaluationsproblem zu lösen. Um Zugriff zu erhalten, identifizierten und nutzten die Modelle eine Zero-Day-Schwachstelle im Cache-Proxy der Paket-Registry aus, die wir dem Anbieter inzwischen verantwortungsvoll offengelegt haben. Mit diesem Zugriff führten unsere Modelle in unserer Forschungstestumgebung eine Reihe von Privilege-Escalation- und Lateral-Movement-Aktionen aus, bis sie eine Node mit Internetzugang erreichten.

Nachdem sie Internetzugang erlangt hatten, schlossen die Modelle, dass Hugging Face möglicherweise Modelle, Datensätze und Lösungen für ExploitGym hostete. Auf dieser Grundlage suchte das Modell nach Möglichkeiten, Zugriff auf geheime Informationen zu erhalten, mit denen es die Evaluation umgehen konnte, und fand sie auch. In einem Beispiel verkettete das Modell mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um auf den Servern von Hugging Face einen Pfad für Remote-Codeausführung zu finden. Das Sicherheitsteam von OpenAI entdeckte diese anomale Aktivität intern.

Das Sicherheitsteam und die Agenten von Hugging Face erkannten und stoppten die Aktivität auf ihrer Infrastruktur und hatten bereits mit Eindämmung und forensischer Rekonstruktion mithilfe ihrer eigenen Open-Source-Modelle begonnen, als unsere Teams in Kontakt traten. Wir arbeiten aktiv mit Hugging Face zusammen, um den Vorfall weiter zu untersuchen. Wir sind Hugging Face dankbar für die schnelle und enge Zusammenarbeit bei Untersuchung und Behebung.

1. Im Rahmen der Untersuchung führen wir strenge Kontrollen für die Infrastrukturkonfiguration ein. Das bremst das Forschungstempo, während die Schwachstellen behoben werden. Wir informieren unser Safety and Security Committee regelmäßig über diese Kontrollen und ihre Auswirkungen.
2. Wir arbeiten mit Hugging Face zusammen, um den Vorfall forensisch zu untersuchen.
3. Wir haben die identifizierte Zero-Day-Schwachstelle in der intern gehosteten Drittanbietersoftware verantwortungsvoll offengelegt und arbeiten mit dem Anbieter an einem Patch.
4. Wir haben Hugging Face in das Programm für Trusted Access⁠ aufgenommen und unterstützen die Teams dabei, die Fähigkeiten unserer Modelle schnell zur Verbesserung ihrer Abwehr zu nutzen.
5. Wir verbessern die Schutzmaßnahmen für künftige Trainingsläufe und Evaluationen und ergänzen sie um stärkere Sicherheitsvorkehrungen. Diese Woche haben wir einen Blogbeitrag darüber veröffentlicht, wie sich Sicherheit und Alignment in einer Ära von Modellen mit langem Zeithorizont verbessern lassen⁠. Diese Schutzmaßnahmen für den Einsatz waren während dieser Evaluation bewusst nicht aktiviert, weil sie auf das Testen von Cyber-Schwachstellen ausgerichtet war. Der Vorfall zeigt, dass wir das Alignment unseres Modells, den Cyberschutz während Evaluationen und das Monitoring bei internen Tests weiter stärken müssen.

Wie wir kürzlich⁠ erläutert haben, beschleunigt KI das Auffinden und Ausnutzen von Schwachstellen. Die wichtigste Lehre aus diesem Vorfall lautet: Die Sicherheit von Modellen muss mit den schnell wachsenden Fähigkeiten Schritt halten. Wir stärken die Eindämmung, das Monitoring, die Zugriffskontrollen und die Evaluationsverfahren, die während der Modellentwicklung eingesetzt werden.

Die Evaluation des UK AISI zeigt, dass Modelle wie GPT‑5.6 Sol zunehmend in der Lage sind, komplexe, mehrstufige Cyber-Operationen über lange Zeithorizonte hinweg aufrechtzuerhalten. Der Vorfall legt nahe, dass diese theoretischen Fähigkeiten auch in realen Umgebungen greifen.

Der Vorfall macht außerdem deutlich, dass fortgeschrittene Modelle ohne Zugriff auf den Quellcode neue Angriffswege in realen Systemen entdecken und ausnutzen können. Er zeigt, dass fortgeschrittene Cyber-Fähigkeiten zusammen mit stärkeren Schutzmaßnahmen und Abwehrwerkzeugen entwickelt werden müssen.

Wir sind überzeugt, dass Modelle mit fortgeschrittenen Cyber-Fähigkeiten Sicherheitsteams dabei helfen müssen, Schwachstellen vor Angreifenden zu finden, Verkettungen von Schwachstellen zu verstehen und sie in Maschinengeschwindigkeit zu beheben. Wir nutzen diese Fähigkeiten, um den Schutz rund um Infrastrukturkonfigurationen und Umgebungen für Modellevaluationen weiter zu stärken. Unsere Erkenntnisse und bewährten Verfahren teilen wir, sobald wir dazulernen. Wir ermutigen andere Sicherheitsverantwortliche, sich für Trusted Access zu bewerben⁠ und jetzt mit diesen Modellen zu experimentieren, damit diese Fähigkeiten in bessere Prävention, schnellere Erkennung und wirksamere Incident Response einfließen.