Der Vorfall bei OpenAI und Hugging Face(wird in einem neuen Fenster geöffnet) war ein Wendepunkt für die Cybersicherheit, weil er einen Eindruck davon vermittelte, wie sich die Fähigkeiten typischer Angreifender in den kommenden Monaten entwickeln werden. In den vergangenen Wochen habe ich mit vielen Organisationen gesprochen. Dabei wurde eines deutlich: Sie wissen, dass sie ihre Cybersicherheitspraktiken in beispiellosem Tempo grundlegend verbessern müssen. In diesem Beitrag erläutere ich, wie wir OpenAI schützen, welche konkreten Schritte andere Organisationen heute unternehmen können und warum jetzt der richtige Zeitpunkt zum Handeln ist.
Weltweit entwickelte KI-Modelle können zunehmend Teile realer Cyberangriffe automatisieren. Dadurch lassen sich seit Langem bestehende Sicherheitslücken leichter finden und ausnutzen, von tief in menschengeschriebenem Code verborgenen Fehlern bis hin zu vergessenen Berechtigungen. Dieselben KI-Fähigkeiten eröffnen Sicherheitsteams neue Wege, diese Schwachstellen zu finden und zu beheben. Doch sie müssen jetzt handeln. Wenn Unternehmen entschlossen handeln, ihre Grundlagen verbessern und ihre Teams mithilfe von KI erheblich stärken, können wir das Internet so sicher machen wie nie zuvor.
Beim Vorfall bei OpenAI und Hugging Face konnte ein agentisches Kollektiv autonom nicht nur in die Forschungsinfrastruktur von OpenAI, sondern auch in die Produktivinfrastruktur eines anderen Unternehmens eindringen. Dafür verknüpfte es Schwachstellen, die von zuvor unbekannten Sicherheitslücken bis zur Verwendung von Anmeldedaten für Benutzerkonten reichten, die ins Internet gelangt waren. Es wird immer deutlicher, dass die technischen Schulden(wird in einem neuen Fenster geöffnet) jedes Unternehmens erhebliche Schwachstellen verbergen. Sicherheitsteams müssen sie finden und beheben, bevor Angreifende es tun.
Um Sicherheitsteams einen Vorteil gegenüber Angreifenden zu verschaffen, haben wir Anfang dieses Jahres damit begonnen, unsere Cyberfähigkeiten ausschließlich für vertrauenswürdige Sicherheitsteams freizugeben. Seitdem haben verschiedene Unternehmen Open-Weight-Modelle mit Cyberfähigkeiten veröffentlicht, die nur wenige Monate hinter dem Frontier-Niveau liegen. Das neueste dieser Modelle soll offenbar Ende August veröffentlicht werden(wird in einem neuen Fenster geöffnet) und dürfte die Entwicklung der Bedrohungslage erheblich beschleunigen.
Angreifende mit KI-Unterstützung werden bald seit Langem bestehende Schwachstellen in vielen vorhandenen Systemen finden können. Zugleich erleichtert KI es Sicherheitsteams erheblich, dieselben Schwachstellen zu finden, zu priorisieren und zu beheben. Sicherheit bleibt ein Katz-und-Maus-Spiel. KI könnte jedoch dessen ökonomische Dynamik verändern(wird in einem neuen Fenster geöffnet) und Sicherheitsteams dadurch einen grundlegenden Vorteil verschaffen. Beispielsweise beginnen wir, unsere Modelle gezielt darauf zu trainieren, Code zu schreiben, dessen Sicherheit menschliche Fähigkeiten übertrifft. + Unsere Modelle sind außerdem außergewöhnlich gut bei mathematischen Beweisen. Diese können eingesetzt werden, um die Sicherheit von Software formal zu verifizieren, was für Menschen bisher kaum zu bewältigen war.
Nach dem Vorfall bei OpenAI und Hugging Face bat ich ChatGPT Work unter Verwendung des öffentlich verfügbaren GPT‑5.6 Sol, die Sicherheit von gregbrockman.com(wird in einem neuen Fenster geöffnet) zu bewerten. Es ist eine einfache statische Website, die auf AWS gehostet wird und Cloudflare als vorgeschaltete Zugangsschicht nutzt. Deshalb ging ich davon aus, dass sie kaum Angriffsfläche für Schwachstellen bieten würde.
In etwa 15 Minuten fand ChatGPT Work 13 Probleme. Viele davon lassen sich allein wahrscheinlich nicht ausnutzen, doch in Kombination mit anderen Schwachstellen könnten sie erhebliche Auswirkungen haben. Ich hatte meine DNS-Einträge nicht so konfiguriert, dass Angreifer keine E-Mails in meinem Namen fälschen konnten. Meine Website verwendete eine unsichere Version von jQuery. Cloudflare leitete Anfragen über unverschlüsseltes HTTP an AWS weiter.
Anschließend bat ich ChatGPT Work, diese Probleme zu beheben. Das erledigte es innerhalb einer Stunde. ChatGPT Work öffnete in meinem Browser das Cloudflare-Kontrollzentrum und konfigurierte über zahlreiche Schaltflächen DNS, TLS und erweiterte Sicherheitseinstellungen korrekt. Es entfernte jQuery vollständig von der Website, migrierte sie von AWS zu Cloudflare Pages und begann mit einer schrittweisen Einführung von DMARC(wird in einem neuen Fenster geöffnet).
Und dabei ging es nur um meine persönliche Website. Das ist ein kleines Beispiel dafür, wie unsere bestehenden Modelle als digitale Schutzinstanz dienen können. Sie finden auch seltene Probleme, für die Menschen weder genug Zeit noch die nötige Expertise hätten. Mit vielen der korrigierten Einstellungen war ich zwar grob vertraut, hätte aber nicht aus dem Stegreif gewusst, wie sie richtig zu konfigurieren sind. Anschließend beheben die Modelle diese Probleme anhand eines passend abgestimmten Einführungsplans.
Der Vorfall bei Hugging Face zeigte, dass wir die realen Cyberfähigkeiten unserer KI-Modelle unterschätzt hatten. Wir verschärfen unsere Sicherheitsanforderungen entsprechend, was wiederum unsere bestehende Sicherheitsforschung und interne Sicherheitsarbeit noch dringlicher macht.
Ich erläutere hier einen Teil unseres derzeitigen Ansatzes zur Absicherung von OpenAI, in der Hoffnung, dass er auch anderen Organisationen hilft. Zum Schutz von OpenAI investieren wir erheblich in grundlegende Kontrollen, also die korrekte Umsetzung der Grundlagen, und stärken zugleich unsere Abwehr durch Frontier-Intelligenz. Diese Strategie beruht auf vier zentralen Säulen.
Erstens nutzen wir unsere Modelle, um unseren Code abzusichern. Codex, einschließlich unseres Sicherheits-Plugins, validiert Codeänderungen, erkennt Schwachstellen und hilft Entwicklungsteams, Probleme vor der Bereitstellung zu beheben. Ausdrücklich nicht das Ziel ist es, einfach mehr Sicherheitsbefunde zu produzieren, die Menschen prüfen müssen. Wir wollen echte Schwachstellen vor der Veröffentlichung erkennen und den Weg von ihrer Entdeckung bis zur sicheren Bereitstellung einer Korrektur verkürzen. Während wir unsere Modelle weiter darauf trainieren, immer sichereren Code zu erzeugen, wollen wir bei neu geschriebenem Code bestimmte Arten von Softwareschwachstellen vollständig beseitigen.
Zweitens setzen wir unsere Modelle ein, um unsere Infrastruktur kontinuierlich zu schützen. Heute werden fast alle unsere ersten Sicherheitswarnungen von KI vorsortiert, bevor Menschen einbezogen werden. Das verringert den Routineaufwand für Sicherheitsteams, verkürzt die Reaktionszeit und gibt Menschen mehr Zeit für Aufgaben, bei denen ihre Fähigkeiten am meisten bewirken: sorgfältige Abwägung, Urteilsvermögen und praktische Expertise. Wir verknüpfen diese Erkennungsmechanismen zunehmend mit klar begrenzten automatisierten Reaktionen. Für Entscheidungen mit den größten Auswirkungen bleiben jedoch Menschen verantwortlich. Unser Ziel ist, Sicherheitsprobleme mit Maschinengeschwindigkeit erkennen und darauf reagieren zu können.
Drittens nutzen wir Frontier-Intelligenz, um potenzielle Angriffswege kontinuierlich zu erfassen, zu untersuchen und zu erkennen. Indem wir Schwachstellen, Fehlkonfigurationen, Identitäten mit übermäßigen Berechtigungen oder unbeabsichtigte Vertrauensgrenzen erkennen, können wir diese Lücken schnell finden und schließen, bevor Angreifende sie ausnutzen. So können wir unsere Sicherheitsinvarianten, also die Sicherheitseigenschaften, von deren Gültigkeit wir ausgehen, in unseren Produkten, unserer Infrastruktur und unseren Systemen kontinuierlich bewerten, überwachen und testen.
Schließlich investieren wir in großem Umfang in die Grundlagen. Wir investieren weiter in sichere Architekturen und Kontrollen, verfolgen Strategien wie mehrschichtige Sicherheit und minimale Rechtevergabe und entwickeln Systeme so, dass mehrere unabhängige Kontrollen gleichzeitig versagen müssten, bevor etwas Katastrophales geschehen kann. Klassische Sicherheitsmaßnahmen wie Netzwerkisolierung, die Absicherung von Workloads, Überwachung sowie sichere Patch- und Bereitstellungsverfahren werden in einer von KI geprägten Zukunft wichtiger denn je sein.
Die Zeit drängt. Sicherheitsteams müssen die folgenden Schritte mit höchster Geschwindigkeit angehen. Im Folgenden erwähne ich Technologien von OpenAI, doch im Ökosystem gibt es auch zahlreiche Konkurrenzangebote, die eine Prüfung wert sind. Wichtiger als das konkrete Werkzeug ist, dass deine Sicherheitsteams jetzt leistungsfähige KI einsetzen können.
- Sichere dir die Unterstützung und Zustimmung der gesamten Organisation. Die Sicherheitsrisiken verändern sich rasant. Sorge dafür, dass deine Sicherheits- und Entwicklungsteams die Unterstützung, Zusammenarbeit und Ressourcen erhalten, die sie brauchen, um diese Risiken schnell anzugehen. Führe mit deinen Teams Planspiele durch, um zu simulieren, wie sich solche Angriffe in deiner Organisation zeigen könnten und wie ihr darauf reagieren werdet.
- Statte dein Sicherheitsteam mit einem Agenten aus. Nutze Codex, das Codex Security-Plugin(wird in einem neuen Fenster geöffnet) oder ein anderes leistungsfähiges Tool für agentisches Programmieren und Sicherheit. Gewähre dem Agenten genehmigten Zugriff auf die Codebasen, Infrastrukturkonfigurationen und technischen Dokumentationen, die dein Sicherheitsteam bewerten muss. Warte bei deinen wichtigsten Systemen nicht auf eine unternehmensweite Einführung.
- Statte diesen Agenten mit Sicherheitsexpertise aus. Beginne mit von der Community unterstützten Skills(wird in einem neuen Fenster geöffnet). Dazu gehören Arbeitsabläufe für statische Analysen, sicherheitsorientierte Codeprüfungen, die Analyse von Schwachstellenvarianten, Risiken in Softwarelieferketten und weitere Sicherheits-Workflows. Entwickle anschließend eigene Skills, die auf die Architektur, Sicherheitsstandards, Bedrohungsmodelle und Ablaufpläne deiner Organisation zugeschnitten sind.
- Prüfe deine eigenen Systeme umgehend auf Sicherheitsrisiken. Priorisiere zunächst Prüfungen von Diensten mit Internetzugang, Authentifizierungsabläufen, Infrastructure as Code, Bereitstellungspipelines und Systemen, die vertrauliche Informationen verarbeiten. Weite die Prüfungen aus, sobald dein Team mehr Vertrauen in das Verfahren gewinnt.
- Arbeite dein bestehendes Schwachstellen-Backlog ab. Stelle deinem Agenten Befunde aus Codescannern, Abhängigkeitswarnungen, Sicherheitstickets, Bug-Bounty-Berichten und früheren Prüfungen bereit Bitte ihn, diese Befunde zu priorisieren, ausnutzbare Probleme von Fehlmeldungen zu unterscheiden, verwandte Schwachstellen an anderen Stellen der Codebasis zu erkennen und zu empfehlen, was zuerst behoben werden sollte.
- Integriere Sicherheitsprüfungen direkt in deinen Entwicklungsprozess. Setze Agenten ein, um Codeänderungen vor dem Zusammenführen zu prüfen und Sicherheitskontrollen in der CI auszuführen. Achte auf Authentifizierungsfehler, Umgehungen der Zugriffskontrolle, offengelegte Anmeldedaten, unsichere Abhängigkeiten, unsichere Standardeinstellungen, Änderungen, die den Zugriff auf Produktivsysteme ausweiten, und andere Schwachstellen.
- Lass den Agenten bei der Behebung seiner Befunde helfen. Bitte ihn bei bestätigten Problemen, einen gezielten Patch zu erstellen und zu verifizieren, einen Regressionstest zu schreiben und zu bestätigen, dass sich die Schwachstelle nicht mehr reproduzieren lässt. Behalte die menschliche Prüfung bei folgenreichen Änderungen bei. Vermeide jedoch unnötige Verzögerungen zwischen der Erkennung eines echten Problems und der Vorlage einer sicheren Korrektur beim Entwicklungsteam.
- Automatisiere die Triage erkannter Probleme schrittweise. Versuche nicht gleich zu Beginn, ein autonomes Security Operations Center aufzubauen. Beginne mit einem schreibgeschützten Sicherheitsscan eines einzelnen Repositorys oder lass einen Agenten bereits bearbeitete Warnungen prüfen. Gewähre ihm dafür nur Lesezugriff auf deine vorhandenen Logs. Lass ihn die Nachweise zusammenfassen und eine Einstufung empfehlen, während ein Mensch weiterhin jede Entscheidung trifft. Sobald das Vertrauen wächst, kannst du zunächst beratende Pull-Request-Scans einführen, dann Warnungen in Echtzeit vorsortieren lassen und schließlich eng definierte Fehlalarme automatisch schließen.
- Halte eine KI-gestützte forensische Untersuchungskapazität bereit, bevor du sie brauchst. Bewirb dich für Trusted Access for Cyber(wird in einem neuen Fenster geöffnet) und lass dein Team für die Nutzung von GPT‑Daybreak‑Blue bei autorisierten Schutzmaßnahmen freigeben, darunter die Reaktion auf Vorfälle, die Entwicklung von Erkennungsmechanismen und die Malwareanalyse. Übe, mit dieser Fähigkeit Logs, Telemetriedaten und Sicherheitswarnungen zu analysieren.
- Experimentiere, veranstalte Hack Weeks und entwickle schnell weiter. Wir müssen unterschiedlichste neue Werkzeuge entwickeln, unsere Arbeitsweise verändern und alle auf die Welt vorbereiten, auf die wir zusteuern. Ermutige deine Mitarbeitenden zu Experimenten, plane eine Hack Week zur Entwicklung neuer Fähigkeiten und konzentriere dich auf kurze Iterationszyklen, die kleine Teile des Problems automatisieren. Schnelle, schrittweise Fortschritte verstärken die Wirkung der Abwehr. Wenn dein Team mehr Vertrauen gewinnt, kannst du die Autonomie nach und nach erweitern.
Kein Unternehmen kann das allein bewältigen. Wir bitten KI-Labore, Sicherheitsanbieter, Unternehmen und Maintainer:innen, bestätigte Befunde, Fixes und praxistaugliche Playbooks zu teilen. So kann die Entdeckung einer einzigen Organisation das gesamte Ökosystem stärken.
Das Zeitfenster der Abwehr ist jetzt offen. In den kommenden Monaten muss jede Organisation damit beginnen, ihr Sicherheitsprogramm erheblich zu automatisieren, um geschützt zu bleiben. Zugleich muss die Sicherheitsgemeinschaft dringend Tools, Verfahren und Ablaufpläne entwickeln, die angesichts der fortschreitenden KI-Entwicklung die Fähigkeiten der Sicherheitsteams schneller stärken als die der Angreifenden. Das erfordert enorme und beispiellose Anstrengungen. Wenn wir jedoch gemeinsam handeln, können wir eine sicherere Welt schaffen, als wir sie uns bisher vorstellen konnten.
