Zum Hauptinhalt springen

Das Fenster für die Cyberabwehr schließt sich

Verteidiger haben einen Vorsprung, aber wir müssen handeln

Der Ansatz von OpenAI

Die Defense Factory

Kontinuierliche Verteidigung aufbauen

Herkömmliche Cyberabwehr allein reicht nicht mehr aus

Agenten können jetzt lang laufende Cyberoperationen durchführen, indem sie zunehmend verfügbare Open-Weight-Modelle missbrauchen. Als Reaktion darauf bauen wir bei OpenAI eine Defense Factory auf: eine automatisierte Verteidigungsoperation, um Schwachstellen fortlaufend zu finden, zu validieren und zu beheben.

Teams bei Cloudflare(wird in einem neuen Fenster geöffnet), Ramp(wird in einem neuen Fenster geöffnet) und Google(wird in einem neuen Fenster geöffnet) untersuchen ebenfalls diesen Ansatz. Hier stellen wir die Architektur und die Prozesse hinter unserer eigenen Defense Factory sowie die Erkenntnisse vor, die wir bei ihrem Aufbau gewonnen haben.

Die neuesten Frontier-Modelle finden Schwachstellen in bereits eingesetzter Software

In einem kürzlich durchgeführten Sicherheitssprint haben wir unsere neuesten Cybermodelle eingesetzt, um Schwachstellen bei OpenAI zu finden, zu validieren und zu beheben. Wir haben über 250 Personen mobilisiert und die Arbeit mit der Dringlichkeit einer Incident Response angegangen.

Fünf vollständige Wochen ausgewählter Befundberichte der Stufen „Dringend“ und „Hoch“, die als „Erledigt“ oder „Behoben“ markiert wurden, bezogen auf die Spitzenwoche. Eine dokumentierte Fertigstellung stellt keinen Nachweis für eine unabhängig verifizierte und umgesetzte Behebung dar.Behebungen von P0-/P1-IssuesBehebungen von P0-/P1-Issues54631491535Wochen

Agenten können jetzt Exploits verketten

Agenten behalten sitzungsübergreifend, was sie gelernt haben, um ein detailliertes Verständnis eines Systems zu entwickeln und Zusammenhänge zwischen Schwachstellen herzustellen. Komplexe Angriffe, die zuvor nicht praktikabel waren, können nun autonom verfolgt werden.

Beispielhafte AngriffsketteEin Pfad verbindet aufeinanderfolgende Knoten durch ein Labyrinth. Jeder erreichte Knoten aktiviert den nächsten, und vorherige Schritte bleiben verbunden. Dies ist eine konzeptionelle Darstellung, keine Rekonstruktion eines Vorfalls.

Agentengruppen vervielfachen das Ausmaß von Angriffen

Lang laufende Agenten, die in Gruppen ausgeführt werden, können Schwachstellen in größerem Umfang ausnutzen – und das lange bevor eine Sicherheitsreaktion mit menschlicher Beteiligung dieselben Schwachstellen finden und beheben kann.

Modelle und Agenten bündeln ihre Kräfte für mehr GeschwindigkeitBreit verfügbare Modelle und lang laufende Agenten sind oben verbunden. Zwei Spuren verlaufen nach unten in den Bereich von „Exploits im Maschinentempo“, der sich bei ihrem Eintreffen von oben nach unten füllt. Die Beschriftungen bleiben durchgehend sichtbar.

Verteidiger haben einen Vorsprung, aber wir müssen handeln

Sicherheitsteams haben zwei strukturelle Vorteile. Sie können Agenten direkten Zugriff auf ihren Code gewähren und Frontier-Modelle nutzen, um sich einen Vorsprung gegenüber Angreifer:innen zu verschaffen, die allgemein verfügbare Open-Weight-Modelle missbrauchen.

Cyberfähigkeiten

Frontier-Niveau erreichen, dann Schritt haltenCyber capability increases upward; time moves to the right. Frontier and broadly diffused model capability keep accelerating. Defensive capability stays flat until continuous defense is implemented. It then rises in an S-curve: gradual progress, rapid improvement, then a smooth join with the frontier. The defense and frontier curves meet, then share one rising trajectory. The blue area between deployed defense and broadly diffused capability is the defender’s window. Keeping pace requires ongoing work. These are illustrative trajectories, not measured results or a forecast.

Zeit

  • Frontier
  • Fähigkeiten der Verteidiger
  • Broadly diffused

Kontinuierliche Schutzmaßnahmen implementieren

Handlungsfenster der Cyberabwehr

Dieser Vorsprung ist das Handlungsfenster der Cyberabwehr.

Die Defense Factory

Eine Defense Factory ist eine kontinuierliche, agentenzentrierte Operation zum Auffinden und Beheben von Schwachstellen. Sie hilft Sicherheitsteams dabei, Schritt zu halten, während Angreifer:innen immer leistungsfähigere Open-Weight-Modelle missbrauchen und ihre Angriffe an Tempo gewinnen. Agenten nutzen vorhandene Sicherheits- und Engineering-Tools; wiederverwendbare Skills definieren die Workflows, denen sie folgen, und isolierte, reproduzierbare Umgebungen ermöglichen es Agenten, Befunde zu untersuchen und getestete Korrekturen zur Überprüfung vorzubereiten. Teams automatisieren schrittweise immer größere Teile des Prozesses, wodurch Übergaben reduziert und die Zeit von der Entdeckung bis zur Behebung verkürzt werden.

Klassische Sicherheit

Deine vorhandenen Tools, idealerweise für Agenten über MCPs, CLIs oder APIs zugänglich.

Quellcodeverwaltung

GitHub · GitLab

Sicherheitstools

Snyk · Semgrep · Tenable

Issues und Workflows

Jira · Linear · ServiceNow

Defense Factory

Das Bindeglied zwischen Ihren bestehenden Tools, das Agenten ermöglicht, Schwachstellen in einem kontinuierlichen Workflow proaktiv zu finden und zu beheben.

Entwicklungsumgebung

Isolierte, reproduzierbare Umgebungen · Ona, Cloudflare, Modal

Agenten
  • Codex Desktop
  • Codex CLI
  • Codex Security CLI
Sicherheits-Skills

Sicherheitsscan · Befund triagieren · Befund beheben

Benutzerdefinierte Skills

Allzweckmodelle

Astra · Sol · Terra · Luna

Sicherheitsmodelle

Daybreak Blue · Daybreak Red

Die Architektur der kontinuierlichen Cyberabwehr

Eine Defense Factory muss Schwachstellen reproduzieren und überprüfen, ob Fixes funktionieren. Dafür sind reproduzierbare und isolierte Entwicklungsumgebungen mit dem richtigen Code, den erforderlichen Abhängigkeiten und Diensten notwendig, unterstützt durch Orchestrierung und Zugriffskontrollen, die Agenten ein sicheres Arbeiten in großem Maßstab ermöglichen.

Steuerebene

Skaliert Ausführungsumgebungen und zentralisiert Richtlinien und Secrets.

Datenebene

Isolierte, temporäre Umgebungen zum Validieren von Befunden.

Container

Entwicklungssysteme

Stelle die Tools bereit, die Agenten für ihre Arbeit benötigen.

Zustand und Workflows

Behalte den Überblick darüber, was du schützt, was Agenten finden und was behoben werden muss.

Sicherheit und Audit

Überwache Agenten, die Cybermodelle ausführen, um dazu beizutragen, dass eine sichere Ausführung und ein sicherer Zugriff auf sensible Kontextinformationen und Daten gewährleistet sind.

Innerhalb des privaten Netzwerks befinden sich Entwicklungssysteme und Zustandsspeicher neben einer Steuerebene und einer Datenebene. Die Steuerebene umfasst die Workload-Orchestrierung, die Durchsetzung von Richtlinien und einen Proxy für Anmeldeinformationen. Die Datenebene enthält Entwicklungsumgebungen mit Entwicklungscontainern, Umgebungsidentitäten und Hostüberwachung. Jeder Entwicklungscontainer enthält einen Agenten-Harness, Skills und die Anwendung. Sicherheit und Audit gewährleisten die Überwachung im gesamten System durch Host-Aktivität, Infrastruktursicherheit und Agenten-Audits. Die Kästchen zeigen Komponenten und Grenzen.

Wie die Defense Factory herkömmliche Sicherheit verbessert

Scrolle horizontal, um zu sehen, was die Factory hinzufügt.

WorkGemeinsamer EngpassWas dir die Defense Factory bietet
ErkennungBefunde warten auf Untersuchung.
Befunde lösen automatische Untersuchungen aus.
TriageDuplikate verschleiern Prioritäten.
Duplikate zusammengeführt. Ausnutzbarkeit getestet.
EigentumsrechteBefunde warten auf Verantwortliche.
Für jeden Befund ist die Zuständigkeit bestätigt.
BehebungEntwickler:innen wiederholen Untersuchungen.
Getestete Patches werden den Prüfer:innen mit entsprechenden Nachweisen vorgelegt.
VerifizierungZusammengeführte Fixes werden nicht überprüft.
Bereitgestellte Fixes werden unabhängig erneut getestet.

Wie ein OpenAI-weiter Sicherheitssprint die Defense Factory hervorbrachte

Da es uns neue Modellfähigkeiten ermöglichen, unsere Systeme eingehender zu untersuchen, haben wir das Tempo und den Umfang unserer Sicherheitsarbeit gesteigert. Wir haben intern Alarmstufe Rot ausgerufen und Security-, Applied- und Research-Teams in einem koordinierten Sprint über Hunderte von Systemen hinweg zusammengebracht.

mobilisierte Personen
250+
abgedeckte Servicebereiche
100+

„Wir stärken unsere Abwehrmaßnahmen mit der Dringlichkeit eines Sicherheitsvorfalls. Dies ist eine gemeinsame Anstrengung aller, die Vorrang vor allem anderen hat – außer vor kritischen Geschäftsabläufen. Wir werden diese Dringlichkeit auch über den Sprint hinaus beibehalten, während wir unsere Abwehrmaßnahmen weiter testen und stärken.“

– Thibault Sottiaux, Head of Core Products & Platform, OpenAI

Der Sprint war der Ausgangspunkt für unsere Defense Factory. Wir arbeiten auf einen kontinuierlichen Cyberabwehr-Kreislauf hin, um unsere Systeme zu erfassen, Schwachstellen zu finden und zu validieren, Verantwortliche zuzuweisen, Fixes zu verifizieren und das System mit jedem Durchlauf zu verbessern.

Der defensive Kreislauf

  1. 01

    Inventar

    Zuordnen, verknüpfen, aktualisieren

  2. 02

    Erkennung

    Scannen, analysieren, importieren

  3. 03

    Dynamische Validierung

    Reproduzieren, testen, bestätigen

  4. 04

    Zuständigkeitszuweisung

    Identifizieren, weiterleiten, nachverfolgen

  5. 05

    Verifizierte Behebung

    Patchen, Bereitstellen, Überprüfen

Lernen, anpassen und Autonomie steigern

SECURITY.mdGemeinsamer Kontext

SECURITY.md stellt einen gemeinsamen Systemkontext dar, nicht einen weiteren Schritt in der Schleife. Bestandsaufnahme, Erkennung, dynamische Validierung, Zuständigkeitszuweisung und verifizierte Behebung greifen jeweils auf den vorhandenen Kontext zurück und tragen ihre Erkenntnisse bei. Jeder Durchlauf verwendet die bereits erstellte Systemübersicht, die festgelegten Zuständigkeiten, die Untersuchungsergebnisse und die bereits durchgeführten Prüfungen, sodass sich spätere Durchläufe auf Änderungen und ungelöste Risiken konzentrieren können, statt von vorn zu beginnen. Menschen prüfen folgenschwere Änderungen und verifizieren bereitgestellte Fixes unabhängig. Der Puls veranschaulicht einen Kontextbeitrag, keinen gemessenen Fortschritt oder Einsparungen.

Was wir beim Aufbau der defensiven Schleife gelernt haben

Defensive Loops benötigen die richtigen Entwicklungsumgebungen

Reproduzierbare Entwicklungsumgebungen bilden die Grundlage eines autonomen Cyberabwehr-Kreislaufs. Agenten benötigen isolierte Umgebungen, die automatisch und in großem Maßstab bereitgestellt werden können und über die für die Reproduktion von Schwachstellen und das Testen von Fixes erforderlichen Dienste, Abhängigkeiten und Konfigurationen verfügen. Diese Umgebungen müssen kurzlebig sein. Sie werden für jede Ausführung erstellt und anschließend mitsamt ihrem Zustand verworfen, damit eine Ausführung die nächste nicht beeinflusst.

Autonomie muss schrittweise auf der Grundlage manueller Schritte aufgebaut werden

Wir begannen mit kleinen Batches und einer Überprüfung durch Menschen und entfernten dann wiederkehrende manuelle Schritte, sobald die Ergebnisse sich als zuverlässig erwiesen. Wir erweiterten den Umfang der Aufgaben, die Agenten selbstständig ausführen konnten, unabhängig davon, welche Änderungen sie vornehmen durften. Der Fokus der Menschen verlagerte sich darauf, Rahmenbedingungen festzulegen, Ausnahmen zu behandeln und Ergebnisse zu überprüfen, während Agenten einen größeren Teil der Routinearbeit übernahmen.

  • Systeme inventarisiert und parallel mit der Behebung begonnen

    Wir begannen damit, unsere Systeme zu kartieren. Codex half beim Aufbau des Inventars, während wir vorhandene Erkenntnisse in einem gemeinsamen Backlog zusammenführten. Die frühe Ermittlung der Zuständigkeit hing weiterhin davon ab, dass Personen das richtige Team fanden. Wir haben Dienst- und Zuständigkeitsinformationen in wiederverwendbare Eingabedaten umgewandelt, sodass Agenten Stapel von Vorgängen kennzeichnen und weiterleiten konnten, während Menschen uneindeutige Fälle bearbeiteten. Dadurch stieg der Anteil der akzeptierten Zuweisungen von Zuständigkeiten auf 90,6 %. Parallel dazu gingen die Teams dringende Issues an, noch bevor die Bestandsaufnahme und das Zuständigkeitsmodell abgeschlossen waren. Wir schlossen bereits am ersten Tag 53 Issues mit dringender oder hoher Priorität in unseren Systemen ab.

    Zuständigkeit akzeptiert nach dem Routing
    90,6 %

  • Aufbau und Weiterentwicklung der Agenten-Triage

    Codex bewertete Batches von Befunden anhand eines Schweregrad-Bewertungsschemas und ergänzte Kontext zu Dienst und Verantwortlichen. Die anfänglichen Schweregrad-Einstufungen waren zu breit gefasst, und die Einstufungen variierten je nach den Anweisungen, die die Agenten erhielten. Wir haben das Bewertungsraster und die Prompts versioniert, wiederholbare Evaluierungen hinzugefügt und die von den Prüfer:innen erwarteten Prioritäten sowie ihre Begründungen festgehalten. Manuelle Stichprobenprüfungen halfen dabei, Prioritäten zu straffen und wenig aussagekräftige oder doppelte Meldungen zu erkennen. Wir haben außerdem das Routing pausiert, bis sich die Deduplizierung verbessert hatte. Diese entwickelte sich von einem kleinen, geprüften Batch zu wiederholten Durchläufen, bei denen 37 % der Befunde als doppelte Issues identifiziert wurden.

    der Befunde, die als Duplikate identifiziert wurden
    37 %

  • Laufzeitvalidierung wiederholbar gemacht

    Der Aufbau isolierter Umgebungen, in denen Agenten Code ausführen, den Schweregrad bewerten und falsch-positive Ergebnisse herausfiltern können, war ein wichtiger Schritt, um das Signal vom Rauschen zu trennen. Da die Einrichtung der Umgebung jedoch die Validierung einschränkte, begannen wir mit ausgewählten Diensten, die wir wiederholt ausführen konnten. Wir haben fehlende Abhängigkeiten und Konfigurationsunterschiede bereinigt, damit wir zwischen einem Befund, der sich nicht reproduzieren ließ, und einem Test, der nicht ordnungsgemäß ausgeführt werden konnte, unterscheiden konnten. Mit diesen Verbesserungen wurden 19,5 % der Befunde zur Laufzeit reproduziert, und die Falsch-Positiv-Rate nach dynamischer Validierung betrug 0,81 %.

    Falsch-Positiv-Rate nach dynamischer Validierung
    0,81 %

  • Patch-Automatisierung eingeführt und wiederverwendbare Workflows erstellt

    Die Behebung erfolgte zu 100 % mit Codex, wobei Agenten Patches generierten, während wir Routing und Prioritäten verbesserten. Wir stellten Agenten reproduzierbare Entwicklungsumgebungen bereit, um Probleme nachzustellen und vorgeschlagene Patches an laufenden Diensten zu testen, wobei sowohl die Sicherheitskorrektur als auch ihre Auswirkungen auf das normale Verhalten geprüft wurden. Wir haben Erkenntnisse in SECURITY.md-Dateien und wiederverwendbaren Skills festgehalten und agentengesteuerte Scans und Triage zusammen mit automatisierten Fehlerbehebungsprüfungen ausgebaut. Nachfolgende Prüfungen deckten eine Lücke zwischen den zusammengeführten Patches und den in der gesamten Flotte bereitgestellten Fixes auf. Nach einem kleinen Testlauf haben wir die Überprüfung ausgeweitet und Kommentare zu bestätigten Fixes veröffentlicht, während wir das automatische Wiedereröffnen deaktiviert ließen, bis wir geklärt hatten, wie Bereitstellungsverzögerungen berücksichtigt werden sollten.

    Rollback-Rate für Fehlerbehebungen
    0,53 %

Technischer Blogbeitrag demnächst verfügbar

Der Ansatz von OpenAI für Skills und Sicherheits-Workflows

Inventar

Agenten gleichen Cloud-Datensätze, Bereitstellungskonfigurationen und Daten zu Dienstzuständigkeiten in einem Asset-Inventar ab. Sie verknüpfen exponierte Endpunkte mit Code und Verantwortlichen und halten Nachweise sowie Lücken fest, sodass die Ermittlung mit einem klareren Umfang beginnt.

Scrolle horizontal, um das Diagramm zu erkunden.

Cloud- und Asset-Datensätze, Quell- und Bereitstellungskonfiguration sowie Daten zu Diensten und Verantwortlichen fließen gemeinsam in die reproduzierbare Entwicklungsumgebung ein. Codex verwendet den vorgeschlagenen Skill „Inventar erstellen und aktualisieren“ sowie die vorhandene Referenz zur Dienstzuordnung, um ein Asset-Inventar zu erstellen. Dasselbe Inventar ist die erste Eingabe für die Erkennung. Schreibvorgänge im Inventar und die Planung von Aktualisierungen müssen durch den aufrufenden Workflow konfiguriert werden.

Eingaben

Agenten-Workflow

Reproduzierbare Entwicklungsumgebung

Ausgaben

  • Drittanbieter-Plattformen
  • Artefakte
  • OpenAI-Produkte
  • Skills/Plugins
  • Umgebungen

Kontinuierliche Verteidigung priorisieren

Informiere dein Team, beginne mit einem Workflow und arbeite schrittweise auf eine Defense Factory hin. Wir werden auch künftig zusammen mit praktischen Workflows, Tools und Anleitungen veröffentlichen, was wir bei OpenAI lernen.

  1. Informiere dein Team

    Nutze das Briefing-Deck, um die Argumente für eine Defense Factory darzulegen, die Richtung festzulegen und gemeinsam einen ersten Workflow zu bestimmen.

    Briefing-Präsentation herunterladen(wird in einem neuen Fenster geöffnet)

  2. Zugriff auf Cybermodelle beantragen

    Beantrage über Daybreak Zugriff auf die fortschrittlichen Cybermodelle von OpenAI für autorisierte Arbeit zur Cyberabwehr.

    Daybreak beantragen(wird in einem neuen Fenster geöffnet)

  3. Einen Workflow ausführen

    Nutze die Skills im Codex Security-Plugin, um Schwachstellen zu finden, Befunde zu validieren und Fixes vorzubereiten.

    Codex Security ausprobieren(wird in einem neuen Fenster geöffnet)

Bereits Kund:in von OpenAI? Sprich mit deinem Account-Team über deine Architektur.

Mehr lesen

Der Sicherheitsvorfall bei Hugging Face

Der Black-Hat-Vortrag zur Rekonstruktion des Vorfalls bei Hugging Face.

(wird in einem neuen Fenster geöffnet)
  1. Incident-AnalyseEindringen von Agenten: die technische ZeitleisteDie forensische Darstellung des Eindringens von Hugging Face, einschließlich des Angriffspfads, der Untersuchung und der Änderungen an den Schutzmaßnahmen.(wird in einem neuen Fenster geöffnet)
  2. Offenlegung von VorfällenSicherheitsvorfall bei der Modellevaluierung von Hugging FaceOpenAI-Bericht über den Vorfall bei der Modellevaluierung, die gemeinsame Reaktion mit Hugging Face und Änderungen an den Schutzmaßnahmen für Evaluierungen.(wird in einem neuen Fenster geöffnet)
  3. PerspektiveHandlungsfenster der CyberabwehrWarum Verteidiger nur ein begrenztes Zeitfenster zum Handeln haben und wie Organisationen KI nutzen können, um ihre Cyberabwehr zu stärken.(wird in einem neuen Fenster geöffnet)
  4. Programm-UpdateDaybreak ausweiten, während sich das Zeitfenster für die Cyberabwehr verkleinertWie Daybreak den Zugang zu fortschrittlichen Cyber-Modellen erweitert und Verteidigern hilft, sie mit geeigneten Schutzmaßnahmen einzusetzen.(wird in einem neuen Fenster geöffnet)
  5. DokumentationChatGPT LearnCodex Security-PluginEin Leitfaden zur Installation des Codex-Security-Plugins, zum Scannen eines Repositorys und zur Prüfung von Sicherheitsbefunden.(wird in einem neuen Fenster geöffnet)