Vai al contenuto principale

La finestra del difensore si sta chiudendo

I difensori sono in vantaggio, ma dobbiamo agire

L’approccio di OpenAI

La Defense Factory

Costruire una difesa continua

Le difese cyber tradizionali da sole non sono più sufficienti

Gli agenti ora possono condurre operazioni cyber prolungate abusando di modelli open-weight sempre più accessibili. In risposta, OpenAI sta creando una Defense Factory. Un’operazione di difesa automatizzata per individuare, convalidare e correggere le vulnerabilità senza interruzioni.

Anche i team di Cloudflare(si apre in una nuova finestra), Ramp(si apre in una nuova finestra) e Google(si apre in una nuova finestra) stanno esplorando questo approccio. Qui condividiamo l’architettura e i processi alla base della nostra Defense Factory, insieme a ciò che abbiamo imparato realizzandola.

I più recenti modelli di frontiera stanno individuando vulnerabilità già presenti in produzione

In un recente sprint sulla sicurezza, abbiamo utilizzato i nostri più recenti modelli cyber per individuare, convalidare e correggere vulnerabilità all’interno di OpenAI. Abbiamo mobilitato oltre 250 persone e affrontato il lavoro con l’urgenza di una risposta a un incidente.

Cinque settimane complete di report selezionati su rilevamenti con priorità Urgente e Alta, contrassegnati come Completati o Risolti, rispetto alla settimana di picco. Il completamento registrato non attesta un intervento correttivo implementato e verificato in modo indipendente.Correzioni P0/P1Correzioni P0/P154631491535Settimane

Gli agenti possono ora concatenare exploit

Gli agenti conservano ciò che apprendono da una sessione all’altra per sviluppare una comprensione dettagliata di un sistema e mettere in relazione i punti deboli. Attacchi complessi che in precedenza erano impraticabili possono ora essere condotti in modo autonomo.

Catena d'attacco illustrativaUn percorso collega nodi successivi attraverso un labirinto. Ogni nodo raggiunto abilita quello successivo e i passaggi precedenti rimangono collegati. Questa è un’illustrazione concettuale, non la ricostruzione di un incidente.

Gruppi di agenti moltiplicano la portata degli attacchi

Gli agenti a esecuzione prolungata, operativi su flotte di sistemi, possono sfruttare le debolezze su scala più ampia e molto prima che una risposta di sicurezza con supervisione umana riesca a individuare e correggere le stesse vulnerabilità.

Modelli e agenti convergono sulla velocitàI modelli ampiamente disponibili e gli agenti a esecuzione prolungata sono collegati nella parte superiore. Due tracce scendono verso lo sfruttamento a velocità macchina, che si riempie dall’alto verso il basso man mano che arrivano. Le etichette restano sempre visibili.

I difensori sono in vantaggio, ma dobbiamo agire

I difensori hanno due vantaggi strutturali. Possono dare agli agenti accesso diretto al proprio codice e usare modelli di frontiera per ottenere un vantaggio iniziale rispetto a chi attacca usando in modo illecito i modelli open-weight ampiamente disponibili.

Capacità di cybersecurity

Raggiungi la frontiera, poi mantieni il passoLa capacità di cybersecurity si muove in senso l’alto; il tempo scorre in senso orario. Le capacità dei modelli di frontiera e open-weight continuano ad accelerare. La capacità difensiva rimane invariata finché non viene implementata una difesa continua. Successivamente cresce secondo una curva a S: progresso graduale, rapido miglioramento e infine un raccordo graduale con la frontiera. La curva della difesa e quella della frontiera si incontrano, per poi seguire insieme un’unica traiettoria ascendente. L’area blu tra la capacità difensiva implementata e quella dei modelli open-weight rappresenta la finestra del difensore. Restare al passo richiede un lavoro continuo. Queste sono traiettorie illustrative, non sono risultati misurati né previsioni.

Tempo

  • Frontiera
  • Capacità dei difensori
  • Open-weight

Implementa una difesa continua

Finestra dei difensori

Questo vantaggio iniziale è la finestra del difensore.

La Defense Factory

Una Defense Factory è un’operazione continua, incentrata sugli agenti, per individuare e correggere le vulnerabilità. Aiuta i difensori a tenere il passo mentre chi attacca abusa di modelli open weight sempre più avanzati per accelerare le proprie operazioni. Gli agenti utilizzano strumenti esistenti di sicurezza e ingegneria; le competenze riutilizzabili definiscono i flussi di lavoro che seguono e gli ambienti isolati; riproducibili consentono agli agenti di analizzare i risultati e preparare correzioni testate da sottoporre a revisione. I team automatizzano progressivamente una parte sempre maggiore del processo, riducendo i passaggi di consegne e abbreviando il tempo che intercorre dall’individuazione alla correzione.

Sicurezza tradizionale

I tuoi strumenti esistenti, idealmente accessibili agli agenti tramite MCP, CLI o API.

Controllo del codice sorgente

GitHub · GitLab

Strumenti di sicurezza

Snyk · Semgrep · Tenable

Problemi e workflow

Jira · Linear · ServiceNow

Defense Factory

Il collegamento tra i tuoi strumenti esistenti, che consente agli agenti di individuare e correggere proattivamente le vulnerabilità in un workflow continuo.

Ambiente di sviluppo

Ambienti isolati e riproducibili · Ona, Cloudflare, Modal

Agenti
  • Codex Desktop
  • Codex CLI
  • Codex Security CLI
Competenze di sicurezza

Scansione di sicurezza · Analisi del rilevamento · Correzione del rilevamento

Competenze personalizzate

Modelli per finalità generali

Astra · Sol · Terra · Luna

Modelli di sicurezza

Daybreak Blue · Daybreak Red

L’architettura della difesa continua

Una Defense Factory deve riprodurre le vulnerabilità e verificare che le correzioni funzionino. Ciò richiede ambienti di sviluppo riproducibili e isolati, con il codice, le dipendenze e i servizi appropriati, con il supporto dell’orchestrazione e dei controlli di accesso che consentano agli agenti di operare in sicurezza su larga scala.

Piano di controllo

Ridimensiona gli ambienti di esecuzione e centralizza le policy e i segreti.

Piano dati

Ambienti isolati ed effimeri per convalidare i risultati

Container

Sistemi per sviluppatori

Fornisci gli strumenti di cui gli agenti hanno bisogno per operare.

Stato e flussi di lavoro

Tieni traccia di ciò che proteggi, di ciò che gli agenti trovano e di ciò che deve essere corretto.

Sicurezza e audit

Monitora gli agenti che eseguono modelli cyber per contribuire a garantire un’esecuzione sicura e un accesso protetto al contesto e ai dati sensibili.

All’interno della rete privata, i sistemi degli sviluppatori e gli archivi di stato si trovano accanto a un piano di controllo e a un piano dati. Il piano di controllo contiene l’orchestrazione dei carichi di lavoro, l’applicazione delle policy e un proxy delle credenziali. Il piano dati contiene ambienti di sviluppo con contenitori di sviluppo, identità degli ambienti e monitoraggio degli host. Ogni container di sviluppo contiene un’infrastruttura per gli agenti, competenze e l’applicazione. Sicurezza e audit supervisionano tutto il sistema tramite l’attività dell’host, la sicurezza dell’infrastruttura e l’audit dell’agente. I riquadri mostrano i componenti e i confini.

In che modo Defense Factory potenzia la sicurezza tradizionale

Scorri orizzontalmente per vedere cosa aggiunge la Factory.

WorkCollo di bottiglia comuneCosa ti offre la Defense Factory
IndividuazioneI problemi sono in attesa di indagine.
I risultati attivano automaticamente le indagini.
TriageI duplicati oscurano le priorità.
Duplicati uniti. Sfruttabilità testata.
ProprietàI rilevamenti sono in attesa di un responsabile.
Ogni risultato ha un responsabile verificato.
CorrezioneGli ingegneri ripetono le indagini.
Le patch testate arrivano ai revisori con prove a supporto.
VerificaLe correzioni integrate non vengono verificate.
Le correzioni implementate vengono sottoposte nuovamente a test indipendenti.

Come uno sprint sulla sicurezza esteso a tutta OpenAI si è trasformato in una Defense Factory

Man mano che le nuove capacità del modello ci hanno consentito di analizzare più a fondo i nostri sistemi, abbiamo aumentato il ritmo e la portata delle nostre attività di sicurezza. Abbiamo dichiarato un codice rosso interno e riunito Security, Applied e Research in uno sprint coordinato su centinaia di sistemi.

persone mobilitate
250+
zone coperte dal servizio
100+

“Stiamo rafforzando le nostre difese con l’urgenza di un incidente. Si tratta di un’iniziativa che coinvolge tutti e che ha la precedenza su tutto, ad eccezione delle operazioni aziendali critiche. Manterremo la stessa urgenza anche oltre lo sprint, mentre continueremo a testare e rafforzare le nostre difese.”

Thibault Sottiaux, Responsabile dei prodotti core e della piattaforma, OpenAI

Lo sprint è stato il punto di partenza per la nostra Defense Factory. Stiamo lavorando alla creazione di un ciclo difensivo continuo per mappare i nostri sistemi, individuare e convalidare le vulnerabilità, assegnare i responsabili, verificare le correzioni e migliorare il sistema a ogni esecuzione.

Il loop difensivo

  1. 01

    Inventario

    Mappa, collega, aggiorna

  2. 02

    Individuazione

    Scansiona, analizza, importa

  3. 03

    Validazione dinamica

    Riproduci, testa, conferma

  4. 04

    Assegnazione della responsabilità

    Identifica, assegna, follow-up

  5. 05

    Correzione verificata

    Correggi, distribuisci, verifica

Apprendi, adattati e aumenta l'autonomia

SECURITY.mdContesto condiviso

SECURITY.md rappresenta il contesto di sistema condiviso, non un altro passaggio nel ciclo. L’inventario, la scoperta, la validazione dinamica, l’assegnazione della responsabilità e la correzione verificata utilizzano il contesto esistente e contribuiscono con ciò che apprendono. Ogni passaggio riutilizza la mappa del sistema, le responsabilità, le evidenze raccolte durante l’indagine e i controlli già definiti, così i passaggi successivi possono concentrarsi sui cambiamenti e sui rischi ancora irrisolti, invece di ripartire da zero. Le persone esaminano le modifiche più rilevanti e verificano in modo indipendente le correzioni implementate. Il pulse rappresenta un contributo al contesto, non un progresso o un risparmio misurato.

Cosa abbiamo imparato sviluppando il ciclo di difesa

I loop difensivi richiedono gli ambienti di sviluppo giusti

Gli ambienti di sviluppo riproducibili sono il fondamento di un ciclo difensivo autonomo. Gli agenti necessitano di ambienti isolati che possano essere predisposti automaticamente e su larga scala, con i servizi, le dipendenze e le configurazioni necessarie per riprodurre le vulnerabilità e testare le correzioni. Questi ambienti devono essere temporanei, creati ex novo per ogni esecuzione e poi eliminati insieme al loro stato, in modo che un’esecuzione non contamini quella successiva.

L’autonomia deve essere costruita gradualmente, a partire da passaggi manuali

Abbiamo iniziato con piccoli lotti e una revisione umana, per poi eliminare i passaggi manuali ripetitivi man mano che i risultati acquisivano affidabilità. Abbiamo ampliato la quantità di lavoro che gli agenti potevano svolgere, separandola da ciò che erano autorizzati a modificare. Le persone si sono concentrate maggiormente sulla definizione dei limiti, sulla gestione delle eccezioni e sulla verifica dei risultati, man mano che gli agenti assumevano una parte sempre maggiore del lavoro di routine.

  • Sistemi inventariati mentre iniziavano le correzioni

    Abbiamo iniziato mappando i nostri sistemi. Codex ha contribuito a costruire l’inventario mentre raccoglievamo i rilevamenti esistenti in un backlog condiviso. Nelle fasi iniziali, l’assegnazione delle responsabilità dipendeva ancora dalle persone per individuare il team corretto. Abbiamo trasformato le informazioni su servizi e responsabilità in input riutilizzabili, permettendo agli agenti di etichettare e indirizzare gruppi di segnalazioni, mentre le persone gestivano i casi ambigui. Questo ha portato al 90,6% le assegnazioni della responsabilità accettate. In parallelo, i team hanno affrontato i problemi urgenti ancora prima che l’inventario e il modello di assegnazione delle responsabilità fossero completi. Abbiamo risolto 53 problemi urgenti o ad alta priorità in tutti i nostri sistemi il primo giorno.

    Responsabilità accettata dopo l'indirizzamento
    90,6%

  • Abbiamo costruito e perfezionato il triage degli agenti

    Codex ha valutato gruppi di rilevamenti in base a una griglia di gravità e ha aggiunto il contesto relativo al servizio e al responsabile. Le prime etichette di gravità erano troppo generiche e le classificazioni variavano in base alle istruzioni ricevute dagli agenti. Abbiamo creato versioni della griglia di valutazione e dei prompt, aggiunto valutazioni ripetibili e registrato le priorità e il ragionamento attesi dai revisori. I controlli umani a campione hanno contribuito a perfezionare le priorità e a individuare segnalazioni deboli o duplicate. Abbiamo inoltre sospeso l’indirizzamento finché la deduplicazione non è migliorata, passando da un piccolo gruppo di rilevamenti revisionato a esecuzioni ripetute, identificando il 37% dei rilevamenti come segnalazioni duplicate.

    dei risultati identificati come duplicati
    37%

  • Rendere ripetibile la convalida in fase di esecuzione

    Creare ambienti isolati in cui gli agenti potessero eseguire codice, valutare la gravità e filtrare i falsi positivi è stato un passaggio fondamentale per distinguere i segnali dal rumore. Tuttavia, la configurazione dell’ambiente è diventata un vincolo per la convalida, quindi abbiamo iniziato con servizi selezionati che potevamo eseguire ripetutamente. Abbiamo abbiamo risolto le dipendenze mancanti e le differenze di configurazione per poter distinguere un risultato che non era riproducibile da un test che non poteva essere eseguito correttamente. Con questi miglioramenti, il 19,5% dei rilevamenti è stato riprodotto in fase di esecuzione e il tasso di falsi positivi dopo la validazione dinamica è stato dello 0,81%.

    tasso di falsi positivi dopo la validazione dinamica
    0,81%

  • Abbiamo introdotto l’automazione delle patch e costruito workflow riutilizzabili

    La correzione è stata gestita al 100% da Codex, con gli agenti che generavano le patch mentre miglioravamo l’indirizzamento e le priorità. Abbiamo fornito agli agenti ambienti di sviluppo riproducibili per riprodurre i problemi e testare le patch proposte sui servizi in esecuzione, verificando sia la correzione di sicurezza sia i suoi effetti sul normale comportamento. Abbiamo raccolto gli insegnamenti nei file SECURITY.md e in skill riutilizzabili, ampliando al contempo la scansione e il triage eseguiti dagli agenti insieme ai controlli automatizzati delle correzioni. I controlli successivi hanno evidenziato una discrepanza tra le patch integrate e le correzioni distribuite sull’intera flotta. Dopo una piccola sperimentazione, abbiamo esteso la verifica e pubblicato commenti sulle correzioni confermate, mantenendo disattivata la riapertura automatica mentre definivamo come tenere conto dei ritardi nella distribuzione.

    tasso di correzioni annullate
    0,53%

Post tecnico sul blog in arrivo

L’approccio di OpenAI alle skill e ai flussi di lavoro di sicurezza

Inventario

Gli agenti riconciliano record cloud, configurazione di deployment e dati sui responsabili dei servizi in un inventario degli asset. Collegano gli endpoint esposti al codice e ai responsabili, conservando le evidenze e le lacune affinché la fase di individuazione inizi con un ambito più chiaro.

Scorri orizzontalmente per esplorare il diagramma.

I record relativi al cloud e agli asset, la configurazione del codice sorgente e del deployment e i dati sui servizi e sui responsabili confluiscono insieme nell’ambiente di sviluppo riproducibile. Codex utilizza una skill Build and update inventory e il riferimento esistente per l’attribuzione dei servizi per produrre un inventario degli asset. Lo stesso inventario è il primo input per Discovery. Le scritture nell’inventario e la pianificazione degli aggiornamenti devono essere configurate dal flusso di lavoro chiamante.

Input

Flusso di lavoro dell'agente

Ambiente di sviluppo riproducibile

Output

  • Piattaforme di terze parti
  • Artefatti
  • Prodotti OpenAI
  • Competenze/plugin
  • Ambienti

Rendi la difesa continua una priorità

Informa il tuo team, inizia con un flusso di lavoro e costruisci gradualmente una Defense Factory. Continueremo a pubblicare ciò che stiamo imparando in OpenAI, insieme a flussi di lavoro pratici, strumenti e indicazioni.

  1. Informa il tuo team

    Usa la presentazione di briefing per illustrare i vantaggi di una Defense Factory, definire la direzione e concordare un primo flusso di lavoro.

    Scarica la presentazione per il briefing(si apre in una nuova finestra)

  2. Richiedi l’accesso ai modelli cyber

    Candidati a Daybreak per accedere ai modelli cyber avanzati di OpenAI per attività difensive autorizzate.

    Candidati a Daybreak(si apre in una nuova finestra)

  3. Esegui un flusso di lavoro

    Usa le skill nel plugin Codex Security per individuare vulnerabilità, convalidare i risultati e preparare correzioni.

    Prova Codex Security(si apre in una nuova finestra)

Sei già cliente OpenAI? Parla con il team del tuo account della tua architettura.

Approfondimenti

L’incidente di Hugging Face

L’intervento al Black Hat alla base della ricostruzione dell’incidente di Hugging Face.

(si apre in una nuova finestra)
  1. Analisi dell'incidenteIntrusione di agenti: la cronologia tecnicaResoconto forense di Hugging Face sull’intrusione, inclusi il percorso d’attacco, l’indagine e le modifiche alle difese.(si apre in una nuova finestra)
  2. Divulgazione dell'incidenteIncidente di sicurezza nella valutazione del modello Hugging FaceIl resoconto di OpenAI sull’incidente di valutazione dei modelli, la risposta con Hugging Face e le modifiche alle misure di sicurezza per le valutazioni.(si apre in una nuova finestra)
  3. ProspettivaFinestra dei difensoriPerché i difensori hanno una finestra di intervento limitata e come le organizzazioni possono utilizzare l’IA per rafforzare la difesa informatica.(si apre in una nuova finestra)
  4. Aggiornamento del programmaEspandere Daybreak mentre si restringe la finestra per la difesa informaticaCome Daybreak amplia l’accesso a modelli avanzati di sicurezza informatica e aiuta i difensori a utilizzarli con adeguate misure di sicurezza.(si apre in una nuova finestra)
  5. DocumentazioneChatGPT LearnPlugin Codex SecurityUna guida all’installazione del plugin Codex Security, alla scansione di un repository e alla revisione dei rilevamenti di sicurezza.(si apre in una nuova finestra)