OpenAI e Hugging Face collaborano su un incidente di sicurezza nella valutazione dei modelli

La scorsa settimana, Hugging Face ha reso noto un nuovo tipo di incidente di sicurezza⁠(si apre in una nuova finestra) dopo aver rilevato e contenuto un agente IA che aveva compromesso la sua infrastruttura, un fenomeno che prevediamo diventerà più comune con la diffusione di modelli dalle capacità cyber sempre più avanzate. Dopo le indagini, ora sappiamo che questo specifico incidente è stato causato da una combinazione di modelli OpenAI, tra cui GPT‑5.6 Sol e un modello pre-release ancora più capace, tutti con rifiuti cyber ridotti a fini di valutazione, mentre venivano testati internamente su un benchmark⁠(si apre in una nuova finestra) delle capacità cyber.

Consideriamo questo incidente un caso cyber senza precedenti, che coinvolge capacità cyber all’avanguardia, e stiamo rispondendo di conseguenza. In questa fase condividiamo risultati preliminari per aiutare i difensori a capire che cosa è accaduto e a calibrare la propria comprensione di ciò di cui i modelli sono ora capaci. Continueremo a condurre un’indagine approfondita insieme a Hugging Face e condivideremo maggiori dettagli sulle vulnerabilità, sull’incidente e sui risultati quando l’indagine sarà completata.

Questo incidente si è verificato durante una valutazione interna che induce i modelli a perseguire exploit avanzati attraverso percorsi di attacco complessi, nel tentativo di quantificare le loro capacità cyber. Stimiamo le capacità cyber massime eseguendo questa valutazione senza i classificatori di produzione usati per impedire ai modelli di perseguire attività cyber ad alto rischio. I nostri benchmark vengono eseguiti in un ambiente altamente isolato, con accesso alla rete limitato alla possibilità di installare pacchetti tramite un software di terze parti ospitato internamente che funge da proxy e cache per i registri dei pacchetti.

I modelli hanno individuato e concatenato vulnerabilità tra l’ambiente di ricerca di OpenAI e l’infrastruttura di produzione di Hugging Face per ottenere soluzioni di test direttamente dal database di produzione di Hugging Face. Tutte le evidenze indicano che i modelli erano iperconcentrati sulla ricerca di una soluzione per ExploitGym, spingendosi a misure estreme per raggiungere un obiettivo di test piuttosto ristretto.

Mentre operavano nel nostro ambiente di test in sandbox, i nostri modelli hanno impiegato una quantità significativa di calcolo in inferenza per trovare un modo di ottenere accesso a Internet aperto, con l’obiettivo di risolvere il problema di valutazione. Per ottenere l’accesso, i modelli hanno individuato e sfruttato una vulnerabilità zero-day (che ora abbiamo comunicato responsabilmente al fornitore) nel proxy di cache del registro dei pacchetti. Con questo accesso, i nostri modelli hanno eseguito una serie di azioni di escalation dei privilegi e movimento laterale nel nostro ambiente di test per la ricerca, finché hanno raggiunto un nodo con accesso a Internet.

Dopo aver ottenuto l’accesso a Internet, i modelli hanno dedotto che Hugging Face potesse ospitare modelli, dataset e soluzioni per ExploitGym. Sulla base di questa informazione, il modello ha cercato e trovato con successo modi per accedere a informazioni segrete utilizzabili per aggirare la valutazione. In un esempio, il modello ha concatenato più vettori di attacco, incluso l’uso di credenziali rubate e vulnerabilità zero-day, per trovare un percorso di esecuzione di codice da remoto sui server di Hugging Face. Il team di sicurezza di OpenAI ha scoperto internamente questa attività anomala.

Il team di sicurezza e gli agenti di Hugging Face hanno rilevato e bloccato l’attività sulla loro infrastruttura e avevano già avviato il contenimento e la ricostruzione forense con i propri modelli open source quando i nostri team sono entrati in contatto. Stiamo collaborando attivamente con loro per proseguire l’indagine sull’incidente. Siamo grati a Hugging Face per la collaborazione rapida e stretta nell’indagine e nella remediation.

1. Nell’ambito dell’indagine, stiamo implementando controlli rigorosi nella configurazione dell’infrastruttura, anche a costo di rallentare la ricerca, mentre le vulnerabilità vengono corrette. Aggiorniamo regolarmente il nostro Safety and Security Committee su questi controlli e sul loro impatto.
2. Stiamo collaborando con Hugging Face per svolgere un’indagine forense sull’incidente.
3. Abbiamo comunicato responsabilmente la vulnerabilità zero-day individuata nel software di terze parti ospitato internamente e stiamo lavorando con il fornitore per correggerla.
4. Abbiamo incluso Hugging Face nel programma di accesso fidato⁠ e stiamo supportando i suoi team nell’uso rapido delle capacità dei nostri modelli per migliorare le loro difese.
5. Stiamo migliorando e aggiungendo protezioni più solide per i futuri processi di addestramento e valutazione. Questa settimana abbiamo pubblicato un blog su come migliorare sicurezza e allineamento in un’era di modelli a lungo orizzonte⁠. Queste misure di protezione per il deployment non sono state abilitate intenzionalmente durante questa valutazione, perché l’obiettivo era testare vulnerabilità cyber. Questo incidente evidenzia la necessità di rafforzare ulteriormente l’allineamento del nostro modello, le protezioni cyber durante la valutazione e il monitoraggio nei test interni.

Come abbiamo condiviso di recente⁠, l’IA sta accelerando la scoperta e lo sfruttamento delle vulnerabilità. La lezione principale di questo incidente è che sicurezza e protezione dei modelli devono tenere il passo con capacità in rapida evoluzione. Stiamo rafforzando le pratiche di contenimento, monitoraggio, controllo degli accessi e valutazione usate durante lo sviluppo dei modelli.

La valutazione dell’UK AISI mostra che modelli come GPT‑5.6 Sol sono sempre più in grado di sostenere operazioni cyber complesse e in più fasi su lunghi orizzonti temporali. Questo incidente indica che tali capacità teoriche si applicano anche in contesti reali.

L’incidente chiarisce inoltre che i modelli avanzati possono scoprire e sfruttare nuovi percorsi di attacco in sistemi reali senza accesso al codice sorgente. Sottolinea che le capacità cyber avanzate devono essere sviluppate insieme a salvaguardie e strumenti difensivi più solidi.

Riteniamo che i modelli con capacità cyber avanzate debbano aiutare i team di sicurezza a trovare le debolezze prima degli aggressori, capire come le vulnerabilità possano essere concatenate e risolverle alla velocità delle macchine. Stiamo usando queste capacità per continuare a rafforzare le protezioni relative alla configurazione dell’infrastruttura e agli ambienti di valutazione dei modelli; condivideremo risultati e best practice man mano che impareremo. Invitiamo altri difensori a richiedere l’accesso fidato⁠ e a sperimentare subito con questi modelli per trasformare queste capacità in una migliore prevenzione, un rilevamento più rapido e una risposta agli incidenti più efficace.