Gestire i rischi dell’IA di frontiera: dall’addestramento al rilascio
18 novembre 2026 · Sicurezza
Le capacità dei modelli di frontiera crescono sempre più rapidamente e la nostra capacità di comprenderli, allinearli e metterli in sicurezza deve mantenersi un passo avanti. Stiamo regolando il ritmo di sviluppo e rilascio dei nostri modelli, anche sospendendo l’addestramento interno(si apre in una nuova finestra) o rinviando il rilascio di modelli come GPT‑6.1 Astra quando serve più tempo per soddisfare i nostri standard di sicurezza. Abbiamo introdotto nuovi processi, come le argomentazioni di sicurezza, e richiediamo prove più solide di un comportamento allineato durante tutto l’addestramento. Questi requisiti rallentano il ritmo dei rilasci, ma ci danno maggiore fiducia nella possibilità di procedere in sicurezza.
Dopo l’incidente di Hugging Face a luglio, abbiamo rafforzato le protezioni e i requisiti di allineamento per l’addestramento, i test e l’impiego dei modelli. Questo articolo spiega come valutiamo e gestiamo i rischi in ogni fase, dagli ambienti di addestramento fortemente isolati in sandbox al Codex che usi sul tuo computer. In ogni fase valutiamo sia i modelli sia le protezioni e richiediamo una revisione di sicurezza per passare alla fase successiva.
Adottiamo una difesa in profondità con più livelli di protezione, per ridurre la dipendenza da una singola misura. Se un livello fallisce, gli altri aiutano a prevenire danni, limitare le conseguenze o avvisarci, così da consentirci di intervenire.
Organizziamo le nostre protezioni su quattro livelli:
Un monitoraggio efficace dipende dalla monitorabilità del modello, ossia dall’affidabilità con cui i sistemi di monitoraggio riescono a rilevare errori o comportamenti non sicuri a partire dal ragionamento e dalle azioni del modello. Ad esempio, un modello che esplicita l’intenzione di imbrogliare nella propria chain of thought (CoT) è più monitorabile di uno che omette questa informazione. Valutiamo la monitorabilità durante l’addestramento e prima dell’impiego, sviluppiamo metodi migliori per misurarla(si apre in una nuova finestra) e studiamo i fattori che la influenzano(si apre in una nuova finestra).
L’incidente di Hugging Face ha mostrato perché non dovremmo affidarci soltanto alle sandbox per contenere modelli molto capaci. Ora monitoriamo i modelli di frontiera nella maggior parte dei contesti di impiego interni ed esterni, compresi tutti gli impieghi interni che utilizzano strumenti.
Il ruolo di ciascun livello cambia nelle tre fasi di sviluppo e impiego dei modelli:
Ricerca: addestriamo, testiamo e utilizziamo i modelli in ambienti sandbox.
Impiego interno: i dipendenti di OpenAI usano i modelli per attività lavorative concrete.
Impiego esterno: i modelli diventano disponibili a una platea più ampia di persone e organizzazioni.
Nelle diverse fasi facciamo affidamento su livelli diversi. Durante l’addestramento, quando l’allineamento è meno certo, ci affidiamo maggiormente alle sandbox e al monitoraggio. Man mano che i modelli ottengono un accesso più ampio durante l’impiego, l’allineamento e i controlli a livello di sistema diventano sempre più importanti. In ogni fase valutiamo se le protezioni, nel loro insieme, siano sufficienti rispetto alle capacità e agli accessi del modello. Le nostre decisioni possono essere riesaminate con il Gruppo consultivo per la sicurezza e sottoposte alla supervisione del Comitato per la sicurezza e la protezione del Consiglio di amministrazione di OpenAI Foundation.
Durante la fase di ricerca valutiamo i modelli per acquisire maggiore fiducia nelle loro proprietà di allineamento. Poiché non possiamo ancora affidarci pienamente all’allineamento per prevenire i danni, ricorriamo ampiamente alla sicurezza e alle sandbox per limitarne gli accessi e le azioni.
Alla luce dello stato attuale della ricerca sull’allineamento, dei sistemi di monitoraggio e della sicurezza dell’infrastruttura internet, riteniamo responsabile addestrare i modelli di frontiera senza una connessione attiva a internet. Dopo l'incidente di Hugging Face, abbiamo ristrutturato profondamente i nostri sistemi di ricerca interni per contenere i modelli usando:
sandbox che limitano i privilegi del modello
macchine virtuali per isolare ulteriormente il carico di lavoro dal computer sottostante
perimetri di rete e cloud che isolano l’intero cluster da internet
Sottoponiamo continuamente questo sistema a red teaming: team dei nostri modelli più potenti tentano di accedere a internet, superare i confini di sicurezza o comunicare con agenti dai quali dovrebbero restare isolati. Questo ci aiuta a verificare se il contenimento regge alle capacità dei modelli che deve limitare.
Come ulteriore livello di difesa, monitoriamo tutte le inferenze dei modelli di frontiera per rilevare eventuali aggiramenti dei nostri vincoli invarianti di sicurezza. Se il monitoraggio rileva che il modello ha raggiunto internet, allertiamo i team di sicurezza e sospendiamo automaticamente il carico di lavoro.
Il monitoraggio costituisce una protezione essenziale quando il contenimento fallisce. In un recente rapporto sul disallineamento abbiamo spiegato che i sistemi di monitoraggio hanno rilevato un modello di ricerca interno che sfruttava una configurazione DNS errata(si apre in una nuova finestra) per ottenere un accesso limitato a internet. Abbiamo sospeso l’addestramento e la valutazione dei modelli più capaci dal 20 settembre al 1° ottobre, mentre indagavamo e risolvevamo la falla di sicurezza.
Per rendere gli interventi rapidi e affidabili abbiamo creato Control Room, un sistema centrale che tiene traccia dei carichi di lavoro di ricerca e interrompe la generazione di output del modello entro 35 secondi dalla ricezione dell’istruzione di arresto di un processo. Questi controlli vengono applicati direttamente nell’infrastruttura di inferenza e non richiedono quindi che ogni carico di lavoro di ricerca implementi un proprio meccanismo di arresto. Per i carichi di lavoro di ricerca sui modelli di frontiera, interrompono la generazione di output anche se Control Room diventa indisponibile.
Red teaming e monitoraggio operano insieme. Non possiamo garantire che una sandbox sia impenetrabile, ma il red teaming ci aiuta a valutare quanto sforzo servirebbe a un modello per uscirne. Quanto maggiore è lo sforzo necessario, tanto più numerose sono le opportunità per i sistemi di monitoraggio di rilevarlo e fermarlo.
Nella fase di ricerca imponiamo controlli rigorosi di sicurezza e monitoraggio per diversi motivi:
I modelli sono ancora in fase di valutazione. Alcuni non hanno ancora completato l’addestramento alla sicurezza, gli audit di allineamento e le revisioni necessari per il rilascio pubblico.
I contesti di ricerca di frontiera possono amplificare i rischi. Alcune attività di ricerca richiedono configurazioni più ambiziose, che rendono il modello più persistente o capace di quanto si osservi solitamente nell’impiego esterno (ad esempio, per risolvere il problema di Navier–Stokes è stato necessario un team di 10.000 agenti).
L’addestramento avviene su larga scala con una minore supervisione umana diretta. A differenza di una tipica sessione di Codex, i nostri carichi di lavoro di addestramento comportano numerose azioni dei modelli, senza che una persona segua ogni interazione.
Prima del rilascio su vasta scala, i dipendenti passano dall’uso per la ricerca in ambienti sandbox dei modelli di frontiera all’uso interno al di fuori delle sandbox, ad esempio rendendo il modello accessibile ai dipendenti in ChatGPT. Questo ci permette di capire meglio come i modelli si comportano in contesti pratici(si apre in una nuova finestra) e orienta le decisioni sul loro impiego.
In questa fase diamo al modello un accesso più ampio a internet, al nostro Slack, alla nostra base di codice e all’infrastruttura interna. Il profilo di rischio cambia sensibilmente, perché ora le azioni del modello hanno un impatto diretto sui sistemi che usiamo per sviluppare e gestire OpenAI. Durante l’impiego interno dobbiamo fare maggiore affidamento sull’allineamento del modello, sulle misure di protezione del sistema e sul monitoraggio, anziché sui controlli di sicurezza.
Prima di poter essere impiegato al di fuori della sandbox, un modello di frontiera deve superare test di allineamento e di monitorabilità(si apre in una nuova finestra). Disponiamo di una serie di valutazioni dell’allineamento che verificano sia specifiche modalità di fallimento (come l’aggiramento delle restrizioni di sicurezza e protezione) sia propensioni più generali (ad esempio ricampionando le traiettorie interne di Codex e verificando eventuali disallineamenti). Per saperne di più sulle nostre valutazioni di allineamento e monitorabilità, consulta l’ultima scheda di sistema di GPT‑6 Astra(si apre in una nuova finestra).
Replichiamo le configurazioni di produzione aggiungendo un ulteriore livello di difesa con classificatori a livello di sistema, progettati per proteggere dai danni legati ai modelli di frontiera, come gli abusi informatici e lo sviluppo di armi biologiche. In genere richiediamo inoltre ai dipendenti che usano Codex di utilizzare Auto-Review(si apre in una nuova finestra), che valuta le azioni potenzialmente rischiose e le sottopone all’utente.
Infine, durante l’impiego interno monitoriamo ogni inferenza dei modelli di frontiera per rilevare comportamenti disallineati. Poiché ora il modello dispone di privilegi estesi e può accedere a informazioni e sistemi interni, diventa particolarmente importante rilevare rischi come l’esfiltrazione di dati, ossia l’invio di dati sensibili a una destinazione non autorizzata. Il monitoraggio ci aiuta anche a indagare su nuove forme di disallineamento(si apre in una nuova finestra).
Il rilascio pubblico espone i modelli a molti più utenti, attività e ambienti, aumentando sia la portata sia la varietà dei rischi. In questa fase dobbiamo anche proteggerci da soggetti potenzialmente malevoli che indirizzano intenzionalmente il modello verso azioni dannose.
Prima del rilascio pubblico, i modelli e le misure di protezione del sistema devono soddisfare i nostri requisiti di sicurezza per l’impiego esterno. Li esaminiamo attraverso:
Una serie più ampia di valutazioni dell’allineamento e della sicurezza. Per i modelli di frontiera, ciò include nuovi cicli di test adattivi con i nostri sistemi interni di red teaming automatizzato, per mettere alla prova la robustezza del modello. Pubblichiamo i risultati delle valutazioni delle capacità e della sicurezza nelle nostre schede di sistema(si apre in una nuova finestra).
Per i modelli più capaci, svolgiamo anche test con soggetti terzi per mettere alla prova sia le protezioni contro gli usi impropri sia l’allineamento di fondo dei modelli.
L’esame delle segnalazioni di monitoraggio emerse durante l’impiego interno per rilevare eventuali cambiamenti nell’allineamento di fondo del modello di base.
Oltre alle protezioni “sincrone” (come l’addestramento alla sicurezza e i classificatori di sistema), per l’impiego esterno ricorriamo anche a indagini e interventi di contrasto offline. I team preposti combinano agenti investigativi su larga scala e revisione umana per rilevare e identificare potenziali autori di minacce, dagli abusi informatici allo sviluppo di armi biologiche e alla distillazione, oltre al disallineamento del modello stesso. Gli interventi offline sono particolarmente utili per raccogliere informazioni tra più account e ottenere un quadro più completo di una potenziale minaccia.
I programmi di accesso riservato a soggetti affidabili, come Daybreak e Rosalind, offrono un ulteriore livello di sicurezza e accelerano il lavoro di chi si occupa di difesa e ricerca legittima, limitando l’accesso ai potenziali aggressori.
Quando rileviamo un malfunzionamento in uno dei nostri livelli di sicurezza, anche se non ha causato danni, vogliamo indagare rapidamente, stabilire le priorità e, se possibile e opportuno, renderlo noto all’esterno. In base alla nostra politica di segnalazione del disallineamento, ogni dipendente può segnalare un incidente affinché venga reso pubblico. Queste segnalazioni vengono esaminate e, in caso di disaccordo sull’opportunità di divulgarle all’esterno, la decisione viene rimessa al nostro Gruppo consultivo per la sicurezza. Oltre ad affidarci alle segnalazioni dei dipendenti, cerchiamo attivamente episodi di disallineamento per poterli affrontare e condividere i risultati delle indagini.
Puoi consultare i nostri report sul disallineamento qui(si apre in una nuova finestra).
Questo lavoro dipende sia dai progressi della ricerca sia dal rigore operativo: configurare correttamente i controlli, verificarne le interazioni e reagire con decisione quando falliscono. Un servizio di rete configurato male o un arresto automatico non riuscito possono compromettere protezioni altrimenti solide.
Man mano che i modelli acquisiscono nuove capacità, dovremo continuare a mettere in discussione i presupposti delle nostre protezioni e a migliorarle dove serve. Le lezioni apprese dalla ricerca, dall’uso interno e dall’impiego pubblico devono guidare l’addestramento, la valutazione e il rilascio dei prossimi modelli.
Continueremo a condividere i risultati tramite schede di sistema, rapporti sugli incidenti, rapporti sui rischi(si apre in una nuova finestra) dell’impiego interno e valutazioni esterne, affinché altri possano esaminare criticamente il nostro approccio, compresi i suoi limiti. Quando queste evidenze non saranno sufficienti a soddisfare i nostri standard di sicurezza, sospenderemo nuovamente l’addestramento o rinvieremo il rilascio finché i requisiti non saranno rispettati.
Definire gli standard di sicurezza
Regolare lo sviluppo dei modelli nell’era delle capacità critiche per la cybersicurezza — Come abbiamo rallentato l’addestramento di frontiera, rafforzando il contenimento, estendendo il monitoraggio e richiedendo prove più solide di allineamento.
Verso argomentazioni di sicurezza per l’addestramento dell’IA di frontiera — Prime linee guida per argomentazioni di sicurezza basate su evidenze, che coprono protezioni tecniche, pratiche operative e indagini sul disallineamento.
Priorità e principi per valutazioni efficaci da parte di terzi — La nostra proposta per un esame indipendente di argomentazioni di sicurezza, protezioni, valutazioni e comportamento dei modelli.
Sintesi periodica delle valutazioni dei rischi catastrofici legati all’uso interno(si apre in una nuova finestra) — Il rapporto pubblico su giugno–settembre 2026 descrive gli impieghi interni dei modelli di frontiera, i rischi valutati e le modifiche a protezioni e governance.
Definire e valutare il comportamento allineato
Una specifica modello aggiornata per un’IA più capace e utile — Come abbiamo aggiornato la specifica modello intorno a cinque valori fondamentali per guidare il giudizio, il comportamento e il rispetto della supervisione umana da parte dei modelli.
Sicurezza degli agenti: divari di comportamento tra valutazione e produzione e ruolo della consapevolezza dei test(si apre in una nuova finestra) — Uno studio sulle differenze tra risultati delle valutazioni di sicurezza e comportamento in produzione, incluso l’effetto sulle prestazioni di come i modelli interpretano gli obiettivi dei test.
Oltre g-mean²: metriche complementari per la monitorabilità(si apre in una nuova finestra) — Nuove metriche per confrontare la monitorabilità e stimare il rischio residuo in sistemi simulati in cui il monitoraggio respinge gli output dei modelli.
Scheda di sistema di GPT‑6 Astra(si apre in una nuova finestra) — Valutazioni dettagliate delle capacità, della sicurezza, dell’allineamento e della monitorabilità di Astra, insieme alle protezioni e ai limiti del suo impiego.
Contenere i modelli e migliorare le protezioni
Mettere in sicurezza l’ambiente di addestramento dei nostri modelli di frontiera — Come abbiamo rafforzato l’isolamento, creato ambienti di ricerca offline e usato i modelli più potenti per testare i confini del contenimento.
Addestrare classificatori delle attivazioni per sicurezza e allineamento(si apre in una nuova finestra) — Come i classificatori usano le attivazioni interne dei modelli per rilevare comportamenti potenzialmente dannosi e interrompere risposte o chiamate agli strumenti.
Revisione automatica delle azioni degli agenti senza supervisione umana sincrona(si apre in una nuova finestra) — Come un agente di revisione separato valuta le azioni che oltrepassano i confini della sandbox, aiutando gli agenti di programmazione a lavorare autonomamente e bloccando azioni potenzialmente dannose o non autorizzate.
GPT‑Red: sfruttare l’automiglioramento per aumentare la robustezza — Come addestriamo sistemi di red teaming automatizzato tramite il gioco contro sé stessi per scoprire vulnerabilità e migliorare la robustezza dei modelli contro le iniezioni di prompt.
Control Room — Come tracciamo i carichi di lavoro nell’infrastruttura di ricerca e interrompiamo rapidamente gli output dei modelli quando problemi di sicurezza o protezione richiedono un intervento.
Risposta agli incidenti e divulgazione
Come rileviamo il disallineamento dei modelli di frontiera — Il nostro sistema di monitoraggio combina sonde delle attivazioni, revisioni basate su modelli, indagini automatizzate e interventi umani per rilevare e indagare comportamenti preoccupanti.
L’incidente di Hugging Face e i prossimi passi — Le conclusioni dell’indagine sull’incidente di Hugging Face e le modifiche che ne sono derivate per sicurezza, monitoraggio e allineamento.
Un agente ha usato il DNS per raggiungere un chatbot esterno(si apre in una nuova finestra) — Come un modello di ricerca ha aggirato le restrizioni internet sfruttando un filtraggio DNS insufficiente, come il monitoraggio lo ha rilevato e quali controlli sono stati aggiunti.
Fermare una campagna coordinata di distillazione dei modelli — Come abbiamo indagato e bloccato tentativi di estrarre ragionamenti protetti dei modelli tramite provvedimenti sugli account, controlli tecnici e coordinamento con i partner.
Il nostro quadro per segnalare il disallineamento dei modelli — Il processo per tracciare, indagare e divulgare comportamenti preoccupanti dei modelli, inclusi i casi in cui cause o rilevanza restano incerte.
Rapporti e avvisi sul disallineamento(si apre in una nuova finestra) — La raccolta di incidenti divulgati e avvisi che mostrano come emerge il disallineamento e dove le protezioni funzionano o falliscono.
Progressi della ricerca e applicazioni
Accelerare la ricerca: il punto di vista interno di OpenAI — Prime evidenze di come gli agenti di programmazione stiano cambiando la ricerca in OpenAI: uso crescente, attività sempre più complesse ed effetti sulla sperimentazione.
Sul problema del millennio di Navier–Stokes — Una dimostrazione matematica prodotta da un sistema di IA interno, accompagnata da una formalizzazione in Lean, illustra le capacità degli impieghi di ricerca su larga scala.
Daybreak — Il nostro programma di cybersicurezza offre a professionisti della difesa verificati capacità di IA avanzate, strumenti di sicurezza e supporto per individuare vulnerabilità e rafforzare le difese.
Presentiamo GPT‑Rosalind per la ricerca nelle scienze della vita — Un modello specializzato in biologia, scoperta di farmaci e medicina traslazionale, disponibile alle organizzazioni idonee tramite un programma di accesso riservato a soggetti affidabili.






