OpenAI

Gestire i rischi dell’IA di frontiera: dall’addestramento al rilascio

18 novembre 2026 · Sicurezza

Le capacità dei modelli di frontiera crescono sempre più rapidamente e la nostra capacità di comprenderli, allinearli e metterli in sicurezza deve mantenersi un passo avanti. Stiamo regolando il ritmo di sviluppo e rilascio dei nostri modelli, anche sospendendo l’addestramento interno⁠(si apre in una nuova finestra) o rinviando il rilascio di modelli come GPT‑6.1 Astra quando serve più tempo per soddisfare i nostri standard di sicurezza. Abbiamo introdotto nuovi processi, come le argomentazioni di sicurezza, e richiediamo prove più solide di un comportamento allineato durante tutto l’addestramento. Questi requisiti rallentano il ritmo dei rilasci, ma ci danno maggiore fiducia nella possibilità di procedere in sicurezza.

Dopo l’incidente di Hugging Face⁠ a luglio, abbiamo rafforzato le protezioni e i requisiti di allineamento per l’addestramento, i test e l’impiego dei modelli. Questo articolo spiega come valutiamo e gestiamo i rischi in ogni fase, dagli ambienti di addestramento fortemente isolati in sandbox al Codex che usi sul tuo computer. In ogni fase valutiamo sia i modelli sia le protezioni e richiediamo una revisione di sicurezza per passare alla fase successiva.

Difesa in profondità lungo il ciclo di vita del modello

Adottiamo una difesa in profondità con più livelli di protezione, per ridurre la dipendenza da una singola misura. Se un livello fallisce, gli altri aiutano a prevenire danni, limitare le conseguenze o avvisarci, così da consentirci di intervenire.

Organizziamo le nostre protezioni su quattro livelli:

Un monitoraggio efficace dipende dalla monitorabilità del modello, ossia dall’affidabilità con cui i sistemi di monitoraggio riescono a rilevare errori o comportamenti non sicuri a partire dal ragionamento e dalle azioni del modello. Ad esempio, un modello che esplicita l’intenzione di imbrogliare nella propria chain of thought (CoT) è più monitorabile di uno che omette questa informazione. Valutiamo la monitorabilità durante l’addestramento e prima dell’impiego, sviluppiamo metodi migliori per misurarla⁠(si apre in una nuova finestra) e studiamo i fattori che la influenzano⁠(si apre in una nuova finestra).

L’incidente di Hugging Face ha mostrato perché non dovremmo affidarci soltanto alle sandbox per contenere modelli molto capaci. Ora monitoriamo i modelli di frontiera nella maggior parte dei contesti di impiego interni ed esterni, compresi tutti gli impieghi interni che utilizzano strumenti.

Il ruolo di ciascun livello cambia nelle tre fasi di sviluppo e impiego dei modelli:

  • Ricerca: addestriamo, testiamo e utilizziamo i modelli in ambienti sandbox.

  • Impiego interno: i dipendenti di OpenAI usano i modelli per attività lavorative concrete.

  • Impiego esterno: i modelli diventano disponibili a una platea più ampia di persone e organizzazioni.

Nelle diverse fasi facciamo affidamento su livelli diversi. Durante l’addestramento, quando l’allineamento è meno certo, ci affidiamo maggiormente alle sandbox e al monitoraggio. Man mano che i modelli ottengono un accesso più ampio durante l’impiego, l’allineamento e i controlli a livello di sistema diventano sempre più importanti. In ogni fase valutiamo se le protezioni, nel loro insieme, siano sufficienti rispetto alle capacità e agli accessi del modello. Le nostre decisioni possono essere riesaminate con il Gruppo consultivo per la sicurezza e sottoposte alla supervisione del Comitato per la sicurezza e la protezione del Consiglio di amministrazione di OpenAI Foundation.

Durante la ricerca: contenere i modelli in ambienti sandbox

Durante la fase di ricerca valutiamo i modelli per acquisire maggiore fiducia nelle loro proprietà di allineamento. Poiché non possiamo ancora affidarci pienamente all’allineamento per prevenire i danni, ricorriamo ampiamente alla sicurezza e alle sandbox per limitarne gli accessi e le azioni.

Alla luce dello stato attuale della ricerca sull’allineamento, dei sistemi di monitoraggio e della sicurezza dell’infrastruttura internet, riteniamo responsabile addestrare i modelli di frontiera senza una connessione attiva a internet. Dopo l'incidente di Hugging Face, abbiamo ristrutturato profondamente i nostri sistemi di ricerca interni per contenere i modelli usando:

  • sandbox che limitano i privilegi del modello

  • macchine virtuali per isolare ulteriormente il carico di lavoro dal computer sottostante

  • perimetri di rete e cloud che isolano l’intero cluster da internet

Sottoponiamo continuamente questo sistema a red teaming: team dei nostri modelli più potenti tentano di accedere a internet, superare i confini di sicurezza o comunicare con agenti dai quali dovrebbero restare isolati. Questo ci aiuta a verificare se il contenimento regge alle capacità dei modelli che deve limitare.

Come ulteriore livello di difesa, monitoriamo tutte le inferenze dei modelli di frontiera per rilevare eventuali aggiramenti dei nostri vincoli invarianti di sicurezza. Se il monitoraggio rileva che il modello ha raggiunto internet, allertiamo i team di sicurezza e sospendiamo automaticamente il carico di lavoro.

Il monitoraggio costituisce una protezione essenziale quando il contenimento fallisce. In un recente rapporto sul disallineamento abbiamo spiegato che i sistemi di monitoraggio hanno rilevato un modello di ricerca interno che sfruttava una configurazione DNS errata⁠(si apre in una nuova finestra) per ottenere un accesso limitato a internet. Abbiamo sospeso l’addestramento e la valutazione dei modelli più capaci dal 20 settembre al 1° ottobre, mentre indagavamo e risolvevamo la falla di sicurezza.

Per rendere gli interventi rapidi e affidabili abbiamo creato Control Room⁠, un sistema centrale che tiene traccia dei carichi di lavoro di ricerca e interrompe la generazione di output del modello entro 35 secondi dalla ricezione dell’istruzione di arresto di un processo. Questi controlli vengono applicati direttamente nell’infrastruttura di inferenza e non richiedono quindi che ogni carico di lavoro di ricerca implementi un proprio meccanismo di arresto. Per i carichi di lavoro di ricerca sui modelli di frontiera, interrompono la generazione di output anche se Control Room diventa indisponibile.

Red teaming e monitoraggio operano insieme. Non possiamo garantire che una sandbox sia impenetrabile, ma il red teaming ci aiuta a valutare quanto sforzo servirebbe a un modello per uscirne. Quanto maggiore è lo sforzo necessario, tanto più numerose sono le opportunità per i sistemi di monitoraggio di rilevarlo e fermarlo.

Nella fase di ricerca imponiamo controlli rigorosi di sicurezza e monitoraggio per diversi motivi:

  • I modelli sono ancora in fase di valutazione. Alcuni non hanno ancora completato l’addestramento alla sicurezza, gli audit di allineamento e le revisioni necessari per il rilascio pubblico.

  • I contesti di ricerca di frontiera possono amplificare i rischi. Alcune attività di ricerca richiedono configurazioni più ambiziose, che rendono il modello più persistente o capace di quanto si osservi solitamente nell’impiego esterno (ad esempio, per risolvere il problema di Navier–Stokes è stato necessario un team di 10.000 agenti).

  • L’addestramento avviene su larga scala con una minore supervisione umana diretta. A differenza di una tipica sessione di Codex, i nostri carichi di lavoro di addestramento comportano numerose azioni dei modelli, senza che una persona segua ogni interazione.

Impiego interno: verificare l’allineamento e monitorare attentamente il comportamento

Prima del rilascio su vasta scala, i dipendenti passano dall’uso per la ricerca in ambienti sandbox dei modelli di frontiera all’uso interno al di fuori delle sandbox, ad esempio rendendo il modello accessibile ai dipendenti in ChatGPT. Questo ci permette di capire meglio come i modelli si comportano in contesti pratici⁠(si apre in una nuova finestra) e orienta le decisioni sul loro impiego.

In questa fase diamo al modello un accesso più ampio a internet, al nostro Slack, alla nostra base di codice e all’infrastruttura interna. Il profilo di rischio cambia sensibilmente, perché ora le azioni del modello hanno un impatto diretto sui sistemi che usiamo per sviluppare e gestire OpenAI. Durante l’impiego interno dobbiamo fare maggiore affidamento sull’allineamento del modello, sulle misure di protezione del sistema e sul monitoraggio, anziché sui controlli di sicurezza.

Prima di poter essere impiegato al di fuori della sandbox, un modello di frontiera deve superare test di allineamento e di monitorabilità⁠(si apre in una nuova finestra). Disponiamo di una serie di valutazioni dell’allineamento che verificano sia specifiche modalità di fallimento (come l’aggiramento delle restrizioni di sicurezza e protezione) sia propensioni più generali (ad esempio ricampionando le traiettorie interne di Codex e verificando eventuali disallineamenti). Per saperne di più sulle nostre valutazioni di allineamento e monitorabilità, consulta l’ultima scheda di sistema di GPT‑6 Astra⁠(si apre in una nuova finestra).

Replichiamo le configurazioni di produzione aggiungendo un ulteriore livello di difesa con classificatori a livello di sistema, progettati per proteggere dai danni legati ai modelli di frontiera, come gli abusi informatici e lo sviluppo di armi biologiche. In genere richiediamo inoltre ai dipendenti che usano Codex di utilizzare Auto-Review⁠(si apre in una nuova finestra), che valuta le azioni potenzialmente rischiose e le sottopone all’utente.

Infine, durante l’impiego interno monitoriamo ogni inferenza dei modelli di frontiera per rilevare comportamenti disallineati. Poiché ora il modello dispone di privilegi estesi e può accedere a informazioni e sistemi interni, diventa particolarmente importante rilevare rischi come l’esfiltrazione di dati, ossia l’invio di dati sensibili a una destinazione non autorizzata. Il monitoraggio ci aiuta anche a indagare su nuove forme di disallineamento⁠(si apre in una nuova finestra).

Impiego esterno: proteggere da usi impropri e disallineamento su larga scala

Il rilascio pubblico espone i modelli a molti più utenti, attività e ambienti, aumentando sia la portata sia la varietà dei rischi. In questa fase dobbiamo anche proteggerci da soggetti potenzialmente malevoli che indirizzano intenzionalmente il modello verso azioni dannose.

Prima del rilascio pubblico, i modelli e le misure di protezione del sistema devono soddisfare i nostri requisiti di sicurezza per l’impiego esterno. Li esaminiamo attraverso:

  • Una serie più ampia di valutazioni dell’allineamento e della sicurezza. Per i modelli di frontiera, ciò include nuovi cicli di test adattivi⁠ con i nostri sistemi interni di red teaming automatizzato, per mettere alla prova la robustezza del modello. Pubblichiamo i risultati delle valutazioni delle capacità e della sicurezza nelle nostre schede di sistema⁠(si apre in una nuova finestra).

  • Per i modelli più capaci, svolgiamo anche test con soggetti terzi per mettere alla prova sia le protezioni contro gli usi impropri sia l’allineamento di fondo dei modelli.

  • L’esame delle segnalazioni di monitoraggio emerse durante l’impiego interno per rilevare eventuali cambiamenti nell’allineamento di fondo del modello di base.

Oltre alle protezioni “sincrone” (come l’addestramento alla sicurezza e i classificatori di sistema), per l’impiego esterno ricorriamo anche a indagini e interventi di contrasto offline. I team preposti combinano agenti investigativi su larga scala e revisione umana per rilevare e identificare potenziali autori di minacce, dagli abusi informatici allo sviluppo di armi biologiche e alla distillazione⁠, oltre al disallineamento del modello stesso. Gli interventi offline sono particolarmente utili per raccogliere informazioni tra più account e ottenere un quadro più completo di una potenziale minaccia.

I programmi di accesso riservato a soggetti affidabili, come Daybreak e Rosalind⁠, offrono un ulteriore livello di sicurezza e accelerano il lavoro di chi si occupa di difesa e ricerca legittima, limitando l’accesso ai potenziali aggressori.

Risposta agli incidenti e divulgazione

Quando rileviamo un malfunzionamento in uno dei nostri livelli di sicurezza, anche se non ha causato danni, vogliamo indagare rapidamente, stabilire le priorità e, se possibile e opportuno, renderlo noto all’esterno. In base alla nostra politica di segnalazione del disallineamento⁠, ogni dipendente può segnalare un incidente affinché venga reso pubblico. Queste segnalazioni vengono esaminate e, in caso di disaccordo sull’opportunità di divulgarle all’esterno, la decisione viene rimessa al nostro Gruppo consultivo per la sicurezza. Oltre ad affidarci alle segnalazioni dei dipendenti, cerchiamo attivamente episodi di disallineamento per poterli affrontare e condividere i risultati delle indagini.

Puoi consultare i nostri report sul disallineamento qui⁠(si apre in una nuova finestra).

​


​

Questo lavoro dipende sia dai progressi della ricerca sia dal rigore operativo: configurare correttamente i controlli, verificarne le interazioni e reagire con decisione quando falliscono. Un servizio di rete configurato male o un arresto automatico non riuscito possono compromettere protezioni altrimenti solide.

Man mano che i modelli acquisiscono nuove capacità, dovremo continuare a mettere in discussione i presupposti delle nostre protezioni e a migliorarle dove serve. Le lezioni apprese dalla ricerca, dall’uso interno e dall’impiego pubblico devono guidare l’addestramento, la valutazione e il rilascio dei prossimi modelli.

Continueremo a condividere i risultati tramite schede di sistema, rapporti sugli incidenti, rapporti sui rischi⁠(si apre in una nuova finestra) dell’impiego interno e valutazioni esterne⁠, affinché altri possano esaminare criticamente il nostro approccio, compresi i suoi limiti. Quando queste evidenze non saranno sufficienti a soddisfare i nostri standard di sicurezza, sospenderemo nuovamente l’addestramento o rinvieremo il rilascio finché i requisiti non saranno rispettati.

Ricerche e risorse correlate

Definire gli standard di sicurezza

Definire e valutare il comportamento allineato

Contenere i modelli e migliorare le protezioni

Risposta agli incidenti e divulgazione

Progressi della ricerca e applicazioni

  • Accelerare la ricerca: il punto di vista interno di OpenAI — Prime evidenze di come gli agenti di programmazione stiano cambiando la ricerca in OpenAI: uso crescente, attività sempre più complesse ed effetti sulla sperimentazione.

  • Sul problema del millennio di Navier–Stokes — Una dimostrazione matematica prodotta da un sistema di IA interno, accompagnata da una formalizzazione in Lean, illustra le capacità degli impieghi di ricerca su larga scala.

  • Daybreak — Il nostro programma di cybersicurezza offre a professionisti della difesa verificati capacità di IA avanzate, strumenti di sicurezza e supporto per individuare vulnerabilità e rafforzare le difese.

  • Presentiamo GPT‑Rosalind per la ricerca nelle scienze della vita⁠ — Un modello specializzato in biologia, scoperta di farmaci e medicina traslazionale, disponibile alle organizzazioni idonee tramite un programma di accesso riservato a soggetti affidabili.