GPT‑Red: sbloccare l’auto-miglioramento della robustezza

I sistemi di IA incontrano spesso dati di terze parti tramite browser, app connesse, file locali e altri strumenti. Queste funzionalità sono necessarie per svolgere attività nel mondo reale, ma creano anche più opportunità per attori malevoli di influenzare il comportamento del modello. Ad esempio, una terza parte potrebbe inserire in un’email, in una pagina web, nella risposta di uno strumento o in un repository di codice un’istruzione accuratamente progettata⁠, pensata per indurre il modello a caricare dati sensibili su un server esterno.

Il red teaming umano è una componente fondamentale del nostro lavoro sulla sicurezza: ci aiuta a scoprire queste vulnerabilità prima della distribuzione e a introdurre le salvaguardie adeguate. Ma il solo red teaming umano è difficile da scalare. Progettare ed eseguire questi esercizi richiede molto tempo, limitando la rapidità con cui possiamo identificare nuove modalità di errore e integrarle in salvaguardie più solide. Inoltre, sebbene questi esercizi producano esempi preziosi di attacchi riusciti, non possono generare il volume e la diversità di dati avversariali necessari per migliorare la robustezza del modello tramite l’addestramento.

Stare al passo con modelli sempre più capaci richiede che anche il red teaming scali. A questo scopo, stiamo addestrando modelli di red teaming automatizzati, solo per uso interno, che scoprono vulnerabilità prima della distribuzione e generano attacchi durante l’addestramento dei modelli per migliorarne la robustezza. Crediamo che il red teaming automatizzato sblocchi una forma cruciale di auto-miglioramento per la sicurezza: usare i modelli di oggi per contribuire direttamente a rendere più sicuri i modelli futuri.

GPT‑Red è il culmine di questi sforzi e il nostro attuale miglior modello automatizzato di red teaming per la sicurezza. In modo simile a come i red teamer umani costruiscono gli attacchi, il modello procede verso un obiettivo inviando un prompt, osservando come i modelli GPT rispondono e iterando. Abbiamo addestrato GPT‑Red con una scala di calcolo paragonabile ad alcune delle nostre più grandi esecuzioni di post-training in OpenAI: una quantità di calcolo senza precedenti dedicata esclusivamente al miglioramento della sicurezza.

Integriamo direttamente GPT‑Red nel processo di addestramento dei nostri modelli in produzione. Di conseguenza, GPT‑5.6 Sol è il nostro modello più robusto finora contro le iniezioni di prompt, con 6 volte meno errori nel nostro benchmark più difficile di iniezione diretta di prompt rispetto al nostro miglior modello in produzione di appena quattro mesi prima. La scalabilità del nostro approccio ci rende entusiasti dei risultati ancora più forti che potremo ottenere in futuro, continuando ad addestrare red teamer più potenti.

GPT‑Red viene addestrato con apprendimento per rinforzo in self-play, in cui il modello e un insieme diversificato di LLM difensori vengono addestrati simultaneamente su un ampio set di scenari di red teaming. GPT‑Red viene ricompensato quando provoca un errore valido, come un’iniezione di prompt riuscita, mentre i modelli difensori vengono ricompensati quando resistono all’attacco e completano le attività originarie. Man mano che i difensori diventano più robusti, GPT‑Red è costretto a scoprire attacchi più potenti e diversificati.

Per supportare l’addestramento in self-play, creiamo un ampio insieme di scenari realistici in cui potrebbero essere inserite iniezioni di prompt. Ogni ambiente ha un modello di minaccia che specifica cosa può controllare GPT‑Red e cosa conta come attacco riuscito. Ad esempio, GPT‑Red potrebbe controllare parte di un file locale, un banner su una pagina web, il corpo di un’email o l’output di uno strumento.

Al termine dell’addestramento, GPT‑Red è un attaccante molto forte: riesce a violare quasi tutti i modelli contro cui viene messo alla prova, sia interni sia in produzione, fino a GPT‑5.5 incluso. Dopo il completamento dell’addestramento di GPT‑Red, lo abbiamo usato per generare iniezioni di prompt per l’addestramento di GPT‑5.6, rendendo il modello altamente resistente agli attacchi di GPT‑Red.

Manteniamo GPT‑Red separato dai modelli che distribuiamo. In questo modo le capacità malevole che addestriamo specificamente in GPT‑Red restano fuori dalla portata degli attori avversari, mentre trasferiamo robustezza ai nostri modelli in produzione.

GPT‑Red è molto efficace contro la popolazione di modelli difensori e gli scenari di red teaming su cui è stato addestrato. Valutiamo inoltre se il modello sia utile come agente di red teaming generico, così da contribuire alla sicurezza in senso ampio in OpenAI. A questo scopo, testiamo l’efficacia di GPT‑Red su nuovi ambienti di sicurezza e modelli target.

Per prima cosa valutiamo la capacità di GPT‑Red di generalizzare a nuovi scenari di red teaming usando una versione replicata dell’arena di iniezione indiretta di prompt di Dziemian et al. (2025)⁠(si apre in una nuova finestra). In questa sfida, sia red teamer umani sia GPT‑Red hanno proposto indipendentemente attacchi contro GPT‑5.1 su un insieme di ambienti predefiniti. Questi scenari e obiettivi di red teaming sono diversi da quelli usati per addestrare GPT‑Red. GPT‑Red ottiene tassi di successo degli attacchi nettamente più alti, riuscendo nel 84% degli scenari rispetto al 13% degli esseri umani.

La prova definitiva per un red teamer è la capacità di raggiungere obiettivi malevoli mirati contro sistemi agentici reali, con conoscenza incompleta del modello sottostante e della progettazione dell’infrastruttura del sistema. Il nostro primo esperimento in questo contesto ha messo GPT‑Red contro un distributore automatico basato su IA nell’ufficio di OpenAI (simile a Project Vend⁠(si apre in una nuova finestra)) prodotto da Andon Labs. Abbiamo fornito a GPT‑Red una descrizione del sistema e la possibilità di inviare attacchi e osservare le chiamate agli strumenti dell’agente simulato, che rispecchia da vicino la distribuzione reale. Dopo aver iterato sugli attacchi, GPT‑Red ha distribuito il proprio attacco contro l’agente in produzione, raggiungendo tutti e tre i suoi obiettivi malevoli:

• Modificare il prezzo di un articolo costoso disponibile in magazzino portandolo al prezzo minimo consentito di 0,50 $;
• Ordinare un nuovo articolo da oltre 100 $ e offrirlo a 0,50 $; e
• Annullare l’ordine di un altro cliente.

Abbiamo comunicato queste vulnerabilità e nuove salvaguardie sono attivamente in fase di test.

Usiamo inoltre GPT‑Red per attaccare un agente Codex CLI (basato su GPT‑5.4 mini) su una suite di 10 scenari di esfiltrazione dei dati tenuti da parte. Confrontiamo il modello con una baseline GPT‑5.5 con prompt per studiare l’impatto della nostra procedura di addestramento sulle prestazioni di red teaming in contesti tenuti da parte. GPT‑Red è più efficace, perché riesce a far esfiltrare dati sensibili all’agente in più scenari, ed è anche più efficiente nell’uso dei token.

L’obiettivo finale di GPT‑Red è migliorare la robustezza dei nostri modelli. Negli ultimi sei mesi abbiamo addestrato modelli di red teaming progressivamente più forti (precursori di GPT‑Red) con quantità crescenti di calcolo, e li abbiamo usati nell’addestramento di ogni modello di produzione successivo a partire da GPT‑5.3. Nel tempo, ogni nuova release di GPT è diventata più robusta.

Per esempio, una versione iniziale di GPT‑Red ha individuato una nuova classe di attacchi diretti di iniezione di prompt nota come attacchi “Fake Chain-of-Thought”. Questi attacchi hanno raggiunto tassi di successo superiori al 95% su GPT‑5.1, ma ora sono sotto il 10% per GPT‑5.6 Sol. Allo stesso modo, diversi nostri benchmark di iniezione indiretta di prompt che prendono di mira attacchi negli strumenti per sviluppatori e nella navigazione sono stati saturati dal nostro modello più recente (>97% di accuratezza).

Anche la robustezza contro GPT‑Red stesso è migliorata in modo sostanziale. Su un ampio insieme di ambienti di robustezza, i tassi di successo degli attacchi di GPT‑Red sono diminuiti monotonamente nel tempo. Con la nostra release più recente del modello, GPT‑5.6 Sol fallisce solo sullo 0,05% delle iniezioni dirette di prompt di GPT‑Red.

Un modello può sembrare più sicuro rifiutando più richieste o diventando meno capace. Un modello che fa meno è naturalmente più difficile da attaccare, ma questa non è robustezza utile.

Valutiamo in modo approfondito sia le capacità generali di frontiera sia attività mirate di rifiuto eccessivo che progettiamo noi. Riscontriamo che tutte le capacità normali restano inalterate, mentre la robustezza migliora in modo significativo. Ciò suggerisce che i guadagni di robustezza derivino da una migliore resistenza alle istruzioni malevole, anziché da un uso improprio degli strumenti o dal rifiuto predefinito delle richieste legittime.

Gli agenti IA vengono già usati per migliorare le capacità dei nostri modelli di nuova generazione. Crediamo che con GPT‑Red abbiamo iniziato a sbloccare un volano simile per la sicurezza, in cui i modelli di oggi possono essere usati per rendere quelli di domani più robusti, allineati e affidabili. Continueremo a scalare calcolo e dati, introducendo al contempo miglioramenti algoritmici, per addestrare versioni future di GPT‑Red più forti del modello attuale. E, a loro volta, questi modelli contribuiranno a rendere più sicure le future release di GPT.

Pubblicheremo un pre-print con maggiori dettagli più avanti questa settimana.