Oggi rendiamo disponibile un’anteprima di ricerca di gpt-oss-safeguard, i nostri modelli di ragionamento open-weight per le attività di classificazione della sicurezza, disponibili in due dimensioni: gpt-oss-safeguard-120b e gpt-oss-safeguard-20b. Questi modelli sono versioni ottimizzate dei nostri modelli aperti gpt-oss e sono disponibili con la stessa licenza permissiva Apache 2.0, che consente a chiunque di utilizzarli, modificarli e distribuirli liberamente. Entrambi i modelli possono essere scaricati da Hugging Face(si apre in una nuova finestra) già da oggi.
I modelli gpt-oss-safeguard usano il ragionamento per interpretare direttamente, durante l’inferenza, una policy fornita dallo sviluppatore e classificano messaggi degli utenti, completamenti e intere chat in base alle sue esigenze. È sempre lo sviluppatore a decidere quale policy usare, affinché le risposte siano più pertinenti e adatte al suo caso d’uso. Il modello usa la catena di pensiero, che lo sviluppatore può esaminare per comprendere come giunge alle proprie decisioni. Inoltre, la policy viene fornita durante l’inferenza anziché essere incorporata nel modello durante l’addestramento, quindi gli sviluppatori possono modificarla in modo iterativo per migliorare le prestazioni. Questo approccio, sviluppato inizialmente per uso interno, è molto più flessibile del metodo tradizionale, che addestra un classificatore a dedurre indirettamente una soglia decisionale da numerosi esempi etichettati.
gpt-oss-safeguard consente agli sviluppatori di definire i confini delle policy più adatti al proprio caso d’uso. Ad esempio, un forum dedicato ai videogiochi potrebbe creare una policy per classificare i post che parlano di trucchi nel gioco, mentre un sito di recensioni potrebbe usare una propria policy per individuare quelle potenzialmente false.
Il modello riceve contemporaneamente due input, una policy e il contenuto da classificare in base a essa, e restituisce la classificazione del contenuto insieme al ragionamento seguito. Gli sviluppatori decidono se e come usare queste conclusioni nelle proprie pipeline di sicurezza. Abbiamo osservato che questo approccio basato sul ragionamento funziona particolarmente bene quando:
- Il danno potenziale è emergente o in evoluzione ed è necessario adeguare rapidamente le politiche.
- L’ambito presenta numerose sfumature ed è difficile da gestire per i classificatori più piccoli.
- Gli sviluppatori non dispongono di esempi sufficienti per addestrare un classificatore di alta qualità per ogni rischio presente sulla propria piattaforma.
- La latenza è meno importante della produzione di etichette di alta qualità e interpretabili.
Rendiamo disponibile questa anteprima di gpt-oss-safeguard per raccogliere il feedback della comunità di ricerca e sicurezza e continuare a migliorare le prestazioni del modello. Per diversi mesi abbiamo collaborato con ROOST(si apre in una nuova finestra) a questa versione open-weight per individuare le esigenze essenziali degli sviluppatori, testare il modello e produrre la relativa documentazione. Nell’ambito di questo lancio, ROOST istituirà una comunità dedicata ai modelli(si apre in una nuova finestra), anch’essa lanciata oggi, per esplorare modelli di IA aperti nella protezione degli spazi online. Insieme a questa versione pubblichiamo un breve report tecnico che descrive in dettaglio le prestazioni di sicurezza del modello in anteprima.
In materia di sicurezza, crediamo nella difesa in profondità. Addestriamo i nostri modelli a rispondere in modo sicuro e implementiamo ulteriori livelli di protezione per rilevare e gestire input e output potenzialmente non sicuri secondo le nostre policy. I classificatori di sicurezza, che distinguono i contenuti sicuri da quelli non sicuri in uno specifico ambito di rischio, costituiscono da tempo uno dei principali livelli di difesa per i nostri modelli linguistici di grandi dimensioni e per quelli di altri sviluppatori.
I classificatori di sicurezza tradizionali, come quelli disponibili tramite la nostra Moderation API(si apre in una nuova finestra), vengono sviluppati selezionando manualmente migliaia di esempi di contenuti sicuri e non sicuri secondo policy di sicurezza predefinite. Da questi dati di addestramento, il classificatore impara a distinguere gli output sicuri da quelli non sicuri. Con questo approccio tradizionale, il classificatore non vede mai direttamente la policy di sicurezza. Cerca invece di dedurre la policy sottostante usata per etichettare gli esempi, individuando le somiglianze tra i contenuti classificati come non sicuri e le differenze tra contenuti sicuri e non sicuri.
I classificatori tradizionali possono offrire prestazioni elevate, con latenza e costi operativi ridotti. Tuttavia, raccogliere una quantità sufficiente di esempi di addestramento può richiedere molto tempo ed essere costoso; inoltre, per aggiornare o modificare la policy è necessario riaddestrare il classificatore.
gpt-oss-safeguard è diverso perché le sue capacità di ragionamento consentono agli sviluppatori di applicare qualsiasi policy, incluse quelle scritte da loro o tratte da altre fonti, e aiutano i modelli a generalizzare a partire da policy appena formulate. Oltre che per le policy di sicurezza, gpt-oss-safeguard può essere usato per etichettare i contenuti secondo altri criteri importanti per prodotti e piattaforme specifici.
I nostri principali modelli di ragionamento apprendono ora direttamente le policy di sicurezza e usano le proprie capacità di ragionamento per stabilire cosa sia sicuro. Questo approccio, che chiamiamo allineamento deliberativo, migliora notevolmente i precedenti metodi di addestramento alla sicurezza e rende i nostri modelli di ragionamento più sicuri sotto diversi aspetti rispetto ai predecessori privi di ragionamento, anche con l’aumentare delle loro capacità. Il ragionamento, tuttavia, non serve soltanto ad addestrare i modelli. Crea anche nuove possibilità per la difesa in profondità. Gli approcci basati sul ragionamento sono più flessibili e meno vincolati dai dettagli dell’addestramento precedente: vantaggi che, in alcuni casi, giustificano ampiamente i maggiori costi di calcolo e la latenza aggiuntiva.
gpt-oss-safeguard è un’implementazione open-weight di un approccio sviluppato internamente in uno strumento che chiamiamo Safety Reasoner. Abbiamo iniziato con il fine-tuning per rinforzo su attività di etichettatura basate su policy, premiando il modello quando riproduceva le valutazioni corrette degli esperti umani. In questo modo, il modello ha imparato a ragionare su come la policy conduca alla valutazione. Oggi Safety Reasoner ci consente di aggiornare dinamicamente le policy di sicurezza in produzione in meno tempo di quanto servirebbe per riaddestrare un classificatore. Questo rende Safety Reasoner uno strumento fondamentale per l’ implementazione iterativa: quando distribuiamo nuovi modelli in produzione, spesso iniziamo con policy più rigorose e, dove necessario, impieghiamo quantità relativamente elevate di risorse di calcolo affinché Safety Reasoner possa applicarle con attenzione. Modifichiamo poi le policy man mano che comprendiamo meglio i rischi in produzione. In alcuni lanci recenti, la quota delle risorse di calcolo complessive dedicata al ragionamento per la sicurezza ha raggiunto il 16%.
Safety Reasoner è diventato un componente fondamentale del nostro stack di sicurezza. Per la generazione di immagini e Sora 2, esegue valutazioni dinamiche e progressive degli output per individuare e bloccare in tempo reale le generazioni non sicure. In ambiti come la biologia e l’autolesionismo, usiamo modelli simili a quelli della Moderation API come classificatori piccoli, rapidi e ad alta sensibilità per stabilire quali contenuti rientrino nell’ambito di interesse; Safety Reasoner esamina quindi tali contenuti. Safety Reasoner classifica gli output dei modelli secondo una tassonomia dettagliata per determinare la risposta più appropriata e fa parte delle nostre misure di protezione multilivello in sistemi come GPT‑5 e ChatGPT Agent. Ora i modelli gpt-oss-safeguard rendono questo stesso approccio disponibile a chiunque.
Abbiamo valutato i modelli gpt-oss-safeguard su set di valutazione sia interni sia esterni.
Nella valutazione interna abbiamo fornito contemporaneamente più policy a gpt-oss-safeguard durante l’inferenza. Per ogni input di test, verifichiamo se gpt-oss-safeguard classifica correttamente il testo secondo tutte le policy incluse. È un’attività complessa: il modello viene considerato accurato soltanto se le sue classificazioni corrispondono esattamente alle etichette del golden set per tutte le policy incluse.
I nostri modelli gpt-oss-safeguard e il Safety Reasoner interno superano gpt-5-thinking e i modelli aperti gpt-oss in termini di accuratezza multi-policy. Il fatto che i modelli gpt-oss-safeguard superino gpt-5-thinking è particolarmente sorprendente, considerate le loro dimensioni ridotte.
Abbiamo ulteriormente valutato questi modelli sul set di dati di moderazione(si apre in una nuova finestra) pubblicato insieme al nostro articolo di ricerca del 2022(si apre in una nuova finestra) e su ToxicChat(si apre in una nuova finestra), un benchmark pubblico basato sulle richieste inviate dagli utenti a un chatbot open source.
Sul set di valutazione della moderazione del 2022 abbiamo condotto la valutazione usando le nostre policy di sicurezza interne, adattandone una per tenere conto delle modifiche successive. gpt-oss-safeguard ha superato di poco tutti gli altri modelli testati, inclusi il Safety Reasoner interno e gpt-5-thinking, sebbene la differenza tra Safety Reasoner e gpt-oss-safeguard non sia statisticamente significativa.
Per ToxicChat abbiamo condotto la valutazione usando un breve prompt scritto manualmente e adattato da alcune delle nostre policy interne. Il nostro Safety Reasoner interno ha nuovamente superato gpt-5-thinking, mentre sia gpt-5-thinking sia Safety Reasoner superano di poco gpt-oss-safeguard-120b e gpt-oss-safeguard-20b. Riteniamo che le dimensioni relativamente ridotte di gpt-oss-safeguard lo rendano comunque preferibile per questo tipo di attività.
gpt-oss-safeguard presenta due limitazioni specifiche. In primo luogo, abbiamo osservato che i classificatori addestrati su decine di migliaia di esempi etichettati di alta qualità possono ancora classificare i contenuti meglio di gpt-oss-safeguard quando quest’ultimo ragiona direttamente a partire dalla policy. Per ottenere prestazioni superiori sui rischi più complessi, può essere preferibile dedicare il tempo necessario all’addestramento di un classificatore specifico.
In secondo luogo, gpt-oss-safeguard può richiedere molto tempo e risorse di calcolo, rendendone difficile l’applicazione su vasta scala a tutti i contenuti di una piattaforma. Internamente gestiamo questo aspetto in diversi modi con Safety Reasoner: (1) usiamo classificatori più piccoli e rapidi per stabilire quali contenuti valutare e (2), in alcune circostanze, usiamo Safety Reasoner in modalità asincrona per offrire un’esperienza a bassa latenza, mantenendo la possibilità di intervenire se rileviamo contenuti non sicuri.
gpt-oss-safeguard è la prima famiglia di modelli aperti di OpenAI per la sicurezza sviluppata insieme alla comunità. Durante i primi test abbiamo perfezionato gpt-oss-safeguard insieme agli specialisti di trust and safety di SafetyKit, ROOST, Tomoro, e Discord. Vinay Rao, direttore tecnico (CTO) di ROOST, afferma: “gpt-oss-safeguard è il primo modello di ragionamento open source progettato per consentire di usare ‘policy e definizioni del danno proprie’. Le organizzazioni devono poter studiare, modificare e usare liberamente tecnologie fondamentali per la sicurezza e avere la possibilità di innovare. Durante i nostri test ha dimostrato di saper comprendere policy diverse, spiegare il proprio ragionamento e applicare le policy cogliendone le sfumature: caratteristiche che riteniamo saranno utili agli sviluppatori e ai team responsabili della sicurezza.”
Continueremo a collaborare con la comunità per migliorare gli strumenti aperti per la sicurezza, anche attraverso la ROOST Model Community (RMC). La RMC riunisce professionisti e ricercatori della sicurezza per condividere le migliori pratiche per integrare modelli di IA open source nei flussi di lavoro per la sicurezza, inclusi i risultati delle valutazioni e il feedback sui modelli. Visita il repository GitHub di RMC(si apre in una nuova finestra) per scoprire di più su questa collaborazione e su come partecipare.
Per iniziare a sviluppare con questi modelli, scaricali da Hugging Face(si apre in una nuova finestra).
