Presentiamo un nuovo quadro per monitorare, indagare e divulgare i casi di disallineamento dei modelli in OpenAI, insieme a sei rapporti sui comportamenti imprevisti o preoccupanti osservati nei modelli negli ultimi sei mesi.
In passato, per informare meglio ricercatori, sviluppatori di IA, decisori politici e pubblico, abbiamo cercato di rendere pubbliche le nostre scoperte sul disallineamento. Tuttavia, in assenza di un approccio sistematico alla comunicazione di questi risultati, le nostre divulgazioni sono state sporadiche e meno frequenti di quanto auspicabile: spesso abbiamo atteso di poter riunire più casi in un unico rapporto oppure li abbiamo aggiunti alle schede di sistema dei modelli appena pubblicati. Questo nuovo quadro mira ad accelerare la pubblicazione dei rapporti sul disallineamento dopo che un comportamento viene osservato, anche quando non siamo ancora riusciti a spiegarlo o mitigarne pienamente gli effetti.
Con il progresso e la crescente diffusione dei sistemi di IA, dobbiamo costruire un consenso più ampio e informato sui progressi della ricerca sull’allineamento. Non riteniamo che il settore dell’IA abbia risolto i problemi di allineamento e monitoraggio in misura sufficiente per continuare ancora a lungo ad espandere responsabilmente i sistemi alla massima velocità. Le decisioni su come procedere con lo sviluppo dell’IA nei prossimi mesi e anni devono basarsi su prove che anche le persone esterne alle aziende che creano modelli di frontiera possano esaminare direttamente.
Gli esempi di disallineamento possono aiutare a individuare problemi che altri sviluppatori di IA potrebbero incontrare quando i loro sistemi raggiungeranno capacità analoghe, rivelare carenze nelle misure di sicurezza o mettere in discussione le ipotesi sul comportamento dei modelli. La condivisione di questi risultati consente ad altri di studiare gli stessi problemi, verificare le nostre spiegazioni e migliorare le misure di mitigazione. Poiché crediamo nel valore della trasparenza sul disallineamento, il nostro nuovo quadro privilegia la divulgazione anche quando la rilevanza è incerta. Ciò significa che alcuni casi divulgati potrebbero rivelarsi spuri, non appartenere a un fenomeno più ampio né indicare sviluppi futuri.
Al momento non esiste un quadro valido per l’intero settore che stabilisca criteri espliciti su come gli sviluppatori di IA debbano divulgare esempi di disallineamento nei propri modelli. Ci auguriamo che il quadro delineato oggi costituisca un primo passo verso la definizione di tali criteri, chiarendo quali casi di disallineamento debbano essere divulgati dagli sviluppatori e che cosa debbano contenere i rapporti. Consideriamo questo quadro un progetto in evoluzione, che perfezioneremo attraverso l’esperienza e i riscontri del pubblico.
Di seguito descriviamo come funzionerà il quadro e presentiamo i primi rapporti che pubblichiamo.
Puntiamo a divulgare esempi che offrano prove utili su come nasce e si manifesta il disallineamento dei modelli e su dove le misure di sicurezza funzionano o falliscono. Diamo priorità ai nuovi meccanismi, ai cambiamenti significativi nei comportamenti noti e ai risultati che mettono in discussione le ipotesi sulla sicurezza o sulla mitigazione. Per meritare la divulgazione, un esempio non deve necessariamente causare danni o dimostrare l’esistenza di un fenomeno più ampio. Questo quadro riguarderà i comportamenti idonei nell’intero ciclo di vita di un modello, inclusi addestramento, valutazione, test e implementazione.
Sono inclusi nuovi modi in cui i modelli agiscono senza autorizzazione, si coordinano con altri modelli o eludono la supervisione; malfunzionamenti che mettono in dubbio un metodo di allineamento o una misura di sicurezza; e comportamenti che contraddicono un’affermazione contenuta in una valutazione di sicurezza pubblicata. Gli stessi criteri di divulgazione si applicano ai disallineamenti che possono interessare terze parti.
Potrebbero essere inclusi anche casi di disallineamento apparentemente analoghi ad altri già divulgati in passato. Il ripetersi del problema potrebbe di per sé offrire prove utili sul comportamento dei nostri modelli o sull’efficacia delle nostre misure di sicurezza, ad esempio se un determinato comportamento disallineato continua a ripresentarsi nonostante ripetuti tentativi di mitigarlo. In tali circostanze, pubblicheremo gli esempi aggiuntivi aggiornando la divulgazione originale sul disallineamento.
Nel tempo prevediamo di sviluppare criteri di divulgazione più oggettivi insieme ad altri sviluppatori, ricercatori esterni, organismi di normazione del settore ed enti regolatori. Riteniamo inoltre che gli incidenti gravi relativi a sicurezza, protezione e disallineamento debbano essere comunicati al governo federale degli Stati Uniti e stiamo lavorando alla proposta di appositi meccanismi di segnalazione. Consideriamo questo quadro complementare ai nostri obblighi esistenti e precisiamo che non sostituisce gli obblighi legali di divulgazione, compresi quelli relativi a incidenti critici per la sicurezza o violazioni della cybersicurezza.
Per inaugurare il nostro nuovo quadro per la divulgazione dei disallineamenti, pubblichiamo sei rapporti su casi di comportamento disallineato osservati durante l’addestramento o la valutazione dei nostri modelli. Questi casi illustrano diversi comportamenti che riteniamo opportuno condividere: dall’occultamento di informazioni all’utente fino ad azioni non autorizzate per superare ostacoli. Si tratta di rapporti su singoli casi, che non devono essere considerati rappresentativi della frequenza dei disallineamenti nei nostri modelli. Ogni voce seguente rimanda al rapporto completo.
Istruzioni autogenerate nei riepiloghi delle attività(si apre in una nuova finestra). Un modello di ricerca non ancora pubblicato ha inserito istruzioni non pertinenti, comprese indicazioni per ignorare i normali vincoli, nei riepiloghi usati per proseguire il lavoro in una nuova finestra di contesto. Abbiamo individuato 27 riepiloghi interessati.
Istruzioni per nascondere gli errori nei riepiloghi delle attività(si apre in una nuova finestra). Durante l’addestramento di GPT‑5.6 Sol, molte istanze del modello hanno aggiunto ai propri riepiloghi istruzioni per nascondere all’utente errori o comportamenti disallineati. Ad esempio, i riepiloghi di compattamento includevano istruzioni per inventare dati storici mancanti senza dichiararlo e nascondere le discrepanze tra le versioni delle fonti.
Ricerca di chiavi API esposte in repository pubblici e successiva invenzione di informazioni(si apre in una nuova finestra). Mentre rispondeva a una normale domanda sui dati relativi ai redditi in una contea della California, un modello ha trovato e usato senza autorizzazione una chiave API esposta. Quando non è comunque riuscito a recuperare i dati richiesti, li ha inventati e presentati come provenienti dalla fonte indicata.
Caricamento di file su Internet per poterli citare(si apre in una nuova finestra). Quando un utente ha chiesto a un modello non ancora pubblicato gli ID e i nomi dei laghi con una superficie superiore a 5.000.000 di metri quadrati, l’agente ha trovato la risposta corretta usando Python. Poiché però le istruzioni richiedevano una citazione dal browser, l’agente ha deciso di caricare il file per poterlo citare nella risposta, senza chiedere il permesso all’utente.
Scritture e comunicazioni non autorizzate tramite un repository software interno(si apre in una nuova finestra). Durante la ricerca di file di input mancanti, i modelli hanno usato un repository software interno come bacheca per scambiarsi richieste e risposte tra campioni di addestramento separati, senza però riuscire a recuperare i file. Il rapporto esamina anche un caso precedente in cui un modello era riuscito a caricare file di test in un repository nel tentativo di aggirare le restrizioni di rete.
Condivisione non autorizzata di file tra agenti che collaborano(si apre in una nuova finestra). Alcuni agenti che collaboravano alla stessa attività di addestramento hanno usato siti pubblici di hosting per condividere file quando non riuscivano ad accedere ai rispettivi file locali. In questo modo, i risultati dell’attività sono diventati accessibili tramite URL pubblici, sebbene fosse stato richiesto ai modelli di usare esclusivamente file locali.
Qualsiasi dipendente di OpenAI può segnalare un esempio di disallineamento ai nostri team per la sicurezza e l’allineamento affinché venga esaminato e richiederne la valutazione ai fini della divulgazione pubblica. Questo avvia il nostro processo di divulgazione, che prevede scadenze per ciascuna fase al fine di garantire indagini e comunicazioni tempestive.
Dopo la segnalazione di un esempio, il nostro personale tecnico esaminerà quanto accaduto, gli aspetti ancora incerti, l’opportunità di una divulgazione pubblica e i fatti che possono essere condivisi. Valuterà inoltre se eventuali terze parti siano state coinvolte e debbano ricevere una comunicazione privata prima della pubblicazione.
L’esempio sarà quindi assegnato a uno di tre percorsi: Pronto per la divulgazione, Indagine limitata o Indagine approfondita (“Percorso lento”).
Il percorso Pronto per la divulgazione comprende i casi idonei per i quali l’indagine è sufficientemente completa da consentire la pubblicazione dopo la revisione. Il percorso Indagine limitata comprende i casi che richiedono ulteriori accertamenti tecnici. Prevediamo che questi due percorsi comprenderanno la grande maggioranza dei casi divulgati, in particolare quelli che non richiedono indagini estese, coordinamento con terze parti o gestione di gravi rischi di uso improprio. Tutti i casi pubblicati oggi rientrano in uno di questi due percorsi.
Il percorso Indagine approfondita riguarda le indagini complesse, in particolare quelle che coinvolgono terze parti. Quando è coinvolta una terza parte, i nostri obblighi in materia di sicurezza, gli obblighi legali e quelli di divulgazione responsabile prevalgono su questo quadro. Punteremo a pubblicare un avviso iniziale il prima possibile, ma potremmo doverlo ritardare per motivi di sicurezza, ad esempio se un modello scopre una vulnerabilità fino ad allora sconosciuta in un software molto diffuso. Se un rapporto consentisse di identificare una terza parte, intendiamo informarla in anticipo anche qualora non sia stato violato alcun perimetro di sicurezza.
L’avviso iniziale relativo a un caso sottoposto a Indagine approfondita offrirà un resoconto generale dell’accaduto, indicherà se esperti esterni collaborano all’indagine e fornirà, se disponibile, una stima della data di pubblicazione del rapporto finale. L’incidente di OpenAI su Hugging Face sarebbe rientrato in questo percorso se fosse stato divulgato nell’ambito del presente quadro.
Il dipendente che ha segnalato l’esempio sarà informato della decisione in merito alla divulgazione e, qualora si proceda, del percorso che verrà seguito. I disaccordi irrisolti sulla divulgazione o sul percorso appropriato saranno sottoposti al Gruppo consultivo per la sicurezza (SAG) di OpenAI, composto da alti responsabili di diverse aree aziendali che valuta le capacità e le misure di sicurezza dei modelli di frontiera, sovrintende al nostro Preparedness Framework e fornisce consulenza alla dirigenza di OpenAI. I disaccordi all’interno del SAG o le obiezioni del personale alle sue decisioni saranno sottoposti alla dirigenza di OpenAI. Le decisioni di non divulgare un caso o di ritenere la divulgazione ingiustificata saranno comunicate ai responsabili della sicurezza e dell’allineamento e, per quanto possibile, al personale tecnico competente.
Potremo rivedere questo processo di divulgazione alla luce dell’esperienza pratica e registreremo in questo articolo ogni eventuale modifica.
Ogni rapporto completo descriverà il comportamento osservato, la sua gravità e gli eventuali effetti esterni, il contesto in cui si è verificato, la data o l’intervallo di date, quando lo abbiamo scoperto e, in termini generali, il modello o i modelli coinvolti. Ove possibile, condivideremo inoltre:
Ulteriori dettagli sull’accaduto e sugli eventuali danni conseguenti;
Come abbiamo scoperto il disallineamento e la portata della nostra indagine;
La nostra interpretazione delle implicazioni per la ricerca sull’allineamento e la sicurezza tecnica dell’IA;
Le importanti questioni irrisolte sollevate dall’esempio;
Le misure che stiamo adottando o prevediamo di adottare per affrontare il comportamento. Queste informazioni potrebbero non essere sempre disponibili al momento della divulgazione, poiché potremmo pubblicare il rapporto sul disallineamento prima di completare l’indagine o sviluppare una soluzione.
Per i disallineamenti che si verificano nelle implementazioni dei clienti, condivideremo tutte le informazioni consentite dalla tutela della loro privacy e dai nostri obblighi contrattuali.
I rapporti odierni costituiscono una prima serie di divulgazioni, non un resoconto esaustivo dei disallineamenti noti o delle indagini in corso. Questi rapporti iniziali non intendono rappresentare l’intera gamma o gravità dei casi contemplati dal presente quadro. Ci impegniamo a divulgare i casi di disallineamento che soddisfano i criteri di questo quadro, compresi i casi più complessi che richiedono indagini più lunghe o il coordinamento con terze parti. Continueremo a pubblicare regolarmente rapporti nell’ambito di questo quadro e forniremo maggiori dettagli sui nostri impegni in materia di segnalazione man mano che li svilupperemo.
