Sviluppo dei modelli nell’era delle capacità cyber critiche

Nelle ultime settimane, due sviluppi hanno evidenziato i crescenti rischi associati a sistemi di IA sempre più capaci: l’incidente OpenAI-Hugging Face e, separatamente, le indicazioni preliminari secondo cui Astra, uno dei nostri prossimi modelli, potrebbe raggiungere la soglia di capacità critica di cybersicurezza prevista dal nostro Preparedness Framework. Questi sviluppi, insieme ai rapidi progressi della nostra ricerca interna, hanno reso ancora più urgente il nostro lavoro per rafforzare le misure di monitoraggio, allineamento e contenimento in tutte le fasi del processo di addestramento.

Man mano che i modelli diventano più capaci, aumentano anche i rischi legati al loro sviluppo e alla loro verifica interna. I nostri standard di monitoraggio, allineamento e sicurezza devono restare al passo con questi rischi. Per avere il tempo necessario a soddisfare questi standard, abbiamo temporaneamente rallentato il ritmo di espansione. Tra le misure adottate vi è stata una pausa di due settimane nell’addestramento tramite apprendimento per rinforzo (RL) dei nostri modelli più recenti destinati al rilascio, mentre rafforzavamo e sottoponevamo a red teaming gli ambienti di ricerca ed estendevamo la copertura dei sistemi di monitoraggio. La più grande sessione pianificata di RL di frontiera resta sospesa mentre svolgiamo addestramenti e valutazioni su scala ridotta per esaminare il comportamento del modello, convalidare le misure di sicurezza e raccogliere ulteriori prove di allineamento prima di procedere.

L’allineamento, ossia il lavoro volto a far sì che i sistemi di IA si comportino come previsto e siano soggetti alla supervisione umana, è da tempo al centro del nostro programma di ricerca. Ora richiediamo prove più solide di un comportamento allineato durante l’intero addestramento, sulla base delle ricerche e delle valutazioni già in corso. Mantenere allineati sistemi sempre più capaci è una sfida che l’intero settore dovrà affrontare. I segnali che osserviamo nei progressi dei prossimi modelli mostrano chiaramente la necessità di un approccio più ampio, che si basi sull’attuale Preparedness Framework e vada oltre.

Riteniamo importante spiegare con trasparenza come sta cambiando il nostro approccio. Di seguito descriviamo le modifiche già apportate ai nostri processi e alla nostra infrastruttura di ricerca, nonché il lavoro ancora in corso.

Il nostro approccio allo sviluppo di modelli più capaci si basa su tre misure di sicurezza che si rafforzano a vicenda:

1. Monitoraggio, che rileva i comportamenti preoccupanti e ci permette di intervenire.
2. Allineamento, che riduce la probabilità di azioni dannose o non autorizzate.
3. Misure di sicurezza, che limitano ciò a cui i sistemi di IA possono accedere o su cui possono avere un impatto.

Prevediamo che presto i modelli svolgeranno gran parte del lavoro di sicurezza, compresa la difesa da altri modelli. Ciò consentirà a tutte e tre le misure di crescere insieme alle capacità dei modelli, un aspetto che riteniamo fondamentale.

Applichiamo queste misure alla ricerca e al rilascio, adattandole alle capacità, all’ambiente operativo e al livello di rischio di ciascun modello.

Con il rafforzarsi delle capacità di cybersicurezza dei modelli di frontiera, stiamo innalzando gli standard di sicurezza degli ambienti in cui li addestriamo e valutiamo. Soddisfare questi standard ha richiesto un notevole lavoro ingegneristico e ha comportato costi elevati e ritardi nella ricerca di frontiera. Subito dopo l’incidente OpenAI-Hugging Face*, abbiamo sospeso l’inferenza dei modelli di frontiera nei cluster di ricerca per le sessioni in grado di eseguire codice o usare strumenti con accesso a Internet. Abbiamo ripristinato piuttosto rapidamente una modalità più limitata e sicura per l’esecuzione del codice, quindi abbiamo esaminato singolarmente ogni carico di lavoro per stabilire se potesse riprendere in sicurezza. Alcuni carichi di lavoro di ricerca sono ripresi con i nuovi controlli, mentre altri hanno richiesto ulteriori modifiche.

Nelle settimane successive abbiamo definito e iniziato ad applicare requisiti di sicurezza più rigorosi ai carichi di lavoro della ricerca di frontiera. Ad esempio:

• Isolamento dei carichi di lavoro: ora richiediamo un isolamento più rigoroso (“sandbox”) per i carichi di lavoro che eseguono codice generato dai modelli o comunque non attendibile. Ciò vale anche per il software che potrebbe essere compromesso durante l’elaborazione degli output dei modelli.
• Isolamento della rete: abbiamo introdotto ulteriori controlli per isolare da Internet i carichi di lavoro a rischio più elevato e quelli non attendibili. Abbiamo progettato questi controlli affinché la compromissione di un singolo carico di lavoro o servizio di supporto non consenta, da sola, l’accesso non autorizzato a Internet o ad altre reti interne.
• Test di sicurezza continui: abbiamo riconfigurato il nostro ambiente per rimuovere i servizi condivisi potenzialmente vulnerabili, ridurre i privilegi permanenti e migliorare i confini di sicurezza e attendibilità. Stiamo inoltre migliorando la nostra capacità di raccogliere e monitorare i log di sicurezza. Infine, stiamo investendo nell’automazione, utilizzando i nostri modelli per verificare continuamente questi confini mediante attacchi simulati.

Nel complesso, questi controlli offrono una difesa a più livelli e contribuiscono a proteggere il nostro ambiente di ricerca dagli attacchi. Attualmente richiediamo il livello più rigoroso di misure di sicurezza per i carichi di lavoro che coinvolgono Astra o modelli cyber, poiché abbiamo stabilito che i modelli Astra potrebbero avere capacità cyber di livello critico. Queste misure si applicano anche a tutti gli altri carichi di lavoro legati all’ambito cyber.

Sebbene alcuni addestramenti e valutazioni di Astra soddisfino questi requisiti, molti carichi di lavoro restano sospesi finché non saranno completamente migrati e potenziati per rispettare il nuovo standard di sicurezza. Stiamo dando priorità alla migrazione dei carichi di lavoro per la sicurezza e l’allineamento verso questi nuovi ambienti.

Il monitoraggio è da tempo una parte importante del nostro processo di sviluppo dei modelli, incluso il monitoraggio degli agenti di coding interni e delle sessioni di lunga durata. Le nostre attività di monitoraggio si concentravano soprattutto sui rilasci interni dei modelli di frontiera e sulle sessioni di addestramento RL di frontiera, che consideravamo i carichi di lavoro a rischio più elevato perché possono combinare capacità avanzate dei modelli con l’accesso a strumenti, sistemi sensibili e reti interne o esterne. Non venivano applicate a tutte le sessioni di inferenza e addestramento che utilizzavano strumenti. Con la nuova configurazione di monitoraggio, abbiamo rivisto ed esteso il nostro approccio.

La nuova configurazione prevede più fasi: parte da classificatori delle attivazioni, ossia rilevatori che esaminano l’attività interna di un modello, eseguiti a ogni token campionato, e sottopone i potenziali problemi a sistemi di indagine automatizzati via via più sofisticati e ad alta intensità di calcolo. Questi sistemi esaminano le azioni eseguite con gli strumenti, il ragionamento disponibile e l’intera sequenza di attività per rilevare accessi non autorizzati, furti di dati, comportamenti distruttivi e tentativi di eludere le misure di sicurezza. Puntiamo a emettere un avviso entro 30 minuti da quando il sistema di monitoraggio rileva un’attività preoccupante. Se il sistema di monitoraggio individua una probabile violazione di un confine di sicurezza critico, genera un avviso con la massima priorità. Nell’attuale implementazione, vengono allertati i team di safety, sicurezza e ricerca. Se entro 30 minuti non riescono a stabilire con certezza che la segnalazione è un falso positivo, questi team devono sospendere l’attività.

Questo monitoraggio è obbligatorio per tutti gli addestramenti RL e le valutazioni che prevedono l’uso di strumenti per modelli con capacità pari o superiori a Sol. Dopo aver stabilito, il 7 agosto, che Astra potrebbe avere capacità cyber critiche, abbiamo introdotto un ulteriore requisito di monitoraggio per tutte le inferenze di Astra con strumenti, non solo per gli addestramenti RL e le valutazioni.

Queste misure richiedono una quantità significativa di risorse di calcolo. Secondo le nostre stime attuali, il monitoraggio comporta un sovraccarico pari a circa il 20% delle risorse di calcolo usate per l’inferenza monitorata, anche se il costo varia notevolmente tra i diversi carichi di lavoro di addestramento e valutazione. Condivideremo ulteriori dettagli su questo sistema in un prossimo articolo del blog.

La ricerca sull’allineamento è al centro della nostra missione. La nostra missione è garantire che l’intelligenza artificiale generale sia utile a tutta l’umanità. Man mano che i modelli acquisiscono capacità avanzate, come quella di condurre attacchi informatici, e operano in ambienti più complessi, i comportamenti disallineati quali il reward hacking (trovare modi per ottenere ricompense elevate durante l’addestramento senza conseguire davvero il risultato previsto), l’inganno o l’accesso non autorizzato comporteranno rischi sempre più gravi.

Per le sessioni RL sui modelli più capaci, ora applichiamo le nostre principali tecniche di allineamento a un maggior numero di fasi del processo di addestramento. Ciò include il miglioramento dei modelli di ricompensa, affinché rilevino e scoraggino meglio i comportamenti non sicuri in attività e ambienti diversi; l’addestramento dei modelli a essere più sinceri riguardo alle proprie azioni, capacità e limitazioni; e la riduzione dei comportamenti che sfruttano i punti deboli di ricompense, valutatori, strumenti o supervisione. Stiamo inoltre ampliando la copertura dell’addestramento per i comportamenti che potrebbero causare danni quando i modelli interagiscono con sistemi o risorse esterni.

Continuiamo a investire con decisione nella ricerca sull’allineamento, ad ampliare la copertura delle valutazioni e a usare ciò che apprendiamo per orientare l’addestramento e le misure di sicurezza. Prevediamo di condividere a breve molte più informazioni sulla nostra ricerca in materia di allineamento, compreso ciò che stiamo apprendendo sul comportamento dei modelli e le eventuali nuove sfide che individueremo.

Faremo evolvere il Preparedness Framework per integrare queste misure nell’addestramento e nel rilascio e rispecchiare meglio le capacità dei futuri modelli e gli ambienti in cui operano. Lo sviluppo di metodi in grado di adattarsi a queste capacità richiederà investimenti costanti nella sicurezza assistita dai modelli, un monitoraggio più efficace e continui progressi nella ricerca sull’allineamento. Intendiamo coinvolgere organizzazioni esterne e condividere più conoscenze man mano che il nostro approccio si evolve.

Le capacità dei modelli di frontiera stanno aumentando rapidamente. La nostra capacità di comprenderli, allinearli e proteggerli deve restare un passo avanti.

*Nelle prossime settimane pubblicheremo un rapporto tecnico su ciò che abbiamo appreso.