L'incidente di Hugging Face e altri effetti su terzi causati da modelli non allineati
Con l'aumentare delle capacità e dell'autonomia dei sistemi di IA, i comportamenti non allineati possono tradursi in azioni concrete dalle conseguenze significative, tra cui incidenti di cybersicurezza e altri esiti che gli sviluppatori potrebbero non aver previsto. Comprendere come emergono e si aggravano questi comportamenti e come rilevarli e affrontarli è quindi una componente sempre più importante dello sviluppo e dell'implementazione sicuri di sistemi di IA avanzati.
Inizialmente avevamo interpretato l'incidente di Hugging Face soprattutto come un problema di sicurezza, poiché aveva comportato la compromissione della piattaforma. A oggi rimane l'attività di questo tipo più grave che abbiamo rilevato nei nostri modelli ed è stata condotta principalmente da un modello di ricerca altamente capace, destinato al solo uso interno. In seguito abbiamo compreso che l'intrusione era stata determinata dal ricorso dei modelli a strategie non allineate per risolvere compiti difficili, come documentato nel rapporto tecnico su Hugging Face. Gli incidenti di cybersicurezza sono una manifestazione di tale rischio; il disallineamento può inoltre determinare altri comportamenti imprevisti o preoccupanti che non rientrano nelle categorie di sicurezza tradizionali, come la pubblicazione di contenuti da parte dei nostri modelli su siti di terzi: un fenomeno che chiamiamo «spam degli agenti». Dobbiamo affrontare entrambi gli aspetti.
Abbiamo continuato a esaminare un insieme più ampio di attività, dando priorità agli incidenti più gravi ed estendendo l'analisi alle attività non allineate di minore gravità, incluso lo spam degli agenti.
Questa pagina riunisce i nostri rapporti e aggiornamenti sull'incidente di Hugging Face, le ricerche e le presentazioni pubbliche correlate, le ulteriori attività che abbiamo individuato, ciò che abbiamo appreso sul ruolo del disallineamento dei modelli e le misure che stiamo adottando per rafforzare i nostri sistemi. Aggiorneremo questa pagina con il progredire delle indagini.
Link rapidi
Attività con effetti su terzi
Per comprendere meglio la portata di questi comportamenti imprevisti, stiamo conducendo un'ampia analisi delle attività svolte dai nostri modelli su Internet durante l'addestramento e la valutazione. Nell'ambito dell'analisi, stiamo individuando e informando progressivamente i soggetti terzi, a partire dai casi in cui:
i nostri modelli potrebbero aver aggirato i controlli di sicurezza di terzi o compromesso la disponibilità di un servizio online; oppure
i casi di disallineamento hanno avuto effetti negativi su siti web o servizi di terzi.
In base all'analisi svolta finora, abbiamo informato decine di soggetti terzi applicando i criteri sopra indicati. L'analisi delle attività passate è ancora in corso e richiederà tempo e risorse considerevoli. Con il proseguire del lavoro informeremo altri soggetti terzi.
Di seguito pubblichiamo riepiloghi anonimizzati che descrivono i tipi di attività non allineate osservate; aggiorneremo queste descrizioni man mano che informeremo altri soggetti terzi e approfondiremo la nostra comprensione. Condivideremo inoltre aggiornamenti pertinenti sullo stato dell'analisi. In genere ometteremo nomi e altri dettagli identificativi quando necessario per proteggere i soggetti interessati, anche se quelli informati potranno scegliere di rendere pubbliche le informazioni fornite.
Riepiloghi delle attività osservate
Il processo di analisi e notifica svolto finora ha individuato le seguenti categorie di attività:
Aggiramento dei controlli di accesso: gli agenti accedono a informazioni o funzionalità che normalmente richiedono la verifica dell'identità, un'autorizzazione specifica, un abbonamento o un account. Ad esempio, un agente ha utilizzato un indirizzo web diverso, modificato i dettagli di una richiesta o sfruttato una sessione di accesso che gli concedeva più autorizzazioni del previsto.
Uso di credenziali esposte: gli agenti hanno trovato dati di accesso o chiavi resi pubblicamente disponibili e li hanno utilizzati per accedere a un servizio.
Iniezione di query o comandi: gli agenti hanno inserito testo in un sito web o servizio che lo ha interpretato come un'istruzione anziché come un normale input. Ciò potrebbe indurre il servizio a eseguire una query di database, codice applicativo o un comando sul proprio server.
Accesso ai componenti interni del runtime: gli agenti hanno letto file contenenti l'implementazione di un servizio o interagito con un sistema di backend destinato all'uso interno. In questi casi, l'agente ha raggiunto parti del servizio che non rientravano nell'accesso previsto.
Spam degli agenti: gli agenti pubblicano su siti di terzi informazioni che possono modificarne i contenuti e richiedere interventi di pulizia, ad esempio utilizzando pagine wiki pubbliche come bacheche condivise.