A giugno, durante le attività interne di addestramento e valutazione, i nostri modelli hanno effettuato accessi non autorizzati a siti web di enti governativi australiani. Avremmo anche dovuto gestire meglio la nostra risposta. Ci scusiamo e stiamo lavorando per fare meglio in futuro.
In questo articolo illustriamo ciò che sappiamo, cosa abbiamo cambiato e cosa faremo per riconquistare la fiducia degli australiani. Si tratta di un nuovo tipo di incidente informatico, che rappresenta una sfida emergente a livello globale. Uno dei modi in cui intendiamo assumerci la responsabilità di questa situazione è impegnarci concretamente a collaborare con l'Australia per sviluppare approcci pratici che aiutino gli sviluppatori di IA e i governi a individuare e segnalare i comportamenti informatici dell'IA, dolosi o involontari, e a rispondervi.
Dopo l'incidente di Hugging Face di luglio, abbiamo iniziato a riesaminare le precedenti attività di addestramento e valutazione per individuare altre organizzazioni coinvolte. A metà agosto, questa verifica ha individuato attività che interessavano i siti web degli enti governativi australiani elencati di seguito.
Ecco cosa sappiamo sulla base delle evidenze raccolte:
Services Australia: un modello di OpenAI ha scoperto un modo per accedere ad aree del servizio non aperte al pubblico, ha eseguito comandi, recuperato file interni, credenziali e statistiche aggregate e scritto file. Non ha però avuto accesso ai dati dei singoli pazienti o utenti. Approfondiamo questo incidente più avanti.
NSW Bureau of Crime Statistics and Research (BOCSAR): un modello di OpenAI ha utilizzato lo strumento pubblico di mappatura della criminalità di BOCSAR per cercare statistiche pubbliche sui reati (più avanti spieghiamo perché i modelli svolgono vari compiti di ricerca di informazioni). Il modello ha effettuato richieste API e di metadati del sito web tramite lo strumento pubblico di BOCSAR, che fornisce le credenziali per le richieste API dal browser. Il sistema di BOCSAR ha restituito la configurazione dell'applicazione, i job e i log operativi e i metadati del sito web. Non è stato effettuato alcun accesso ai dati sui reati di singole persone.
Dipartimento della Salute dello Stato di Victoria: gli agenti di OpenAI hanno scoperto una chiave di accesso esposta che consentiva di interrogare il sistema di reportistica della Victorian Agency for Health Information e di recuperare la configurazione della reportistica e statistiche aggregate dei sondaggi. Non è chiaro in quale misura queste informazioni dovessero essere accessibili: ciò dipende dalle politiche di accesso della VAHI. Non è stato effettuato alcun accesso a cartelle cliniche individuali o a risposte ai sondaggi riconducibili a singole persone.
Australian Institute of Health and Welfare: gli agenti di OpenAI hanno recuperato statistiche aggregate, anche dal sito web dell'AIHW, utilizzando servizi di navigazione e download di terze parti, e hanno interrogato direttamente i dati dei grafici. Altri tentativi di aggirare i controlli di accesso non sono riusciti. Il materiale scaricato risulta essere stato pubblicamente disponibile. Il sistema non è stato compromesso. Non è stato effettuato alcun accesso a cartelle cliniche individuali.
Abbiamo avviato indagini su queste attività non appena ne siamo venuti a conoscenza, a metà agosto. Abbiamo informato Services Australia e il Dipartimento della Salute dello Stato di Victoria il 10 settembre e il NSW Bureau of Crime Statistics and Research il 18 settembre. L'attività relativa all'Australian Institute of Health and Welfare non rientrava nei nostri criteri di notifica, perché le modalità di accesso sembravano coerenti con quelle di un accesso pubblico. Abbiamo comunque informato l'istituto il 24 settembre per condividere i risultati e proporre un incontro informativo.
Il nostro obiettivo era fornire agli enti coinvolti un resoconto dettagliato una volta conclusa l'indagine. Avremmo però dovuto condividere prima i risultati preliminari e tenere aggiornati gli enti australiani man mano che emergevano nuovi fatti.
Da allora abbiamo lavorato a stretto contatto con gli enti governativi australiani per condividere quanto appreso fino a oggi. Se individueremo altri enti coinvolti, li informeremo tempestivamente e direttamente con le informazioni disponibili e forniremo aggiornamenti man mano che emergeranno ulteriori fatti.
Durante le attività interne di addestramento e valutazione di giugno, stavamo utilizzando un modello sperimentale di OpenAI, destinato esclusivamente all'uso interno e non alla distribuzione pubblica, privo dell'insieme completo di misure di sicurezza impiegate nei nostri prodotti disponibili al pubblico. Nel corso di queste attività di addestramento e valutazione, il modello ha effettuato l'accesso al Medicare Statistics Reporting Service di Services Australia. La nostra verifica non ha finora rilevato prove di accessi alle cartelle cliniche di alcuna persona.
Quando svolgiamo attività interne di addestramento e valutazione dei nostri modelli, assegniamo loro compiti tratti da un'ampia raccolta di quesiti di ricerca su numerosi argomenti, che rispecchiano le domande dettagliate che gli utenti potrebbero porre. Questo addestra il modello a trovare, interpretare e analizzare informazioni disponibili pubblicamente, così da renderlo più utile alle persone. I nostri modelli dovrebbero rispondere a queste domande utilizzando statistiche pubblicamente disponibili.
In questo caso, uno dei compiti assegnati al modello era cercare dati sulla spesa pubblica pro capite per i farmaci destinati alle patologie cutanee nelle comunità dello Stato di Victoria. Il modello ha avuto difficoltà a reperire queste informazioni e ha eseguito azioni che non avevamo autorizzato. Mentre cercava queste informazioni nel Medicare Statistics Reporting Service di Services Australia, ha scoperto un modo per accedere ad aree del servizio non aperte al pubblico. Ha quindi sfruttato questo accesso per esaminare informazioni tecniche sul sistema e codice sorgente del servizio, sempre con l'obiettivo di trovare le informazioni che cercava inizialmente. Non era nostra intenzione che si verificasse questa attività: né l'accesso al servizio né le azioni successive avrebbero dovuto avere luogo.
Dopo l'incidente di Hugging Face, abbiamo rafforzato le misure di sicurezza per la ricerca, introducendo ulteriori restrizioni di rete e ampliando il monitoraggio. Abbiamo implementato controlli per bloccare l'accesso diretto a Internet in questi ambienti di ricerca, consentendo l'accesso al web solo tramite contenuti memorizzati nella cache. Come ulteriore livello di sicurezza, i nostri attuali sistemi di monitoraggio avrebbero rilevato questa attività e allertato il nostro team per una verifica umana urgente. Ad esempio, quando un modello ha ottenuto l'accesso diretto a Internet durante una recente sessione di addestramento(si apre in una nuova finestra), i nostri sistemi di monitoraggio hanno rilevato l'attività e allertato un revisore umano, e abbiamo interrotto la sessione. Continuiamo a testare queste protezioni e a colmarne le lacune. Quello di Hugging Face resta l'incidente più grave che abbiamo osservato.
Le persone vogliono sapere che l'IA viene sviluppata in modo sicuro, e questo dipende innanzitutto da ciò che fanno in prima persona aziende come la nostra. Di recente abbiamo comunicato(si apre in una nuova finestra) di aver sospeso le attività di addestramento e valutazione che prevedono l'uso di strumenti per i nostri modelli più capaci. Riprenderemo ad addestrarli solo quando saremo certi di aver predisposto ulteriori misure di sicurezza, alle quali stiamo lavorando ora.
Con l'aumento generale delle capacità dei sistemi di IA, vediamo anche ridursi il tempo a disposizione per aiutare le organizzazioni a individuare e correggere i punti deboli. Serve un'azione collettiva, in collaborazione con chi si occupa di difesa informatica in tutto il mondo.
Ci siamo uniti a organizzazioni dei settori della tecnologia, della cybersicurezza e delle infrastrutture critiche in un appello a un'azione collettiva per la difesa informatica. Questo appello parte dalle nostre responsabilità: misure di sicurezza più solide, comunicazioni tempestive e sostegno concreto alle organizzazioni coinvolte. Chiede inoltre di investire nei team che proteggono i servizi essenziali, affinché possano individuare le vulnerabilità, verificare le correzioni e condividere le soluzioni efficaci.
In Australia stiamo mettendo a disposizione risorse e competenze per sostenere gli enti coinvolti e aiutare chi si occupa di difesa informatica a mettere in pratica questi principi, attraverso le seguenti iniziative:
Supporto dedicato agli enti coinvolti. Metteremo a disposizione le risorse necessarie per aiutare gli enti coinvolti a comprendere l'accaduto e a valutarne l'impatto. Ciò include condividere i risultati tecnici pertinenti e organizzare il confronto con i nostri team di risposta agli incidenti, attraverso appositi accordi per lo scambio di informazioni.
Finanziamenti e supporto per rafforzare le difese informatiche. Sosterremo i governi e le imprese australiane con crediti del nostro fondo Daybreak for Frontline Defenders da 1 miliardo di dollari e con assistenza tecnica per rafforzare le difese informatiche delle infrastrutture critiche e di altri ambienti sensibili. Sulla base della nostra collaborazione con i governi e i gestori di infrastrutture critiche, questo lavoro aiuterà le organizzazioni a comprendere e individuare meglio i rischi posti da agenti di IA sempre più capaci e a rispondervi in modo più efficace.
Una task force australiana. Istituiremo una task force che si avvarrà di esperti australiani indipendenti per elaborare raccomandazioni concrete sulle politiche di gestione dei rischi posti da agenti di IA sempre più capaci. Facendo tesoro delle lezioni apprese da questi incidenti, si concentrerà sul miglioramento dei processi di notifica, sul rafforzamento del coordinamento tra sviluppatori di IA e governo e sull'individuazione di misure per proteggere meglio i sistemi governativi. Le raccomandazioni della task force orienteranno l'approccio di OpenAI e sosterranno il lavoro dei governi australiani in materia di sicurezza dell'IA e cybersicurezza. La task force, che dovrebbe concludere i lavori entro la fine dell'anno, raccomanderà anche misure concrete che le aziende di IA potranno adottare per ridurre il rischio di incidenti simili.
I governi, le imprese e i cittadini australiani sono e sono stati partner preziosi per OpenAI. Non lo diamo per scontato e intendiamo rimediare a quanto accaduto.
Il Chief Strategy Officer di OpenAI, Jason Kwon, partirà dalla sede statunitense di OpenAI per intervenire davanti alla commissione parlamentare congiunta sull'intelligenza artificiale a Sydney, martedì 6 ottobre. Risponderà alle domande su ciò che sappiamo, su come abbiamo reagito, sulle misure adottate e su come miglioreremo in futuro.
Continueremo a condividere i risultati verificati con gli enti coinvolti e i governi competenti. Pubblicheremo aggiornamenti sulla nostra verifica in corso e sui progressi compiuti nel rispettare questi impegni. Sappiamo che ci aspetta molto lavoro per riconquistare la fiducia e che abbiamo la responsabilità di dimostrare agli australiani che stiamo apportando cambiamenti sostanziali e mantenendo le nostre promesse.
