Al juny, durant l'entrenament i l'avaluació interns, els nostres models van accedir a llocs web governamentals australians de maneres no autoritzades. També hauríem d'haver gestionat millor la nostra resposta. Ho lamentem i estem treballant per fer-ho millor en el futur.
En aquesta publicació expliquem què sabem, què hem canviat i què farem per recuperar la confiança de la població australiana. Es tracta d'un nou tipus d'incident cibernètic que representa un repte global emergent. Una de les maneres com volem assumir la responsabilitat d'aquesta situació és col·laborar de manera decidida amb Austràlia per ajudar a desenvolupar enfocaments pràctics que permetin als desenvolupadors d'IA i als governs identificar i comunicar comportaments cibernètics de la IA, siguin maliciosos o involuntaris, i respondre-hi.
Després de l'incident de Hugging Face al juliol, vam començar a revisar l'activitat anterior d'entrenament i avaluació per identificar altres organitzacions afectades. A mitjan agost, aquesta revisió va identificar activitat que afectava els llocs web governamentals australians que es detallen a continuació.
Això és el que sabem a partir de les proves disponibles:
Services Australia: Un model d'OpenAI va descobrir una manera d'accedir a parts del servei no obertes al públic, va executar ordres, va obtenir fitxers interns, credencials i estadístiques agregades, i va escriure fitxers. Tanmateix, no va accedir a registres individuals de pacients o clients. Expliquem aquest incident amb més detall a continuació.
Oficina d'Estadístiques i Recerca sobre la Delinqüència de Nova Gal·les del Sud (BOCSAR): Un model d'OpenAI va accedir a l'eina pública de mapatge de la delinqüència de BOCSAR per investigar estadístiques públiques sobre delinqüència (més endavant expliquem per què els models duen a terme diverses tasques de cerca d'informació). El model va fer sol·licituds a l'API i de metadades del lloc web mitjançant l'eina pública de BOCSAR, que proporciona credencials per a les sol·licituds a l'API des del navegador. El sistema de BOCSAR va retornar la configuració de l'aplicació, tasques i registres operatius, i metadades del lloc web. No es va accedir a registres de delictes de persones individuals.
Departament de Salut de Victòria: Uns agents d'OpenAI van descobrir una clau d'accés exposada que permetia consultar el sistema d'informes de l'Agència d'Informació Sanitària de Victòria i obtenir la configuració dels informes i estadístiques agregades d'enquestes. No és clar fins a quin punt aquesta informació hauria d'haver estat accessible, i això depèn de les polítiques d'accés de la VAHI. No es va accedir a historials mèdics individuals ni a respostes d'enquestes que permetessin identificar els participants.
Institut Australià de Salut i Benestar: Uns agents d'OpenAI van obtenir estadístiques agregades mitjançant serveis de navegació i descàrrega de tercers, incloses estadístiques del lloc web de l'AIHW, i van consultar directament dades de gràfics. Altres intents d'eludir els controls d'accés no van tenir èxit. El material descarregat sembla que era d'accés públic. La seguretat del sistema no es va veure compromesa. No es va accedir a historials mèdics individuals.
Vam iniciar investigacions sobre aquestes activitats tan bon punt en vam tenir coneixement, a mitjan agost. Vam notificar els fets a Services Australia i al Departament de Salut de Victòria el 10 de setembre, i a l'Oficina d'Estadístiques i Recerca sobre la Delinqüència de Nova Gal·les del Sud el 18 de setembre. L'activitat relacionada amb l'Institut Australià de Salut i Benestar no complia els nostres criteris de notificació perquè la manera com s'hi havia accedit semblava compatible amb l'accés públic. Tot i això, el 24 de setembre li vam notificar els fets per compartir les nostres conclusions i oferir-li una sessió informativa.
El nostre objectiu era proporcionar als organismes afectats una explicació detallada un cop acabada la investigació. Tanmateix, hauríem d'haver compartit abans les conclusions preliminars i haver mantingut informats els organismes australians a mesura que es coneixien més fets.
Des d'aleshores hem col·laborat estretament amb els organismes governamentals australians per compartir el que hem esbrinat fins ara. Si identifiquem més organismes afectats, els ho notificarem de seguida i directament amb la informació disponible, i els mantindrem informats a mesura que es coneguin més fets.
Durant l'entrenament i l'avaluació interns del juny, fèiem servir un model experimental d'OpenAI d'ús exclusivament intern, que no estava destinat a publicar-se i que no disposava de totes les mesures de protecció dels nostres productes disponibles per al públic. Durant aquest entrenament i avaluació, va accedir al servei d'informes estadístics de Medicare de Services Australia. La nostra revisió no ha trobat fins ara cap prova que s'accedís a l'historial mèdic de cap persona.
Quan entrenem i avaluem internament els nostres models, els assignem tasques extretes d'un ampli conjunt de preguntes de recerca de molts àmbits, que reflecteixen el tipus de preguntes detallades que podrien fer els usuaris. Això entrena el model per trobar, interpretar i analitzar informació d'accés públic, de manera que pugui ser més útil a les persones. Els nostres models haurien de respondre aquestes preguntes fent servir estadístiques publicades i accessibles a tothom.
En aquest cas, una de les tasques assignades al model era investigar la despesa pública per persona en medicaments per a afeccions cutànies en comunitats de l'estat de Victòria. El model va tenir dificultats per obtenir aquesta informació i va dur a terme accions que no li havíem autoritzat. Mentre cercava aquesta informació al servei d'informes estadístics de Medicare de Services Australia, va descobrir una manera d'accedir a parts del servei no obertes al públic. Després va utilitzar aquest accés per examinar informació tècnica del sistema i codi font relacionats amb el servei, sempre amb l'objectiu de trobar la informació que cercava inicialment. No preteníem que es produís aquesta activitat, i ni l'accés al servei ni les accions posteriors haurien d'haver tingut lloc.
Arran de l'incident de Hugging Face, vam reforçar les mesures de protecció de la nostra recerca, amb més restriccions de xarxa i una supervisió més àmplia. Vam implementar controls per bloquejar l'accés directe a internet en aquests entorns de recerca i oferir l'accés al web mitjançant contingut emmagatzemat a la memòria cau. Com a capa addicional de seguretat, els nostres sistemes de supervisió actuals haurien detectat aquesta activitat i haurien alertat el nostre equip perquè la revisés urgentment. Per exemple, quan un model va aconseguir accés directe a internet durant una sessió d'entrenament recent(s'obre en una finestra nova), el nostre sistema de supervisió va detectar l'activitat i va alertar una persona encarregada de revisar-la, i vam aturar la sessió. Continuem posant a prova aquestes proteccions i corregint-ne les mancances. El de Hugging Face continua sent l'incident més greu que hem observat.
La gent vol saber que la IA es desenvolupa de manera segura, i això comença amb les accions de les mateixes empreses com la nostra. Recentment vam comunicar(s'obre en una finestra nova) que hem suspès l'entrenament i l'avaluació dels nostres models més capaços quan impliquen l'ús d'eines, i que només en reprendrem l'entrenament quan tinguem la certesa que disposem de mesures de protecció addicionals, en les quals ja estem treballant.
A mesura que augmenten les capacitats dels sistemes d'IA en general, també veiem que es redueix el marge de temps per ajudar les organitzacions a trobar i corregir punts febles. Això requereix una acció col·lectiva en col·laboració amb els equips de ciberdefensa d'arreu del món.
Ens hem unit a organitzacions dels àmbits de la tecnologia, la ciberseguretat i les infraestructures crítiques en una crida a l'acció col·lectiva en ciberdefensa. Aquesta crida comença amb les nostres pròpies responsabilitats, que inclouen mesures de protecció més sòlides, notificacions oportunes i suport pràctic a les organitzacions afectades. També demana inversió en els equips que protegeixen els serveis essencials, perquè puguin trobar vulnerabilitats, verificar les correccions i compartir allò que funciona.
A Austràlia, estem destinant recursos i coneixements especialitzats a donar suport als organismes afectats i ajudar els equips de ciberdefensa a posar en pràctica aquests principis, amb mesures com ara:
Suport específic als organismes afectats. Destinarem els recursos necessaris a ajudar els organismes afectats a entendre què va passar i a avaluar-ne l'impacte. Això inclou compartir les conclusions tècniques pertinents i facilitar la col·laboració amb els nostres equips de resposta mitjançant els acords adequats d'intercanvi d'informació.
Finançament i suport per reforçar les ciberdefenses. Donarem suport als governs i a la indústria d'Austràlia mitjançant crèdits del nostre fons Daybreak for Frontline Defenders, dotat amb 1.000 milions de dòlars, i assistència tècnica per reforçar les ciberdefenses de les infraestructures crítiques i altres entorns sensibles. A partir de la nostra col·laboració amb governs i operadors d'infraestructures crítiques, aquesta feina ajudarà les organitzacions a entendre millor els riscos que plantegen els agents d'IA cada cop més capaços, a detectar-los i a respondre-hi.
Un grup de treball australià. Crearem un grup de treball amb experts independents d'Austràlia per elaborar recomanacions pràctiques de polítiques per gestionar els riscos dels agents d'IA cada cop més capaços. A partir de les lliçons apreses d'aquests incidents, se centrarà a millorar els processos de notificació, reforçar la coordinació entre els desenvolupadors d'IA i el govern, i identificar mesures per protegir millor els sistemes governamentals. Les recomanacions del grup de treball orientaran l'enfocament d'OpenAI i donaran suport a la feina dels governs australians en matèria de seguretat de la IA i ciberseguretat. El grup de treball, que es preveu que acabi la seva tasca a finals d'any, també recomanarà mesures pràctiques que les empreses d'IA poden adoptar per reduir el risc d'incidents similars.
Els governs, els sectors industrials i la ciutadania d'Austràlia són i han estat col·laboradors d'un valor incalculable per a OpenAI. No ho donem per descomptat, i volem posar remei a aquesta situació.
El director d'estratègia d'OpenAI, Jason Kwon, viatjarà des de la seu d'OpenAI als Estats Units per comparèixer davant la Comissió Mixta Especial sobre Intel·ligència Artificial a Sydney el dimarts 6 d'octubre. Respondrà preguntes sobre què sabem, com vam respondre, quines mesures hem pres i com millorarem d'ara endavant.
Continuarem compartint les conclusions verificades amb els organismes afectats i els governs pertinents. Publicarem novetats sobre la nostra revisió en curs i els avenços en el compliment d'aquests compromisos. Sabem que tenim molta feina al davant per recuperar la confiança i que tenim la responsabilitat de demostrar a la població australiana que estem fent canvis significatius i complint les nostres promeses.
