Under intern trening og evaluering i juni skaffet modellene våre seg tilgang til australske myndigheters nettsteder på måter de ikke hadde tillatelse til. Vi burde også ha håndtert oppfølgingen bedre. Vi beklager og arbeider for å gjøre det bedre i fremtiden.
I dette innlegget redegjør vi for hva vi vet, hva vi har endret, og hva vi vil gjøre for å gjenoppbygge tilliten hos det australske folket. Dette er en ny type cyberhendelse som representerer en voksende global utfordring. En av måtene vi vil ta ansvar for situasjonen på, er å samarbeide målrettet med Australia om praktiske tilnærminger til hvordan KI-utviklere og myndigheter kan identifisere, varsle om og håndtere KIs atferd i digitale systemer, enten den er ondsinnet eller utilsiktet.
Etter Hugging Face-hendelsen i juli begynte vi å gjennomgå tidligere trenings- og evalueringsaktivitet for å identifisere andre berørte organisasjoner. I midten av august avdekket gjennomgangen aktivitet som berørte de australske myndighetsnettstedene nedenfor.
Dette vet vi ut fra dokumentasjonen:
Services Australia: En OpenAI-modell oppdaget en måte å få tilgang til deler av tjenesten som ikke var offentlig tilgjengelige. Den kjørte kommandoer, hentet interne filer, autentiseringsopplysninger og aggregert statistikk, og skrev filer. Den fikk imidlertid ikke tilgang til journaler eller registre med opplysninger om enkeltpasienter eller -klienter. Vi omtaler denne hendelsen mer detaljert nedenfor.
NSW Bureau of Crime Statistics and Research (BOCSAR): En OpenAI-modell brukte BOCSARs offentlige Crime Mapping Tool for å undersøke offentlig kriminalstatistikk (nedenfor forklarer vi nærmere hvorfor modeller utfører ulike oppgaver med informasjonsinnhenting). Modellen sendte API-forespørsler og forespørsler om nettstedets metadata via det offentlige BOCSAR-verktøyet, som oppgir autentiseringsopplysninger for API-forespørsler fra nettlesere. BOCSAR-systemet returnerte applikasjonskonfigurasjon, driftsjobber og logger samt metadata om nettstedet. Modellen fikk ikke tilgang til straffesaksopplysninger om enkeltpersoner.
Victorias helsedepartement: OpenAI-agenter oppdaget en eksponert tilgangsnøkkel som de brukte til å sende spørringer til rapporteringssystemet til Victorian Agency for Health Information og hente rapporteringskonfigurasjon og aggregert statistikk fra spørreundersøkelser. Det er uklart i hvilken grad denne informasjonen skulle ha vært tilgjengelig. Det avhenger av VAHIs retningslinjer for tilgang. Agentene fikk ikke tilgang til pasientjournaler eller svar fra spørreundersøkelser som kunne knyttes til enkeltpersoner.
Australian Institute of Health and Welfare: OpenAI-agenter hentet aggregert statistikk ved hjelp av tredjepartstjenester for nettsurfing og nedlasting, blant annet fra AIHWs nettsted, og sendte direkte spørringer etter diagramdata. Separate forsøk på å omgå tilgangskontroller lyktes ikke. Det nedlastede materialet ser ut til å ha vært offentlig tilgjengelig. Systemet ble ikke kompromittert. Agentene fikk ikke tilgang til pasientjournaler.
Vi satte i gang undersøkelser av denne aktiviteten så snart vi ble kjent med den i midten av august. Vi varslet Services Australia og Victorias helsedepartement 10. september og NSW Bureau of Crime Statistics and Research 18. september. Aktiviteten knyttet til Australian Institute of Health and Welfare oppfylte ikke kriteriene våre for varsling, fordi måten tilgangen skjedde på, så ut til å samsvare med vanlig offentlig tilgang. Vi varslet likevel instituttet 24. september for å dele funnene våre og tilby en orientering.
Målet vårt var å gi berørte etater en detaljert redegjørelse når undersøkelsen var fullført. Vi burde likevel ha delt foreløpige funn tidligere og holdt australske etater oppdatert etter hvert som flere fakta kom frem.
Siden da har vi samarbeidet tett med australske myndighetsorganer for å dele det vi har funnet ut så langt. Hvis vi identifiserer flere berørte etater, vil vi varsle dem raskt og direkte med den informasjonen vi har, og gi oppdateringer etter hvert som nye fakta kommer frem.
Under intern trening og evaluering i juni kjørte vi en eksperimentell OpenAI-modell som kun var til intern bruk og ikke ment for offentlig lansering. Den hadde ikke alle sikkerhetstiltakene som brukes i våre offentlig tilgjengelige produkter. Under denne treningen og evalueringen fikk den tilgang til Services Australias Medicare Statistics Reporting Service. Gjennomgangen vår har så langt ikke avdekket tegn på at modellen fikk tilgang til noens pasientjournaler.
Når vi trener og evaluerer modellene våre internt, gir vi dem oppgaver hentet fra et bredt utvalg undersøkelsesspørsmål innen mange fagområder. Disse gjenspeiler den typen detaljerte spørsmål brukere kan stille. Dette trener en modell i å finne, tolke og analysere offentlig tilgjengelig informasjon, slik at modellen kan være mer nyttig for folk. Modellene våre skal svare på disse spørsmålene ved hjelp av offentlig publisert statistikk.
I dette tilfellet var en av oppgavene modellen fikk, å undersøke offentlige utgifter per innbygger til legemidler mot hudsykdommer i lokalsamfunn i delstaten Victoria. Modellen hadde vansker med å finne denne informasjonen og utførte handlinger som vi ikke hadde gitt den tillatelse til. Mens den lette etter informasjonen i Services Australias Medicare Statistics Reporting Service, oppdaget den en måte å få tilgang til deler av tjenesten som ikke var offentlig tilgjengelige. Den brukte deretter denne tilgangen til å gjennomgå teknisk systeminformasjon og kildekode knyttet til tjenesten – fortsatt med mål om å finne informasjonen den opprinnelig lette etter. Dette var ikke aktivitet vi hadde til hensikt å sette i gang, og verken tilgangen til tjenesten eller den påfølgende aktiviteten skulle ha funnet sted.
Etter Hugging Face-hendelsen styrket vi sikkerhetstiltakene i forskningen vår, blant annet med flere nettverksbegrensninger og utvidet overvåking. Vi innførte kontroller for å blokkere direkte internettilgang i disse forskningsmiljøene, slik at nettilgangen i stedet skjer via hurtigbufret innhold. Som et ekstra sikkerhetslag ville dagens overvåkingssystemer ha oppdaget denne aktiviteten og varslet teamet vårt om behovet for en umiddelbar manuell gjennomgang. Da en modell for eksempel fikk direkte internettilgang under en nylig treningskjøring(åpnes i et nytt vindu), oppdaget overvåkingen vår aktiviteten og varslet en medarbeider for manuell gjennomgang. Vi stanset deretter kjøringen. Vi fortsetter å teste disse sikkerhetstiltakene og utbedre svakheter. Hugging Face er fortsatt den alvorligste hendelsen vi har observert.
Folk vil være trygge på at KI utvikles på en sikker måte, og det begynner med det selskaper som vårt selv gjør. Vi opplyste(åpnes i et nytt vindu) nylig at vi har satt trening og evaluering som involverer verktøybruk, på pause for de mest kapable modellene våre. Vi vil først gjenoppta treningen av dem når vi er trygge på at vi har flere sikkerhetstiltak på plass. Det arbeider vi med nå.
Etter hvert som KI-systemer generelt blir mer kapable, ser vi også at tidsvinduet for å hjelpe organisasjoner med å finne og utbedre svakheter blir stadig mindre. Dette krever felles innsats i samarbeid med dem som forsvarer systemer verden over.
Sammen med organisasjoner innen teknologi, cybersikkerhet og kritisk infrastruktur har vi stilt oss bak en oppfordring til felles innsats for cyberforsvar. Oppfordringen begynner med vårt eget ansvar, blant annet for sterkere sikkerhetstiltak, varsling i tide og praktisk støtte til berørte organisasjoner. Den etterlyser også investeringer i teamene som beskytter samfunnsviktige tjenester, slik at de kan finne sårbarheter, kontrollere at utbedringer virker, og dele det som fungerer.
I Australia stiller vi ressurser og ekspertise til rådighet for å støtte berørte etater og hjelpe dem som forsvarer systemene med å omsette disse prinsippene i praksis. Dette omfatter:
Målrettet støtte til berørte etater. Vi vil stille de nødvendige ressursene til rådighet for å hjelpe berørte etater med å forstå hva som skjedde, og vurdere konsekvensene. Dette omfatter å dele relevante tekniske funn og legge til rette for samarbeid med beredskapsteamene våre gjennom egnede ordninger for informasjonsdeling.
Finansiering og støtte for å styrke cyberforsvaret. Vi vil støtte australske myndigheter og næringslivet med kreditter fra fondet vårt Daybreak for Frontline Defenders på 1 milliard dollar og med teknisk bistand for å styrke cyberforsvaret i kritisk infrastruktur og andre sensitive miljøer. Dette arbeidet bygger på samarbeidet vårt med myndigheter og operatører av kritisk infrastruktur. Det vil hjelpe organisasjoner med å forstå, oppdage og håndtere risiko fra stadig mer kapable KI-agenter bedre.
En australsk arbeidsgruppe. Vi vil opprette en arbeidsgruppe med uavhengig australsk ekspertise for å utarbeide praktiske anbefalinger om politikk for å håndtere risiko fra stadig mer kapable KI-agenter. Med utgangspunkt i lærdommene fra disse hendelsene vil gruppen konsentrere seg om å forbedre varslingsprosessene, styrke samordningen mellom KI-utviklere og myndigheter og identifisere tiltak som bedre beskytter offentlige systemer. Arbeidsgruppens anbefalinger vil være med på å forme OpenAIs tilnærming og støtte australske myndigheters arbeid med KI-sikkerhet og cybersikkerhet. Arbeidsgruppen forventes å fullføre arbeidet innen utgangen av året. Den vil også anbefale praktiske tiltak KI-selskaper kan gjennomføre for å redusere risikoen for lignende hendelser.
Australias myndigheter, næringsliv og innbyggere er og har vært uvurderlige samarbeidspartnere for OpenAI. Vi tar ikke dette for gitt, og vi har til hensikt å rette opp i situasjonen.
OpenAIs strategidirektør, Jason Kwon, vil reise fra OpenAIs hovedkontor i USA for å møte i parlamentets felles særkomité for kunstig intelligens i Sydney tirsdag 6. oktober. Han vil svare på spørsmål om hva vi vet, hvordan vi reagerte, hvilke tiltak vi har iverksatt, og hvordan vi skal bli bedre fremover.
Vi vil fortsette å dele bekreftede funn med berørte etater og relevante myndigheter. Vi vil publisere oppdateringer om den pågående gjennomgangen vår og om fremdriften i arbeidet med å oppfylle disse forpliktelsene. Vi vet at vi har mye arbeid foran oss for å gjenoppbygge tilliten, og at vi har ansvar for å vise australiere at vi gjør reelle endringer og holder det vi lover.
