Under intern träning och utvärdering i juni fick våra modeller åtkomst till australiska myndigheters webbplatser på sätt som de inte hade tillstånd till. Vi borde också ha hanterat situationen bättre efteråt. Vi ber om ursäkt och arbetar för att göra bättre ifrån oss i framtiden.
I det här inlägget redogör vi för vad vi vet, vad vi har ändrat och vad vi kommer att göra för att återvinna det australiska folkets förtroende. Det här är en ny typ av cyberincident som utgör en växande global utmaning. Ett sätt för oss att ta ansvar för situationen är att målmedvetet samarbeta med Australien för att utveckla praktiska arbetssätt för hur AI-utvecklare och regeringar identifierar, informerar om och hanterar AI:s agerande i cybermiljöer, oavsett om det är illvilligt eller oavsiktligt.
Efter Hugging Face-incidenten i juli började vi granska tidigare tränings- och utvärderingsaktivitet för att identifiera andra drabbade organisationer. I mitten av augusti identifierade granskningen aktivitet som berörde nedanstående australiska myndigheters webbplatser.
Det här vet vi utifrån de belägg vi har:
Services Australia: En OpenAI-modell upptäckte ett sätt att få åtkomst till delar av tjänsten som inte var offentliga. Den körde kommandon, hämtade interna filer, autentiseringsuppgifter och aggregerad statistik samt skrev filer. Den tog dock inte del av enskilda patienters eller klienters registeruppgifter. Vi beskriver denna incident mer ingående nedan.
NSW Bureau of Crime Statistics and Research (BOCSAR): En OpenAI-modell använde BOCSAR:s offentliga verktyg Crime Mapping Tool för att undersöka offentlig brottsstatistik. Längre ned förklarar vi varför modeller utför olika informationssökningsuppgifter. Modellen gjorde API-anrop och begärde webbplatsmetadata via BOCSAR:s offentliga verktyg, som tillhandahåller autentiseringsuppgifter för API-anrop från webbläsare. BOCSAR-systemet returnerade applikationskonfiguration, driftjobb och loggar samt webbplatsmetadata. Modellen tog inte del av brottsregisteruppgifter om enskilda personer.
Victorias hälsodepartement: OpenAI-agenter upptäckte en exponerad åtkomstnyckel som kunde användas för att göra förfrågningar till rapporteringssystemet hos Victorian Agency for Health Information och hämta rapporteringskonfiguration och aggregerad enkätstatistik. I vilken utsträckning denna information borde ha varit tillgänglig är oklart och beror på VAHI:s åtkomstpolicyer. Agenterna tog inte del av enskilda patientjournaler eller enkätsvar som kunde kopplas till enskilda personer.
Australian Institute of Health and Welfare: OpenAI-agenter hämtade aggregerad statistik med hjälp av tredjepartstjänster för webbsurfning och nedladdning, bland annat från AIHW:s webbplats, och gjorde direkta förfrågningar om diagramdata. Separata försök att kringgå åtkomstkontroller misslyckades. Det nedladdade materialet verkar ha varit offentligt tillgängligt. Inget systemintrång skedde. Agenterna tog inte del av enskilda patientjournaler.
Vi inledde utredningar av dessa aktiviteter så snart vi fick kännedom om dem i mitten av augusti. Vi underrättade Services Australia och Victorias hälsodepartement den 10 september och NSW Bureau of Crime Statistics and Research den 18 september. Aktiviteten som berörde Australian Institute of Health and Welfare uppfyllde inte våra kriterier för underrättelse, eftersom åtkomsten verkade överensstämma med den som var tillgänglig för allmänheten. Vi underrättade ändå institutet den 24 september för att dela våra iakttagelser och erbjuda en genomgång.
Vårt mål var att ge drabbade myndigheter en detaljerad redogörelse när vår utredning var klar. Vi borde dock ha delat preliminära resultat tidigare och hållit australiska myndigheter uppdaterade i takt med att fler fakta kom fram.
Sedan dess har vi haft ett nära samarbete med australiska myndigheter för att dela med oss av det vi hittills har fått fram. Om vi identifierar fler drabbade myndigheter kommer vi att underrätta dem skyndsamt och direkt med den information vi har, och ge uppdateringar när ytterligare fakta kommer fram.
Under intern träning och utvärdering i juni körde vi en experimentell OpenAI-modell som enbart var avsedd för internt bruk och inte skulle lanseras offentligt. Den saknade den fullständiga uppsättning skyddsåtgärder som används i våra offentligt tillgängliga produkter. Under denna träning och utvärdering fick den åtkomst till Services Australias Medicare Statistics Reporting Service. Vår granskning har hittills inte funnit några belägg för att modellen tog del av någons patientjournal.
När vi tränar och utvärderar våra modeller internt ger vi dem uppgifter från en bred samling undersökningsfrågor inom många ämnen. De speglar den typ av detaljerade frågor som användare kan tänkas ställa. Det tränar modellen i att hitta, tolka och analysera offentligt tillgänglig information, så att den kan vara till större nytta för människor. Våra modeller ska besvara dessa frågor med hjälp av offentligt publicerad statistik.
I det här fallet var en av modellens uppgifter att undersöka de offentliga utgifterna per person för läkemedel mot hudsjukdomar i olika samhällen i delstaten Victoria. Modellen hade svårt att få fram informationen och vidtog åtgärder som vi inte hade gett den tillstånd till. När den sökte efter informationen i Services Australias tjänst Medicare Statistics Reporting Service upptäckte den ett sätt att få åtkomst till delar av tjänsten som inte var offentliga. Den använde sedan denna åtkomst för att granska teknisk systeminformation och källkod som hörde till tjänsten – fortfarande i syfte att hitta den information som den ursprungligen sökte. Detta var inte vår avsikt, och varken åtkomsten till tjänsten eller den efterföljande aktiviteten borde ha ägt rum.
Efter Hugging Face-incidenten stärkte vi skyddsåtgärderna i vår forskning, bland annat med ytterligare nätverksbegränsningar och utökad övervakning. Vi införde kontroller som blockerar direkt internetåtkomst i dessa forskningsmiljöer. Webbinnehåll tillhandahålls i stället via cachelagrade kopior. Som ett extra säkerhetslager skulle våra nuvarande övervakningssystem ha upptäckt aktiviteten och larmat vårt team för omedelbar mänsklig granskning. När en modell till exempel fick direkt internetåtkomst under en träningskörning nyligen(öppnas i ett nytt fönster) upptäckte vår övervakning aktiviteten och larmade en mänsklig granskare, och vi stoppade körningen. Vi fortsätter att testa dessa skydd och åtgärda brister. Hugging Face är fortfarande den allvarligaste incidenten vi har observerat.
Människor vill veta att AI utvecklas på ett säkert sätt, och det börjar med hur företag som vårt själva agerar. Vi berättade(öppnas i ett nytt fönster) nyligen att vi har pausat träning och utvärdering som innefattar verktygsanvändning för våra mest kapabla modeller. Vi återupptar träningen först när vi är säkra på att ytterligare skyddsåtgärder finns på plats, vilket vi arbetar med nu.
I takt med att AI-system generellt blir mer kapabla ser vi också att tiden vi har på oss att hjälpa organisationer att hitta och åtgärda svagheter blir allt kortare. Det kräver gemensamma insatser tillsammans med dem som arbetar med cyberförsvar världen över.
Vi har tillsammans med organisationer inom teknik, cybersäkerhet och kritisk infrastruktur ställt oss bakom ett upprop för gemensamma insatser för cyberförsvaret. Uppropet tar sin utgångspunkt i vårt eget ansvar, bland annat för starkare skyddsåtgärder, information i rätt tid och praktiskt stöd till drabbade organisationer. Det efterlyser också investeringar i de team som skyddar samhällsviktiga tjänster, så att de kan hitta sårbarheter, verifiera åtgärder och dela med sig av det som fungerar.
I Australien avsätter vi resurser och expertis för att stödja drabbade myndigheter och hjälpa dem som arbetar med cyberförsvar att omsätta dessa principer i praktiken. Det omfattar bland annat:
Riktat stöd till drabbade myndigheter. Vi kommer att avsätta de resurser som behövs för att hjälpa drabbade myndigheter att förstå vad som hände och bedöma konsekvenserna. Det innefattar att dela relevanta tekniska rön och ordna kontakt med våra incidenthanteringsteam inom lämpliga ramar för informationsdelning.
Finansiering och stöd för att stärka cyberförsvaret. Vi kommer att stödja Australiens regeringar och näringsliv genom krediter från vår fond Daybreak for Frontline Defenders på 1 miljard dollar och genom tekniskt stöd för att stärka cyberförsvaret inom kritisk infrastruktur och andra känsliga miljöer. Arbetet bygger vidare på vårt samarbete med regeringar och aktörer som driver kritisk infrastruktur. Det ska hjälpa organisationer att bättre förstå, upptäcka och hantera risker från allt mer kapabla AI-agenter.
En australisk arbetsgrupp. Vi kommer att inrätta en arbetsgrupp med oberoende australisk expertis för att ta fram praktiska policyrekommendationer för att hantera risker från allt mer kapabla AI-agenter. Med utgångspunkt i lärdomarna från dessa incidenter kommer gruppen att fokusera på att förbättra rutinerna för underrättelse, stärka samordningen mellan AI-utvecklare och det offentliga samt identifiera åtgärder som bättre skyddar offentliga IT-system. Arbetsgruppens rekommendationer kommer att vägleda OpenAI:s arbete och stödja de australiska regeringarnas arbete med AI-säkerhet och cybersäkerhet. Arbetsgruppen, som väntas slutföra sitt arbete före årets slut, kommer också att rekommendera praktiska åtgärder som AI-företag kan vidta för att minska risken för liknande incidenter.
Australiens regeringar, näringsliv och medborgare är och har varit ovärderliga partner till OpenAI. Vi tar inte detta för givet, och vi tänker ställa det här till rätta.
OpenAI:s strategichef Jason Kwon kommer att flyga från OpenAI:s huvudkontor i USA för att delta i en utfrågning i parlamentets gemensamma särskilda utskott för artificiell intelligens i Sydney tisdagen den 6 oktober. Han kommer att svara på frågor om vad vi vet, hur vi reagerade, vilka åtgärder vi har vidtagit och hur vi ska bli bättre framöver.
Vi kommer att fortsätta dela verifierade uppgifter med drabbade myndigheter och berörda regeringar. Vi kommer att publicera uppdateringar om vår pågående granskning och hur arbetet med att uppfylla dessa åtaganden fortskrider. Vi vet att vi har mycket arbete framför oss för att återvinna förtroendet, och att det är vårt ansvar att visa australierna att vi gör meningsfulla förändringar och håller våra löften.
