Hoe we het beter gaan doen voor Australië
In juni hebben onze modellen tijdens interne training en evaluatie op ongeoorloofde wijze toegang verkregen tot websites van de Australische overheid. Ook onze reactie hierop had beter gemoeten. Het spijt ons en we werken eraan om het in de toekomst beter te doen.
In dit bericht zetten we uiteen wat we weten, wat we hebben veranderd en wat we gaan doen om het vertrouwen van de Australische bevolking te herstellen. Dit is een nieuw soort cyberincident dat een opkomende wereldwijde uitdaging vormt. Een van de manieren waarop we verantwoordelijkheid willen nemen, is door gericht met Australië samen te werken aan praktische werkwijzen waarmee AI-ontwikkelaars en overheden het cybergedrag van AI kunnen herkennen, melden en aanpakken, of het nu kwaadwillig of onbedoeld is.
Na het incident met Hugging Face in juli zijn we eerdere trainings- en evaluatieactiviteiten gaan onderzoeken om vast te stellen welke andere organisaties waren getroffen. Half augustus bracht dat onderzoek activiteiten aan het licht die betrekking hadden op de onderstaande websites van de Australische overheid.
Dit is wat we op basis van het bewijsmateriaal weten:
Services Australia: Een model van OpenAI ontdekte een manier om toegang te krijgen tot niet-openbare onderdelen van de dienst. Het voerde opdrachten uit, haalde interne bestanden, toegangsgegevens en geaggregeerde statistieken op en schreef bestanden weg. Er zijn echter geen individuele patiënt- of cliëntdossiers geraadpleegd. Hieronder gaan we nader in op dit incident.
NSW Bureau of Crime Statistics and Research (BOCSAR): Een model van OpenAI gebruikte de openbare Crime Mapping Tool van BOCSAR om openbare criminaliteitsstatistieken te onderzoeken. Hieronder leggen we verder uit waarom modellen uiteenlopende taken uitvoeren waarbij ze informatie opzoeken. Het model deed API-verzoeken en vroeg websitemetadata op via de openbare BOCSAR-tool, die toegangsgegevens verstrekt voor API-verzoeken vanuit de browser. Het BOCSAR-systeem gaf de applicatieconfiguratie, operationele taken en logboeken, en websitemetadata terug. Er zijn geen criminaliteitsgegevens over individuele personen geraadpleegd.
Victorian Department of Health: Agents van OpenAI ontdekten een onbeschermde toegangssleutel waarmee ze het rapportagesysteem van de Victorian Agency for Health Information konden bevragen en rapportage-instellingen en geaggregeerde enquêtestatistieken konden ophalen. In hoeverre deze informatie toegankelijk had mogen zijn, is onduidelijk en hangt af van het toegangsbeleid van VAHI. Er zijn geen individuele medische dossiers of tot personen herleidbare enquêteantwoorden geraadpleegd.
Australian Institute of Health and Welfare: Agents van OpenAI haalden geaggregeerde statistieken op via browser- en downloaddiensten van derden, onder meer van de website van AIHW, en vroegen rechtstreeks grafiekgegevens op. Afzonderlijke pogingen om toegangscontroles te omzeilen zijn niet geslaagd. Het gedownloade materiaal lijkt openbaar beschikbaar te zijn geweest. Het systeem is niet gecompromitteerd. Er zijn geen individuele medische dossiers geraadpleegd.
Zodra we half augustus van deze activiteiten op de hoogte raakten, zijn we er onderzoek naar gestart. We hebben Services Australia en het Victorian Department of Health op 10 september geïnformeerd, en het NSW Bureau of Crime Statistics and Research op 18 september. De activiteiten rond het Australian Institute of Health and Welfare voldeden niet aan onze criteria voor melding, omdat de manier waarop toegang was verkregen in overeenstemming leek met openbare toegang. Toch hebben we het instituut op 24 september geïnformeerd om onze bevindingen te delen en een toelichting aan te bieden.
Ons doel was om getroffen instanties na afronding van ons onderzoek een gedetailleerd verslag te geven. We hadden echter eerder voorlopige bevindingen moeten delen en de Australische instanties op de hoogte moeten houden zodra er meer feiten bekend werden.
Sindsdien werken we nauw samen met Australische overheidsinstanties om te delen wat we tot nu toe hebben ontdekt. Als we vaststellen dat er nog andere instanties zijn getroffen, informeren we hen snel en rechtstreeks met de beschikbare informatie. Zodra er meer feiten bekend worden, geven we updates.
Tijdens interne training en evaluatie in juni gebruikten we een experimenteel model van OpenAI dat uitsluitend voor intern gebruik was bedoeld en niet voor publieke introductie. Het beschikte niet over alle waarborgen die we in onze openbaar beschikbare producten toepassen. Tijdens deze training en evaluatie verkreeg het toegang tot de Medicare Statistics Reporting Service van Services Australia. Ons onderzoek heeft tot nu toe geen aanwijzingen opgeleverd dat er medische dossiers van personen zijn geraadpleegd.
Bij interne training en evaluatie geven we onze modellen taken uit een brede verzameling onderzoeksvragen over uiteenlopende onderwerpen. Die weerspiegelen het soort gedetailleerde vragen dat gebruikers kunnen stellen. Zo leert een model om openbaar beschikbare informatie te vinden, te interpreteren en te analyseren, zodat het nuttiger kan zijn voor mensen. Onze modellen horen deze vragen te beantwoorden met behulp van openbaar gepubliceerde statistieken.
In dit geval was een van de taken van het model om te onderzoeken hoeveel de overheid per persoon uitgaf aan geneesmiddelen voor huidaandoeningen in gemeenschappen in de Australische deelstaat Victoria. Het model had moeite om die informatie te vinden en voerde handelingen uit waarvoor we geen toestemming hadden gegeven. Tijdens het zoeken naar deze informatie bij de Medicare Statistics Reporting Service van Services Australia ontdekte het een manier om toegang te krijgen tot niet-openbare onderdelen van de dienst. Vervolgens gebruikte het die toegang om technische systeeminformatie en broncode van de dienst te bekijken, nog steeds met het doel de oorspronkelijk gezochte informatie te vinden. Dit was niet onze bedoeling. Het model had deze toegang niet mogen krijgen en de daaropvolgende handelingen niet mogen uitvoeren.
Na het incident met Hugging Face hebben we de beveiliging van onze onderzoeksomgevingen aangescherpt, onder meer met extra netwerkbeperkingen en uitgebreidere monitoring. We hebben maatregelen ingevoerd die in deze onderzoeksomgevingen de toegang tot het live internet blokkeren. Webtoegang verloopt via inhoud die in de cache is opgeslagen. Als extra beveiligingslaag zouden onze huidige monitoringsystemen deze activiteit hebben gedetecteerd en ons team hebben gewaarschuwd voor een dringende menselijke beoordeling. Toen een model bijvoorbeeld tijdens een recente trainingsronde(opent in een nieuw venster) toegang kreeg tot het live internet, detecteerde onze monitoring die activiteit en werd een menselijke beoordelaar gewaarschuwd. We hebben de trainingsronde daarop stopgezet. We blijven deze beveiligingsmaatregelen testen en tekortkomingen verhelpen. Het incident met Hugging Face blijft het ernstigste incident dat we hebben waargenomen.
Mensen willen erop kunnen vertrouwen dat AI veilig wordt ontwikkeld. Dat begint bij het handelen van bedrijven zoals het onze. We hebben onlangs gedeeld(opent in een nieuw venster) dat we de training en evaluatie waarbij onze meest capabele modellen tools gebruiken, hebben gepauzeerd. We hervatten de training pas wanneer we erop vertrouwen dat er voldoende aanvullende waarborgen zijn. Daar werken we nu aan.
Naarmate AI-systemen in het algemeen meer kunnen, zien we ook dat er steeds minder tijd is om organisaties te helpen kwetsbaarheden te vinden en te verhelpen. Dit vraagt om gezamenlijk optreden, in samenwerking met beveiligingsteams wereldwijd.
Samen met organisaties uit de technologie, cyberbeveiliging en vitale infrastructuur hebben we een oproep gedaan om gezamenlijk de digitale weerbaarheid te versterken. Die oproep begint bij onze eigen verantwoordelijkheden, waaronder sterkere waarborgen, tijdige melding en praktische ondersteuning voor getroffen organisaties. Ook pleiten we voor investeringen in de teams die essentiële diensten beschermen, zodat zij kwetsbaarheden kunnen vinden, kunnen controleren of oplossingen werken en effectieve werkwijzen kunnen delen.
In Australië stellen we middelen en expertise beschikbaar om getroffen instanties te ondersteunen en beveiligingsteams te helpen deze principes in de praktijk te brengen. Dat doen we onder meer met:
Gerichte ondersteuning voor getroffen instanties. We stellen de middelen beschikbaar die nodig zijn om getroffen instanties te helpen begrijpen wat er is gebeurd en de impact te beoordelen. Dit omvat het delen van relevante technische bevindingen en het organiseren van overleg met onze incidentresponsteams, op basis van passende afspraken over informatie-uitwisseling.
Financiering en ondersteuning voor sterkere cyberbeveiliging. We ondersteunen Australische overheden en het bedrijfsleven met credits uit ons fonds Daybreak for Frontline Defenders van 1 miljard dollar en met technische hulp om de cyberbeveiliging van vitale infrastructuur en andere gevoelige omgevingen te versterken. Voortbouwend op onze samenwerking met overheden en beheerders van vitale infrastructuur helpen we organisaties zo om de risico's van steeds capabelere AI-agents beter te begrijpen, te detecteren en aan te pakken.
Een Australische werkgroep. We richten een werkgroep op met onafhankelijke Australische deskundigen om praktische beleidsaanbevelingen te ontwikkelen voor het beheersen van de risico's van steeds capabelere AI-agents. Op basis van de lessen uit deze incidenten zal de werkgroep zich richten op betere meldingsprocedures, sterkere afstemming tussen AI-ontwikkelaars en de overheid, en maatregelen om overheidssystemen beter te beschermen. De aanbevelingen van de werkgroep zullen richting geven aan de aanpak van OpenAI en de Australische overheden ondersteunen bij hun werk aan AI-veiligheid en cyberbeveiliging. De werkgroep zal naar verwachting voor het einde van het jaar haar werk afronden en ook praktische stappen aanbevelen die AI-bedrijven kunnen nemen om het risico op soortgelijke incidenten te verkleinen.
De Australische overheden, bedrijven en burgers zijn altijd al partners van onschatbare waarde geweest voor OpenAI. Dat vinden we niet vanzelfsprekend en we zijn vastbesloten dit recht te zetten.
Jason Kwon, Chief Strategy Officer van OpenAI, reist vanuit het Amerikaanse hoofdkantoor naar Sydney om op dinsdag 6 oktober te verschijnen voor de Joint Select Committee on Artificial Intelligence. Hij zal vragen beantwoorden over wat we weten, hoe we hebben gereageerd, welke stappen we hebben gezet en hoe we het voortaan beter gaan doen.
We blijven geverifieerde bevindingen delen met getroffen instanties en betrokken overheden. We publiceren updates over ons lopende onderzoek en de voortgang bij het nakomen van deze toezeggingen. We weten dat er nog veel werk te doen is om het vertrouwen te herstellen. Het is onze verantwoordelijkheid om Australiërs te laten zien dat we wezenlijke veranderingen doorvoeren en onze beloften nakomen.
