Slibujeme Austrálii, že příště situaci zvládneme lépe
V červnu během interního trénování a vyhodnocování naše modely přistupovaly k webům australských státních institucí způsoby, ke kterým neměly oprávnění. Také jsme ne úplně zvládli naši reakci na situaci. Omlouváme se a pracujeme na tom, abychom do budoucna věci zvládali lépe.
V tomto příspěvku popisujeme, co víme, co jsme změnili a co uděláme pro obnovení důvěry australské veřejnosti. Jde o nový druh kybernetického incidentu, který představuje nově vznikající celosvětovou výzvu. Jedním ze způsobů, jak hodláme převzít odpovědnost za tuto situaci, je cílená spolupráce s Austrálií na tvorbě praktických přístupů pro vývojáře AI a státy, jak rozpoznávat a oznamovat kyberbezpečnostní aktivity AI a reagovat na ně, ať už jsou škodlivé úmyslně, nebo neúmyslně.
Po červencovém incidentu s Hugging Face jsme začali přezkoumávat dřívější činnost při trénování a vyhodnocování, abychom zjistili, zda šlo i o další organizace. V polovině srpna tento přezkum odhalil činnost, která se dotkla níže uvedených webů australských státních institucí.
Na základě zjištění víme následující:
Services Australia: Model OpenAI objevil způsob, jak získat přístup k neveřejné části služby. Spouštěl příkazy, získával interní soubory, přihlašovací údaje a souhrnné statistiky a zapisoval soubory. K záznamům jednotlivých pacientů ani klientů však nepřistupoval. Tomuto incidentu se podrobněji věnujeme níže.
Úřad pro statistiku a výzkum kriminality Nového Jižního Walesu (BOCSAR): Model OpenAI použil veřejný nástroj BOCSAR pro mapování kriminality, aby vyhledal veřejné statistiky kriminality (níže podrobněji vysvětlujeme, proč modely plní různé úkoly zaměřené na vyhledávání informací). Model odesílal požadavky na API a metadata webu prostřednictvím veřejného nástroje BOCSAR, který poskytuje přihlašovací údaje pro požadavky na API z prohlížeče. Systém BOCSAR vrátil konfiguraci aplikace, provozní úlohy a protokoly a metadata webu. K záznamům o trestné činnosti jednotlivých osob model nepřistupoval.
Ministerstvo zdravotnictví státu Victoria: Agenti OpenAI objevili nezabezpečený přístupový klíč, který jim umožnil dotazovat se na vykazovací systém Agentury pro zdravotnické informace státu Victoria (VAHI) a získat konfiguraci výkazů a souhrnné statistiky z průzkumů. Do jaké míry měly být tyto informace přístupné, je nejasné a závisí na pravidlech přístupu agentury VAHI. K jednotlivým zdravotnickým záznamům ani odpovědím z průzkumů umožňujícím identifikaci osob agenti nepřistupovali.
Australský institut pro zdraví a sociální péči (AIHW): Agenti OpenAI získávali souhrnné statistiky, mimo jiné z webu AIHW, pomocí služeb třetích stran pro prohlížení a stahování obsahu a přímo se dotazovali na data grafů. Samostatné pokusy o obejití řízení přístupu byly neúspěšné. Stažené materiály byly podle všeho veřejně dostupné. K narušení zabezpečení systému nedošlo. K jednotlivým zdravotnickým záznamům agenti nepřistupovali.
Tyto aktivity jsme začali vyšetřovat hned, jakmile jsme se o nich v polovině srpna dozvěděli. Agenturu Services Australia a ministerstvo zdravotnictví státu Victoria jsme informovali 10. září a Úřad pro statistiku a výzkum kriminality Nového Jižního Walesu 18. září. Aktivity související s Australským institutem pro zdraví a sociální péči nesplňovaly naše kritéria pro oznámení, protože způsob přístupu se zdál být v souladu s veřejnou dostupností. Přesto jsme institut 24. září informovali, abychom mu předali naše zjištění a nabídli podrobnější vysvětlení.
Naším cílem bylo po dokončení vyšetřování poskytnout dotčeným úřadům podrobnou zprávu. Předběžná zjištění jsme však měli sdělit dříve a australské úřady průběžně informovat o nových skutečnostech.
Od té doby s australskými státními úřady úzce spolupracujeme a předáváme jim dosavadní zjištění. Pokud zjistíme, že se tyto aktivity dotkly i dalších subjektů, neprodleně je přímo informujeme o dostupných zjištěních a budeme jim průběžně sdělovat nové skutečnosti.
Během interního trénování a vyhodnocování v červnu jsme používali experimentální model OpenAI určený výhradně pro interní účely, nikoli ke zveřejnění. Neměl úplnou sadu ochranných opatření, kterou používáme v našich veřejně dostupných produktech. V průběhu tohoto trénování a vyhodnocování přistupoval ke službě Medicare Statistics Reporting Service agentury Services Australia. Náš dosavadní přezkum neodhalil žádné důkazy o přístupu k něčím zdravotnickým záznamům.
Při interním trénování a vyhodnocování našim modelům zadáváme úkoly ze široké sady rešeršních otázek z mnoha oblastí. Ty odpovídají typům podrobných dotazů, které by mohli pokládat uživatelé. Model se tak učí vyhledávat, interpretovat a analyzovat veřejně dostupné informace, aby mohl být lidem užitečnější. Naše modely mají na tyto otázky odpovídat s využitím veřejně publikovaných statistik.
V tomto případě měl model mimo jiné zjistit, kolik stát vynakládá na léky na kožní onemocnění v přepočtu na obyvatele v jednotlivých komunitách australského státu Victoria. Model měl se získáním těchto informací potíže a podnikl kroky, ke kterým jsme ho neoprávnili. Při hledání těchto informací ve službě Medicare Statistics Reporting Service agentury Services Australia objevil způsob, jak získat přístup k její neveřejné části. Tento přístup pak využil k prohlížení technických informací o systému a zdrojového kódu souvisejícího se službou – stále ve snaze najít informace, které původně hledal. Tuto činnost jsme nezamýšleli a k přístupu ke službě ani k navazujícím krokům nemělo dojít.
Po incidentu s Hugging Face jsme posílili ochranná opatření při výzkumu, mimo jiné dalšími síťovými omezeními a rozsáhlejším monitorováním. Zavedli jsme opatření, která v těchto výzkumných prostředích blokují přímý přístup k internetu. Webový obsah je dostupný prostřednictvím mezipaměti. Další vrstvu zabezpečení tvoří naše současné monitorovací systémy, které by tuto činnost odhalily a upozornily náš tým na nutnost neodkladného posouzení člověkem. Například když model během nedávného trénovacího běhu(otevře se v novém okně) získal přímý přístup k internetu, naše monitorování tuto činnost odhalilo a upozornilo pracovníka odpovědného za kontrolu. Trénovací běh jsme zastavili. Tato ochranná opatření nadále testujeme a odstraňujeme jejich nedostatky. Incident s Hugging Face zůstává nejzávažnějším, který jsme zaznamenali.
Lidé chtějí mít jistotu, že vývoj AI probíhá bezpečně. To začíná u toho, jak postupují samotné firmy, jako je ta naše. Nedávno jsme oznámili(otevře se v novém okně), že jsme u našich nejschopnějších modelů pozastavili trénování a vyhodnocování zahrnující používání nástrojů. Jejich trénování obnovíme, až si budeme jisti, že máme zavedená další ochranná opatření, na kterých nyní pracujeme.
S tím, jak obecně rostou schopnosti systémů AI, se podle nás také zkracuje čas, který máme na pomoc organizacím s hledáním a odstraňováním slabých míst. To vyžaduje společný postup a spolupráci s odborníky na kybernetickou obranu po celém světě.
Připojili jsme se k organizacím z oblasti technologií, kybernetické bezpečnosti a kritické infrastruktury ve výzvě ke společnému postupu v kybernetické obraně. Tato výzva začíná u našich vlastních povinností, včetně silnějších ochranných opatření, včasného oznamování incidentů a praktické podpory dotčeným organizacím. Vyzývá také k investicím do týmů, které chrání základní služby, aby mohly hledat zranitelnosti, ověřovat opravy a sdílet osvědčené postupy.
V Austrálii se zavazujeme poskytnout zdroje a odborné znalosti na podporu dotčených úřadů a pomoci týmům kybernetické obrany uplatnit tyto zásady v praxi. Konkrétně jde o:
Cílenou podporu dotčeným úřadům. Poskytneme zdroje potřebné k tomu, abychom dotčeným úřadům pomohli pochopit, co se stalo, a posoudit dopady. To zahrnuje sdílení relevantních technických zjištění a zajištění spolupráce s našimi týmy pro reakci na incidenty na základě příslušných dohod o sdílení informací.
Financování a podporu pro posílení kybernetické obrany. Australské vlády a průmysl podpoříme kredity z našeho fondu Daybreak for Frontline Defenders v objemu jedné miliardy dolarů a technickou pomocí pro posílení kybernetické obrany kritické infrastruktury a dalších citlivých prostředí. Tato činnost naváže na naši spolupráci s vládami a provozovateli kritické infrastruktury. Pomůže organizacím lépe rozumět rizikům spojeným se stále schopnějšími agenty AI, odhalovat je a reagovat na ně.
Australskou pracovní skupinu. Zřídíme pracovní skupinu se zapojením nezávislých australských odborníků, která vypracuje praktická doporučení pro tvorbu politik zaměřených na řízení rizik spojených se stále schopnějšími AI agenty. Na základě poznatků z těchto incidentů se zaměří na zlepšení postupů oznamování, posílení koordinace mezi vývojáři AI a vládou a určení opatření, která lépe ochrání systémy státní správy. Doporučení pracovní skupiny pomohou formovat přístup OpenAI a podpoří úsilí australských vlád v oblasti bezpečnosti AI a kybernetické bezpečnosti. Pracovní skupina, která by měla svou práci dokončit do konce roku, také doporučí praktické kroky, jimiž mohou společnosti vyvíjející AI snížit riziko podobných incidentů.
Australské vlády, průmyslová odvětví a občané jsou a vždy byli pro OpenAI neocenitelnými partnery. Nebereme to jako samozřejmost a hodláme situaci napravit.
Ředitel strategie OpenAI Jason Kwon přiletí z amerického sídla OpenAI, aby v úterý 6. října vystoupil v Sydney před společným zvláštním parlamentním výborem pro umělou inteligenci. Odpoví na otázky o tom, co víme, jak jsme reagovali, jaké kroky jsme podnikli a co budeme do budoucna dělat lépe.
Dotčeným úřadům a příslušným vládám budeme nadále předávat ověřená zjištění. Budeme zveřejňovat aktuální informace o našem probíhajícím přezkumu a o pokroku při plnění těchto závazků. Víme, že obnova důvěry bude vyžadovat ještě hodně práce. Je na nás, abychom Australanům ukázali, že provádíme skutečné změny a plníme své sliby.
