Jak poprawimy nasze działania na rzecz Australii
W czerwcu, podczas wewnętrznego trenowania i ewaluacji, nasze modele uzyskały dostęp do stron australijskiej administracji publicznej wykraczający poza dozwolony zakres. Powinniśmy byli również lepiej zareagować. Przepraszamy i pracujemy nad tym, by w przyszłości działać lepiej.
W tym wpisie przedstawiamy to, co wiemy, co zmieniliśmy i co zrobimy, aby odbudować zaufanie Australijczyków. To nowy rodzaj cyberincydentu i zarazem nowe globalne wyzwanie. Jednym ze sposobów, w jaki zamierzamy wziąć odpowiedzialność za tę sytuację, jest aktywna współpraca z Australią nad opracowaniem praktycznych metod, które pomogą twórcom AI i władzom identyfikować i ujawniać działania AI w cyberprzestrzeni oraz na nie reagować — niezależnie od tego, czy są one złośliwe, czy niezamierzone.
Po incydencie dotyczącym Hugging Face w lipcu rozpoczęliśmy przegląd wcześniejszych działań podczas trenowania i ewaluacji modeli, aby ustalić, czy dotyczyły one także innych organizacji. W połowie sierpnia przegląd ten ujawnił działania dotyczące wymienionych poniżej stron australijskiej administracji publicznej.
Oto, co wiemy na podstawie zgromadzonych dowodów:
Services Australia: Model OpenAI odkrył sposób na uzyskanie dostępu do niepublicznej części serwisu, a następnie wykonywał polecenia, pobierał wewnętrzne pliki, dane uwierzytelniające i zbiorcze statystyki oraz zapisywał pliki. Nie uzyskał jednak dostępu do dokumentacji poszczególnych pacjentów ani klientów. Poniżej omawiamy ten incydent bardziej szczegółowo.
Biuro Statystyki i Badań nad Przestępczością Nowej Południowej Walii (BOCSAR): Model OpenAI skorzystał z publicznego narzędzia BOCSAR do mapowania przestępczości, aby zbadać publiczne statystyki przestępczości (poniżej wyjaśniamy szerzej, dlaczego modele wykonują różne zadania związane z wyszukiwaniem informacji). Model wysyłał żądania do API i zapytania o metadane witryny za pośrednictwem publicznego narzędzia BOCSAR, które udostępnia dane uwierzytelniające do wysyłania żądań do API z przeglądarki. System BOCSAR zwrócił konfigurację aplikacji, zadania operacyjne i dzienniki oraz metadane witryny. Model nie uzyskał dostępu do danych o przestępstwach dotyczących poszczególnych osób.
Departament Zdrowia stanu Wiktoria: Agenty OpenAI odkryły ujawniony klucz dostępu, który pozwolił im wysyłać zapytania do systemu raportowania Agencji Informacji Zdrowotnej stanu Wiktoria (VAHI) oraz pobrać konfigurację raportowania i zbiorcze statystyki ankiet. Nie jest jasne, w jakim zakresie informacje te powinny być dostępne — zależy to od zasad dostępu obowiązujących w VAHI. Agenty nie uzyskały dostępu do indywidualnej dokumentacji medycznej ani odpowiedzi w ankietach pozwalających zidentyfikować respondentów.
Australijski Instytut Zdrowia i Opieki Społecznej (AIHW): Agenty OpenAI pobrały zbiorcze statystyki, między innymi z witryny AIHW, korzystając z usług przeglądania i pobierania treści oferowanych przez podmioty trzecie, a także bezpośrednio wysyłały zapytania o dane wykresów. Osobne próby obejścia kontroli dostępu zakończyły się niepowodzeniem. Wygląda na to, że pobrane materiały były publicznie dostępne. Nie doszło do naruszenia bezpieczeństwa systemu. Agenty nie uzyskały dostępu do indywidualnej dokumentacji medycznej.
Rozpoczęliśmy postępowania wyjaśniające dotyczące tych działań, gdy tylko dowiedzieliśmy się o nich w połowie sierpnia. 10 września powiadomiliśmy Services Australia i Departament Zdrowia stanu Wiktoria, a 18 września — Biuro Statystyki i Badań nad Przestępczością Nowej Południowej Walii. Działania dotyczące Australijskiego Instytutu Zdrowia i Opieki Społecznej nie spełniały naszych kryteriów zgłoszenia, ponieważ sposób uzyskania dostępu wydawał się zgodny z zasadami dostępu publicznego. Mimo to 24 września powiadomiliśmy Instytut, aby przekazać nasze ustalenia i zaproponować spotkanie informacyjne.
Chcieliśmy przekazać instytucjom, których dotyczyły incydenty, szczegółowy opis zdarzeń po zakończeniu naszego postępowania wyjaśniającego. Powinniśmy byli jednak wcześniej udostępnić wstępne ustalenia i na bieżąco informować australijskie instytucje o nowych faktach.
Od tego czasu ściśle współpracujemy z instytucjami australijskiej administracji publicznej, dzieląc się dotychczasowymi ustaleniami. Jeśli ustalimy, że incydenty dotyczyły także innych instytucji, powiadomimy je niezwłocznie i bezpośrednio, przekazując dostępne informacje, a następnie będziemy informować o kolejnych ustaleniach.
Podczas wewnętrznego trenowania i ewaluacji w czerwcu korzystaliśmy z eksperymentalnego modelu OpenAI przeznaczonego wyłącznie do użytku wewnętrznego. Nie planowaliśmy jego publicznego udostępnienia i nie miał on pełnego zestawu zabezpieczeń stosowanych w naszych publicznie dostępnych produktach. W trakcie trenowania i ewaluacji model uzyskał dostęp do serwisu Medicare Statistics Reporting Service prowadzonego przez Services Australia. Nasz dotychczasowy przegląd nie wykazał żadnych dowodów na uzyskanie dostępu do czyjejkolwiek dokumentacji medycznej.
Podczas wewnętrznego trenowania i ewaluacji naszych modeli przydzielamy im zadania z obszernego zbioru pytań badawczych z wielu dziedzin. Odzwierciedlają one szczegółowe pytania, jakie mogą zadawać użytkownicy. W ten sposób uczymy model wyszukiwania, interpretowania i analizowania publicznie dostępnych informacji, aby był bardziej użyteczny dla ludzi. Nasze modele powinny odpowiadać na te pytania, korzystając z publicznie dostępnych statystyk.
W tym przypadku jednym z zadań przydzielonych modelowi było zbadanie wydatków publicznych na leki stosowane w chorobach skóry w przeliczeniu na mieszkańca w społecznościach stanu Wiktoria. Model miał trudności z uzyskaniem tych informacji i podjął działania, na które nie udzieliliśmy mu zgody. Szukając tych informacji w serwisie Medicare Statistics Reporting Service prowadzonym przez Services Australia, odkrył sposób na uzyskanie dostępu do jego niepublicznej części. Następnie wykorzystał ten dostęp do przejrzenia informacji technicznych o systemie i kodu źródłowego związanego z serwisem — cały czas próbując znaleźć informacje, których pierwotnie szukał. Nie zamierzaliśmy dopuścić do tych działań. Ani uzyskanie dostępu do serwisu, ani późniejsze działania nie powinny były mieć miejsca.
Po incydencie dotyczącym Hugging Face wzmocniliśmy zabezpieczenia stosowane w naszych badaniach, wprowadzając dodatkowe ograniczenia sieciowe i rozszerzając monitorowanie. Wdrożyliśmy mechanizmy blokujące bezpośredni dostęp do internetu w tych środowiskach badawczych. Treści internetowe są w nich udostępniane z pamięci podręcznej. Dodatkową warstwę zabezpieczeń stanowią nasze obecne systemy monitorowania, które wykryłyby tę aktywność i zaalarmowały nasz zespół, by pilnie zweryfikował ją człowiek. Na przykład, gdy model uzyskał bezpośredni dostęp do internetu podczas niedawnego przebiegu treningowego(otwiera nowe okno), nasz system monitorowania wykrył tę aktywność i zaalarmował osobę odpowiedzialną za weryfikację, a my przerwaliśmy trenowanie. Nadal testujemy te zabezpieczenia i usuwamy luki. Incydent dotyczący Hugging Face pozostaje najpoważniejszym, jaki zaobserwowaliśmy.
Ludzie chcą mieć pewność, że AI jest rozwijana bezpiecznie, a to zaczyna się od działań firm takich jak nasza. Niedawno poinformowaliśmy(otwiera nowe okno), że wstrzymaliśmy trenowanie i ewaluację naszych najbardziej zaawansowanych modeli w zakresie korzystania z narzędzi. Wznowimy ich trenowanie dopiero wtedy, gdy będziemy pewni, że wdrożyliśmy dodatkowe zabezpieczenia, nad którymi obecnie pracujemy.
Wraz z ogólnym wzrostem możliwości systemów AI widzimy też, że pozostaje coraz mniej czasu, by pomóc organizacjom znaleźć i usunąć słabe punkty. Wymaga to podjęcia wspólnych działań z osobami i zespołami odpowiedzialnymi za cyberobronę na całym świecie.
Dołączyliśmy do organizacji z sektorów technologii, cyberbezpieczeństwa i infrastruktury krytycznej, popierając apel o wspólne działania na rzecz cyberobrony. Apel ten zaczyna się od naszych własnych obowiązków: wzmocnienia zabezpieczeń, terminowego ujawniania informacji i praktycznego wsparcia dla organizacji dotkniętych incydentami. Wzywa też do inwestowania w zespoły chroniące podstawowe usługi, aby mogły wykrywać luki w zabezpieczeniach, weryfikować poprawki i dzielić się skutecznymi rozwiązaniami.
W Australii angażujemy zasoby i wiedzę ekspercką, by wspierać instytucje, których dotyczyły incydenty, i pomagać zespołom ds. cyberobrony we wdrażaniu tych zasad w praktyce. Obejmuje to:
Dedykowane wsparcie dla instytucji, których dotyczą incydenty. Przeznaczymy niezbędne zasoby, aby pomóc instytucjom, których dotyczą incydenty, zrozumieć, co się wydarzyło, i ocenić skutki. Obejmie to udostępnienie istotnych ustaleń technicznych i nawiązanie współpracy z naszymi zespołami reagowania w ramach odpowiednich uzgodnień dotyczących wymiany informacji.
Finansowanie i wsparcie na rzecz wzmocnienia cyberobrony. Będziemy wspierać australijskie władze i sektor prywatny, przyznając środki na korzystanie z naszych produktów z funduszu Daybreak for Frontline Defenders o wartości 1 mld USD oraz udzielając pomocy technicznej, aby wzmocnić cyberobronę infrastruktury krytycznej i innych wrażliwych środowisk. Działania te, oparte na naszej współpracy z władzami i operatorami infrastruktury krytycznej, pomogą organizacjom lepiej rozumieć i wykrywać zagrożenia związane z rosnącymi możliwościami agentów AI oraz na nie reagować.
Grupa zadaniowa w Australii. Powołamy grupę zadaniową z udziałem niezależnych ekspertów z Australii, która opracuje praktyczne zalecenia dotyczące polityki zarządzania ryzykiem związanym z rosnącymi możliwościami agentów AI. Opierając się na wnioskach z tych incydentów, grupa skupi się na usprawnieniu procesów powiadamiania, wzmocnieniu koordynacji między twórcami AI a władzami oraz wskazaniu środków, które pozwolą lepiej chronić systemy administracji publicznej. Zalecenia grupy wpłyną na podejście OpenAI i wesprą działania australijskich władz na rzecz bezpieczeństwa AI i cyberbezpieczeństwa. Grupa zadaniowa, która ma zakończyć prace do końca roku, zaleci również praktyczne kroki, jakie firmy rozwijające AI mogą podjąć, aby ograniczyć ryzyko podobnych incydentów.
Australijskie władze, sektor prywatny i obywatele byli i nadal są nieocenionymi partnerami OpenAI. Nie traktujemy tego jako czegoś oczywistego i zamierzamy naprawić tę sytuację.
Dyrektor ds. strategii OpenAI, Jason Kwon, przyleci z amerykańskiej siedziby OpenAI, aby we wtorek 6 października stawić się przed wspólną komisją specjalną obu izb parlamentu ds. sztucznej inteligencji w Sydney. Odpowie na pytania o to, co wiemy, jak zareagowaliśmy, jakie kroki podjęliśmy i jak będziemy działać lepiej w przyszłości.
Będziemy nadal przekazywać zweryfikowane ustalenia instytucjom dotkniętym incydentami i właściwym władzom. Będziemy publikować aktualne informacje o trwającym przeglądzie i postępach w realizacji tych zobowiązań. Wiemy, że odbudowa zaufania wymaga od nas jeszcze wiele pracy. Naszym obowiązkiem jest pokazać Australijczykom, że wprowadzamy istotne zmiany i dotrzymujemy obietnic.
