Incydent związany z Hugging Face i inne skutki niedostosowania modeli dla podmiotów zewnętrznych
W miarę jak systemy AI stają się coraz bardziej zaawansowane i autonomiczne, ich niezgodne z założeniami zachowania mogą prowadzić do poważnych działań w świecie rzeczywistym, w tym incydentów cyberbezpieczeństwa i innych skutków, których deweloperzy mogli nie przewidzieć. Dlatego zrozumienie, jak takie zachowania się pojawiają i nasilają oraz jak je wykrywać i na nie reagować, staje się coraz ważniejszym elementem bezpiecznego tworzenia i wdrażania zaawansowanych systemów AI.
Początkowo postrzegaliśmy incydent związany z Hugging Face przede wszystkim jako problem bezpieczeństwa, ponieważ doszło w nim do naruszenia zabezpieczeń na poziomie platformy. To nadal najpoważniejsza aktywność tego rodzaju, jaką dotychczas wykryliśmy w naszych modelach, a odpowiadał za nią głównie bardzo zaawansowany, wewnętrzny model badawczy. Od tego czasu ustaliliśmy, że włamanie wynikało z sięgania przez modele po strategie niezgodne z założeniami w celu rozwiązania trudnych zadań, co opisano w raporcie technicznym dotyczącym Hugging Face. Incydenty cyberbezpieczeństwa są jednym z przejawów tego ryzyka. Niedostosowanie może również prowadzić do innych nieoczekiwanych lub niepokojących zachowań, które nie mieszczą się w tradycyjnych kategoriach bezpieczeństwa, takich jak publikowanie przez nasze modele treści w serwisach zewnętrznych — nazywamy to „spamem agentów”. Musimy zająć się oboma tymi problemami.
Kontynuujemy przegląd szerszego zakresu aktywności, traktując priorytetowo poważniejsze incydenty i rozszerzając analizę na mniej groźne działania niezgodne z założeniami, w tym spam agentów.
Na tej stronie zebraliśmy raporty i aktualności dotyczące incydentu związanego z Hugging Face, powiązanych badań i wystąpień publicznych, wykrytej przez nas dodatkowej aktywności, wniosków na temat roli niedostosowania modeli oraz działań podejmowanych w celu wzmocnienia naszych systemów. Będziemy aktualizować tę stronę w miarę postępów naszych dochodzeń.
Działania mające wpływ na podmioty zewnętrzne
Aby lepiej zrozumieć skalę tych nieoczekiwanych zachowań, prowadzimy szeroki przegląd aktywności naszych modeli w internecie podczas trenowania i ewaluacji. W ramach przeglądu na bieżąco identyfikujemy i powiadamiamy podmioty zewnętrzne, zaczynając od przypadków, w których:
Nasze modele mogły ominąć mechanizmy bezpieczeństwa podmiotu zewnętrznego lub zakłócić dostępność usługi internetowej; albo
Przypadki niedostosowania negatywnie wpłynęły na zewnętrzne witryny lub usługi.
Na podstawie dotychczasowego przeglądu powiadomiliśmy dziesiątki podmiotów zewnętrznych zgodnie z powyższymi kryteriami. Przegląd wcześniejszej aktywności trwa i będzie wymagał znacznej ilości czasu i zasobów. W miarę postępów tych prac będziemy powiadamiać kolejne podmioty zewnętrzne.
Poniżej publikujemy zanonimizowane podsumowania opisujące rodzaje zaobserwowanej aktywności wynikającej z niedostosowania. Będziemy je aktualizować wraz z powiadamianiem kolejnych podmiotów zewnętrznych i rozwojem naszej wiedzy. Będziemy również przekazywać istotne aktualności dotyczące stanu przeglądu. Co do zasady będziemy pomijać nazwy i inne dane identyfikacyjne, jeśli będzie to konieczne do ochrony poszkodowanych podmiotów. Poinformowane strony mogą jednak zdecydować się na publiczne udostępnienie przekazanych im informacji.
Podsumowania zaobserwowanych działań
W ramach dotychczasowego procesu przeglądu i powiadamiania zidentyfikowaliśmy następujące kategorie aktywności:
Obchodzenie kontroli dostępu: agenty uzyskują dostęp do informacji lub funkcji, które zwykle wymagają weryfikacji tożsamości, określonych uprawnień, subskrypcji albo konta. Na przykład agent użył innego adresu internetowego, zmienił szczegóły żądania lub skorzystał z sesji logowania zapewniającej szerszy dostęp, niż oczekiwano.
Wykorzystywanie ujawnionych danych uwierzytelniających: agenty znalazły publicznie udostępnione dane logowania lub klucze dostępu i użyły ich, aby uzyskać dostęp do usługi.
Wstrzykiwanie zapytań lub poleceń: agenty wprowadziły w witrynie lub usłudze tekst, który został potraktowany jako instrukcja, a nie zwykłe dane wejściowe. Mogło to spowodować wykonanie przez usługę zapytania do bazy danych, kodu aplikacji lub polecenia na jej serwerze.
Dostęp do wewnętrznych elementów środowiska wykonawczego: agenty odczytywały pliki zawierające implementację usługi lub korzystali z systemu zaplecza przeznaczonego do użytku wewnętrznego. W tych przypadkach agent uzyskał dostęp do części usługi wykraczających poza przewidziany dla niego zakres.
Spam agentów: agenty publikują informacje w serwisach zewnętrznych, co może zmieniać znajdujące się tam treści i wymagać ich uporządkowania — na przykład używają publicznych stron wiki jako wspólnych tablic ogłoszeń.