Zewnętrzne oceny cyberbezpieczeństwa modeli OpenAI
Niezależne testy odgrywają ważną rolę, pomagając nam weryfikować i lepiej rozumieć zagrożenia przed wdrożeniem. Niektóre oceny cyberbezpieczeństwa celowo wykorzystują niestandardowe konfiguracje, w tym ograniczone zabezpieczenia, aby mierzyć podstawowe możliwości modeli, a nie ich typowe zachowanie w publicznie dostępnych wdrożeniach.
Podczas niedawnych ocen dwóch zewnętrznych partnerów testowych wykryło incydenty, w których połączenie konfiguracji i mechanizmów kontroli z rosnącymi możliwościami najnowszych modeli sprawiło, że ich aktywność wykroczyła poza zamierzone granice testów. Incydenty te pokazują, jak ważna jest współpraca w całej branży i z zewnętrznymi podmiotami oceniającymi, aby wraz ze wzrostem możliwości modeli rozwijać standardy środowisk i metod testowania. Nota redakcyjna: Opisane zdarzenia nie są związane z incydentem bezpieczeństwa Hugging Face. Nadal będziemy publikować aktualizacje dotyczące tego incydentu tutaj.
Nowe incydenty dotyczyły uzyskania przez modele OpenAI dostępu do publicznego internetu podczas zewnętrznych ocen cyberbezpieczeństwa, w szczególnych warunkach i konfiguracjach z ograniczonymi zabezpieczeniami, które nie odpowiadały zwykłym wdrożeniom. Incydenty obejmowały następujące sytuacje:
- UK AISI, brytyjski rządowy Instytut Bezpieczeństwa AI, prowadził oceny w środowiskach cybernetycznych z celowo włączonym dostępem do internetu, aby agenty mogły samodzielnie znajdować narzędzia i działać w warunkach bardziej zbliżonych do warunków rzeczywistego napastnika. Wyłączono też klasyfikatory cyberbezpieczeństwa, aby zmierzyć podstawowe możliwości modeli. Wpis na blogu UK AISI można przeczytać tutaj.(otwiera nowe okno)
- Irregular, jeden z naszych zewnętrznych partnerów testujących cyberbezpieczeństwo, prowadził oceny w formule Capture the Flag, które miały być odizolowane od internetu. Błędna konfiguracja środowiska testowego umożliwiła jednak modelom dostęp do publicznego internetu.
Poniżej podsumowujemy przebieg zdarzeń, warunki testów, które umożliwiły tę aktywność, działania podjęte w celu jej opanowania oraz nasze starania, by niezależne laboratoria mogły nadal rygorystycznie i bezpiecznie oceniać coraz bardziej zaawansowane modele.
Incydenty te wskazują na to samo szersze wyzwanie, które opisaliśmy w niedawnym wpisie o incydencie Hugging Face: wraz ze wzrostem możliwości modeli muszą rozwijać się także otaczające je systemy ochrony i bezpieczeństwa. Dotyczy to zarówno środowisk służących do opracowywania modeli, jak i tych, w których laboratoria oraz niezależni partnerzy je oceniają.
W najbliższych tygodniach dokonamy przeglądu naszego podejścia do testów zewnętrznych. Obejmie on sposób identyfikowania ocen podwyższonego ryzyka i uzgadniania ich zakresu, rozpatrywanie wniosków o dostęp do internetu lub ograniczenie zabezpieczeń, a także określanie wymagań dotyczących izolacji, obsługi danych uwierzytelniających, monitorowania i warunków przerwania testów oraz ustanowienie jaśniejszych procedur zgłaszania incydentów i ich eskalacji.
Chcemy współpracować z całą branżą, aby wzmocnić wspólne praktyki bezpiecznego prowadzenia ocen wysokiego ryzyka. W najbliższych tygodniach planujemy między innymi zgromadzić przedstawicieli krajowych instytutów AI, niezależnych podmiotów oceniających, innych laboratoriów AI i pozostałych zainteresowanych grup. Naszym celem jest zachowanie wartości rygorystycznej, niezależnej oceny przy jednoczesnym zapewnieniu, że metody testowania nadążają za rosnącymi możliwościami modeli.
3 sierpnia UK AISI poinformował nas, że podczas rutynowej oceny cyberbezpieczeństwa rozpoczętej 25 lipca modele OpenAI i innego laboratorium w niektórych przypadkach wykroczyły poza zakres testów. Ocena odbywała się w kontrolowanych środowiskach cybernetycznych, które miały odwzorowywać rzeczywiste sieci. Spośród 19 wykrytych zdarzeń dwa dotyczyły modelu OpenAI — GPT‑5.6 Sol. Pozostałe przypadki dotyczyły modeli innego laboratorium.
W ramach tej oceny agenty miały działać jako eksperci ds. cyberbezpieczeństwa w ćwiczeniu Capture the Flag: przejąć kontrolę nad trzema połączonymi symulowanymi środowiskami i zdobyć końcową flagę. W poleceniu określono sieci środowiska objęte zakresem zadania i wskazano kilka systemów pozostających poza nim. UK AISI włączył również dostęp do internetu, aby agenty mogły pobierać narzędzia i działać w warunkach bardziej zbliżonych do warunków rzeczywistego napastnika. Wyłączył też klasyfikatory cyberbezpieczeństwa modelu, aby zmierzyć jego podstawowe możliwości.
Zamierzoną granicę autoryzacji UK AISI stanowiło symulowane środowisko cybernetyczne: agenty miały uprawnienia do atakowania wskazanych symulowanych sieci i zdobycia flagi, ale nie do interakcji z systemami spoza granic sieci tego środowiska. Agentom nie przekazano jednak wyraźnie, w jaki sposób mogą i nie mogą korzystać z otwartego dostępu do internetu. UK AISI wskazuje to jako potencjalną przyczynę incydentu.
Analizując te przebiegi, UK AISI ustalił, że GPT‑5.6 Sol podjął dwa nieautoryzowane działania, próbując znaleźć drogę do symulowanego środowiska i zdobyć flagę:
- GPT‑5.6 Sol ponownie użył tokenu GitHub, który agent innego laboratorium pozostawił publicznie dostępny, aby sprawdzić, czy system w obrębie środowiska testowego odpytywał GitHub lub inną usługę aktualizacji. Podjął też próby obejścia procedury odzyskiwania konta i limitów żądań oraz zarejestrował konta u zewnętrznych dostawców usług DNS i tunelowania.
- GPT‑5.6 Sol użył publicznej usługi tunelowania, aby udostępnić w internecie serwer DNS działający lokalnie w jego środowisku testowym. Serwer zawierał ładunki przeznaczone do wykorzystania znanej luki w oprogramowaniu działającym w środowisku testowym. Konfiguracja nie zadziałała, nie ma dowodów, że wysłał do niej zapytanie jakikolwiek rzeczywisty rekursor DNS, a infrastruktura została usunięta po zakończeniu oceny.
Choć model próbował ukończyć zadanie w środowisku cybernetycznym, UK AISI uznał te działania za nieautoryzowane, ponieważ obejmowały rzeczywiste konta zewnętrzne i usługi poza granicami środowiska, a do wykonania zadania nie były konieczne. Serwer DNS udostępniał też w publicznym internecie ładunki wykorzystujące luki, choć konfiguracja nie zadziałała i nie ma dowodów, że wysłał do niej zapytanie jakikolwiek rzeczywisty rekursor DNS.
UK AISI wykrył tę aktywność 28 lipca, gdy systemy monitorowania bezpieczeństwa odnotowały nietypowe transfery danych. Wstrzymał powiązane oceny, odizolował odpowiednie maszyny i opanował sytuację w ciągu około godziny od wykrycia.
Doceniamy współpracę UK AISI podczas całego procesu, w tym działania na rzecz wykrycia i zbadania tej aktywności oraz udostępnienia informacji na jej temat. Liczymy na dalszą współpracę.
29 lipca Irregular, jeden z naszych zewnętrznych partnerów prowadzących oceny, powiadomił nas o incydencie z udziałem modeli OpenAI podczas ocen cyberbezpieczeństwa w formule Capture the Flag (CTF). Modele miały znaleźć ukryte informacje, wykorzystując słabości symulowanego środowiska, i otrzymały informację, że nie mają dostępu do internetu. Błędna konfiguracja środowiska testowego umożliwiła im jednak dostęp do publicznego internetu.
W jednym z testów nazwa fikcyjnego celu zadania CTF przypadkowo pokrywała się z rzeczywistą domeną. Ponieważ środowisko testowe zostało omyłkowo połączone z internetem, model zaatakował prawdziwą witrynę, uznając ją za część symulowanego środowiska. Nie doszło przy tym do zaawansowanego wydostania się z piaskownicy ani wykorzystania luki zero-day: dostęp do internetu wynikał z błędnej konfiguracji, a model najwyraźniej wykorzystał podstawową lukę w zabezpieczeniach.
Z dochodzenia Irregular wynika, że model znalazł również dane uwierzytelniające do tej samej witryny i ich użył. Irregular nie stwierdził skutków wykraczających poza dane samej witryny, której dotyczył incydent, a audyt nadal trwa. Firma wstrzymała oceny i rozpoczęła działania naprawcze, a poszkodowane podmioty zewnętrzne zostały powiadomione. Irregular poinformował nas, że wszystkie wykryte problemy związane z incydentem zostały już usunięte, a do środowiska testowego dodano odpowiednie zabezpieczenia. Irregular przekazał również informacje o powiązanych incydentach dotyczących innych laboratoriów korzystających z tego samego środowiska testowego.
Doceniamy współpracę z Irregular i nadal będziemy ściśle wspierać firmę w prowadzonym przeglądzie. Irregular opracowuje również białą księgę, w której przedstawi sprawdzone metody ograniczania skutków incydentów i bezpiecznego prowadzenia ocen cyberbezpieczeństwa. Liczymy na udział w przygotowaniu białej księgi, aby udostępnić społeczności wnioski, oraz na dalszą współpracę. Uważamy, że taka współpraca ma zasadnicze znaczenie dla bezpiecznej i dokładnej oceny obecnych oraz przyszłych modeli.
