Rozwój modeli w erze krytycznych zdolności cybernetycznych

W ostatnich tygodniach dwa wydarzenia uwydatniły rosnące ryzyko związane z coraz bardziej zaawansowanymi systemami AI: incydent OpenAI–Hugging Face oraz, niezależnie od niego, wstępne dowody wskazujące, że jeden z naszych nadchodzących modeli, Astra, może osiągać próg krytycznych zdolności w zakresie cyberbezpieczeństwa określony w naszych Ramach gotowości. Te wydarzenia, w połączeniu z szybkim postępem naszych wewnętrznych badań, zwiększyły pilność prac nad wzmocnieniem zabezpieczeń w zakresie monitorowania, dostosowania i izolacji na wszystkich etapach procesu trenowania.

Wraz ze wzrostem możliwości modeli rośnie także ryzyko związane z ich wewnętrznym opracowywaniem i testowaniem. Nasze standardy monitorowania, dostosowania i bezpieczeństwa muszą wyprzedzać te zagrożenia. Chcieliśmy poświęcić niezbędny czas na spełnienie tych standardów, dlatego tymczasowo spowolniliśmy skalowanie. Obejmowało to dwutygodniową przerwę w trenowaniu przez uczenie przez wzmacnianie (RL) naszych najnowszych modeli przeznaczonych do wdrożenia. W tym czasie dodatkowo zabezpieczaliśmy środowiska badawcze, poddawaliśmy je kontrolowanym atakom i rozszerzaliśmy zakres systemów monitorowania. Największy z planowanych pionierskich przebiegów RL pozostaje wstrzymany. Prowadzimy treningi i oceny na mniejszą skalę, aby zbadać zachowanie modelu, zweryfikować zabezpieczenia i zgromadzić więcej dowodów na jego dostosowanie przed wznowieniem prac.

Dostosowanie — czyli prace nad tym, by systemy AI działały zgodnie z zamierzeniami i podlegały nadzorowi człowieka — od dawna stanowi podstawę naszego programu badawczego. Obecnie na wszystkich etapach trenowania wymagamy mocniejszych dowodów na dostosowane zachowanie, opierając się na już prowadzonych badaniach i ocenach. Utrzymanie dostosowania coraz bardziej zaawansowanych systemów to wyzwanie, z którym musi zmierzyć się cała branża. Sygnały płynące z postępów nad nadchodzącymi modelami jasno pokazują, że potrzebujemy szerszego podejścia — opartego na obecnych Ramach gotowości, lecz wykraczającego poza nie.

Uważamy, że ważne jest przejrzyste informowanie o zmianach w naszym podejściu. Poniżej opisujemy zmiany już wprowadzone w naszych procesach badawczych i infrastrukturze oraz prace, które nadal trwają.

Nasze podejście do tworzenia bardziej zaawansowanych modeli opiera się na trzech wzajemnie wzmacniających się zabezpieczeniach:

1. Monitorowanie, które umożliwia wykrywanie niepokojących zachowań i reagowanie na nie.
2. Dostosowanie, które zmniejsza prawdopodobieństwo szkodliwych lub nieautoryzowanych działań.
3. Środki bezpieczeństwa, które ograniczają zasoby dostępne dla systemów AI oraz zakres ich oddziaływania.

Spodziewamy się, że wkrótce modele będą wykonywać większość zadań związanych z bezpieczeństwem, w tym chronić przed innymi modelami. Dzięki temu wszystkie trzy rodzaje zabezpieczeń będą mogły rosnąć wraz z możliwościami modeli, co uważamy za kluczowe.

Stosujemy te zabezpieczenia w badaniach i wdrożeniach, dostosowując je do możliwości każdego modelu, jego środowiska działania oraz poziomu ryzyka.

Wraz ze wzrostem zdolności pionierskich modeli w zakresie cyberbezpieczeństwa podnosimy standardy ochrony środowisk, w których je trenujemy i oceniamy. Spełnienie tych standardów wymagało znacznych prac inżynieryjnych oraz wiązało się z dużymi kosztami i opóźnieniami w pionierskich badaniach. Bezpośrednio po incydencie OpenAI–Hugging Face* wstrzymaliśmy wnioskowanie pionierskich modeli w klastrach badawczych w przypadku przebiegów, które mogły wykonywać kod lub korzystać z narzędzi mających dostęp do internetu. Dość szybko przywróciliśmy bardziej ograniczoną i bezpieczną ścieżkę wykonywania kodu, a następnie przeanalizowaliśmy każde obciążenie z osobna, aby ustalić, czy można je bezpiecznie wznowić. Część obciążeń badawczych wznowiono z zastosowaniem nowych mechanizmów kontroli, natomiast inne wymagały dalszych zmian.

W kolejnych tygodniach określiliśmy i zaczęliśmy wdrażać bardziej rygorystyczne wymogi bezpieczeństwa dla pionierskich obciążeń badawczych. Na przykład:

• Izolacja obciążeń: obecnie wymagamy silniejszej izolacji („piaskownic”) obciążeń wykonujących kod wygenerowany przez model lub pochodzący z innych niezaufanych źródeł. Dotyczy to również oprogramowania, które mogłoby zostać przejęte podczas przetwarzania wyników modelu.
• Izolacja sieciowa: wdrożyliśmy dodatkowe mechanizmy odseparowujące od internetu obciążenia wysokiego ryzyka i obciążenia niezaufane. Mechanizmy te zaprojektowaliśmy tak, aby samo przejęcie pojedynczego obciążenia lub usługi pomocniczej nie umożliwiało nieautoryzowanego dostępu do internetu ani innych sieci wewnętrznych.
• Ciągłe testy bezpieczeństwa: zmieniliśmy konfigurację środowiska, aby usunąć potencjalnie podatne usługi współdzielone, ograniczyć stałe uprawnienia oraz poprawić bezpieczeństwo i granice zaufania. Udoskonalamy również zbieranie i monitorowanie dzienników bezpieczeństwa. Ponadto inwestujemy w automatyzację, wykorzystując nasze modele do ciągłego testowania tych granic za pomocą symulowanych ataków.

Łącznie mechanizmy te zapewniają wielowarstwową ochronę i pomagają zabezpieczyć nasze środowisko badawcze przed atakami. Obecnie wymagamy najbardziej rygorystycznych zabezpieczeń w przypadku obciążeń związanych z Astra lub modelami cybernetycznymi, ponieważ ustaliliśmy, że modele Astra mogą mieć krytyczny poziom zdolności w tym zakresie. Zabezpieczenia te dotyczą również wszystkich pozostałych obciążeń związanych z cyberbezpieczeństwem.

Chociaż część treningów i ocen Astra spełnia te wymagania, wiele obciążeń pozostaje wstrzymanych do czasu pełnej migracji i odpowiedniego udoskonalenia, tak aby spełniały nowy standard bezpieczeństwa. W pierwszej kolejności przenosimy do nowych środowisk obciążenia związane z bezpieczeństwem i dostosowaniem.

Monitorowanie od dawna stanowi ważny element naszego procesu tworzenia modeli. Obejmuje między innymi monitorowanie wewnętrznych agentów programistycznych oraz długotrwałych sesji. Nasze działania monitorujące koncentrowały się szczególnie na wewnętrznych wdrożeniach pionierskich modeli oraz pionierskich przebiegach treningowych RL. Uznawaliśmy je za obciążenia najwyższego ryzyka, ponieważ mogą łączyć zaawansowane możliwości modeli z dostępem do narzędzi, systemów wrażliwych oraz sieci wewnętrznych lub zewnętrznych. Nie obejmowały one wszystkich przebiegów wnioskowania i trenowania wykorzystujących narzędzia. Wraz z nowym systemem monitorowania zrewidowaliśmy i rozszerzyliśmy nasze podejście.

Nowy system monitorowania jest wieloetapowy. Pierwszy etap stanowią klasyfikatory aktywacji — detektory analizujące wewnętrzną aktywność modelu — które działają przy każdym próbkowanym tokenie i przekazują potencjalne zagrożenia coraz bardziej zaawansowanym automatycznym systemom dochodzeniowym wymagającym dużej mocy obliczeniowej. Systemy te analizują działania narzędzi, dostępne rozumowanie oraz pełną sekwencję aktywności pod kątem nieautoryzowanego dostępu, kradzieży danych, destrukcyjnych zachowań i prób obejścia zabezpieczeń. Naszym celem jest wysłanie alertu w ciągu 30 minut od wykrycia niepokojącej aktywności przez system monitorowania. Jeśli system monitorowania wykryje prawdopodobne naruszenie krytycznej granicy bezpieczeństwa, generuje alert o najwyższym priorytecie. W obecnym wdrożeniu powiadamiane są zespoły ds. ochrony, bezpieczeństwa i badań. Jeśli w ciągu 30 minut zespoły te nie zdołają jednoznacznie ustalić, że alarm jest fałszywy, powinny wstrzymać daną aktywność.

Takie monitorowanie jest wymagane przy wszystkich treningach RL i ocenach z użyciem narzędzi w przypadku modeli o możliwościach Sol lub wyższych. Gdy 7 sierpnia ustaliliśmy, że Astra może mieć krytyczne zdolności cybernetyczne, wprowadziliśmy dodatkowy wymóg monitorowania wszystkich procesów wnioskowania Astra z użyciem narzędzi, a nie tylko treningów i ocen RL.

Zabezpieczenia te wymagają znacznej mocy obliczeniowej. Według naszych obecnych szacunków narzut związany z monitorowaniem wynosi około 20% mocy obliczeniowej monitorowanego wnioskowania, choć koszt znacznie różni się w zależności od obciążenia treningowego i ewaluacyjnego. Więcej informacji o tym systemie przedstawimy wkrótce we wpisie na blogu.

Badania nad dostosowaniem mają kluczowe znaczenie dla naszej misji. Naszą misją jest zapewnienie, aby ogólna sztuczna inteligencja przynosiła korzyści całej ludzkości. W miarę jak modele zyskują zaawansowane możliwości, takie jak przeprowadzanie cyberataków, i działają w coraz bardziej złożonych środowiskach, niedostosowane zachowania — między innymi obchodzenie systemu nagród (znajdowanie sposobów na uzyskanie wysokich nagród podczas trenowania bez faktycznego osiągnięcia zamierzonego rezultatu), oszustwo lub nieautoryzowany dostęp — będą stwarzać coraz poważniejsze ryzyko.

W przypadku przebiegów RL na najbardziej zaawansowanych modelach stosujemy teraz nasze podstawowe techniki dostosowania na większej liczbie etapów procesu trenowania. Obejmuje to doskonalenie modeli nagrody, aby skuteczniej wykrywały i ograniczały niebezpieczne zachowania w różnych zadaniach i środowiskach; trenowanie modeli tak, by rzetelniej informowały o swoich działaniach, możliwościach i ograniczeniach; oraz ograniczanie zachowań wykorzystujących słabości nagród, systemów oceniających, narzędzi lub nadzoru. Rozszerzamy również zakres trenowania pod kątem zachowań, które mogą wyrządzić szkody podczas interakcji modeli z zewnętrznymi systemami lub zasobami.

Nadal intensywnie inwestujemy w badania nad dostosowaniem, rozszerzamy zakres ocen i wykorzystujemy zdobytą wiedzę do ulepszania trenowania oraz zabezpieczeń. W najbliższej przyszłości planujemy udostępnić znacznie więcej informacji o naszych badaniach nad dostosowaniem, w tym o tym, czego dowiadujemy się o zachowaniu modeli, oraz o wszelkich nowych wykrytych wyzwaniach.

Będziemy rozwijać nasze Ramy gotowości, aby połączyć te zabezpieczenia na wszystkich etapach trenowania i wdrażania oraz lepiej uwzględnić możliwości przyszłych modeli i środowiska, w których będą działać. Opracowanie metod, które można skalować wraz z tymi możliwościami, będzie wymagało stałych inwestycji w bezpieczeństwo wspomagane przez modele, skuteczniejsze monitorowanie oraz dalszy rozwój badań nad dostosowaniem. W miarę rozwoju naszego podejścia zamierzamy angażować organizacje zewnętrzne i szerzej dzielić się zdobytą wiedzą.

Możliwości pionierskich modeli rosną w szybkim tempie. Nasza zdolność do ich rozumienia, dostosowywania i zabezpieczania musi wyprzedzać ten rozwój.

*W najbliższych tygodniach opublikujemy raport techniczny z naszych ustaleń.