Ku uzasadnieniom bezpieczeństwa treningu pionierskiej AI

Uważamy, że wkraczamy w nową erę, w której kontynuowanie każdego przebiegu treningu pionierskiej AI metodą uczenia przez wzmacnianie powinno wymagać uporządkowanej dokumentacji bezpieczeństwa. Docelowo taka dokumentacja powinna spełniać standard „uzasadnień bezpieczeństwa” — kompleksowej, uporządkowanej i opartej na dowodach argumentacji dotyczącej ryzyka, stosowanej w innych branżach o kluczowym znaczeniu dla bezpieczeństwa. Traktujemy uzasadnienia bezpieczeństwa jako ambitny cel, do którego dążymy. Zdajemy sobie jednak sprawę, jak trudno nadać im w przypadku modeli AI rygor porównywalny z lotnictwem czy energetyką jądrową, ponieważ każdy nowy poziom możliwości AI przynosi nowe formy złożoności. Pracujemy nad ramami, które sformalizują te praktyki.

Poniżej przedstawiamy wstępne wytyczne, które naszym zdaniem powinny stanowić część takich uzasadnień bezpieczeństwa treningu pionierskiej AI. Te dobre praktyki odzwierciedlają nasze dotychczasowe doświadczenia. Spodziewamy się, że będą ewoluować wraz z dalszym doskonaleniem wewnętrznych procesów ostrożnego rozwoju AI. Udostępniamy je już teraz, aby jasno przedstawić nasze obecne podejście i zachęcić społeczność do dzielenia się opiniami. Ten dokument koncentruje się na treningu pionierskiej AI metodą uczenia przez wzmacnianie. Wdrożenia wewnętrzne i zewnętrzne wymagają uwzględnienia znacznie szerszego zakresu właściwości związanych ze zgodnością z celami.

Uzasadnienia bezpieczeństwa powinny obejmować trzy aspekty stosu technologicznego: trening zgodności z celami, izolację i monitorowanie. Zabezpieczenia te pomagają zapewnić, że model nie będzie próbował podejmować działań niezgodnych z celami, a nawet gdyby to robił, trudno będzie mu przełamać izolację, zaś monitorowanie wykryje takie działania, zanim dojdzie do szkody.

• Zgodność modelu z celami: Pierwszą linią obrony powinien być trening modeli pod kątem zgodności z celami, czyli niezawodnego działania w zamierzony przez nas sposób. Może to obejmować:

  • Środowiska treningowe i ocenianie: Ograniczaj ryzyko rozwijania przez modele zachowań niezgodnych z celami, zapobiegając pozytywnemu wzmacnianiu obchodzenia mechanizmu nagradzania podczas treningu. Może to obejmować:

    • Automatyczne przeglądy zbiorów danych: Korzystaj z agentów, aby znajdować i naprawiać wadliwe środowiska uczenia przez wzmacnianie, w których sekwencje działań niezgodnych z celami mogłyby otrzymywać wysoką nagrodę dzięki wykorzystywaniu luk, a nie zamierzonemu zachowaniu. Ograniczy to możliwości wzmacniania niezgodności z celami podczas treningu.

    • Ręczne przeglądy zbiorów danych: Uzupełniaj zautomatyzowane kontrolowane ataki ręcznymi przeglądami i kontrolą jakości zbiorów danych, aby identyfikować wadliwe zadania, które mogłyby nieumyślnie wzmacniać zachowania niezgodne z celami.

    • Dostrajanie systemów oceniających: Dostosuj systemy oceniające tak, aby karały podejmowane przez model podczas treningu próby wykorzystywania luk lub manipulowania środowiskami uczenia przez wzmacnianie.

    • Analiza wcześniejszych przebiegów treningu: Stosuj klasyfikatory do zapisów z wcześniejszych eksperymentów, aby upewnić się, że systemy oceniające działają zgodnie z założeniami.

  • Pomiar zgodności z celami: Przeprowadzaj ewaluacje śledzące skłonność modelu do niezgodności z celami, aby mierzyć skuteczność treningu zgodności. Może to obejmować:

    • Ewaluacje zgodności z celami w trybie offline: Przeprowadzaj ewaluacje zgodności z celami podczas przebiegów treningu pionierskich modeli, aby ocenić, czy trening działa zgodnie z założeniami, i badaj wszelkie istotne pogorszenia wyników.

    • Testy na danych historycznych: Sprawdzaj ewaluacje zgodności z celami na wcześniejszych incydentach, aby potwierdzić, że wykrywają modele, które wcześniej wykazywały niezgodność, i nie są nadmiernie dopasowane do konkretnych incydentów.

    • Śledzenie prób ogrywania ewaluacji: Śledź świadomość ewaluacji lub metagrę (rozpoznawanie przez modele, że są testowane), które mogłyby wywołać zmianę zachowania. Na przykład włącz podczas ewaluacji zgodności z celami monitorowanie świadomości ewaluacji i metagry, z określonymi progami blokowania.

    • Testy skrajnych scenariuszy: Wywołuj najgorsze możliwe niewłaściwe zachowania i sprawdzaj, czy co najmniej jedna ewaluacja je wykryje.

  • Zapobieganie treningowi na łańcuchu rozumowania: Nie udostępniaj automatycznym systemom oceniającym łańcucha rozumowania podczas uczenia przez wzmacnianie, aby modele nie uczyły się unikać wykrycia przez systemy monitorujące łańcuch rozumowania.

• Izolacja: Zapewnij na tyle skuteczną izolację w piaskownicy i zabezpieczenia, by zapobiegały szkodliwym działaniom, jeśli model stanie się niezgodny z celami. Może to obejmować:

  • Wielowarstwowe zabezpieczenia infrastruktury: Inwestuj znaczne zasoby we wzmacnianie zarówno piaskownicy, w której działa model, jak i infrastruktury badawczej, która ją obsługuje. Zapewni to dodatkową warstwę ochrony w razie wydostania się modelu z piaskownicy.

  • Kontrolowane ataki na mechanizmy izolacji: Ulepszaj zabezpieczenia piaskownicy, infrastruktury badawczej i jej granic, prowadząc iteracyjne kontrolowane ataki na te systemy z użyciem modeli z punktów kontrolnych treningu pionierskiego. Działania te powinny podlegać analizie bezpieczeństwa i służyć wykrywaniu oraz usuwaniu luk. Poddawaj też kontrolowanym atakom wszystkie usługi, z którymi model może się zetknąć podczas treningu (np. pamięć podręczną treści internetowych).

  • Komunikacja między próbkami: Ogranicz komunikację między próbkami o dużej przepustowości do zatwierdzonych ścieżek, takich jak narzędzia wieloagentowe, i zamknij kanały boczne w infrastrukturze, które mają dużą przepustowość i są łatwe do odkrycia przez agentów.

  • Niezmienne zapisy interakcji: Przechowuj przez odpowiedni czas zapisy interakcji agentów w formie uniemożliwiającej modyfikację (np. na kontach magazynu z jednorazowym zapisem) dla całego treningu przez wzmacnianie, ewaluacji i wdrożeń wewnętrznych. Umożliwi to rzetelne badanie incydentów i zapobiegnie przypadkowym zmianom.

• Monitorowanie: Zapewnij system monitorowania na bieżąco, który wykryje potencjalną niezgodność z celami, gdy modele zaczną podejmować takie działania, i umożliwi szybkie rozwiązanie priorytetowych problemów, zanim dojdzie do poważnego incydentu. Może to obejmować:

  • Zapewnienie możliwości monitorowania: Dbaj o to, by modele nadal można było monitorować. Weryfikuj to za pomocą ewaluacji możliwości monitorowania i unikania wykrycia, z jasno określonymi progami, aby wcześnie wykrywać niepokojące zachowania.

  • Wysoka czułość na znane problemy: Upewnij się, że system monitorowania wykazuje wysoką czułość na wcześniejsze incydenty w ewaluacji na wydzielonym zbiorze testowym.

  • Aktualność ewaluacji systemów monitorujących: Twórz przykłady ewaluacyjne odzwierciedlające zupełnie nowe ryzyka związane z nowymi przebiegami treningu, aby pomiary czułości i precyzji monitorowania pozostawały miarodajne.

  • Szybka reakcja: Wdróż alerty priorytetowe, które skutkują działaniem w terminie określonym w SLA — przez wezwanie osoby dyżurującej lub automatyczne wstrzymanie danego przebiegu treningu — zanim model wyrządzi szkodę (np. za dnia powiadamiaj o incydentach osobę dyżurującą ds. bezpieczeństwa i osobę odpowiedzialną za trening, a w nocy automatycznie wstrzymuj przebiegi treningu, jeśli odbiór alertu nie został potwierdzony).

Oprócz zaleceń dotyczących zabezpieczeń technicznych opracowujemy dobre praktyki operacyjne dla uzasadnień bezpieczeństwa przebiegów treningu pionierskiej AI. Mogą one obejmować:

• Opinie krytyczne (analizy pre-mortem): Po opracowaniu uzasadnienia bezpieczeństwa osoba z innego zespołu powinna przygotować opinię krytyczną, wskazując potencjalne luki i przedstawiając wyważoną ocenę ryzyka. Zespół prowadzący trening powinien następnie odnieść się do tych uwag, aby wzmocnić uzasadnienie.

• Zatwierdzanie: Uzasadnienie bezpieczeństwa powinny przeanalizować osoby z wyższego kierownictwa, z których każda powinna mieć prawo zawetowania przebiegu treningu. Zapewni to kilka niezależnych wewnętrznych punktów kontroli (np. osoba kierująca pionem badawczym lub wiceprezes ds. badań, osoba kierująca bezpieczeństwem i główny naukowiec).

• Odpowiedzialność: Osoba z wyższego kierownictwa odpowiedzialna za przebieg treningu (np. osoba kierująca pionem badawczym lub wiceprezes ds. badań) powinna być rozliczana z uzasadnienia bezpieczeństwa i reagowania na incydenty, także w ramach ocen pracowniczych. Dzięki temu zespoły prowadzące trening będą również motywowane do dbania o bezpieczeństwo i zgodność z celami.

• Wstrzymywanie: Na wypadek wykrycia problemów podważających uzasadnienie bezpieczeństwa (np. nowej luki w zabezpieczeniach) należy zapewnić procedury, mechanizmy techniczne i uzgodnienia SLA dotyczące wstrzymania wszystkich przebiegów treningu objętych tym uzasadnieniem.

• Przejrzystość wewnętrzna: Uzasadnienia bezpieczeństwa należy udostępniać wewnętrznym organom nadzoru (np. Komisji ds. bezpieczeństwa).

• Audyty: Audytorom należy zapewnić dostęp wystarczający do weryfikacji prawdziwości i zasadności twierdzeń zawartych w uzasadnieniu bezpieczeństwa oraz do zgłaszania wykrytych luk.

• Eskalacja: Należy ustanowić jasny proces eskalacji problemów niezgodności z celami, tabelę poziomów ich powagi oraz dyżur osoby, która może zaalarmować kierownictwo (np. dyrektora generalnego), gdy przebieg treningu osiągnie określony poziom zagrożenia.

• Mechanizmy kontroli technicznej: Uruchamianie przebiegów treningu niezgodnych z wymogami powinno być utrudnione zarówno dla ludzi, jak i agentów. Funkcje bezpieczeństwa, takie jak monitorowanie i automatyczne wstrzymywanie, powinny w razie awarii blokować działanie systemu (np. nie powinno być możliwe rozpoczęcie treningu bez włączonego odpowiedniego monitorowania ani wyłączenie go z poziomu treningu przez wzmacnianie, ewaluacji czy wdrożenia wewnętrznego).

• Możliwość wycofania zmian: Powinno być łatwo zidentyfikować wszystkie dalsze zastosowania modelu niezgodnego z celami w procesie treningu (np. generowanie danych lub ocenianie), aby w razie potrzeby móc cofnąć skutki wykorzystania jego niezgodnych z celami wyników.

• Kompletność wykazu ryzyk rezydualnych: Uzasadnienia bezpieczeństwa powinny zawierać możliwie pełną listę ryzyk, których nie obejmują obecnie wdrożone środki zaradcze, aby umożliwić świadome decyzje o akceptacji ryzyka.

Są to nasze aktualne zalecenia, które właśnie wdrażamy w OpenAI. Spodziewamy się, że w najbliższych tygodniach nasze praktyki będą nadal ewoluować.

Opracowujemy również dobre praktyki badania poważnych incydentów niezgodności AI z celami. Laboratoria powinny starać się wyciągać jak najwięcej wniosków z poszczególnych incydentów (podobnie jak w postępowaniach wyjaśniających⁠(otwiera nowe okno) w innych branżach, w których błędy mają poważne konsekwencje), aby zapobiegać takim zdarzeniom w przyszłości. Przykładowe działania mogą obejmować:

• Przejrzystość wewnętrzna: Ponieważ wyjaśnienie incydentu może zająć dużo czasu, należy regularnie informować wewnętrznie o postępach prac (np. codziennie w przypadku trwających postępowań). Pracownicy powinni mieć jasno określone ścieżki uzyskiwania szerszego dostępu, w tym do surowych zapisów interakcji i możliwości próbkowania wyników modeli niezgodnych z celami, jeśli jest to bezpieczne i istotne dla ich pracy.

• Źródłowe przyczyny niezgodności z celami: Badacze powinni ustalać źródłowe przyczyny w dynamice treningu (np. za pomocą ukierunkowanych badań ablacyjnych lub eksperymentów z ponownym próbkowaniem), aby zrozumieć, jak powstały zachowania niezgodne z celami, pogłębić wiedzę o tym zjawisku i skuteczniej mu zapobiegać.

• Analiza po incydencie: Należy przeprowadzić analizę aspektów operacyjnych i kultury organizacyjnej, aby zrozumieć wszystkie czynniki, które przyczyniły się do incydentu — w tym przyczyny powstania problemów oraz tego, że wcześniej ich nie wykryto lub nie eskalowano.

• Wykrywanie: Powinniśmy opracowywać metody testowania zgodności z celami, które potrafią wykrywać skłonność do wywołania danego incydentu, bez bezpośredniej optymalizacji pod kątem informacji z tego incydentu (np. zapisów interakcji czy podsumowań zdarzenia). Ewaluacje oparte na incydentach należy tworzyć jako „testy regresji”, aby upewnić się, że przyszłe modele nie wykazują skłonności do niezgodności z celami w bardzo podobnych sytuacjach.

• Publiczne ujawnianie informacji: Wyniki postępowań wyjaśniających, analizy po incydentach i zmiany operacyjne należy podawać do wiadomości publicznej po zakończeniu postępowania. Podmioty zewnętrzne dotknięte incydentem należy powiadomić jak najszybciej.