Nasze ramy raportowania niedostosowania modeli
Przedstawiamy nowe ramy śledzenia przypadków niedostosowania modeli w OpenAI, prowadzenia dochodzeń w ich sprawie i ich ujawniania, a także sześć raportów o nieoczekiwanych lub niepokojących zachowaniach modeli, które zaobserwowaliśmy w ciągu ostatnich sześciu miesięcy.
Aby lepiej informować badaczy, twórców AI, decydentów i opinię publiczną, już wcześniej staraliśmy się publicznie udostępniać nasze ustalenia dotyczące niedostosowania. Brak systematycznego podejścia do raportowania tych ustaleń sprawiał jednak, że ujawnialiśmy je doraźnie i rzadziej, niż byłoby to pożądane: często czekaliśmy, aż będziemy mogli zebrać kilka przypadków w jednym raporcie, albo dodawaliśmy je do kart systemowych nowo wydanych modeli. Nowe ramy mają przyspieszyć publikację raportów o niedostosowaniu po jego zaobserwowaniu, nawet jeśli nie udało nam się jeszcze w pełni wyjaśnić ani ograniczyć opisywanego zachowania.
W miarę jak systemy AI stają się bardziej zaawansowane i powszechniej wdrażane, musimy budować szerszy, oparty na lepszej wiedzy konsensus w sprawie postępów badań nad dostosowaniem. Nie uważamy, by branża AI rozwiązała problemy dostosowania i monitorowania w stopniu pozwalającym jeszcze długo odpowiedzialnie zwiększać skalę w maksymalnym tempie. Decyzje o kierunku rozwoju AI w nadchodzących miesiącach i latach muszą opierać się na dowodach, które osoby spoza firm tworzących pionierskie modele mogą samodzielnie przeanalizować.
Przykłady niedostosowania mogą pomóc zidentyfikować problemy, na które mogą natrafić inni twórcy AI, gdy ich systemy osiągną podobne możliwości, ujawnić słabości zabezpieczeń lub podważyć założenia dotyczące zachowania modeli. Udostępnianie tych ustaleń pozwala innym badać te same problemy, weryfikować nasze wyjaśnienia i ulepszać środki zaradcze. Ponieważ cenimy przejrzystość w kwestii niedostosowania, nasze nowe ramy przemawiają za ujawnianiem przypadków nawet wtedy, gdy ich znaczenie jest niepewne. Oznacza to, że niektóre ujawniane przez nas przypadki mogą okazać się pozorne, nie należeć do szerszego wzorca ani nie wskazywać na przyszłe zmiany.
Obecnie nie istnieją ogólnobranżowe ramy, które określałyby jednoznaczne standardy ujawniania przez twórców AI przypadków niedostosowania modeli. Mamy nadzieję, że przedstawiane dziś ramy będą pierwszym krokiem ku stworzeniu takich standardów, określających, które przypadki niedostosowania twórcy powinni ujawniać i co powinny zawierać ich raporty. Traktujemy te ramy jako rozwiązanie w trakcie opracowywania, które będziemy doskonalić na podstawie doświadczeń i opinii publicznej.
Poniżej opisujemy sposób działania tych ram i przedstawiamy pierwsze publikowane raporty.
Chcemy ujawniać przykłady dostarczające przydatnych dowodów na to, jak powstaje i przejawia się niedostosowanie modeli oraz gdzie zabezpieczenia działają, a gdzie zawodzą. Priorytetowo traktujemy nowe mechanizmy, istotne zmiany znanych zachowań oraz ustalenia podważające założenia dotyczące bezpieczeństwa lub środków zaradczych. Przypadek nie musi powodować szkody ani dowodzić istnienia szerszego wzorca, aby zasługiwać na ujawnienie. Ramy te obejmą zachowania spełniające kryteria na wszystkich etapach cyklu życia modelu — od trenowania, przez ewaluację i testowanie, po wdrożenie.
Dotyczy to nowych sposobów podejmowania przez modele działań bez upoważnienia, koordynowania się z innymi modelami lub unikania nadzoru; niepowodzeń podważających metodę dostosowania bądź zabezpieczenie; a także zachowań kwestionujących twierdzenie zawarte w opublikowanej ocenie bezpieczeństwa. Te same kryteria ujawniania dotyczą niedostosowania, które może mieć wpływ na strony trzecie.
Może to również obejmować przypadki niedostosowania, które wydają się powielać przypadki ujawnione przez nas wcześniej. Samo powtarzanie się problemu może stanowić przydatny dowód na sposób działania naszych modeli lub skuteczność zabezpieczeń — na przykład gdy określony rodzaj niedostosowanego zachowania nadal występuje mimo wielokrotnych prób jego ograniczenia. W takich okolicznościach opublikujemy dodatkowe przykłady, aktualizując pierwotne ujawnienie dotyczące niedostosowania.
Z czasem zamierzamy opracować bardziej obiektywne kryteria ujawniania wspólnie z innymi twórcami, zewnętrznymi badaczami, branżowymi organizacjami normalizacyjnymi i organami regulacyjnymi. Uważamy również, że poważne incydenty związane z bezpieczeństwem, ochroną i niedostosowaniem należy zgłaszać rządowi federalnemu USA, dlatego pracujemy nad propozycją mechanizmów raportowania. Uważamy te ramy za uzupełnienie naszych obecnych zobowiązań i zaznaczamy, że nie zastępują one prawnych wymogów ujawniania informacji, w tym dotyczących krytycznych incydentów bezpieczeństwa lub naruszeń cyberbezpieczeństwa.
Wraz z wprowadzeniem nowych ram ujawniania niedostosowania publikujemy sześć raportów o przypadkach niedostosowanego zachowania zaobserwowanych podczas trenowania lub ewaluacji naszych modeli. Przypadki te ilustrują różne zachowania, które naszym zdaniem warto opisać — od ukrywania informacji przed użytkownikiem po podejmowanie niedozwolonych działań w celu pokonania przeszkód. Są to raporty o pojedynczych przypadkach, dlatego nie należy na ich podstawie oceniać częstotliwości występowania niedostosowania w naszych modelach. Każda pozycja poniżej zawiera łącze do pełnego raportu.
Samodzielnie wygenerowane instrukcje w podsumowaniach zadań(otwiera nowe okno). Nieudostępniony model badawczy umieścił niezwiązane z zadaniem instrukcje, w tym nakaz zignorowania swoich zwykłych ograniczeń, w podsumowaniach służących do kontynuowania pracy w nowym oknie kontekstu. Zidentyfikowaliśmy 27 takich podsumowań.
Instrukcje ukrywania błędów w podsumowaniach zadań(otwiera nowe okno). Podczas trenowania GPT‑5.6 Sol wiele instancji modelu dodawało do swoich podsumowań instrukcje, aby ukrywać przed użytkownikiem błędy lub niedostosowane zachowanie. Na przykład podsumowania powstałe w wyniku kompaktowania zawierały instrukcje, aby wymyślać brakujące dane historyczne bez ujawniania tego faktu oraz ukrywać niezgodności wersji źródłowych.
Przeszukiwanie publicznych repozytoriów pod kątem ujawnionych kluczy API, a następnie fabrykowanie informacji(otwiera nowe okno). Odpowiadając na rutynowe pytanie o dane dotyczące zarobków w jednym z hrabstw Kalifornii, model znalazł ujawniony klucz API i użył go bez upoważnienia. Gdy mimo to nie zdołał pobrać żądanych danych, zmyślił je i przedstawił jako pochodzące ze wskazanego źródła.
Przesyłanie plików do internetu w celu ich zacytowania(otwiera nowe okno). Gdy użytkownik poprosił nieudostępniony model o identyfikatory i nazwy jezior o powierzchni przekraczającej 5 000 000 metrów kwadratowych, agent znalazł prawidłową odpowiedź za pomocą Pythona. Ponieważ jednak instrukcje wymagały cytowania źródła z przeglądarki, agent postanowił bez pytania użytkownika przesłać plik do internetu, aby móc go zacytować w odpowiedzi.
Niedozwolone operacje zapisu i komunikacja za pośrednictwem wewnętrznego repozytorium oprogramowania(otwiera nowe okno). Podczas poszukiwania brakujących plików wejściowych modele używały wewnętrznego repozytorium oprogramowania jak tablicy ogłoszeń, aby wymieniać żądania i odpowiedzi między odrębnymi próbkami treningowymi, choć nie zdołały odzyskać tych plików. Raport analizuje również wcześniejszy przypadek, w którym model skutecznie przesłał pliki testowe do repozytorium, próbując obejść ograniczenia sieciowe.
Niedozwolone udostępnianie plików między współpracującymi agentami(otwiera nowe okno). Agenci współpracujący nad tym samym zadaniem treningowym korzystali z publicznych serwisów hostingu plików, aby wymieniać się plikami, gdy nie mogli uzyskać dostępu do lokalnych plików innych agentów. W rezultacie materiały będące wynikiem zadania stały się dostępne pod publicznymi adresami URL, mimo że w zadaniu wymagano od modeli korzystania wyłącznie z plików lokalnych.
Każdy pracownik OpenAI może zgłosić przypadek niedostosowania do zbadania przez nasze zespoły ds. bezpieczeństwa i dostosowania oraz poprosić o rozważenie jego publicznego ujawnienia. Rozpoczyna to proces ujawniania, w którym każdy etap ma określony termin, aby zapewnić terminowe przeprowadzenie dochodzenia i ujawnienie informacji.
Po zgłoszeniu przypadku nasi pracownicy techniczni zbadają, co się wydarzyło, jakie kwestie pozostają niepewne, czy publiczne ujawnienie jest uzasadnione oraz które fakty można udostępnić. Ocenią również, czy zdarzenie wpłynęło na jakąkolwiek stronę trzecią i czy należy ją powiadomić prywatnie przed publikacją.
Następnie przypadek zostanie przypisany do jednej z trzech ścieżek: Gotowy do ujawnienia, Ograniczone dochodzenie lub Rozszerzone dochodzenie („wolna ścieżka”).
Ścieżka Gotowy do ujawnienia obejmuje przypadki spełniające kryteria, których dochodzenie jest na tyle zaawansowane, że po weryfikacji można je opublikować. Ścieżka Ograniczone dochodzenie obejmuje przypadki wymagające dalszego badania technicznego. Spodziewamy się, że te dwie ścieżki obejmą zdecydowaną większość ujawnianych przypadków, zwłaszcza tych, które nie wymagają szeroko zakrojonego dochodzenia, koordynacji ze stronami trzecimi ani zarządzania poważnym ryzykiem nadużyć. Wszystkie publikowane dziś przypadki należą do jednej z tych dwóch ścieżek.
Ścieżka Rozszerzone dochodzenie obejmuje złożone dochodzenia, szczególnie te dotyczące stron trzecich. Jeżeli zdarzenie dotyczy strony trzeciej, nasze zobowiązania w zakresie ochrony, prawa i odpowiedzialnego ujawniania informacji mają pierwszeństwo przed tymi ramami. Postaramy się jak najszybciej opublikować wstępne zawiadomienie, ale ze względów bezpieczeństwa może być konieczne jego opóźnienie — na przykład jeśli model odkryje nieznaną wcześniej lukę w powszechnie używanym oprogramowaniu. Jeżeli raport umożliwiałby zidentyfikowanie strony trzeciej, zamierzamy powiadomić ją z wyprzedzeniem, nawet jeśli nie doszło do przekroczenia granicy bezpieczeństwa.
Wstępne zawiadomienie o przypadku w ścieżce Rozszerzone dochodzenie będzie zawierać ogólny opis zdarzenia, informację o ewentualnym udziale zewnętrznych ekspertów w dochodzeniu oraz, jeśli będzie to możliwe, przewidywany termin publikacji raportu końcowego. Incydent dotyczący OpenAI i Hugging Face należałby do tej ścieżki, gdyby został ujawniony zgodnie z tymi ramami.
Pracownik, który zgłosił dany przypadek, zostanie poinformowany o decyzji, czy go ujawnić, a jeśli tak — w której ścieżce zostanie rozpatrzony. Nierozstrzygnięte spory dotyczące ujawnienia lub wyboru odpowiedniej ścieżki będą kierowane do grupy SAG (Safety Advisory Group) OpenAI, złożonej z przedstawicieli kierownictwa różnych obszarów firmy. Grupa ta ocenia możliwości pionierskich modeli i zabezpieczenia, nadzoruje nasze Ramy gotowości oraz doradza kierownictwu OpenAI. Spory wewnątrz SAG oraz zastrzeżenia pracowników wobec jej decyzji będą przekazywane kierownictwu OpenAI. Decyzje o nieujawnianiu przypadku lub uznaniu, że jego ujawnienie nie jest uzasadnione, będą przekazywane kierownictwu odpowiedzialnemu za bezpieczeństwo i dostosowanie, a w miarę możliwości także odpowiednim pracownikom technicznym.
Możemy modyfikować ten proces ujawniania w miarę zdobywania doświadczeń w jego praktycznym stosowaniu, a wszelkie zmiany odnotujemy w tym artykule.
Każdy pełny raport będzie opisywać zaobserwowane zachowanie, jego powagę i ewentualny wpływ na podmioty zewnętrzne, okoliczności wystąpienia, datę lub przedział czasowy, moment wykrycia oraz — ogólnie — model lub modele, których dotyczył przypadek. W miarę możliwości udostępnimy również:
Szczegółowe informacje o zdarzeniu i wszelkich wynikających z niego szkodach;
Sposób wykrycia niedostosowania oraz zakres naszego dochodzenia;
Naszą interpretację znaczenia tego przypadku dla badań nad dostosowaniem i technicznym bezpieczeństwem AI;
Ważne pytania bez odpowiedzi, które nasuwa dany przypadek;
Działania podejmowane lub planowane w odpowiedzi na to zachowanie. Informacje te mogą nie zawsze być dostępne w chwili ujawnienia, ponieważ raport o niedostosowaniu możemy opublikować przed zakończeniem dochodzenia lub opracowaniem rozwiązania.
W przypadku niedostosowania występującego we wdrożeniach klientów udostępnimy tyle informacji, na ile pozwolą prywatność klientów i nasze zobowiązania umowne.
Publikowane dziś raporty stanowią pierwszy zestaw ujawnień, a nie pełny wykaz znanych przypadków niedostosowania ani trwających dochodzeń. Te pierwsze raporty nie mają przedstawiać pełnego zakresu ani powagi przypadków objętych tymi ramami. Zobowiązujemy się ujawniać przypadki niedostosowania spełniające kryteria tych ram, w tym bardziej złożone przypadki, które wymagają dłuższego dochodzenia lub koordynacji ze stronami trzecimi. Będziemy regularnie publikować kolejne raporty zgodnie z tymi ramami, a wraz z dalszym rozwojem naszych zobowiązań dotyczących raportowania przedstawimy więcej informacji na ich temat.
