Pierwszy etap niezależnych ocen prowadzonych wewnątrz OpenAI
Podpisaliśmy umowy z czterema niezależnymi organizacjami oceniającymi — Apollo Research, METR, Transluce i Goodfire — które przeprowadzą pierwszy etap ocen wewnątrz OpenAI. Wraz z szybkim rozwojem możliwości AI i wzrostem potencjalnego ryzyka publiczne raporty z niezależnych ocen mogą pomóc lepiej zrozumieć, jak laboratoria oceniają to ryzyko i nim zarządzają.
Oceny prowadzone wewnątrz organizacji zapewniają niezależnym ekspertom szeroki dostęp do wewnętrznych modeli i systemów laboratorium. Pozwala to przez dłuższy czas oceniać zgodność modeli z intencjami twórców i skuteczność zabezpieczeń, zwłaszcza w obszarach istotnych dla naszych uzasadnień bezpieczeństwa. Zależnie od potrzeb danej oceny eksperci otrzymują dostęp do części zasobów wewnętrznych, z których korzystają nasi badacze. Obejmują one punkty kontrolne modeli, kod źródłowy, dane szkoleniowe i ewaluacyjne, systemy monitorowania oraz dokumentację techniczną. Eksperci mogą też rozmawiać z badaczami i inżynierami odpowiedzialnymi za te prace. Dostęp ten zapewnia ekspertom dowody i kontekst potrzebne do prowadzenia niezależnych ocen oraz wykrywania błędów, których mogliśmy nie przewidzieć.
Pierwsze oceny dotyczą zgodności modeli z intencjami twórców oraz zabezpieczeń podczas szkolenia i użytku wewnętrznego. Uzupełniają nasze uzasadnienia bezpieczeństwa. Opierają się na naszych priorytetach i zasadach ocen zewnętrznych oraz wieloletniej współpracy z zewnętrznymi podmiotami oceniającymi. Obejmuje ona niedawną pilotażową ocenę naszych wewnętrznych systemów monitorowania(otwiera nowe okno) przy szerokim dostępie do zasobów wewnętrznych oraz analizę incydentu na platformie Hugging Face(otwiera nowe okno). Zdobyte doświadczenia wykorzystamy, by w nadchodzących miesiącach pogłębić współpracę z niezależnymi ekspertami. Działania te wspierają też realizację naszych zobowiązań wynikających z porozumienia Białego Domu w sprawie superinteligencji, w którym zgodziliśmy się na niezależne oceny naszych mechanizmów bezpieczeństwa. Ta współpraca może przyczynić się do wypracowania solidniejszych wspólnych standardów niezależnej oceny i przejrzystości wobec opinii publicznej w całej branży.
W ramach pilotażu Apollo Research(otwiera nowe okno) oceni, czy modele mogłyby potajemnie działać wbrew intencjom twórców i czy nasze zabezpieczenia wykryłyby takie zachowania. Na podstawie materiałów zebranych podczas szkolenia, testów bezpieczeństwa i wewnętrznego użytkowania modeli Apollo zweryfikuje w dwóch etapach cztery twierdzenia:
Szkolenie nie zachęcało do potajemnego działania wbrew intencjom twórców.
Rygorystyczne ewaluacje i kontrolowane ataki nie wywołują potajemnych działań wbrew intencjom twórców.
Modele nie próbowały potajemnie działać wbrew intencjom twórców podczas użytku wewnętrznego.
Rozumowanie prowadzące do takich działań byłoby wykrywalne.
W pierwszym etapie oceny Apollo zapewnimy dostęp do wybranych modeli — publicznych i nieudostępnionych — oraz punktów kontrolnych ze szkolenia, odpowiednich danych szkoleniowych i wyników ewaluacji, zapisów interwencji podczas szkolenia, systemów monitorowania i oznaczonych zachowań. Umożliwimy też kontakt z badaczami, którzy wyjaśnią kontekst, oraz udostępnimy narzędzia i moc obliczeniową do niezależnych testów.
Goodfire(otwiera nowe okno) oddeleguje do pracy wewnątrz OpenAI badaczy interpretowalności, którzy wykorzystają platformę Goodfire do analizy wewnętrznego działania modeli. Ocena koncentruje się na monitorowaniu przebiegu szkolenia, diagnozowaniu błędów i zgodności modeli z intencjami twórców. Głównymi odbiorcami ocen będą badacze OpenAI, którzy wykorzystają ustalenia do poprawy bezpieczeństwa. W miarę postępów współpracy Goodfire będzie też publikować wnioski i ustalenia.
Zamierzamy przeprowadzić z zespołem METR(otwiera nowe okno) dwie oceny dotyczące zgodności modeli z intencjami twórców i ich monitorowania:
Ocena zgodności z intencjami twórców: W pierwszym etapie METR oceni zachowania niezgodne z tymi intencjami w naszym największym dotąd cyklu uczenia przez wzmacnianie, w tym błędy, które mogły umknąć dotychczasowym testom i systemom monitorowania. W ramach wybranego cyklu oraz uzgodnionego dostępu, zasobów i zasad bezpieczeństwa METR samodzielnie ustalałoby priorytety oceny oraz iteracyjnie prowadziło poszukiwania, analizy i eksperymenty mające wywołać badane zachowania. Dostęp obejmie generowanie próbek z odpowiednich punktów kontrolnych, trajektorie szkoleniowe i ewaluacyjne oraz zapisy monitorowania zachowań niezgodnych z intencjami twórców w tym cyklu. W pierwszym etapie ocena obejmie nasz największy cykl uczenia przez wzmacnianie pionierskiego modelu.1
Ocena systemów monitorowania: Niedawno wspólnie z METR przeprowadziliśmy testy odporności systemów monitorowania2. Wstępnie uzgodniliśmy przeprowadzenie kolejnej oceny systemów monitorowania(otwiera nowe okno), która ma mieć szerszy zakres. Strony muszą go jednak jeszcze uzgodnić.
Transluce(otwiera nowe okno) przeprowadzi wstępną ocenę naszych ewaluacji zgodności modeli z intencjami twórców na etapie szkolenia następczego, sprawdzając ich jakość i zakres. Na potrzeby wstępnej oceny zapewnimy Transluce dostęp do wybranych modeli — publicznych i nieudostępnionych — naszych ewaluacji zgodności na etapie szkolenia następczego i ich istotnych wyników, pomocniczych danych o zachowaniu modeli oraz dokumentacji uzasadnień bezpieczeństwa. Umożliwimy też kontakt z badaczami, którzy wyjaśnią kontekst, oraz udostępnimy narzędzia i moc obliczeniową do niezależnych testów.
OpenAI i Transluce zamierzają też przeprowadzić kolejną, około ośmiotygodniową ocenę na początku 2027 roku. Zakłada ona dostęp do dodatkowych modeli, szerszy wgląd w nasze ewaluacje zgodności z intencjami twórców oraz informacje o tym, jak wyniki ewaluacji wpływają na decyzje o udostępnieniu modeli.
Przy udziale organizacji oceniających opracowaliśmy zasady i procesy, które pozwalają zapewnić szeroki dostęp przy zachowaniu bezpieczeństwa, poufności, nadzoru oraz niezależności i rzetelności ocen. Udostępniamy je, by wyjaśnić, jak będziemy współpracować z ekspertami oceniającymi wewnątrz organizacji, oraz rozwinąć dyskusję o normach takich ocen, które nie zostały jeszcze ustandaryzowane. Spodziewamy się, że zasady te będą wymagały zmian w miarę zdobywania wiedzy o tym, jak najlepiej prowadzić takie oceny. Zwłaszcza na początkowych etapach spodziewamy się technicznych trudności z dostępem, ograniczeń lokalowych, zmian w procedurach bezpieczeństwa i innych nieprzewidzianych problemów. Mamy nadzieję rozwiązywać te problemy wspólnie z ekspertami prowadzącymi oceny wewnątrz OpenAI i dzielić się zdobytymi doświadczeniami.
Każda współpraca zaczyna się od uzgodnienia zakresu, dostępu, zasobów i zasad bezpieczeństwa niezbędnych do przeprowadzenia rzetelnej oceny. Niektóre oceny weryfikują konkretne twierdzenia dotyczące bezpieczeństwa. Inne dają ekspertom przestrzeń do odkrywania nieoczekiwanych sposobów, w jakie określony system lub cykl szkolenia może zawieść. W obu przypadkach eksperci muszą mieć swobodę podążania za dowodami, doskonalenia metod i proponowania dalszych ocen, gdy uzasadniają to ustalenia. Mamy też proces rozpatrywania potrzeb dotyczących dodatkowego dostępu, które pojawiają się w toku ocen. Gdy bezpośredni dostęp mógłby ujawnić naszą najściślej chronioną własność intelektualną, taką jak wagi lub architektura modeli, rozważymy alternatywy, w tym wspólne prowadzenie analiz przez ekspertów oceniających i badaczy OpenAI.
Eksperci potrzebujący dostępu do szczególnie chronionych informacji poufnych będą pracować na miejscu w biurach OpenAI i otrzymają do pracy urządzenia OpenAI. Głównym celem jest ochrona informacji, do których uzyskują dostęp. Praca na miejscu umożliwia też ekspertom kontakt z wyznaczonymi pracownikami, którzy pomogą im korzystać z udostępnionych zasobów i wyjaśnią kontekst ocen. Oczekujemy również, że podczas eksperymentów i ewaluacji eksperci prowadzący oceny wewnątrz organizacji będą przestrzegać co najmniej3 takich samych standardów bezpieczeństwa jak pracownicy OpenAI.
Nasza Komisja ds. bezpieczeństwa (SSC), niezależna komisja nadzorcza zarządu OpenAI Foundation, będzie mieć wgląd w oceny prowadzone wewnątrz organizacji oraz możliwość sprawowania nadzoru przed ich rozpoczęciem, w trakcie i w momencie ich zakończenia. Będzie otrzymywać raporty w pełnej wersji, a zarówno eksperci, jak i Komisja ds. bezpieczeństwa będą mogli kontaktować się ze sobą w trakcie oceny, również poufnie. Spory między OpenAI a dowolnym podmiotem oceniającym będą kierowane do Grupy doradców ds. bezpieczeństwa i kierownictwa OpenAI, które będą miały określony czas na ich rozwiązanie. Komisja ds. bezpieczeństwa będzie niezwłocznie powiadamiana o każdym takim zgłoszeniu. Jeśli spór nie zostanie rozwiązany, sprawa trafi do rozstrzygnięcia przez Komisję ds. bezpieczeństwa.
Rozmowy z pracownikami pomagają ekspertom zrozumieć informacje wewnętrzne i kontekst prowadzonych prac. OpenAI upoważni wybranych pracowników do rozmów z ekspertami i przekaże im wytyczne. Eksperci będą mogli w razie potrzeby prosić o przeprowadzenie rozmów z dodatkowymi osobami. Aby zachęcić do otwartych, szczerych rozmów i chronić prywatność pracowników, rozmowy te pozostają nieoficjalne: mogą stanowić podstawę ocen, ale nie można ich publikować ani przypisywać pracownikom. W odrębnej procedurze eksperci mogą poprosić OpenAI o potwierdzenie, skorygowanie lub wyjaśnienie w formie oświadczenia informacji uzyskanych w rozmowach z pracownikami. Oświadczenia te nie są przypisywane konkretnym osobom ani nie mają przedstawiać ich indywidualnych poglądów. Eksperci mogą publikować oświadczenia potwierdzone przez OpenAI lub ujawnić, że OpenAI odmówiło potwierdzenia danego oświadczenia.
Jasne i przejrzyste zarządzanie konfliktami interesów — w tym związanymi z relacjami osobistymi, interesami finansowymi4 i innymi kwestiami — ma istotne znaczenie dla rzetelności i niezależności ocen. Okresy karencji5 również wymagają starannego zaplanowania, aby eksperci mogli odpowiedzialnie pracować dla różnych laboratoriów, zachowując ostrożność wobec informacji istotnych z punktu widzenia konkurencji. Wspólnie z ekspertami opracowujemy jasne procedury dotyczące konfliktów interesów i okresów karencji. Uwzględniają one elastyczny dobór środków ograniczających ryzyko oraz przejrzystość decyzji o wnioskowaniu o wyłączenie danej osoby z oceny.
Eksperci zachowują niezależność w publikowaniu ocen, ale my zachowamy prawo do wyłączania informacji poufnych z publikacji, zgodnie z zasadami wcześniejszej współpracy z podmiotami zewnętrznymi. Możemy też wnioskować o opóźnienie publikacji w ramach odpowiedzialnego ujawniania informacji, aby zyskać czas na reakcję na ustalenia mogące stwarzać zagrożenia dla bezpieczeństwa oraz na usunięcie pozostałych problemów.
Publiczne raporty pomogą zrozumieć ustalenia i ich ograniczenia, a poufne raporty zawierające więcej szczegółów dostarczą organom nadzorczym dowodów potrzebnych do działania. Chcemy, by te oceny usprawniały wykrywanie zagrożeń i reagowanie na nie oraz dawały opinii publicznej jaśniejsze podstawy do oceny naszych działań na rzecz bezpieczeństwa.
Te oceny wnoszą niezależną perspektywę do naszych bieżących prac nad zgodnością modeli z intencjami twórców i bezpieczeństwem. Publiczne raporty z ustaleń zwiększą przejrzystość tych prac i dadzą większą pewność co do sposobu wykrywania zagrożeń i reagowania na nie. Oczekujemy, że ten pierwszy etap ocen z czasem przerodzi się w długofalową, stałą współpracę z ekspertami działającymi wewnątrz organizacji. Pozwoli to regularnie otrzymywać niezależne informacje o bezpieczeństwie i zalecenia usprawnień dotyczące naszych kluczowych twierdzeń i uzasadnień w zakresie bezpieczeństwa.
Będziemy nadal współpracować z wieloma niezależnymi podmiotami zewnętrznymi, by wspierać rozwój sprawnie działającego ekosystemu ocen, opartego na różnorodnej wiedzy i podejściach. Niektóre badania wymagają długotrwałej pracy na miejscu z systemami wymagającymi szczególnej ochrony. Inne skupiają się na ocenie modeli już wdrożonych lub bliskich wdrożenia bądź na przeglądzie publicznej dokumentacji.
W nadchodzących miesiącach będziemy wspierać zewnętrzne oceny obejmujące szerszy zakres zagadnień bezpieczeństwa. Rozważamy też przyszłe oceny prowadzone wewnątrz organizacji, które sprawdzałyby przestrzeganie naszych ram bezpieczeństwa, a także kulturę organizacyjną i procesy. Zobowiązujemy się rozwijać te działania oraz wspierać tworzenie potencjału i wspólnych standardów niezbędnych do ich kontynuowania.
Autorzy
Przypisy
- 1
Ten zakres jest węższy niż opisany przez METR w propozycji oceny zgodności z intencjami twórców(otwiera nowe okno), która zakłada szeroki przegląd zachowań niezgodnych z tymi intencjami.
- 2
Niedawno przeprowadziliśmy z METR trzytygodniowe ćwiczenie polegające na kontrolowanych atakach na systemy monitorowania. Aby umożliwić zespołowi METR lepsze zrozumienie tych systemów, zapewniliśmy mu dostęp do naszego kodu, systemów monitorowania i odpowiednich trajektorii działania, a także możliwość rozmów z badaczami OpenAI. https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/(otwiera nowe okno)
- 3
- 4
Apollo Research i Goodfire przyjmują wynagrodzenie pieniężne za swoją pracę, ale nie jest ono uzależnione od wyników oceny. METR i Transluce nie przyjmują wynagrodzenia pieniężnego za swoje oceny, ale mogą przyjmować środki na korzystanie z API lub moc obliczeniową do wykorzystania w tych ocenach. Nie uważamy, by przyjmowanie wynagrodzenia pieniężnego uniemożliwiało ekspertom zachowanie niezależności, ale uważamy za ważne ujawnienie tego faktu.
- 5


