Modele rozumujące mają trudność z kontrolą swojego łańcucha rozumowania — i to dobrze

Wraz z tym jak agenci AI stają się zdolni do wykonywania coraz bardziej złożonych i autonomicznych zadań, utrzymanie wiarygodnego nadzoru nad ich zachowaniem staje się coraz ważniejsze. Zgodnie z naszą zasadą iteracyjnego wdrażania badamy, jak systemy zachowują się w rzeczywistych warunkach i stale udoskonalamy zabezpieczenia w miarę rozwoju ich możliwości. W celu uzyskania coraz lepszych wyników nasze podejście do bezpieczeństwa⁠ wykorzystuje obronę warstwową (defense-in-depth) z wieloma uzupełniającymi się warstwami ochrony, takimi jak szkolenie pod kątem bezpieczeństwa⁠, testy behawioralne⁠, agentowa analiza kodu⁠(otwiera nowe okno) oraz monitorowanie chain-of-thought (CoT)⁠. Monitorowanie CoT analizuje kroki rozumowania, które agenci generują podczas realizacji zadań. Te ścieżki rozumowania mogą dostarczać cennych sygnałów zarówno podczas treningu, jak i wdrożenia, pomagając systemom monitorującym wykrywać sytuacje, w których zachowanie agenta może być niebezpieczne lub niezgodne z zamierzonymi celami użytkownika.

Obecnie stwierdzamy, że rozumowanie modeli jest na ogół interpretowalne i łatwe do monitorowania⁠. W przyszłości monitorowalność może jednak ulec załamaniu z wielu powodów⁠(otwiera nowe okno). Skupiamy się tu na jednym z takich scenariuszy: jeśli agenci staną się zdolni do celowego przekształcania lub zaciemniania swojego rozumowania, gdy wiedzą, że są monitorowani, ewaluacje mogą przeszacowywać poziom zbieżności systemu z celami użytkownika i jego bezpieczeństwo, a systemy monitorujące mogą stać się mniej wiarygodne. 

W tej pracy badamy, czy obecne modele rozumujące są w stanie kontrolować swój łańcuch rozumowania w sposób, który obniża monitorowalność. Zrozumienie tej zdolności jest ważne, aby zapewnić, że monitorowanie CoT pozostanie solidnym zabezpieczeniem, gdy systemy AI staną się bardziej zaawansowane. Odkrywamy, że obecne modele rozumujące mają trudność z kontrolą swoich CoT, nawet gdy są informowane, że są monitorowane. Choć kontrolowalność jest wyższa w przypadku większych modeli, spada, gdy prosimy modele o dłuższe rozumowanie oraz gdy przechodzą dodatkowy post-training. Nasze wyniki sugerują, że kontrolowalność CoT obecnie raczej nie stanowi poważnego zagrożenia dla monitorowalności CoT, choć w miarę rozwoju modeli ważne będzie dalsze prowadzenie ewaluacji.

Chain-of-thought odnosi się do pośrednich kroków rozumowania, które agent AI generuje podczas rozwiązywania zadania. Te ścieżki rozumowania mogą dostarczać użytecznych sygnałów bezpieczeństwa, pomagając systemom monitorującym ocenić, czy zachowanie agenta jest bezpieczne i zgodne z założeniami.

Kontrolowalność CoT to zdolność modelu rozumującego do kontrolowania właściwości jego CoT w sposób, który zmniejsza monitorowalność. Pomiar tej zdolności w pełnym spektrum realistycznych zachęt do omijania monitorów, jakich można oczekiwać w praktyce, jest trudny. Zamiast tego stosujemy praktyczny substytut: mierzymy zdolność modelu do podążania za instrukcjami użytkownika dotyczącymi jego CoT. Na przykład sprawdzamy, czy model potrafi stosować się do instrukcji wpływających na jego wewnętrzne rozumowanie — takich jak używanie wyłącznie małych liter, unikanie określonych słów kluczowych czy dodawanie konkretnych fraz — zamiast jedynie zmieniać widoczne wyjście.

Aby to zbadać, wprowadzamy CoT-Control, otwartoźródłowy zestaw ewaluacyjny do pomiaru kontrolowalności CoT modeli rozumujących. CoT-Control obejmuje ponad 13 000 zadań zbudowanych na bazie uznanych benchmarków: GPQA, MMLU-Pro, HLE, BFCL oraz SWE-Bench Verified⁠. Każde zadanie powstaje przez sparowanie problemu z benchmarku z jedną instrukcją CoT, taką jak unikanie określonych słów kluczowych związanych z problemem w CoT, używanie wyłącznie małych liter czy dopisywanie zadanego słowa do każdego zdania.

Przeprowadzamy ewaluacje 13 modeli rozumujących i stwierdzamy, że wszystkie mają trudność z wiarygodną kontrolą swoich CoT. Mierzymy kontrolowalność jako odsetek ścieżek rozumowania, w których model z powodzeniem stosuje się do naszych instrukcji CoT. Wśród modeli pionierskich wyniki kontrolowalności CoT są niskie — mieszczą się w przedziale od 0,1% i nie przekraczają 15,4% dla żadnego z testowanych obecnie modeli pionierskich. 

Ta niezdolność nie wynika z niezrozumienia zadania: modele często rozpoznają w swoim CoT, że nie stosują się do otrzymanych instrukcji CoT i — nawet po tym uświadomieniu — nadal nie potrafią ich spełnić. Ten zaskakująco niski poziom jest dobrą wiadomością w kontekście monitorowalności CoT: sugeruje, że modele mogą podobnie nie mieć zdolności do zaciemniania swojego rozumowania w celu ominięcia naszych monitorów.

Choć widzimy, że kontrolowalność rośnie wraz z rozmiarem modelu, stwierdzamy też, że szybko spada wraz ze wzrostem zakresu post-trainingu i mocy obliczeniowej używanej w czasie testu. Patrząc na dwie rodziny modeli open-weight, większe modele były nieco lepsze w kontrolowaniu swoich łańcuchów rozumowania, choć efekt ten słabł przy większych rozmiarach. Gdy pozwalaliśmy modelom „myśleć” dłużej, stawały się mniej zdolne do kontrolowania tych łańcuchów rozumowania. Zaobserwowaliśmy podobny trend w przypadku treningu RL modelu OLMo-3-7B-RL-Zero-Math: jego wynik kontrolowalności spadł w trakcie treningu ponad dziesięciokrotnie.

Kontrolowalność rośnie wraz ze skalą w modelach open-weight, ale pogarsza się przy dłuższym rozumowaniu i większym zakresie treningu RL.

Aby zasymulować realistyczne zachęty do omijania monitorów, mierzymy kontrolowalność, gdy modele są informowane, że są monitorowane lub ewaluowane. Powoduje to niewielki (ale zauważalny) wzrost kontrolowalności. Wykorzystujemy też automatyczną optymalizację poleceń (prompt optimization), aby znaleźć polecenia wywołujące wysoką kontrolowalność. Choć optymalizator potrafi zwiększyć kontrolowalność na zbiorze treningowym, zyski te słabo przenoszą się na nowe typy instrukcji (takie jak wymaganie braku spacji między słowami).

Zadania w CoT-Control są praktycznymi substytutami: idealna ewaluacja kontrolowalności CoT polegałaby na sprawdzeniu, czy modele, które naturalnie realizują niezgodne cele, potrafią kontrolować swój CoT, aby ominąć monitorowanie. Zamiast tego szacujemy zdolność agentów do kontrolowania swoich CoT, mierząc ich zdolność do podążania za instrukcjami dotyczącymi ich CoT. Co więcej, modele potrafią lepiej kontrolować niektóre cechy swojego CoT niż inne, a CoT-Control może zawyżać lub zaniżać kontrolowalność, mierząc jedynie wąski zestaw typów kontrolowalności.

Niska kontrolowalność CoT to zaleta, a nie wada. Niska kontrolowalność obecnych modeli rozumujących sprawia, że monitorowanie CoT jest bardziej godne zaufania jako zabezpieczenie. Jednocześnie wciąż nie rozumiemy, dlaczego kontrolowalność obecnych modeli rozumujących jest niska — ani czy ta właściwość utrzyma się, gdy modele staną się bardziej zaawansowane. Dlatego ewaluacje kontrolowalności CoT można traktować jako „canary eval”: wczesne ostrzeżenie, czy modele stają się lepsze w kształtowaniu lub ukrywaniu swojego rozumowania. 

Nasze wyniki sugerują, że kontrolowalność CoT obecnie raczej nie stanowi poważnego zagrożenia dla monitorowalności CoT. Niska kontrolowalność nie jest jednak sama w sobie wystarczająca, by zagwarantować wysoką monitorowalność, ponieważ ta może się pogorszyć także z innych powodów, takich jak bezpośrednia presja optymalizacyjna na CoT. 

Aby pomóc śledzić te dynamiki w czasie, zaczniemy raportować kontrolowalność CoT obok monitorowalności CoT⁠ w kartach systemu dla przyszłych modeli pionierskich, zaczynając od GPT‑5.4 Thinking, opierając się na naszym stałym zobowiązaniu⁠, by nie wywierać bezpośredniej presji optymalizacyjnej na CoT pionierskich modeli rozumujących.