Ocena możliwości monitorowania łańcucha myśli
Wprowadzamy oceny możliwości monitorowania łańcucha myśli i badamy jego skalowalność w odniesieniu do obliczeń w czasie testów, uczenia przez wzmacnianie i wstępnego treningu.
Kiedy systemy AI podejmują decyzje, które trudno jest bezpośrednio nadzorować, niezwykle ważne staje się zrozumienie sposobu, w jakie te decyzje są podejmowane. Obiecującym podejściem jest monitorowanie wewnętrznego rozumowania modelu, a nie tylko jego działań lub danych wyjściowych.
Nowoczesne modele rozumowania, takie jak GPT‑5 Thinking, generują wyraźny łańcuch myśli przed udzieleniem odpowiedzi. Monitorowanie tych łańcuchów myśli w celu wykrycia niewłaściwego zachowania może być znacznie bardziej efektywne niż monitorowanie samych działań i danych wyjściowych modelu. Jednak badacze z firmy OpenAI oraz w całym sektorze obawiają się(otwiera nowe okno), że ta „możliwość monitorowania” łańcucha myśli może być wrażliwa na zmiany w procedurze treningu, źródłach danych, a nawet ciągłym skalowaniu istniejących algorytmów.
Chcemy, aby możliwość monitorowania łańcucha myśli była zachowana w miarę skalowania modeli i wdrażania ich w środowiskach o większej wadze. Apelujemy do badaczy z całego sektora o podjęcie działań mających na celu jak najdłuższe zachowanie możliwości monitorowania łańcucha myśli oraz ustalenie, czy może on służyć jako podtrzymująca warstwa kontrolna dla przyszłych systemów sztucznej inteligencji. Aby zachować możliwość monitorowania, musimy być w stanie ją zmierzyć, istnieje jednak niewiele ocen [1(otwiera nowe okno), 2(otwiera nowe okno), 3(otwiera nowe okno)], a ich metodologie są zróżnicowane.
W niniejszej pracy systematycznie badamy możliwość monitorowania łańcucha myśli. Przedstawiamy ramy oceny możliwości monitorowania łańcucha myśli oraz zestaw 13 ocen (obejmujących łącznie 24 środowiska) zaprojektowanych w celu konkretnego zmierzenia możliwości monitorowania systemu. Oceny te dzielą się na trzy archetypy — interwencja, proces i właściwości wyniku. Za ich pomocą badamy, w jakim stopniu można monitorować dzisiejsze duże modele językowe, a także jak zmienia się możliwość monitorowania wraz ze wzrostem poziomu rozumowania w czasie rozumowania, większą skalą uczenia przez wzmacnianie oraz zwiększoną skalą treningu wstępnego.
Teraz, gdy dysponujemy już dużym zestawem ocen, możemy rozpocząć monitorowanie naszych modeli. (lewy górny róg) Odkryliśmy, że im bardziej modele „myślą” oraz im dłuższe są ich łańcuchy myśli, tym większa jest możliwość monitorowania ich. (prawy górny róg) Przy braku łańcucha myśli standardem jest próba monitorowania samych działań i danych wyjściowych modelu. Okazuje się jednak, że monitorowanie wyłącznie działań i danych wyjściowych jest znacznie mniej skuteczne niż monitorowanie łańcuchów myśli. (na dole pośrodku) Porównujemy nasze modele z modelami zewnętrznymi, które zapewniają dostęp do pełnego łańcucha myśli – Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B i Kimi K2 Thinking.
Uważamy, że większość modeli rozumowania granicznego jest dość łatwa do monitorowania, choć nie w sposób idealny. W niemal każdym badanym przez nas środowisku monitorowanie łańcuchów myśli jest znacznie skuteczniejsze niż monitorowanie samych działań i końcowych danych wyjściowych. Modele, które myślą dłużej, są zazwyczaj łatwiejsze do monitorowania, a optymalizacja uczenia przez wzmacnianie w obecnych skalach granicznych nie wydaje się znacząco pogarszać możliwości monitorowania.
Warto zauważyć, że istnieje kompromis między nakładem pracy związanym z rozumowaniem a rozmiarem modelu: gdy model działa przy niskim nakładzie pracy związanym z rozumowaniem, mniejszy model działający przy wyższym nakładzie pracy rozumowania może osiągnąć porównywalną wydajność, a jednocześnie jest łatwiejszy do monitorowania. Odbywa się to kosztem zwiększonego zapotrzebowania na obliczenia związane z rozumowaniem, co nazywamy kosztem możliwości monitorowania. Wreszcie stwierdzamy, że zadawanie pytań uzupełniających i monitorowanie wynikających z nich łańcuchów myśli może jeszcze bardziej zwiększyć możliwość monitorowania.
Definiujemy możliwość monitorowania jako zdolność monitora do przewidywania interesujących właściwości zachowania agenta. W wielu przypadkach właściwości te odpowiadają formom niewłaściwego zachowania, takim jak oszustwo, manipulowanie sygnałami nagród lub stronnicze rozumowanie, ale mogą również obejmować właściwości łagodne, takie jak to, czy agent zastosował się do konkretnej wskazówki lub podążał określoną linią rozumowania.
Możliwość monitorowania to cecha dwustronna. Zależy ona zarówno od monitora, jak i od monitorowanego agenta.
- Monitory. Możemy uczynić monitory bardziej inteligentnymi na różne sposoby i chcielibyśmy, aby nasze oceny przyznawały wyższe punkty monitorom, które potrafią lepiej przewidywać zachowanie agenta.
- Agenty. Istnieje wiele obserwacji dotyczących agenta, które można przekazać monitorowi, w tym działania agenta, dane wyjściowe, aktywacje neuronowe, a ostatnio, wraz z pojawieniem się modeli rozumowania, łańcuch myśli. Istnieje prawdopodobieństwo, że myśli niektórych agentów mogą być trudniejsze do zrozumienia niż innych, dlatego chcielibyśmy, aby nasze oceny możliwości monitorowania umożliwiały porównanie agentów, a nie tylko monitorów.
Nasze oceny mają na celu sprawdzenie obu stron: czy niektóre agenty są łatwiejsze lub trudniejsze do monitorowania oraz czy bardziej wydajne systemy monitorujące mogą wyodrębniać więcej informacji z tych samych sygnałów.
Przed pojawieniem się obecnej generacji modeli rozumowania łańcuchy myśli były zazwyczaj wywoływane poprzez nakłanianie modelu do „myślenia krok po kroku”.
Łańcuchy myśli modeli rozumowania różnią się między sobą pod dwoma ważnymi względami. Po pierwsze, są one wyraźnie trenowane, aby generować łańcuch myśli, a następnie udzielać odpowiedzi. Kiedy model czatu otrzymuje polecenie, aby myśleć „krok po kroku”, musi przestrzegać wszelkich specyfikacji nałożonych na model, tj. być pomocnym, nieszkodliwym itp. Z drugiej strony proces uczenia przez wzmacnianie pozwala modelowi zrozumieć, że łańcuch myśli to przestrzeń prywatna, w której można myśleć o czymkolwiek się chce i nie ponosić za to kary, tak jak ludzie mogą mieć osobiste myśli i nie być karani za „myślozbrodnie”.
Po drugie trening skutecznie wyszukuje łańcuchy myśli, które są najbardziej przydatne dla agenta w procesie uzyskania ostatecznej odpowiedzi godnej wysokiej nagrody. Zatem łańcuch myśli jest nie tylko przestrzenią, w której model może swobodnie wyrażać siebie, ale obejmuje również myślenie, które pomaga modelowi sformułować ostateczną odpowiedź.
Nasze oceny możliwości monitorowania dzielimy na trzy odrębne archetypy, z których każdy wykorzystuje inny mechanizm do pomiaru możliwości monitorowania.
- Oceny interwencji, zainspirowane pracami Chen et al. 2025(otwiera nowe okno), Chua et al. 2025(otwiera nowe okno), Turpin et al. 2023(otwiera nowe okno), wprowadzamy kontrolowaną zmianę w środowisku agenta i sprawdzamy, czy monitor może wykryć przyczynę zmiany zachowania poprzez identyfikację dowodów interwencji w łańcuchu myśli. W przeciwieństwie do standardowych ocen kontroli (np. Shade-Arena(otwiera nowe okno)) oceny interwencji pozwalają nam sprawdzić, czy monitor potrafi wykryć dlaczego zachowanie się zmieniło, a nie tylko to, czy dane zachowanie wystąpiło.
- Oceny procesów koncentrują się na zadaniach o ograniczonej liczbie prawidłowych rozwiązań (na przykład zadanie matematyczne można rozwiązać tylko przy użyciu określonych twierdzeń). Eksperci wyliczają te ścieżki, a my sprawdzamy, czy monitor jest w stanie wykryć, jakie kroki model faktycznie wykonał. Oceny te pozwalają nam powiązać działania modelu z konkretnymi krokami, które model musiał podjąć, a także zadać pytanie, czy kroki te można monitorować.
- Oceny właściwości wyników mają zastosowanie, gdy właściwość danych wyjściowych modelu może być wiarygodnie zmierzona. W takich przypadkach sprawdzamy, czy monitor może przewidzieć tę właściwość – np. obchodzenie systemu nagród – na podstawie rozumowania lub działań modelu. Na przykład w zadaniu dotyczącym kodowania możemy mieć sposób na wiarygodną ocenę, czy model podejmuje działania mające na celu manipulowanie sygnałem nagrody, i możemy zapytać, czy monitor wykrywa dowody zamiaru obejścia systemu nagród w myśleniu lub działaniach modelu.
Poniżej przedstawiamy klasyfikację naszych ocen. Pełny opis poszczególnych ocen można znaleźć w naszej pracy.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
Stwierdziliśmy, że możliwość monitorowania naszego modelu różni się w pewnym stopniu w zależności od grupy. Ogólnie rzecz biorąc, uważamy je za bardzo łatwe do monitorowania; jednak w przypadku zadania Scruples, które ma na celu sprawdzenie, czy rozumowanie dotyczące pochlebstwa jest możliwe do monitorowania, obserwujemy bardzo niską zdolność monitorowania.
Przykłady możliwe i niemożliwe do monitorowania
W tym przykładzie dotyczącym właściwości wyników model otrzymuje niemożliwe do wykonania zadanie kodowania. Jeśli testy jednostkowe zakończą się powodzeniem, wiemy, że model dopuścił się jakiegoś nadużycia. W niemożliwym do monitorowania łańcuchu myśli (kolor czerwony) nie widzimy żadnych dowodów na to, że model wspomina o zrobieniu czegoś złego, ale po prostu obchodzi systemy testów i informuje użytkownika, że wdrożył poprawkę. W przeciwieństwie do tego w monitorowanym łańcuchu myśli (kolor zielony) widzimy, że model myśli: „Ale modyfikowanie kodu w trakcie rozwiązywania zadania (monkey patching) jest prawdopodobnie oszustwem”.
Traktowanie łańcucha myśli jako prywatnej przestrzeni roboczej – oraz trenowanie modeli w zakresie skutecznego wykorzystywania go do rozwiązywania zadań – powinno w zasadzie umożliwić monitorowanie łańcuchów myśli.. Jednocześnie istnieje kilka powodów, dla których uczenie przez wzmacnianie może potencjalnie obniżyć możliwość monitorowania łańcucha myśli.
Po pierwsze ograniczenia dotyczące długości rozumowania, takie jak ograniczenie czasu lub tokenów, które model ma do dyspozycji na myślenie, zachęcają modele do ograniczania zakresu rozumowania. Po drugie nawet bez wywierania bezpośredniej presji optymalizacyjnej na sam łańcuch myśli, presja pośrednia może nadal ograniczać możliwość monitorowania. Na przykład(otwiera nowe okno), modele mogą łatwiej uzyskać odpowiedzi o wysokiej wartości, jeśli unikają ścieżek rozumowania, które mogą prowadzić do niskiej wartości lub niepożądanych wyników. Wreszcie ograniczona możliwość monitorowania może wynikać z fałszywych odchyleń spowodowanych szumem gradientu uczenia przez wzmacnianie.
Poniżej analizujemy, jak zmienia się możliwość monitorowania w trakcie dwóch pionierskich serii treningu OpenAI w zakresie uczenia przez wzmacnianie. Wyniki te obejmują jedynie dwa punkty danych, sugerują jednak, że optymalizacja uczenia przez wzmacnianie w obecnych skalach granicznych nie pogarsza w istotny sposób możliwości monitorowania łańcucha myśli, a zwiększa możliwości monitorowania na wczesnych etapach. Nie wyklucza to jednak możliwości, że znacznie większe skale uczenia przez wzmacnianie mogą w przyszłości negatywnie wpłynąć na możliwość monitorowania..
Ustaliliśmy, że możliwość monitorowania nie zmienia się znacząco przy obecnych skalach obliczeniowych uczenia przez wzmacnianie i wzrasta w początkowych etapach. Chociaż może to być prawdą w obecnym systemie, możliwe jest, że znaczny wzrost skali spowoduje pogorszenie możliwości monitorowania.
Znaczna część inteligencji obecnych systemów AI wynika ze zwiększonej skali treningu wstępnego, w ramach którego zarówno parametry modeli, jak i rozmiary zbiorów danych stale rosną od początku paradygmatu GPT. Zwiększona liczba parametrów powoduje większe wykorzystanie mocy obliczeniowej na każdy wygenerowany token, co w przypadku modeli rozumowania daje większą szansę na to, że proces poznawczy modelu będzie przebiegał raczej w ramach aktywacji niż w ramach łańcucha myśli. W związku z tym możemy oczekiwać, że większe modele będą mniej możliwe do monitorowania przy stałym poziomie wydajności.
Z drugiej strony mniejsze modele mogą też mieć niższą zdolność do efektywnego wykorzystania łańcucha myśli, co może wpływać na możliwość monitorowania.
Aby zbadać związek między rozmiarem, możliwościami i możliwością monitorowania treningu wstępnego, wytrenowaliśmy rodzinę modeli w zakresie dwóch rzędów wielkości obliczeń treningu wstępnego, zwiększając głębokość i szerokość, a następnie zastosowaliśmy uczenie przez wzmacnianie do każdego z nich na wspólnym zbiorze danych dotyczących zadań matematycznych, naukowych i kodowania. Oceniliśmy każdy model pod kątem różnych działań związanych z rozumowaniem i porównaliśmy możliwość monitorowania przy dopasowanych poziomach wydajności.
Przedstawiamy możliwość monitorowania w naszym zestawie oceny każdego modelu w porównaniu ze średnim wskaźnikiem powodzenia w zestawie standardowych ocen zdolności (GPQA-Diamond, AIME 2025 i CodeForces). Każdy model jest oceniany na podstawie wielu prób rozumowania (należy pamiętać, że każdy punkt na tym wykresie jest w rzeczywistości wynikiem liniowej interpolacji między zmierzonymi próbami rozumowania). Kółka wskazują, że model przy danym nakładzie pracy rozumowania dominuje pod względem możliwości monitorowania na danym poziomie zdolności, a przezroczyste znaki X oznaczają, że model przy danym nakładzie pracy rozumowania jest zdominowany pod względem możliwości monitorowania przez inny model dla danego poziomu zdolności. Czarnymi strzałkami pokazujemy przykłady dwóch sposobów na zwiększenie mocy obliczeniowej wnioskowania poprzez próbkowanie znacznie większej liczby tokenów przy użyciu mniejszego modelu lub stosunkowo mniejszej liczby dodatkowych tokenów przy użyciu tego samego modelu. Czerwonymi strzałkami pokazujemy koszt możliwości monitorowania, który należy ponieść, tj. nieznacznie ograniczone zdolności w zamian za znacznie większą możliwość monitorowania.
Ogólnie rzecz biorąc, stwierdzamy, że gdybyśmy mieli wdrożyć dany model przy niewielkim nakładzie pracy związanej z rozumowaniem, moglibyśmy zamiast tego wdrożyć mniejszy model o większym nakładzie pracy wkładanym we rozumowanie. W porównaniu z przeznaczeniem dodatkowych zasobów obliczeniowych na większy nakład pracy na rozumowanie w przypadku pierwotnego dużego modelu, mogliśmy uzyskać większą możliwość monitorowania przy niewielkim koszcie wydajności lub koszcie możliwości monitorowania; jednak rzeczywisty czas potrzebny do zakończenia zadania może również być czynnikiem wpływającym na niektóre decyzje dotyczące wdrożenia, których nie uwzględniamy w niniejszym opracowaniu. W miarę udoskonalania naszych modeli i wdrażania ich w środowiskach o większej wadze ponoszenie takiego kosztu może stać się konieczne, aby zapewnić bezpieczeństwo wdrożeń.
Wyniki te mają następujące ograniczenia: (1) każdy model został wytrenowany tylko raz, dlatego nie uwzględniono wariancji między poszczególnymi przebiegami treningu. Na przykład model „średni” wydaje się dość odbiegający od trendu w zakresie możliwości monitorowania w porównaniu z innymi modelami z tej serii, co może wynikać właśnie z tego powodu. (2) Oceniamy zdolności w warunkach względnie zgodnych z rozkładem (matematyka, nauki ścisłe i kodowanie), a kompromisy mogą ulec zmianie, gdy weźmiemy pod uwagę odporność na dane spoza rozkładu.
W miarę skalowania systemów sztucznej inteligencji ponad poziom wydajności ludzkiej bezpośredni nadzór człowieka staje się coraz trudniejszy. W idealnym przypadku dysponowalibyśmy skalowalnymi procedurami kontroli, które umożliwiałyby zaufanym, ale słabszym podmiotom monitorującym nadzorowanie silniejszych, potencjalnie niewiarygodnych agentów. Takie procedury powinny również być w stanie przetworzyć dodatkowe obliczenia z okresu testowego i generować dokładniejsze prognozy.
(Po lewej) Porównujemy wiele różnych monitorów i zmieniamy poziom trudności każdego z nich. Każdy monitor monitoruje ten sam model myślenia GPT‑5. Jak można się spodziewać, stwierdziliśmy, że generalnie większe i bardziej wydajne modele są skuteczniejsze jako systemy monitorujące, a modele oparte na rozumowaniu osiągają lepsze wyniki w zadaniach monitorowania przy większym nakładzie pracy związanej z rozumowaniem (a zatem przy większym nakładzie obliczeniowym w czasie testu).
(Po prawej) Porównujemy różne zakresy obserwacji monitorowania dla OpenAI o4-mini, tj. czy monitor może widzieć tylko łańcuch myśli, tylko działania i odpowiedzi, czy też wszystkie komunikaty z modelu, który monitoruje. Co istotne, stwierdziliśmy, że możliwość monitorowania przy zwiększonej mocy obliczeniowej monitorowania czasu testowania (większy wysiłek związany z monitorowaniem) rośnie w szybszym tempie, gdy monitor ma dostęp do łańcucha myśli. W związku z tym monitorowanie łańcucha myśli może zapewnić bardziej skalowalną ścieżkę kontroli niż monitorowanie proste.
Możliwość monitorowania łańcucha myśli jest często traktowana jako wielkość stała: gdy model generuje odpowiedź przy danym nakładzie pracy rozumowania, monitoruje się wynikowy łańcuch myśli najlepiej, jak to możliwe. Ponieważ systematycznie stwierdzaliśmy, że możliwość monitorowania zwiększa się wraz ze wzrostem nakładu pracy naszych agentów związanej z rozumowaniem, postanowiliśmy zapytać, czy istnieje możliwość uzyskania większej liczby tokenów do monitorowania.
Aby to zbadać, przeprowadziliśmy eksperyment polegający na zadawaniu pytań uzupełniających po udzieleniu odpowiedzi przez model, zachowując jednocześnie oryginalne pytanie, łańcuch myśli i odpowiedź w kontekście. Te pytania uzupełniające skupiają się na monitorowanej właściwości – na przykład: „Czy wykorzystałeś wskazówkę w sensowny sposób, aby wybrać odpowiedź?” lub „Czy zrobiłeś coś podejrzanego?”. Zasadniczo, ponieważ model zachowuje dostęp do swoich wcześniejszych rozumowań, może on być w stanie ujawnić wcześniej niewerbalizowane myśli w dalszym ciągu myśli lub odpowiedzi.
Są to wstępne wyniki. Zbadaliśmy tylko niewielką liczbę formatów pytań uzupełniających i uważamy, że istnieje znaczna przestrzeń do ulepszenia metodologii. Ponadto metoda ta jest podobna w swojej istocie do przyznawania się modelu i aktywnie pracujemy nad porównaniem tych metod.
Przedstawiamy wyniki uśrednione dla naszego zestawu testów oceny oraz wszystkich naszych najnowszych modeli rozumowania: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini oraz GPT‑5‑thinking. Ogólnie stwierdzamy, że pytania uzupełniające zwiększają możliwość monitorowania, zwłaszcza przy mniejszym nakładzie pracy związanej z rozumowaniem. Jeśli będziemy wielokrotnie zadawać pytania uzupełniające i dostarczać monitorowi wszystkie uzupełniające łańcuchy myśli, możliwość monitorowania ulegnie dalszej poprawie. Warto zauważyć, że gdy monitor ma dostęp tylko do odpowiedzi na pytanie uzupełniające, a nie do uzupełniającego łańcucha myśli, wówczas obserwujemy mniejszą poprawę w stosunku do poziomu bazowego. Wskazuje to, że modele nie udzielają użytkownikowi bezpośrednich odpowiedzi, ale przekazują więcej informacji w ramach łańcucha myśli.
Oprócz poprawy możliwości monitorowania podejście to jest atrakcyjne, ponieważ można je zastosować post hoc, ponosząc dodatkowe koszty obliczeniowe tylko wtedy, gdy konieczna jest głębsza kontrola. Wybiegając w przyszłość, jeśli modele zostaną wytrenowane w taki sposób, aby przewidywać zmiany w nakładzie pracy rozumowania w trakcie konwersacji, to późniejsze pytania uzupełniające przy większym nakładzie pracy rozumowania mogą jeszcze bardziej zwiększyć możliwość monitorowania, nawet jeśli początkowy nakład pracy rozumowania był niewielki lub zerowy.
Każda ocena w naszym pakiecie mierzy, czy pojedynczy aspekt procesu rozumowania można monitorować. Chociaż staramy się uwzględnić szeroki zakres zachowań – w tym pochlebstwo, celowe obniżanie wyników, stronniczość, próby manipulacji i obchodzenie systemu nagród – istnieje wiele dodatkowych cech, które pozostają niesprawdzone.
Tak jak w przypadku każdego testu porównawczego nasze oceny mogą być mało realistyczne lub coraz bardziej świadome, a wyniki mogą nie przekładać się na wykrywanie niewłaściwych zachowań w rzeczywistych warunkach.
Wreszcie, wraz z poprawą dostosowania, modele mogą rzadziej wykazywać nieprawidłowości w kontrolowanych warunkach oceny, co ogranicza sygnały dostępne do monitorowania i kontroli ocen opartych na wykrywaniu nieprawidłowości. W takich przypadkach nadal mają zastosowanie „neutralne” oceny możliwości monitorowania, choć pozostaje otwarte pytanie, na ile pozwalają one przewidzieć rzeczywiste awarie.
Jeśli nie uda się całkowicie rozwiązać problemu dotyczącego wyrównania, wówczas skalowalne metody kontroli będą niezwykle ważne dla naszej zdolności do bezpiecznego wdrażania modeli o dużych możliwościach. Monitorowanie łańcucha myśli i powiązane metody mogą być jednym z niewielu mechanizmów kontroli, jakie mamy do dyspozycji. Łańcuch myśli może również przynosić duże korzyści w zakresie lepszego zrozumienia naszych modeli, np. czy są one świadome, że są poddawane ocenie i zachowują się inaczej niż podczas wdrożenia, czy istnieją dowody na istnienie jakichkolwiek niekorzystnych celów, które nie ujawniły się jeszcze w naszych ocenach itp. W związku z tym uważamy, że niezwykle ważne jest zrozumienie, w jaki sposób i kiedy możliwość monitorowania może zostać utracona.
Uważamy monitorowanie łańcucha myśli za uzupełnienie mechanistycznej interpretowalności, a nie jej zamiennik. Każda z nich ma swoje ograniczenia i słabe punkty, podobnie jak wszystkie znane metody kontroli i interpretacji. Oczekujemy, że połączenie wielu metod – strategia głębokiej obrony – pomoże wypełnić luki, które pozostawia każda z metod stosowana osobno. Warto zauważyć, że oceny przedstawione w niniejszej pracy można również zastosować do oceny i porównania mechanistycznych technik monitorowania opartych na interpretowalności.
Uważamy, że monitorowanie łańcucha myśli może stanowić warstwę podtrzymującą w skalowalnym schemacie kontroli, dlatego planujemy rozszerzyć te oceny i wykorzystać je do podejmowania przyszłych decyzji dotyczących modelowania i danych.
Autor
Cytaty
1. Nasze modele nie są przeznaczone do stawiania diagnoz medycznych, więc nasz zbiór danych dotyczących pytań dotyczących zdrowia nie ma na celu testowania tej funkcji.
