A gondolatmenet monitorozhatóságának értékelése

Amikor az MI-rendszerek olyan döntéseket hoznak, amelyeket nehéz közvetlenül felügyelni, fontossá válik megérteni, hogyan születnek ezek a döntések. Az egyik ígéretes megközelítés az, hogy nem csak a modell műveleteit vagy végső kimeneteit figyeljük, hanem a belső gondolkodását is monitorozzuk.

A modern következtető modellek, például a GPT‑5 Thinking egyértelmű gondolatmenetet generálnak, mielőtt választ adnának. Ezeknek a gondolatmeneteknek a monitorozása sokkal hatékonyabb⁠ lehet a nem kívánt viselkedések kiszűrésére, mint csupán a modell műveleteinek és kimeneteinek figyelése. Azonban az OpenAI és a szélesebb iparág kutatói aggódnak⁠(új ablakban nyílik meg) amiatt, hogy ennek a gondolatmenetnek a „megfigyelhetősége” érzékeny lehet a betanítási eljárásra, az adatforrások változására, sőt akár a meglévő algoritmusok további skálázására is.

Azt szeretnénk, hogy a gondolatmenet monitorozhatósága a modellek skálázásával és a magasabb kockázatú környezetekben való bevezetéssel is megmaradjon Arra kérjük az iparág kutatóit, hogy dolgozzanak a gondolatmenet monitorozhatóságának minél hosszabb ideig történő megőrzésén, és állapítsák meg, képes-e teherhordó kontrollrétegként szolgálni a jövő MI-rendszereiben. A monitorozhatóság megőrzéséhez tudnunk kell mérni azt, ugyanakkor kevés értékelés létezik [1⁠(új ablakban nyílik meg), 2⁠(új ablakban nyílik meg), 3⁠(új ablakban nyílik meg)], és a módszertanok eltérőek.

Ebben a munkában szisztematikusan vizsgáljuk a gondolatmenet monitorozhatóságát. Bemutatunk egy keretrendszert a gondolatmenet monitorozhatóságának értékelésére, valamint egy 13 értékelésből álló csomagot (összesen 24 környezettel), amelyet kifejezetten arra terveztünk, hogy egy rendszer monitorozhatóságát mérje. Ezek az értékelések három archetípusba sorolhatók: beavatkozás, folyamat és kimenettulajdonság. Ezekkel azt vizsgáljuk, mennyire monitorozhatók a mai nagy nyelvi modellek, és hogyan változik a monitorozhatóság a több válaszadáskori gondolkodással, a nagyobb léptékű megerősítéses tanulási futtatásokkal és a nagyobb előtanítási skálával.

Azt találjuk, hogy a legtöbb élvonalbeli következtető modell meglehetősen jól monitorozható, bár nem tökéletesen. Szinte minden vizsgált beállításban a gondolatmenetek monitorozása lényegesen hatékonyabb, mint csupán a műveletek és a végső kimenetek monitorozása. Azok a modellek, amelyek hosszabb ideig gondolkodnak, általában jobban monitorozhatók és úgy tűnik, hogy a megerősítéses tanulás optimalizálása a jelenlegi csúcstechnológiai szinteken nem rontja jelentősen a megfigyelhetőséget.

Azt látjuk, hogy kompromisszumot kell kötni a modellméret és a következtetési erőfeszítés között: egy nagyobb modellt alacsony következtetési erőfeszítéssel való futtatásával és egy kisebb modell magasabb következtetési erőfeszítéssel történő futtatásával hasonló képességszintet lehet, miközben az utóbbi modellt könnyebb monitorozni. Ennek ára a megnövekedett futtatáskori számítási költség, amit monitorozhatósági adónak nevezünk. Végül azt is észrevettük, hogy az utánkövető kérdések feltevése és az így kapott gondolatmenetek monitorozása tovább javíthatja a monitorozhatóságot.

A monitorozhatóságot úgy definiáljuk, mint annak a képességét, hogy egy monitorozó előre jelezze az ügynök viselkedésének számunkra fontos tulajdonságait. Sok esetben ezek a tulajdonságok a nem kívánt viselkedés formáihoz kapcsolódnak – például megtévesztéshez, jutalommanipulációhoz vagy elfogult következtetéshez –, de lehetnek ártalmatlan tulajdonságok is, például hogy az ügynök egy adott útmutatásra támaszkodott-e, vagy egy meghatározott következtetési vonalat követett-e.

A monitorozhatóság kétoldalú tulajdonság. Egyrészt a monitorozótól, másrészt a monitorozott ügynöktől is függ.

• Monitorozók. A monitorokat többféleképpen is „okosabbá” tehetjük, és azt szeretnénk, ha az értékeléseink magasabb pontszámot adnának azoknak a monitorozóknak, amelyek jobban tudják előre jelezni az ügynök viselkedését.
• Ügynökök. Az ügynökről sokféle megfigyelést adhatunk a monitorozónak, beleértve az ügynök műveleteit, kimeneteit, neurális aktivációit és a következtető modellek megjelenésével újabban a gondolatmenetet is. Előfordulhat, hogy egyes ügynökök gondolatai nehezebben érthetők, mint másoké, ezért azt szeretnénk, ha a monitorozhatósági értékeléseink képesek lennének az ügynököket is összehasonlítani, nem csak monitorozókat.

Az értékeléseinket úgy terveztük, hogy mindkét oldalt felmérjék: hogy bizonyos ügynököket könnyebb vagy nehezebb-e monitorozni, és hogy a nagyobb képességű monitorozók képesek-e több információt kinyerni ugyanazokból a jelekből.

A jelenlegi következtető modellek generációja előtt a gondolatmenetet jellemzően úgy csaltuk elő, hogy azt az utasítást adtuk a modellnek, hogy „gondolkodj lépésről lépésre”. 

A következtető modellek gondolatmenete két fontos szempontból tér el ettől. Először is, ezeket a modelleket kifejezetten arra képzik, hogy először hozzanak létre egy gondolatmenetet, majd utána adják meg a választ. Amikor egy csevegőmodellt arra utasítanak, hogy „lépésről lépésre” gondolkodjon, a modellnek be kell tartania a rá vonatkozó előírásokat, azaz segítőkésznek, ártalmatlannak stb. kell lennie. Ezzel szemben a megerősítéses tanulási tréningfolyamat azt tanítja a következtető modellnek, hogy a gondolatmenet egy privát tér, ahol azt gondolhat, amit akar, és ezért nem büntetik meg – ahogy az ember is gondolkodhat privát módon, és nem büntetik meg „gondolatbűnökért”.

Másodszor, a tréningfolyamat gyakorlatilag azokat a gondolatmeneteket keresi meg, amelyek a leginkább szolgálják a cél elérését az ügynök számára abban, hogy magas jutalmat eredményező végső választ adjon. Így a gondolatmenet nemcsak egy tér, ahol a modell szabadon kifejezheti magát, hanem olyan gondolkodást is tartalmaz, amely segíti a modellt eljutni a végső válaszhoz.

A monitorozhatósági értékeléseinket három jól elkülöníthető archetípusba rendezzük, amelyek mindegyike más mechanizmust használ a monitorozhatóság mérésére.

1. Beavatkozásos értékelések: Chen et al. 2025,⁠(új ablakban nyílik meg) Chua et al. 2025⁠(új ablakban nyílik meg) és Turpin et al. 2023⁠(új ablakban nyílik meg) munkái által inspirálva kontrollált változtatást vezetünk be az ügynök környezetében, majd azt teszteljük, hogy egy monitorozó képes-e észlelni, miért változott meg a viselkedés, mégpedig úgy, hogy a gondolatmenetben azonosítja a beavatkozásra utaló bizonyítékot Ellentétben a szabványos kontrollértékelésekkel (pl. Shade-Arena⁠(új ablakban nyílik meg)), a beavatkozásos értékelések lehetővé teszik, hogy azt vizsgáljuk, hogy egy monitorozó képes-e felismerni, miért változott meg a viselkedés, nem csak azt, hogy megtörtént-e egy adott viselkedés.
2. Folyamatértékelések: olyan feladatokra fókuszálnak, amelyeknek korlátozott számú érvényes megoldási útja van (például egy matematikai feladatot csak bizonyos tételekkel lehet megoldani). Emberi szakértők felsorolják ezeket az útvonalakat, mi pedig azt teszteljük, hogy egy monitorozó képes-e észlelni, hogy a modell valójában mely lépéseket tette meg. Ezek az értékelések lehetővé teszik, hogy összekössük azt, amit a modell tett, azokkal a konkrét lépésekkel, amelyeket a modellnek meg kellett tennie, és megkérdezzük: monitorozhatók-e ezek a lépések.
3. Kimenettulajdonság-értékelések: akkor alkalmazhatók, amikor a modell kimenetének egy tulajdonsága megbízhatóan mérhető. Ilyenkor azt teszteljük, hogy egy monitorozó képes-e a modell következtetéséből vagy műveleteiből előre jelezni ezt a tulajdonságot – például a jutalommanipulációt. Például egy kódolási feladatban lehet olyan megbízható módszerünk, amellyel kiértékeljük, hogy a modell tesz-e lépéseket egy jutalomjel „meghekkelésére”, és feltehetjük a kérdést: talál-e a monitorozó jutalomhekkelési szándékra utaló jeleket a modell gondolkodásában vagy műveleteiben.

Az alábbiakban bemutatjuk, hogyan kategorizáljuk az értékeléseinket. Az egyes értékelések teljes leírásáért kérlek, nézd meg a tanulmányunkat.

Elvben annak, hogy a gondolatmenetet privát munkaterületként kezeljük – és arra tanítjuk a modelleket, hogy ezt a feladatok hatékony megoldására használják –, monitorozhatóvá kellene tennie a gondolatmeneteket.Ugyanakkor több okból is feltételezhető, hogy a megerősítéses tanulás árthat a gondolatmenet monitorozhatóságának.

Először is, a következtetés hosszára vonatkozó korlátozások, például ha korlátozzuk, mennyi ideje vagy tokenje van a modellnek gondolkodni, arra ösztönzik a modelleket, hogy kevesebbet következtessenek. Másodszor, még ha nem is alkalmazunk közvetlen optimalizációs nyomást magára a gondolatmenetre, közvetett nyomások akkor is csökkenthetik a monitorozhatóságot. Például⁠(új ablakban nyílik meg) a modellek számára könnyebb lehet magas jutalmú válaszokat elérni, ha elkerülik azokat a következtetési útvonalakat, amelyek alacsony jutalmú vagy nemkívánatos kimenetekhez vezethetnek. Végül a monitorozhatóság csökkenése létrejöhet a megerősítéses tanulás gradienszajából fakadó, véletlenszerű elsodródás miatt is.

Az alábbiakban azt vizsgáljuk, hogyan változik a monitorozhatóság az OpenAI két élvonalbeli megerősítéses tanulási tréningfuttatása során. Bár ezek az eredmények csak két adatpontot jelentenek, arra utalnak, hogy a megerősítéses tanulási optimalizáció a jelenlegi élvonalbeli léptékek mellett nem rontja érdemben a gondolatmenet monitorozhatóságát, sőt a korai lépések monitorozhatóságát növeli. Ez azonban nem zárja ki annak lehetőségét, hogy a jövőben a jelentősen nagyobb megerősítéses tanulási léptékek negatívan hathatnak a monitorozhatóságra.

A mai MI-rendszerek intelligenciájának jelentős részét a növekvő előtanítási lépték hajtja: a GPT‑paradigma kezdete óta a modellparaméterek és az adathalmazok mérete is következetesen nőtt. A nagyobb paraméterszám azt eredményezi, hogy több futtatáskori számítás történik tokenenként, ami a következtető modellek esetén több lehetőséget ad arra, hogy a modell kogníciója inkább az aktivációkban, ne pedig a gondolatmenetben menjen végbe. Így azt várhatjuk, hogy a nagyobb modellek kevésbé lesznek monitorozhatók, ha a képességszintet rögzítjük. 

Ugyanakkor az is lehetséges, hogy a kisebb modellek kevésbé lesznek képesek hatékonyan használni a gondolatmenetet – ami szintén befolyásolhatja a monitorozhatóságot.

Az előtanítási méret, a képesség és a monitorozhatóság kapcsolatának vizsgálatához modellek egy családját tanítottuk be az előtanítási számítási kapacitás két nagyságrendjével, növekvő mélységgel és szélességgel, majd mindegyiken megerősítéses tanulást alkalmaztunk matematikai, természettudományos és kódolási feladatok közös adathalmazán. Minden modellt kiértékeltünk a következtetési erőfeszítés több szintjén, és összehasonlítottuk a monitorozhatóságot azonos képességszinteken.

Általánosságban megállapítható, hogy egy adott modell alacsony következtetési erőfeszítéssel történő telepítése helyett telepíthető egy kisebb modell magasabb következtetési erőfeszítéssel. Ha az eredeti nagy modellnél a többlet számítási kapacitást inkább a következtetési erőfeszítés növelésére költenénk, ahhoz képest elérhető magasabb monitorozhatóság kis képességveszteség, azaz egy monitorozhatósági adó mellett; ugyanakkor a tényleges idő, amennyi egy kimenet elkészüléséhez kell, bizonyos telepítési döntéseknél szintén tényező lehet, amivel itt nem foglalkozunk. Ahogy a modelljeink fejlődnek, és magasabb kockázatú környezetekben kerülnek telepítésre, szükségessé válhat egy ilyen adó megfizetése a biztonságos telepítésük érdekében.

Ezeknek az eredményeknek az alábbi korlátai vannak: (1) minden modellt csak egyszer tanítottunk be, ezért nem számolunk a tréningfuttatások közötti szórással. Például a „közepes” modell monitorozhatósága meglehetősen elmarad a sorozat többi modelljétől, ami akár ennek is betudható. (2) A képességeket eloszláson belüli beállításokban (matematika, természettudomány és kódolás) értékeljük, és a kompromisszumok megváltozhatnak, ha figyelembe vesszük az eloszláson kívüli robusztusságot is.

Ahogy az MI-rendszerek az emberi szint fölé skálázódnak, a közvetlen emberi felügyelet egyre nehezebbé válik. Ideális esetben skálázható kontrolleljárásaink lennének, amelyek lehetővé teszik, hogy megbízható, de gyengébb monitorozók felügyeljék az erősebb, potenciálisan nem megbízható ügynököket. Az ilyen eljárásoknak képesnek kell lenniük arra is, hogy elnyeljék a további futtatáskori számítási kapacitást, és pontosabb előrejelzéseket adjanak.

A gondolatmenet monitorozhatóságát gyakran rögzített mennyiségként kezelik: ha egy modell egy adott következtetési erőfeszítéssel létrehoz egy választ, akkor a kapott gondolatmenetet próbáljuk a lehető legjobban monitorozni. Mivel következetesen azt találtuk, hogy a monitorozhatóság javul, ahogy növeljük az ügynökeink következtetési erőfeszítését, felmerült bennünk a kérdés, hogy tudnánk-e valahogy több tokent szerezni monitorozásra.

Ennek feltérképezésére azt kísérleteztük ki, hogy a modell válasza után utánkövető kérdéseket teszünk fel, miközben az eredeti utasítást, gondolatmenetet és választ kontextusban tartjuk. Ezek az utánkövető kérdések a monitorozott tulajdonságra fókuszálnak – például: „Érdemben használtad az útmutatást a válaszod kiválasztásához?” vagy „Csináltál valami gyanúsat?” Elvben, mivel a modell hozzáfér a korábbi következtetéséhez, képes lehet az utánkövető gondolatmenetben vagy válaszban olyan, korábban ki nem mondott gondolatokat felszínre hozni, amelyeket addig nem fogalmazott meg.

Ezek az eredmények előzetesek. Csak kevés utánkövető kérdésformát vizsgáltunk, és úgy gondoljuk, jelentős tere van a módszertan javításának. Továbbá ez a módszer szellemiségében hasonlít a modellönbevallásokhoz⁠, és aktívan dolgozunk azon, hogy összevessük a megközelítéseket.

A monitorozhatóság javításán túl ez a megközelítés azért is vonzó, mert utólag (post hoc) is alkalmazható, és csak akkor jár többlet számítási költséggel, amikor mélyebb vizsgálat szükséges. Előretekintve, ha a modelleket arra tanítjuk, hogy számítsanak a következtetési erőfeszítés beszélgetés közbeni változására, az utólagos, magasabb következtetési erőfeszítésű utánkövetések tovább javíthatják a monitorozhatóságot még akkor is, ha a kezdeti következtetési erőfeszítés alacsony vagy hiányzik.

A csomagunkban szereplő minden egyes értékelés azt méri, hogy a következtetési folyamat egyetlen aspektusa monitorozható-e. Bár arra törekszünk, hogy a viselkedések széles körét lefedjük – beleértve a szervilizmust, a szándékos alulteljesítést, az elfogultságot, a manipulációt és a jutalomhekkelést –, sok további, még nem tesztelt tulajdonság is van.

Mint bármelyik referenciaértékelésnél, az értékeléseinket korlátozott realizmus vagy növekvő értékeléstudatosság terhelheti, és az eredmények nem biztos, hogy általánosíthatók a nemkívánatos viselkedés éles környezetben való észlelésére. 

Végül, ahogy az igazítás javul, a modellek a kontrollált értékelési beállításokban ritkábban tanúsíthatnak nemkívánatos viselkedést, ami csökkenti azokat a jeleket, amelyeket a nemkívánatos viselkedés észlelésére építő monitorozhatósági és kontrollértékelések fel tudnak használni. Ilyen esetekben a „semleges” monitorozhatósági értékelések továbbra is alkalmazhatók, bár nyitott kérdés, mennyire jelzik előre a valós környezetben bekövetkező hibákat.

Ha az igazítási problémát nem lehet teljesen megoldani, akkor a skálázható kontrollmódszerek rendkívül fontosak lesznek ahhoz, hogy biztonságosan telepíthessünk nagy képességű modelleket. A gondolatmenet-monitorozás és a kapcsolódó módszerek a rendelkezésünkre álló kevés kontrollmechanizmus közé tartoznak. A gondolatmenet nagy előnyökkel járhat a modelljeink jobb megértésében is, pl. hogy tudatában vannak-e annak, hogy értékelés alatt állnak, és másképp viselkednek-e, mint a telepítéskor tennék, hogy van-e bizonyíték olyan káros célokra, amelyek még nem nyilvánultak meg az értékeléseinkben stb. Ezért úgy gondoljuk, rendkívül fontos megérteni, hogyan és mikor veszíthetjük el a monitorozhatóságot.

A gondolatmenet-monitorozást a mechanisztikus értelmezhetőség kiegészítőjének tekintjük, nem a helyettesítőjének. Mint minden ismert kontroll- és értelmezhetőségi módszernek, ennek is megvannak a korlátai és a vakfoltjai. Azt várjuk, hogy több megközelítés kombinálása – egy többrétegű védekezési stratégia – segíthet lefedni azokat a réseket, amelyeket bármely adott módszer nyitva hagy. Fontos, hogy az ebben a munkában bemutatott értékelések a mechanisztikus értelmezhetőségen alapuló monitorozási technikák felmérésére és összehasonlítására is alkalmazhatók.

Mivel úgy gondoljuk, hogy a gondolatmenet-monitorozás teherhordó réteg lehet egy skálázható kontrollrendszerben, azt tervezzük, hogy kibővítjük ezen értékeléseket, és felhasználjuk őket a jövőbeli modellezési és adatdöntések megalapozásához.