Modellviselkedés előrejelzése kiadás előtt telepítésszimulációval

Egy új modell kiadása előtt a laboroknak nemcsak azt kell megérteniük, mire képes, hanem azt is, hogyan fog valószínűleg viselkedni a valós használatban, beleértve azt is, hol vezethet be új kockázatokat. Ez a képességek növekedésével még fontosabbá válik. A telepítés előtti biztonsági felülvizsgálat részeként célzott értékeléseket, red teaminget és más ellenőrzéseket használunk a modell viselkedésének megértésére. Most már elkezdtünk használni egy módszert a modelltelepítések előzetes szimulálására, amely kiegészítő jelzést ad: telepítésszerű előnézetet arról, hogyan viselkedhet egy jelölt modell, mielőtt eljut a felhasználókhoz.

A Telepítésszimuláció egy módszer egy jövőbeli telepítés előzetes szimulálására. Ezt úgy tesszük, hogy korábbi beszélgetéseket játszunk vissza adatvédelmet megőrző módon egy új jelölt modellel. Ez lehetővé teszi, hogy a kiadás előtt valósághű kontextusokban vizsgáljuk, hogyan válaszol az új modell, beleértve azt is, megjelennek-e új nemkívánatos viselkedések, és milyen gyakran fordulhatnak elő.

Több GPT‑5 sorozatú Thinking-telepítésben a Telepítésszimuláció javította a nemkívánatos modellviselkedési arányokra adott becsléseinket, segített a félreigazodás új formáinak felszínre hozásában a kiadás előtt, és csökkentette annak kockázatát, hogy a modellek felismerjék, hogy tesztelik őket. A módszert kihívást jelentő ügynöki bevezetésekre is alkalmaztuk, megmutatva, hogy a szokásos csevegésen túl bonyolultabb, eszközhasználatot igénylő ügynökös környezetekre is kiterjeszthető, és belső modelltelepítések előtti kockázatértékelésre is használható.

A Telepítésszimulációból származó meglátásokat már felhasználtuk a modellfejlesztés során a hagyományos értékelések vakfoltjainak azonosítására, valamint a mitigációk és telepítési döntések támogatására. Ahogy megkönnyítjük a folyamat futtatását, arra számítunk, hogy nagyobb szerepet kap majd a jövőbeli modellfejlesztési folyamatban.

Az iparágban használt telepítés előtti értékelések általában szintetikus, kézzel írt vagy éles környezetből származó utasítások keverékéből állnak, amelyeket szándékosan úgy választanak ki, hogy nehezek, nagy súlyosságúak vagy adverszáriusak legyenek. Ezeknek az értékeléseknek általában két összefonódó céljuk volt: felmérni, hogyan reagál a modell stresszteszt során olyan helyzetekben, amelyeknek nagyon kicsi az esélye a telepítési forgalomban, valamint általános képet kapni a nemkívánatos modellviselkedésekről, beleértve új ilyen viselkedések megtalálását és telepítéskori gyakoriságuk előrejelzését.

Míg a hagyományos értékelések továbbra is kulcsfontosságúak az első célhoz, a Telepítésszimuláció jelentős előrelépést jelent a második cél szempontjából a nem szélső kockázatok esetén (kísérleteinkben a megközelítésünktől nem várható el olyan viselkedések mérése, amelyek 200 000 üzenetből 1-nél ritkábban fordulnak elő). A Telepítésszimuláció ereje abból fakad, hogy megkerüli a hagyományos értékelések néhány alapvető kihívását:

• Lefedettség: nehéz biztosnak lenni abban, hogy az értékelési utasítások lefedik a nemkívánatos modellviselkedés összes lehetséges típusát. A nemkívánatos viselkedés új típusainak mérése új értékelések létrehozását és annak tudását igényli, milyen ártalmakat mérjünk. Ez idő- és munkaigényes lehet, és az értékelések idővel telítődhetnek.
• Kiválasztási torzítások: a hagyományos értékelések általában konkrét nemkívánatos modellviselkedésekre épülnek, és olyan módon választják ki őket, amely a korábban előfordult kontextusok felé torzít. Ez kevésbé informatívvá teheti a becsléseiket arról, milyen gyakorisággal fordulnak elő ezek a viselkedések a teljes telepítési eloszlásban.
• A modellek számára tesztként felismerhető jelleg: a modellek egyre inkább képesek megállapítani, hogy tesztelik őket, ami torzíthatja a viselkedésüket és a biztonságuk későbbi méréseit. Bár az OpenAI-nál használt hagyományos értékelések közül sok szintén éles forgalomból származik, és nem szenved ettől a problémától, ez az iparágban használt sok hagyományos értékelésnél gyakori aggodalom.

A Telepítésszimuláció fő technikája egyszerű: friss telepítési beszélgetéseket veszünk, eltávolítjuk a régebbi modell eredeti asszisztensválaszát, majd újrageneráljuk azt a kiadásra jelölt modellel. A kiegészítéseket új hibamódok keresésével értékeljük, és a telepítéskori nemkívánatos viselkedési gyakoriságot ennek a telepítésszerű eloszlásnak a gyakorisága alapján becsüljük. Ugyanezeket a méréseket a kiadás után valódi telepítési forgalmon is elvégezhetjük, ami lehetővé teszi a telepítés előtti előrejelzéseink validálását.

A Telepítésszimuláció jelentősen enyhíti a fent felsorolt három korlátot: a mintavételi torzítást úgy kezeljük, hogy a friss használatot reprezentáló értékelési utasításeloszlást használunk. A reprezentatív utasításokkal végzett Telepítésszimuláció a lefedettséggel kapcsolatos aggályokat is enyhítheti: egyszerűen több forgalom szimulálásával nagyobb lefedettséget kapunk a nemkívánatos modellviselkedésekről. Ez a számítási kapacitás és a lefedettség közötti kompromisszum fontos, mert a kockázatértékelés ezen tengelyének minőségét a számítási kapacitással skálázza, nem pedig a további értékelések létrehozásához szükséges kézi munkával. Úgy tűnik, a modellek sem képesek megkülönböztetni a telepítésszimulációval kapott beszélgetéseket a valódi telepítési forgalomtól.

A Telepítésszimuláció értékeléséhez előre regisztráltuk 20 nemkívánatos viselkedéstípus telepítéskori gyakoriságára vonatkozó előrejelzéseinket a GPT‑5.4 Thinking esetében. Retrospektív vizsgálatokat is futtattunk a GPT‑5 sorozat más Thinking modelljeinek telepítésein. Az általunk elemzett modellviselkedések lefedik mind a félreigazodást, mind a tiltott tartalom kategóriáit, amelyekről rendszerkártyákban számoltunk be (pl. a modell hazudik az eszközökről, vagy tiltott szexuális tartalmat ad ki). Bár ezeknél az eredményeknél csak 20 nemkívánatos modellviselkedési kategóriát követünk, és csak új félreigazodott viselkedéseket keresünk, a Telepítésszimuláció általános technika, amely bármely telepítéskori modelltulajdonság szimulálására alkalmazható.

Az általunk felhasznált éles forgalom szintén a GPT‑5 sorozat Thinking modelljeiből származott. Az értékelések futtatása előtt automatikusan eltávolítottuk a fiókhoz kötött azonosítókat és az azonosítható információkat. Adatvédelmi irányelveinknek megfelelően csak olyan felhasználók ChatGPT‑forgalmát elemeztük, akik engedélyezik adataik felhasználását a modellek fejlesztéséhez. Ezekből az értékelésekből csak összesített megállapításokat közlünk. Összesen körülbelül 1,3 millió azonosítóktól megfosztott beszélgetést elemeztünk a GPT‑5 Thinkingtől a GPT‑5.4 telepítésekig, 2025 augusztusától 2026 márciusáig.

A Telepítésszimuláció által létrehozott telepítés előtti kockázatértékelés minőségét három fő módon értékeljük:

• Taxonómiai lefedettség: a kiadás utáni auditálás felszínre hozott-e olyan fontos félreigazodott viselkedéseket, amelyek hiányoztak az eredeti rosszviselkedés-taxonómiánkból?
• Irányhelyesség: a szimuláció helyesen jelezte-e előre, hogy az ismert viselkedések telepítési gyakorisága nőni vagy csökkenni fog?
• Aránykalibráció: telepítés előtti becsléseink közel voltak-e azokhoz az arányokhoz, amelyeket később a telepítésben megfigyeltünk? A jó aránykalibráció eléréséhez több kell, mint irányhelyesség, ezért ez a lehető legmagasabb minőségi mérce.

Azt is mérjük, mennyire képesek a modellek felismerni, hogy értékelésben vannak a Telepítésszimuláció során, és teszteljük, mennyire robusztus a módszer a telepítési forgalom különböző formáival és a kihívást jelentő eszközhasználati környezetekkel szemben.

A GPT‑5 sorozat Thinking-telepítéseiben a Telepítésszimuláció felülmúlta a kihívást jelentő utasításokra épülő alapvonalakat a tényleges kockázati arány meghatározásában, képes volt felszínre hozni a számológép-hackelést a kiadás előtt, és a modell számára potenciálisan megkülönböztethetetlennek tűnt a telepítéstől.

Előrejelzéseink áttekintése. A GPT‑5 sorozat Thinking modelltelepítéseire vonatkozó összes előrejelzés vizualizációját lásd a 2. ábrán. A GPT‑5.4 Thinkingre vonatkozó előrejelzéseket előre regisztráltuk, míg a többi visszamenőleges előrejelzés volt. Összesítve előrejelzéseink medián multiplikatív hibája 1,5x volt (pl. ha a nemkívánatos viselkedés aránya 10 a 100 ezerből, ez 15 vagy 6,67 a 100 ezerből arány becslésének felelne meg). Bár módszerünk szélső hibái nagyjából 10x nagyobbak lehetnek, arra számítunk, hogy a szimulációs folyamat további javításaival jelentősen csökkenthetők, ahogy alább tárgyaljuk.

A Telepítésszimuláció előrejelzéseinek összehasonlítása alapvonalakkal. A telepítés előtti kockázatértékelésekben azok a kategóriák a legfontosabbak a helyes becsléshez, amelyeknél a modell telepítése után nagy változás történik az előfordulásban (pl. ≥ 1,5x). Ezen a részhalmazon a Telepítésszimuláció lényegesen jobb az alapvonalaknál mind annak előrejelzésében, hogy egy adott nemkívánatos viselkedés gyakorisága nőni vagy csökkenni fog-e a modell telepítésével (3. ábra, balra), mind a pontos telepítéskori előfordulás becslésében (3. ábra, jobbra). Két fő alapvonalat használunk: egy Kihívást jelentő utasítások alapvonalat, amelyet jelenleg rendszerkártyákhoz és indítási döntésekhez használunk, valamint egy naiv alapvonalat, amely az előző telepítés arányait használja az új modell becsléseiként.

A szimulációs hiba forrásai a folyamatunkban. Tanulmányoztuk a folyamatunk jelenlegi hibaforrásait is. Konkrétan a nagy szélső hibák kevésbé megbízhatóvá teszik a folyamatot a telepítési döntésekhez: például ha egy bizonyos típusú nemkívánatos viselkedés nagy előre jelzett növekedését látjuk, és ismert, hogy a folyamatban akár csak alkalmanként is előfordulnak nagy hibák, ez kétséget ébreszt azzal kapcsolatban, hogy megbízható becslésről vagy a folyamat műtermékéről van-e szó. A lehetséges hibának két fő forrása van:

• Újramintavételezési környezet hűségi hibája: a termelési arányok pontos becsléséhez a szimulációs folyamatunknak a lehető legvalósághűbbnek kell lennie. Ez részben mérnöki probléma (mintavételezés a modellből ugyanazokkal a folyamatokkal, amelyeket az éles forgalomhoz használunk), részben pedig érdekes kihívás olyan eszközök esetén, amelyeknek folyamatosan változó külső erőforrásokhoz kell olvasási/írási hozzáférés (pl. webes keresések vagy helyi fájlokkal való interakció). A szimuláció hűségi hibáját úgy izolálhatjuk, hogy összehasonlítjuk egy tényleges telepítés és annak szimulációja előrejelzéseit (vagyis a már telepített modell telepítését szimuláljuk).
• Utasításeloszlás-eltolódási hiba: a Telepítésszimulációval kapcsolatos egyik fő aggodalom, hogy bármely modell telepítése eloszlásbeli eltolódást okoz a bemenetekben, különösen ha a felhasználók alkalmazkodnak az új modell lehetőségeihez. Az utasításeloszlási hibát úgy izoláljuk, hogy összehasonlítjuk a becsléseket, amikor a telepítést friss utasításokkal szimuláljuk, illetve a megvalósult telepítés utasításaival.

Ahogy a 4. ábrán látható, azt találjuk, hogy folyamatunk hibájának nagy része – különösen a szélső hibák esetén – jelenleg a szimuláció hűségéből adódik. Ez jó hír, mert arra számítunk, hogy a szimuláció hűségét általában könnyebb javítani, mint az utasításeloszlás eltolódását csökkenteni. Azt is megállapítjuk, hogy az utasításeloszlás-eltolódási hiba csökkenthető az előző telepítés legfrissebb adatainak használatával. További részletek a kutatási tanulmányban találhatók.

Az automatizált auditálás megtalálta az ezekben a telepítésekben bevezetett egyetlen új félreigazodást. Az általunk vizsgált telepítési időszakban a szimulált telepítéseken alapuló automatizált auditálási folyamatunk a kiadás előtt felszínre hozta volna a „számológép-hackelést”, amely az egyetlen új félreigazodás volt, amelyet az elemzett ChatGPT‑forgalomban azonosítottunk. A számológép-hackelés a jutalomhackelés egyik formája, amelyben a modell egy böngészőeszközt számológépként használ, miközben a műveletet keresésként mutatja be. Ez nem jelenti azt, hogy a nagyléptékű auditálás minden új hibát elkap, de megmutatja, miért számítanak a valósághű kontextusok: olyan viselkedéseket válthatnak ki, amelyeket a szűkebb evalkészletek talán soha nem hoznának közvetlenül felszínre, még akkor sem, ha nem voltak jelen a szimuláció kiindulásául használt eredeti forgalomban.

A telepítésszerű kontextusok használatának másik előnye, hogy csökkenthetik azokat a torzulásokat, amelyek akkor keletkeznek, amikor a modellek felismerik, hogy tesztelik őket. Korábbi kutatásokban mi és mások⁠(új ablakban nyílik meg) is azt találtuk, hogy a modellek gyakran tudatában vannak annak, amikor tesztelik őket. Például a modellek a gondolatmenetükben érvelhetnek arról, mire tesztelik őket, mit szerethet egy értékelő, és – ha rosszul viselkednek – hogy elkapják-e őket. Ez problémát jelent az igazodási értékelések számára: ha egy modell csak azért viselkedik jól, mert azt hiszi, hogy tesztelik, hogyan szerezhetünk bizalmat abban, hogy biztonságosan fog viselkedni, miután megtudja, hogy telepítették?

Megmutatjuk, hogy a Telepítésszimuláció jelentősen csökkenti a modellek által mutatott értékeléstudatosság szintjét a nem valódi telepítési adatokon alapuló hagyományos értékelésekhez képest. Az értékeléstudatosságot három módon mérjük: megkérünk egy modellt, hogy osztályozza, egy trajektória termelésből vagy értékelésből származott-e, figyeljük a gondolatmenetet az igazodásra vonatkozó értékelésről szóló explicit kijelentések, valamint a metajáték⁠(új ablakban nyílik meg) jelei után: bármilyen érvelés a felügyeletről. A szimulált telepítési forgalom mindhárom mérőszámban szorosan megfelelt a valódi telepítési forgalomnak. Például a GPT‑5.2 a valódi éles forgalmat az esetek 5,4%-ában, a szimulált forgalmat pedig az esetek 5,1%-ában címkézte értékelésszerűnek, míg a hagyományos értékeléseket (például a SWE-Bench vagy a MonorepoBench, amelyek főként szintetikus példákból állnak) az esetek majdnem 100%-ában értékelésnek minősítette.

Annak tesztelésére, hogy a módszer kiterjeszthető-e a szokásos csevegési módokon túlra, kihívást jelentő ügynökalapú programozási környezetek telepítésszimulációit is vizsgáltuk. Konkrétan 120 000 belső alkalmazotti ügynöki trajektóriát használunk a GPT‑5.4‑ből a GPT‑5.5‑re épülő kódoló ügynökök belső telepítésének szimulálására. Ez két célt szolgál: megmutatja, hogyan használható a telepítésszimuláció belső telepítések kockázatértékelésére is, és demonstrálja, hogy gondos eszközszimulációval még ügynöki környezetekben is nagy szimulációs hűség érhető el.

Fent tárgyaltuk, hogy a szimuláció hűsége jelenlegi folyamatunk egyik fő hibaforrása. A telepítésszimulációk valósághűvé tételének egyik kihívása, hogy az eszközöknek valósághű módon kell működniük, még akkor is, amikor folyamatosan változó külső erőforrásokhoz kell olvasási/írási hozzáférés (pl. webes keresések vagy helyi fájlokkal való interakció).

Ez különösen nagy kihívás olyan környezetekben, mint az ügynöki telepítések: egyetlen ügynök trajektóriája több száz eszközhívástól, adattárállapottól, hálózati választól vagy átmeneti hibától függhet. Ez a valódi eszközhozzáféréssel történő újramintavételezést egyszerre teszi kihívássá és potenciálisan veszélyessé. Ennek fényében az eszközhívások élő rendszerekre való alkalmazása helyett egy másik LLM-mel szimuláljuk őket. Megmutatjuk, hogy további lehetőségek biztosítása ennek az LLM-nek elengedhetetlen a valósághűséghez, és ezért a becslési minőséghez.

Az eszközszimulátor modellnek megadjuk az eredeti utolsó körös rolloutot, a beszélgetés idején létező adattárat, az eszközhívás/válasz párok adatbázisát és csak olvasható csatlakozókat. Egy tesztben, ahol egy diszkriminátor próbálta megkülönböztetni a szimulált rolloutokat a valódiaktól, a valósághűség 11,6%-os nyerési arányról 49,5%-ra javult, közel az 50%-os véletlenszinthez.

A szimuláció hűségének további bizonyítékaként, amikor a GPT‑5.4 Codex thinking forgalmat GPT‑5.4‑gyel szimuláljuk, a félreigazodási arányok nagyjából a hibasávokon belül vannak. Ezzel szemben a telepítés előtti tesztelésünkben a GPT‑5.5 a legtöbb kategóriában jobban félreigazodott volt.

Ezek az eredmények arra utalnak, hogy a Telepítésszimuláció kiterjeszthető összetett ügynöki környezetekre, ha a környező eszközkörnyezetet kellő hűséggel szimuláljuk.

Természetes kérdés, hogy a külső auditorok hozzáférhetnek-e ugyanilyen előnyök némelyikéhez privát éles forgalomhoz való hozzáférés nélkül. Ezt 100 000 előtagként használt WildChat-beszélgetéssel teszteltük. A WildChat kevésbé volt pontos, mint a friss OpenAI éles adatok, de továbbra is informatív volt: a friss éles adatok átlagos multiplikatív hibája alacsonyabb volt, mint a WildChaté (1,75× vs. 2,44×), miközben a WildChat gyakran nagyjából a termelési arányok 3×-os tartományán belül maradt, és a véletlennél jobb arányban azonosította a jobb modellt. A WildChat-stílusú értékeléseket ígéretes kiegészítésnek tekintjük a fejlesztők által futtatott Telepítésszimuláció mellett. További eredményekért ezen a ponton lásd ezt a kapcsolódó Alignment blogbejegyzést⁠(új ablakban nyílik meg).

A Telepítésszimuláció kiegészíti, nem pedig helyettesíti az adverszárius értékeléseket, a red teaminget és a célzott szélsőkockázat-elemzést. Egyes nemkívánatos modellviselkedések észlelése a gondolatmenet monitorozhatóságára támaszkodik: ha a jövőbeli modellek kevésbé olvashatóan érvelnek, kihagynak kulcslépéseket, vagy megtanulják elfedni a szándékukat, lehet, hogy nem tudjuk észlelni a nemkívánatos viselkedés ezen formáit. Továbbá, mivel az éles adatok privátak, a fejlesztők jelenleg erősebb hozzáféréssel rendelkeznek a reprezentatív kontextusokhoz, mint a külső auditorok. A jobb nyilvános adatkészletek szűkíthetik ezt a rést.

A Telepítésszimuláció azoknál a viselkedéseknél a leghasznosabb, amelyek elég gyakran fordulnak elő ahhoz, hogy megjelenjenek a mintavételezett előtagokban. Egy tízmillió beszélgetésből egyszer előforduló hiba valószínűleg nem fedezhető fel egy egymilliós mintájú futtatásban, ezért továbbra is szükség van adverszárius értékelésekre, red teamingre és célzott szélsőkockázat-elemzésre. Jelenleg egyetlen asszisztensválasz szimulálására összpontosítunk, mivel előzetes kísérleteinkben nem találtunk érdemi javulást a becsléseinkben több kör szimulálásával. Ez a jövőben fontos terület lehet a szimuláció hűségének javításához.

A módszer az előtageloszlástól is függ – vagyis az újramintavételezett beszélgetések keverékétől. A történeti forgalom nem feltétlenül egyezik meg azzal, ahogyan a felhasználók egy nagyobb termékváltozás, új eszközkiadás, világméretű esemény vagy szezonális eltolódás után egy képességesebb modellel interakcióba lépnek. A teljes tanulmány elemzése szerint ez a probléma enyhíthető a rendelkezésre álló legfrissebb adatok használatával.

A telepítésszimuláció a telepítés előtti kockázatértékelés új megközelítése, amely segít a frontier laboroknak és értékelőknek előre jelezni, hogyan viselkedhetnek a nyelvi modellek a valós világban, és megérteni a telepítés előtt az általuk jelentett kockázatokat. Kiegészíti a meglévő biztonsági értékeléseket, a red teaminget és a célzott elemzést azzal, hogy termelésszerűbb előrejelzési réteget ad hozzá, amely javíthatja a telepítési viselkedés becsléseit, csökkentheti az értékeléstudatossági hatásokat, és a telepítés előtti előrejelzéseket a kiadás után ellenőrizhetővé teheti. A hagyományos értékelések mellett használva a Telepítésszimuláció segíthet valósághűbbé, mennyiségibbé és a telepítési döntésekhez hasznosabbá tenni a modellkockázat-értékelést.