Mudeli käitumise ennustamine enne väljalaset juurutuse simuleerimise abil

Enne uue mudeli avaldamist peavad laborid mõistma mitte ainult seda, mida see suudab teha, vaid ka seda, kuidas see tõenäoliselt päriselus käitub, sealhulgas kus see võib tuua kaasa uusi riske. See muutub võimekuste kasvades veelgi olulisemaks. Kasutuseelse ohutusülevaatuse osana kasutame mudeli käitumise mõistmiseks sihitud hindamisi, lööktestimist ja muid kontrolle. Oleme nüüd hakanud kasutama meetodit mudelite juurutuste simuleerimiseks enne nende toimumist, mis lisab täiendava signaali: juurutuslaadse eelvaate sellest, kuidas kandidaatmudel võib käituda enne kasutajateni jõudmist.

Juurutuse simulatsioon on meetod tulevase juurutuse simuleerimiseks enne selle toimumist. Teeme seda, taasesitades varasemaid vestlusi privaatsust säilitaval viisil uue kandidaatmudeliga. See võimaldab meil enne väljalaset uurida, kuidas uus mudel realistlikes kontekstides vastab, sealhulgas kas ilmnevad uued soovimatud käitumised ja kui sageli need võivad esineda.

Mitme GPT‑5 seeria Thinking-juurutuse lõikes parandas juurutuse simulatsioon meie hinnanguid soovimatu mudelikäitumise määrade kohta, aitas enne väljalaset esile tuua uusi joondumatuse vorme ja aitas vähendada riski, et mudelid suudaksid aru saada, et neid testitakse. Rakendasime meetodit ka keerukatele agentsetele väljalasetele, näidates, et see võib ulatuda standardsest vestlusest keerukamatesse agentide seadistustesse, mis hõlmavad tööriistade kasutamist, ning seda saab kasutada ka riskihindamiseks enne sisemisi mudelijuurutusi.

Oleme juurutuse simulatsioonist saadud teadmisi juba mudeliarenduses kasutanud, et tuvastada traditsiooniliste hindamiste pimealasid ning kujundada leevendusi ja juurutusotsuseid. Kui muudame konveieri käitamise lihtsamaks, eeldame, et see mängib tulevases mudeliarenduse protsessis suuremat rolli.

Kogu valdkonnas kasutatavad juurutuseelsed hindamised koosnevad üldiselt sünteetiliste, käsitsi kirjutatud või tootmisviipade kombinatsioonist, mis on tahtlikult valitud nii, et need oleksid rasked, suure tõsidusega või vastandlikud. Neil hindamistel on üldiselt olnud kaks läbipõimunud eesmärki: hinnata, kuidas mudel reageerib stressitestides olukordades, mille tõenäosus juurutusliikluses on väga väike, ning saada üldine arusaam soovimatutest mudelikäitumistest, sealhulgas leida uusi soovimatuid käitumisi ja ennustada nende juurutusaegseid sagedusi.

Kuigi traditsioonilised hindamised jäävad esimese eesmärgi jaoks ülioluliseks, kujutab juurutuse simulatsioon teise eesmärgi puhul mitte-saba-riskide jaoks olulist sammu edasi (meie katsetes ei saa eeldada, et meie lähenemine mõõdaks käitumisi, mis esinevad harvemini kui 1 kord 200 000 sõnumi kohta). Juurutuse simulatsiooni tugevus tuleneb mõnest traditsiooniliste hindamiste põhiprobleemist möödahiilimisest:

• Katvus: on raske olla kindel, et hindamisviibad katavad kõik võimalikud soovimatu mudelikäitumise tüübid. Uut tüüpi soovimatu käitumise mõõtmine nõuab uute hindamiste loomist ja teadmist, milliseid kahjusid mõõta. See võib nõuda palju aega ja tööjõudu ning hindamised võivad aja jooksul küllastuda.
• Valikukallutatused: traditsioonilised hindamised koostatakse üldiselt konkreetseid soovimatuid mudelikäitumisi silmas pidades ning valitakse viisil, mis kallutab varem esinenud kontekstide poole. See võib muuta nende hinnangud vähem informatiivseks selliste käitumiste esinemissageduse kohta kogu juurutusjaotuse ulatuses.
• Mudelitele testidena äratuntavus: mudelid on üha enam suutnud kindlaks teha, et neid testitakse, mis võib moonutada nende käitumist ja meie järgnevaid ohutusmõõtmisi. Kuigi paljud traditsioonilised hindamised, mida OpenAI-s kasutame, pärinevad samuti tootmisliiklusest ega kannata selle probleemi all, on see levinud mure paljude kogu valdkonnas kasutatavate traditsiooniliste hindamiste puhul.

Juurutuse simulatsiooni peamine tehnika on lihtne: võtame juurutusest hiljutised vestlused, eemaldame vanema mudeli algse assistendivastuse ja genereerime selle uuesti väljalastava kandidaatmudeliga. Hindame lõpetusi, otsides uusi tõrkeviise, ning hindame juurutusaegset soovimatu käitumise sagedust selle juurutuslaadse jaotuse sageduse põhjal. Saame samu mõõtmisi teha pärast väljalaset päris juurutusliikluse peal, mis võimaldab meil kinnitada juurutuseelseid prognoose.

Juurutuse simulatsioon leevendab oluliselt eespool loetletud kolme piirangut: valimikallutatust vähendatakse, kasutades hindamisviipade jaotust, mis esindab hiljutist kasutust. Esinduslike viipadega juurutuse simulatsioon võib leevendada ka katvusega seotud muresid: saame soovimatute mudelikäitumiste suurema katvuse lihtsalt rohkem liiklust simuleerides. See arvutusressursi ja katvuse vahekord on oluline, sest see paneb riskihindamise selle telje kvaliteedi skaleeruma arvutusressursiga, mitte suurema hulga hindamiste koostamiseks vajaliku käsitööga. Samuti ei paista mudelid suutvat eristada juurutuse simulatsiooni kaudu saadud vestlusi päris juurutusliiklusest.

Juurutuse simulatsiooni hindamiseks eelregistreerisime prognoosid 20 tüüpi soovimatu käitumise juurutusaegse sageduse kohta GPT‑5.4 Thinkingus. Tegime ka retrospektiivseid uuringuid GPT‑5 seeria Thinking-mudelite teiste juurutuste lõikes. Analüüsitavad mudelikäitumised hõlmavad nii joondumatust kui ka keelatud sisu kategooriaid, millest oleme süsteemikaartidel aru andnud (nt mudel valetab tööriistade kohta või väljastab keelatud seksuaalset sisu). Kuigi nende tulemuste puhul jälgime ainult 20 soovimatu mudelikäitumise kategooriat ja otsime ainult uusi joondumatuid käitumisi, on juurutuse simulatsioon üldine tehnika, mida saaks rakendada mis tahes juurutusaegse mudeliomaduse simuleerimiseks.

Tootmisliiklus, mida kasutasime, pärines samuti GPT‑5 seeria Thinking-mudelitelt. Enne hindamiste käivitamist eemaldasime automaatselt kontoga seotud identifikaatorid ja tuvastatava teabe. Kooskõlas meie privaatsuspõhimõtetega analüüsisime ainult nende kasutajate ChatGPT liiklust, kes lubavad oma andmeid mudelite täiustamiseks kasutada. Esitame nendest hindamistest ainult koondtulemused. Kokku analüüsisime ligikaudu 1,3 miljonit deidentifitseeritud vestlust GPT‑5 Thinkingust kuni GPT‑5.4 juurutusteni, hõlmates perioodi augustist 2025 kuni märtsini 2026.

Hindame juurutuse simulatsiooni toodetud juurutuseelse riskihindamise kvaliteeti kolmel peamisel viisil:

• Taksonoomia katvus: kas väljalaskejärgne audit tõi esile olulisi joondumatuid käitumisi, mis puudusid meie algsest halva käitumise taksonoomiast?
• Suunatäpsus: kas simulatsioon ennustas õigesti, kas teadaolevate käitumiste juurutuslevimus suureneb või väheneb?
• Määra kalibreeritus: kas meie juurutuseelsed hinnangud olid lähedased määradele, mida hiljem juurutuses täheldasime? Hea määra kalibreerituse saavutamine nõuab enamat kui suunatäpsust, mistõttu on see kõrgeim võimalik kvaliteedistandard.

Mõõdame ka seda, kui hästi mudelid suudavad juurutuse simulatsiooni ajal aru saada, et nad on hindamises, ning testime, kui töökindel on meetod eri juurutusliikluse vormide ja keerukate tööriistakasutuse seadistuste puhul.

GPT‑5 seeria Thinking-juurutuste lõikes ületas juurutuse simulatsioon tegeliku riskimäära määramisel keerukate viipade lähtejooni, suutis enne väljalaset esile tuua kalkulaatori häkkimise ja näis mudeli jaoks potentsiaalselt eristamatu juurutusest.

Meie prognooside ülevaade. Kõigi GPT‑5 seeria Thinking-mudelite juurutusprognooside visualiseeringut vt jooniselt 2. GPT‑5.4 Thinkingu prognoosid olid eelregistreeritud, teised olid tagasiulatuvad prognoosid. Kokkuvõttes oli meie prognooside mediaanne multiplikatiivne viga 1,5x (nt kui soovimatu käitumise määr on 10 100 000 kohta, vastaks see määra hindamisele 15 või 6,67 100 000 kohta). Kuigi meie meetodi sabavead võivad olla ligikaudu 10x suuremad, eeldame, et neid saab meie simulatsioonikonveieri edasiste parandustega oluliselt vähendada, nagu allpool arutame.

Juurutuse simulatsiooni prognooside võrdlus lähtejoontega. Juurutuseelse riskihindamise jaoks on kõige olulisem õigesti hinnata kategooriaid, mille esinemissagedus pärast mudeli juurutust palju muutub (nt >= 1,5x). Selles alamhulgas on juurutuse simulatsioon lähtejoontest oluliselt parem nii selle ennustamisel, kas konkreetse soovimatu käitumise levimus mudeli juurutusega suureneb või väheneb (joonis 3, vasakul), kui ka selle täpse juurutusaegse esinemissageduse hindamisel (joonis 3, paremal). Kasutame kaht peamist lähtejoont: keerukate viipade lähtejoont, mida praegu kasutame süsteemikaartide ja käivitamisotsuste jaoks, ning naiivset lähtejoont, kus eelmise juurutuse määrasid kasutatakse uue mudeli hinnangutena.

Simulatsioonivea allikad meie töövoos. Uurisime ka oma töövoo praeguseid veaallikaid. Eelkõige muudavad suured sabavead konveieri juurutusotsuste jaoks vähem usaldusväärseks: näiteks kui nähakse teatud tüüpi soovimatu käitumise suurt prognoositud kasvu ja on teada, et konveieril esineb isegi aeg-ajalt suuri vigu, tekitab see kahtluse, kas tegemist on usaldusväärse hinnangu või konveieri artefaktiga. Võimalikul veal on kaks peamist allikat:

• Taasvalimi keskkonna tõetruuduse viga: tootmismäärade täpseks hindamiseks peab meie simulatsioonikonveier olema võimalikult realistlik. See on osalt inseneriprobleem (mudelist valimine samade konveieritega, mida kasutatakse tootmisliikluse jaoks) ja osalt huvitav väljakutse tööriistade jaoks, mis vajavad lugemis-/kirjutamisjuurdepääsu pidevalt muutuvatele välistele ressurssidele (nt veebiotsingud või kohalike failidega suhtlemine). Saame simulatsiooni tõetruuduse vea isoleerida, võrreldes tegeliku juurutuse ja selle simulatsiooni prognoose (st simuleerides juba juurutatud mudeli juurutust).
• Viipade jaotuse nihke viga: juurutuse simulatsiooni puhul on suur mure, et iga mudeli juurutus põhjustab sisendites jaotusnihke, eriti kui kasutajad kohanevad uute mudeli pakutavate võimalustega. Isoleerime viipade jaotuse vea, võrreldes hinnanguid, kui juurutust simuleeritakse hiljutiste viipadega, ja viipadega tegelikust juurutusest.

Nagu näha jooniselt 4, leiame, et suur osa meie töövoo veast – eriti suurte vigade puhul – tuleneb praegu simulatsiooni tõetruudusest. See on hea uudis, sest eeldame, et simulatsiooni tõetruudust on üldiselt lihtsam parandada kui viipade jaotuse nihke vähendamist. Leiame ka, et viipade jaotuse nihke viga võib vähendada, kasutades eelmise juurutuse kõige värskemaid andmeid. Rohkem üksikasju leiab uurimistööst.

Automaatne auditeerimine leidis neis juurutustes sisse toodud ühe uue joondumatuse. Meie uuritud juurutusaknas oleks simuleeritud juurutustel põhinev automaatne auditeerimiskonveier enne väljalaset esile toonud „kalkulaatori häkkimise“, mis oli ainus uus joondumatus, mille analüüsitud ChatGPT liikluses tuvastasime. Kalkulaatori häkkimine on tasuhäkkimise vorm, kus mudel kasutab brauseritööriista kalkulaatorina, esitades tegevust otsinguna. See ei tähenda, et suuremahuline auditeerimine püüab kinni iga uue tõrke, kuid näitab, miks realistlikud kontekstid on olulised: need võivad esile kutsuda käitumisi, mida kitsamad hindamiskogumid ei pruugi kunagi otseselt nähtavale tuua, isegi kui neid polnud simulatsiooni käivitamiseks kasutatud algses liikluses.

Veel üks juurutuslaadsete kontekstide kasutamise eelis on see, et need võivad vähendada moonutusi, mis tekivad siis, kui mudelid tunnevad ära, et neid testitakse. Varasemates uuringutes oleme nii meie kui ka teised⁠(avaneb uues aknas) leidnud, et mudelid on sageli teadlikud, kui neid testitakse. Näiteks võivad mudelid oma mõttekäigus arutleda selle üle, mille peal neid testitakse, mis hindajale võiks meeldida ja – kui nad halvasti käituvad – kas nad jäävad vahele. See tekitab joondumishindamiste jaoks probleemi: kui mudel käitub hästi ainult sellepärast, et arvab end testitavat, kuidas saame olla kindlad, et see käitub turvaliselt siis, kui saab teada, et on juurutatud?

Näitasime, et juurutuse simulatsioon vähendab oluliselt mudelite hindamisteadlikkuse taset võrreldes traditsiooniliste hindamistega, mis ei põhine päris juurutusandmetel. Mõõdame hindamisteadlikkust kolmel viisil: paludes mudelil klassifitseerida, kas trajektoor pärines tootmisest või hindamisest, jälgides mõttekäiku otseste väidete suhtes joondumise hindamise all olemise kohta, ning metamängimise⁠(avaneb uues aknas) suhtes: igasugune arutlus järelevalve üle. Simuleeritud juurutusliiklus vastas kõigi kolme mõõdiku lõikes päris juurutusliiklusele väga lähedalt. Näiteks märkis GPT‑5.2 päris tootmisliikluse hindamislaadseks 5,4% juhtudest ja simuleeritud liikluse 5,1% juhtudest, samas kui traditsioonilised hindamised (nagu SWE-Bench või MonorepoBench, mis koosnevad peamiselt sünteetilistest näidetest) klassifitseeriti hindamistena peaaegu 100% juhtudest.

Testimaks, kas meetod võiks ulatuda standardsest vestlusrežiimist kaugemale, uurisime ka juurutuste simuleerimist keerukates agentse kodeerimise seadistustes. Täpsemalt kasutame GPT‑5.4‑st 120 000 sisemist töötajate agentset trajektoori, et simuleerida GPT‑5.5‑l põhinevate kodeerimisagentide sisemist juurutust. Sellel on kaks eesmärki: see näitab, kuidas juurutuse simulatsiooni saab kasutada ka sisemiste juurutuste riskihindamiseks, ning demonstreerib, et hoolika tööriistasimulatsiooni abil on võimalik saavutada kõrge simulatsiooni tõetruudus ka agentsetes seadistustes.

Eespool arutasime, et simulatsiooni tõetruudus on üks meie praeguse konveieri peamisi veaallikaid. Üks juurutussimulatsioonide realistlikuks muutmise väljakutseid on see, et tööriistad peavad toimima realistlikult isegi siis, kui neil on vaja lugemis-/kirjutamisjuurdepääsu pidevalt muutuvatele välistele ressurssidele (nt veebiotsingud või kohalike failidega suhtlemine).

See on eriti keeruline sellistes seadistustes nagu agentsed juurutused: üksainus agentne trajektoor võib sõltuda sadadest tööriistakutsetest, varamu olekust, võrgupäringute vastustest või ajutistest tõrgetest. See muudab päris tööriistajuurdepääsuga taasvalimi tegemise nii keerukaks kui ka potentsiaalselt ohtlikuks. Seda arvestades simuleerime tööriistakutseid teise LLM-iga, selle asemel et rakendada neid reaalajas süsteemidele. Näitasime, et sellele LLM-ile lisavõimaluste andmine on realismi ja seega hinnangukvaliteedi jaoks hädavajalik.

Anname tööriistasimulaatori mudelile algse viimase vooru väljalaske, vestluse aja varamu, tööriistakutse/vastuse paaride andmebaasi ja kirjutuskaitstud ühendused. Testis, kus diskriminaator püüdis eristada simuleeritud väljalaskeid päris väljalasetest, paranes realism 11,6% võidumääralt 49,5%-ni, mis on lähedal 50% juhutasemele.

Täiendava tõendina simulatsiooni tõetruuduse kohta on GPT‑5.4 Codex thinking-liikluse simuleerimisel GPT‑5.4‑ga joondumatuse määrad peaaegu veapiirides. Seevastu meie juurutuseelses testimises oli GPT‑5.5 enamikus kategooriates joondumatum.

Need tulemused viitavad, et juurutuse simulatsioon võib laieneda keerukatesse agentide seadistustesse, kui ümbritsev tööriistakeskkond simuleeritakse piisava tõetruudusega.

Loomulik küsimus on, kas välisaudiitorid saavad osa samadest eelistest ilma privaatsele tootmisliiklusele juurdepääsuta. Testisime seda 100 000 WildChati vestlusega, mida kasutati prefiksitena. WildChat oli hiljutistest OpenAI tootmisandmetest vähem täpne, kuid siiski informatiivne: hiljutistel tootmisandmetel oli väiksem keskmine multiplikatiivne viga kui WildChatil (1,75× vs 2,44×), samas kui WildChat jäi sageli ligikaudu 3× piiresse tootmismääradest ja tuvastas parema mudeli juhusest kõrgemate määradega. Näeme WildChat-laadseid hindamisi paljulubava täiendusena arendajate käitatavale juurutuse simulatsioonile. Rohkem tulemusi selle punkti kohta leiate sellest kaasnevast Joondamise blogipostitusest⁠(avaneb uues aknas).

Juurutuse simulatsioon täiendab vastandlikke hindamisi, lööktestimist ja äärmusriskide sihitud analüüsi, mitte ei asenda neid. Mõne soovimatu mudelikäitumise tuvastamine sõltub mõttekäigu jälgitavusest: kui tulevased mudelid arutlevad vähem loetavalt, jätavad võtmesammud välja või õpivad kavatsust varjama, ei pruugi me neid soovimatu käitumise vorme tuvastada. Lisaks, kuna tootmisandmed on privaatsed, on arendajatel praegu tugevam juurdepääs esinduslikele kontekstidele kui välisaudiitoritel. Paremad avalikud andmekogumid võiksid seda lõhet vähendada.

Juurutuse simulatsioon on kõige kasulikum käitumiste puhul, mis esinevad piisavalt sageli, et ilmneda valitud prefiksites. Tõrget, mis esineb üks kord kümne miljoni vestluse kohta, ei avastata tõenäoliselt miljoni valimiga jooksus, seega jäävad vastandlikud hindamised, lööktestimine ja sihitud saba-riski analüüs vajalikuks. Praegu keskendume ühe assistendivastuse simuleerimisele, sest esialgsetes katsetes ei leidnud me mitme vooru simuleerimisest hinnangute jaoks olulist paranemist. See võib tulevikus olla oluline valdkond simulatsiooni tõetruuduse parandamiseks.

Meetod sõltub ka prefiksite jaotusest – vestluste segust, mida taasvalitakse. Ajalooline liiklus ei pruugi vastata sellele, kuidas kasutajad suhtlevad võimekama mudeliga pärast suurt tootemuudatust, uue tööriista väljalaset, maailmasündmust või hooajalist nihet. Täismahus uurimise analüüs viitab, et seda probleemi saab leevendada, kasutades kõige värskemaid kättesaadavaid andmeid.

Juurutuse simulatsioon on uus lähenemine juurutuseelsele riskihindamisele, mis aitab tipptasemel laboreil ja hindajatel ennustada, kuidas keelemudelid võivad päriselus käituda, ning mõista enne juurutust nende tekitatavaid riske. See täiendab olemasolevaid ohutushindamisi, lööktestimist ja sihitud analüüsi, lisades tootmislaadsema ennustuskihi, mis võib parandada juurutuskäitumise hinnanguid, vähendada hindamisteadlikkuse mõju ja muuta juurutuseelsed prognoosid pärast väljalaset kontrollitavaks. Traditsiooniliste hindamiste kõrval kasutatuna võib juurutuse simulatsioon aidata muuta mudeliriskide hindamise realistlikumaks, kvantitatiivsemaks ja juurutusotsuste jaoks kasulikumaks.