Napovedovanje vedenja modela pred izdajo s simulacijo uvedbe

Pred izdajo novega modela morajo laboratoriji razumeti ne le, kaj zmore, temveč tudi, kako se bo verjetno obnašal pri dejanski uporabi, vključno s tem, kje bi lahko povzročil nova tveganja. To postane še pomembnejše, ko se zmogljivosti povečujejo. V okviru našega varnostnega pregleda pred uvedbo uporabljamo ciljno usmerjena vrednotenja, simulirano iskanje šibkih točk v nadzorovanem okolju in druge preglede, da bi razumeli vedenje modela. Zdaj smo začeli uporabljati metodo za simuliranje uvajanj modelov, preden do njih pride, kar dodaja dopolnilni signal: predogled, ki posnema uvajanje, kako bi se kandidatni model lahko vedel, preden pride do uporabnikov.

Simulacija uvedbe je metoda za simulacijo prihodnje uvedbe, preden do nje pride. To storimo tako, da nekdanje pogovore na način, ki ohranja zasebnost, ponovno predvajamo z novim kandidatnim modelom. To nam omogoča, da pred izdajo preučimo, kako se novi model odziva v realističnih kontekstih, vključno s tem, ali se pojavijo nova neželena vedenja in kako pogosto se lahko pojavljajo.

V več uvedbah Thinking iz serije GPT‑5 je simulacija uvedbe izboljšala naše ocene stopenj neželenega vedenja modelov, pomagala odkriti nove oblike neusklajenosti pred izdajo in pomagala zmanjšati tveganje, da bi modeli lahko ugotovili, da so testirani. Metodo smo uporabili tudi pri zahtevnih uvajanjih agentnih sistemov, s čimer smo pokazali, da jo je mogoče razširiti onkraj standardnega klepeta na bolj kompleksna agentska okolja, ki vključujejo uporabo orodij, ter da jo je mogoče uporabiti tudi za ocenjevanje tveganja pred notranjimi uvedbami modelov.

Spoznanja iz simulacije uvedbe smo že uporabili med razvojem modela za prepoznavanje slepih peg v tradicionalnih vrednotenjih ter za usmerjanje ublažitvenih ukrepov in odločitev o uvedbi. Ko poenostavljamo izvajanje procesne verige, pričakujemo, da bo imel večjo vlogo v prihodnjem procesu razvoja model.

Evalvacije pred uvedbo, ki se uporabljajo v celotni panogi, običajno sestavljajo mešanico sintetičnih, ročno napisanih ali produkcijskih pozivov, ki so namenoma izbrani zaradi zahtevnosti, visoke stopnje resnosti ali adverzarialne narave. Te evalvacije so na splošno imele dva, med seboj pvoezana cilja: oceniti, kako se model odziva, ko je obremenitveno preizkušen v situacijah, za katere obstaja zelo majhna verjetnost, da se pojavijo v produkcijskem prometu, ter pridobiti splošno razumevanje neželenih vedenj modela, vključno z odkrivanjem novih neželenih vedenj in napovedovanjem njihovih pogostosti med produkcijsko uporabo.

Čeprav tradicionalna vrednotenja ostajajo ključna za prvi cilj, simulacija uvedbe predstavlja pomemben korak naprej glede drugega cilja pri tveganjih, ki niso v repu porazdelitve (v naših poskusih od našega pristopa ni mogoče pričakovati, da bo meril vedenja, ki se pojavljajo s pogostostjo manj kot 1 na 200 000 sporočil). Prednost simulacije uvajanja izhaja iz tega, da se izognemo nekaterim temeljnim izzivom tradicionalnih evalvacij:

• Pokritost: težko je z gotovostjo trditi, da bodo evalvacijski pozivi zajeli vse možne vrste neželenega vedenja modela. Merjenje novih vrst neželenega vedenja zahteva oblikovanje novih evalvacij in poznavanje tega, katere škodljive posledice meriti. To je lahko časovno in delovno zahtevno, evalvacije pa se lahko sčasoma zasičijo.
• Pristranskosti izbire: tradicionalna vrednotenja so na splošno zasnovana z mislijo na določena neželena vedenja modela in izbrana na načine, ki dajejo prednost kontekstom, ki so se že pojavili. Zaradi tega so lahko njihove ocene manj povedne glede pojavnosti takšnih vedenj v celotnem razponu porazdelitve uvajanja.
• Prepoznavnost testov za modele: modeli so vse bolj sposobni ugotoviti, da so testirani, kar lahko izkrivi njihovo vedenje in naše nadaljnje meritve njihove varnosti. Čeprav številne tradicionalne evalvacije, ki jih uporabljamo pri OpenAI, prav tako izhajajo iz proizvodnega prometa in se ne soočajo s to težavo, je to pogosta skrb pri številnih tradicionalnih evalvacijah, ki se uporabljajo v panogi.

Glavna tehnika, na kateri temelji simulacija uvedbe, je preprosta: vzamemo nedavne pogovore iz uvedenega sistema, odstranimo izvirni odgovor pomočnika, ki ga je podal starejši model, in ga znova ustvarimo z model kandidatom za izdajo. Dopolnitve ocenjujemo tako, da iščemo nove načine odpovedi, pogostost neželenega vedenja ob uvedbi pa ocenimo na podlagi pogostosti v tej porazdelitvi, podobni uvedbeni. Enake meritve lahko po izdaji izvedemo na dejanskem prometu uvedbe, kar nam omogoča preverjanje naših napovedi pred uvedbo.

Simulacija uvedbe znatno ublaži tri zgoraj navedene omejitve: pristranskost vzorčenja se obravnava z uporabo porazdelitve evalvacijskih pozivov, ki je reprezentativna za nedavno uporabo. Simulacija uvedbe z reprezentativnimi pozivi lahko prav tako omili pomisleke glede pokritosti: večjo pokritost neželenih vedenj modela dosežemo že tako, da preprosto simuliramo več prometa. Ta kompromis med računskimi viri in pokritostjo je pomemben, ker omogoča, da se kakovost te osi ocenjevanja tveganja povečuje z računskimi viri, ne pa z ročnim naporom, potrebnim za pripravo dodatnih evalvacij. Zdi se tudi, da modeli ne zmorejo razlikovati med pogovori, pridobljenimi s simulacijo uvedbe, in dejanskim prometom v uvedbi.

Za ovrednotenje simulacije uvedbe smo vnaprej registrirali napovedi o pogostosti 20 vrst neželenega vedenja ob času uvedbe za GPT‑5.4 Razmišljanje. Izvedli smo tudi retrospektivne študije v drugih uvedbah modela Thinking iz serije GPT‑5. Vedenja modela, ki jih analiziramo, zajemajo tako neusklajenost kot kategorije nedovoljene vsebine, o katerih poročamo v sistemskih karticah (npr. ko model laže o orodjih ali ustvarja nedovoljeno spolno vsebino). Čeprav pri teh rezultatih spremljamo le 20 kategorij neželenega vedenja modela in iščemo samo nova neusklajena vedenja, je simulacija uvajanja splošna tehnika, ki bi jo bilo mogoče uporabiti za simuliranje katere koli lastnosti modela ob uvajanju.

Proizvodni promet, ki smo ga uporabili, je prav tako izhajal iz modela Thinking serije GPT‑5. Pred izvedbo naših vrednotenj smo samodejno odstranili identifikatorje, povezane z računi, in podatke, ki omogočajo identifikacijo. V skladu z našim pravilnikom o zasebnosti smo analizirali le promet uporabnikov storitve ChatGPT, ki dovoljujejo, da se njihovi podatki uporabljajo za izboljšave modela. Poročamo samo o skupnih ugotovitvah teh vrednotenj. Skupaj smo analizirali približno 1,3 milijona deidentificiranih pogovorov v uvedbah od GPT‑5 Thinking do GPT‑5.4, ki so zajemali obdobje od avgusta 2025 do marca 2026.

Kakovost ocene tveganja pred uvedbo, ki jo ustvari Deployment Simulation, ocenjujemo na tri glavne načine:

• Pokritost taksonomije: ali je revizija po izdaji razkrila kakršna koli pomembna neusklajena vedenja, ki so manjkala v naši začetni taksonomiji slabega vedenja?
• Natančnost smeri: ali je simulacija pravilno napovedala, ali se bo razširjenost uvedbe pri znanih vedenjih povečala ali zmanjšala?
• Umerjanje stopenj: ali so bile naše ocene pred uvedbo blizu stopnjam, ki smo jih pozneje opazili po uvedbi? Doseganje dobre kalibracije stopenj zahteva več kot zgolj smerno natančnost, zato je to najvišji možni standard kakovosti.

Merimo tudi, v kolikšni meri lahko modeli prepoznajo, da so med simulacijo uvedbe v evalvaciji, ter testiramo, kako robustna je metoda pri različnih oblikah prometa pri uvedbi in v zahtevnih okoljih uporabe orodij.

Pri uvedbah Thinking iz serije GPT‑5 je simulacija uvedbe presegla izhodiščne metode z zahtevnimi pozivi pri ugotavljanju dejanske stopnje tveganja, uspela pred izdajo razkriti hekanje kalkulatorja in se je modelu zdela potencialno nerazločljiva od dejanske uvedbe.

Pregled naših napovedi. Za vizualizacijo vseh napovedi za uvedbe modelov Thinking serije GPT‑5 glejte sliko 2. Napovedi za GPT‑5.4 Modeli Thinking so bili vnaprej registrirani, preostale pa so bile retroaktivne napovedi. Gledano v celoti so imele naše napovedi srednjo multiplikativno napako 1,5 × (npr. če je stopnja neželenega vedenja 10 na 100 tisoč, bi to ustrezalo oceni stopnje 15 ali 6,67 na 100 tisoč). Čeprav so lahko napake v repu pri naši metodi približno 10-krat večje, pričakujemo, da jih bo mogoče z nadaljnjimi izboljšavami našega simulacijskega cevovoda znatno zmanjšati, kot je obravnavano spodaj.

Primerjava napovedi simulacije uvedbe z referenčnimi vrednostmi. Najpomembnejše kategorije, ki jih je treba pravilno oceniti pri ocenah tveganja pred uvedbo, so tiste, pri katerih se po uvedbi modela pojavnost močno spremeni (npr. >= 1,5x). Na tej podmnožici je simulacija uvedbe bistveno boljša od izhodiščnih metod tako pri napovedovanju, ali se bo razširjenost določenega nezaželenega vedenja ob uvedbi modela povečala ali zmanjšala (slika 3, levo), kot pri ocenjevanju njegove natančne pojavnosti v času uvedbe (slika 3, desno). Uporabljamo dve glavni referenčni metodi: metodo zahtevnih pozivov, ki jo trenutno uporabljamo za sistemske kartice in odločitve o uvedbi, ter naivno metodo, pri kateri podatke iz prejšnje uvedbe uporabimo kot ocene za novi model.

Viri simulacijske napake v naši napeljavi. Preučili smo tudi trenutne vire napak v naši napeljavi. Natančneje, velike napake v repu porazdelitve zmanjšujejo zanesljivost napeljave pri odločitvah o uvedbi: na primer, ko opazimo veliko napovedano povečanje neželenega vedenja določene vrste, in je znano, da ima cevovod vsaj občasno velike napake, to vzbudi dvom o tem, ali gre za zanesljivo oceno ali za artefakt cevovoda. Obstajata dva glavna vira morebitnih napak:

• Napaka verodostojnosti okolja pri ponovnem vzorčenju: za natančno oceno proizvodnih stopenj mora biti naš simulacijski proces čim bolj realističen. To je deloma inženirski problem (vzorčenje iz modela z uporabo istih cevovodov, ki se uporabljajo za produkcijski promet), deloma pa zanimiv izziv za orodja, ki potrebujejo dostop za branje/pisanje do zunanjih virov, ki se nenehno spreminjajo (npr. spletna iskanja ali interakcija z lokalnimi datotekami). Napako zvestobe simulacije lahko izoliramo tako, da primerjamo napovedi iz dejanske uvedbe in njene simulacije (to je s simuliranjem uvedbe že uvedenega modela).
• Napaka zaradi porazdelitvenega premika pozivov: glavna skrb pri simulaciji uvedbe je, da bo uvedba katerega koli modela povzročila porazdelitveni premik iskanj, zlasti če se uporabniki prilagodijo novim možnostim, ki jih ponuja model. Napako porazdelitve pozivov izoliramo tako, da primerjamo ocene simulacije uvedbe z uporabo nedavnih pozivov in pozivov iz dejanske uvedbe.

Kot je razvidno iz slike 4, ugotavljamo, da je velik delež napak v naši napeljavi – zlasti pri napakah v repu porazdelitve – trenutno posledica zvestobe simulacije. To je dobra novica, saj pričakujemo, da bo zvestobo simulaciji na splošno lažje izboljšati kot zmanjšati premik v porazdelitvi pozivov. Ugotavljamo tudi, da je mogoče napako zaradi premika porazdelitve pozivov zmanjšati z uporabo najnovejših podatkov iz prejšnje uvedbe. Več podrobnosti je na voljo v raziskovalnem članku.

Avtomatizirano revidiranje je odkrilo eno novo neusklajenost, uvedeno s temi uvedbami. V proučevanem obdobju uvajanja bi naša avtomatizirana revizijska napeljava, ki temelji na simuliranih uvedbah, pred izdajo razkrila „hekanje kalkulatorja“, kar je bila edina nova neusklajenost, ki smo jo zaznali v analiziranem prometu ChatGPT. Hekanje kalkulatorja je oblika izigravanja nagrajevanja, pri kateri model uporablja orodje brskalnika kot kalkulator, dejanje pa predstavlja kot iskanje. To ne pomeni, da bo obsežno revidiranje zaznalo vsako novo napako, vendar kaže, zakaj so realistični konteksti pomembni: lahko izzovejo vedenja, ki jih ožji nabori za evalvacijo morda nikoli ne bi neposredno razkrili, tudi če niso bila prisotna v prvotnem prometu, uporabljenem za začetno zasnovo simulacije.

Druga prednost uporabe kontekstov, podobnih produkcijski uporabi, je, da lahko zmanjšajo izkrivljanja, ki nastanejo, ko modeli prepoznajo, da so testirani. V predhodnih raziskavah smo tako mi kot drugi⁠(odpre se v novem oknu) ugotovili, da se modeli pogosto zavedajo, kdaj so testirani. Na primer, modeli lahko v svoji verigi sklepanja razmišljajo o tem, zakaj jih testirajo, kaj bi bilo ocenjevalcu morda všeč, in – če se vedejo neprimerno – ali jih bodo pri tem zalotili. To predstavlja težavo za ocenjevanje usklajenosti: če se model vede ustrezno samo zato, ker misli, da je na preizkusu, kako lahko pridobimo zaupanje, da se bo obnašal varno, ko izve, da je bil uveden?

Pokažemo, da simulacija uvedbe v primerjavi s tradicionalnimi evalvacijami, ki ne temeljijo na dejanskih podatkih iz uvedbe, občutno zmanjša stopnje evalvacijskega zavedanja, ki jih modeli izražajo. Evalvacijsko zavedanje merimo na tri načine: tako da model prosimo, naj razvrsti, ali je trajektorija izvirala iz produkcijskega okolja ali evalvacije; s spremljanjem verige sklepanja glede izrecnih izjav o tem, da se model vrednoti z vidika usklajenosti; pa tudi glede metagaminga⁠(odpre se v novem oknu): kakršnega koli sklepanja o nadzoru. Simulirani promet ob uvedbi se je pri vseh treh merilih zelo ujemal z dejanskim prometom ob uvedbi. Na primer, GPT‑5.2 je dejanski produkcijski promet označil kot podoben evalvaciji v 5,4 % primerih, simulirani promet pa v 5,1 % primerih, medtem ko so bile tradicionalne evalvacije (kot sta SWE-Bench ali MonorepoBench, ki so sestavljene predvsem iz sintetičnih primerov) razvrščene kot evalvacije skoraj v 100 % primerih.

Da bi preverili, ali se metoda lahko razširi onkraj standardnih načinov klepeta, smo preučili tudi simulacijo uvedb za zahtevna okolja z avtonomnimi programskimi agenti. Natančneje, uporabljamo 120.000 internih agentskih trajektorij iz modela GPT‑5.4 za simulacijo interne uvedbe programskih agentov, ki temeljijo na GPT‑5.5. To ima dva namena: pokaže, kako se lahko simulacija uvedbe uporablja tudi za ocenjevanje tveganj pri internih uvedbah, in dokazuje, da je mogoče z natančno simulacijo orodij doseči visoko verodostojnost simulacije tudi v okoljih z avtonomnimi agenti.

Zgoraj smo omenili, da je natančnost simulacije eden glavnih virov napak v našem trenutnem procesnem toku. Eden od izzivov pri tem, da so simulacije uvajanja realistične, je, da morajo orodja delovati realistično, tudi kadar potrebujejo dostop za branje in pisanje do zunanjih virov, ki se nenehno spreminjajo (npr. spletna iskanja ali interakcija z lokalnimi datotekami).

To je še posebej zahtevno pri nastavitvah, kot so uvedbe z avtonomnimi agenti: en sam potek delovanja agenta je lahko odvisen od stotin klicev orodij, stanja repozitorija, omrežnih odzivov ali prehodnih napak. Zaradi tega je ponovno vzorčenje z dejanskim dostopom do orodij zahtevno in potencialno nevarno. Glede na to jih namesto izvajanja klicev orodij v produkcijskih sistemih simuliramo z drugim velikim jezikovnim modelom. Pokažemo, da je zagotavljanje dodatnih možnosti delovanja temu velikemu jezikovnemu modelu bistveno za realističnost in s tem za kakovost ocenjevanja.

Modelu za simulacijo orodij posredujemo izvirni potek izvedbe zadnje izmenjave, repozitorij iz časa pogovora, podatkovno zbirko parov klicev orodij in odzivov ter konektorje samo za branje. V testu, v katerem je diskriminator poskušal ločiti simulirane poteke od resničnih, se je realističnost izboljšala z 11,6% stopnjo zmag na 49,5 %, kar je blizu 50% stopnje naključja.

Kot dodaten dokaz zvestobe simulacije pri simuliranju GPT‑5.4 Promet miselnih procesov Codex z GPT‑5.4, stopnje neporavnanosti so tako rekoč znotraj meja napake. Nasprotno pa je bil GPT‑5.5 v našem testiranju pred uvedbo bolj neusklajen v večini kategorij.

Rezultati kažejo, da se lahko simulacija uvedbe razširi na kompleksna agentna okolja, kadar orodno okolje simuliramo z zadostno natančnostjo.

Naravno se zastavlja vprašanje, ali lahko zunanji revizorji pridobijo nekatere enake koristi brez dostopa do zasebnega produkcijskega prometa. To smo preizkusili s 10.000 pogovori WildChat-a, uporabljenimi kot predpone. WildChat je bil manj natančen kot nedavni produkcijski podatki OpenAI, vendar še vedno informativen: nedavni produkcijski podatki so imeli nižjo povprečno multiplikativno napako kot WildChat (1,75× v primerjavi z 2,44×), medtem ko je WildChat pogosto ostal znotraj približno 3× produkcijskih podatkov in je boljši model prepoznal z deležem, višjim od naključja. Ocenjevanja v slogu WildChat vidimo kot obetavno dopolnitev simulacije uvedbe, ki jo izvajajo razvijalci. Za več rezultatov glede tega si oglejte to spremljevalno objavo Alignment⁠(odpre se v novem oknu).

Simulacija uvedbe je dopolnilo kontradiktornim evalvacijam, red teamingu in ciljni analizi repnih tveganj, ne pa njihovo nadomestilo. Zaznavanje nekaterih neželenih vedenj modelov je odvisno od spremljanja verige sklepanja: če bodo prihodnji modeli sklepali manj razumljivo, izpuščali ključne korake ali se naučili prikrivati namen, teh oblik neželenega vedenja morda ne bomo mogli zaznati. Poleg tega imajo razvijalci, ker so produkcijski podatki zasebni, trenutno boljši dostop do reprezentativnih kontekstov kot zunanji revizorji. Boljši javni nabori podatkov bi lahko zmanjšali to vrzel.

Simulacija uvajanja je najbolj uporabna za vedenja, ki se pojavljajo dovolj pogosto, da se pojavijo v vzorčenih predponah. Napaka, ki se pojavi enkrat v desetih milijonih pogovorov, verjetno ne bo odkrita v izvedbi z milijonom vzorcev, zato je še vedno treba izvajati kontradiktorne evalvacije, simulirano iskanje šibkih točk v nadzorovanem okolju in ciljno analizo repnih tveganj. Trenutno se osredotočamo na simuliranje enega samega odgovora asistenta, saj v predhodnih poskusih nismo ugotovili pomembnih izboljšav naših ocen pri simuliranju več izmenjav. To bi lahko bilo pomembno področje za izboljšanje zvestobe simulacije v prihodnosti.

Metoda je odvisna tudi od porazdelitve predpon – sestave pogovorov, ki se ponovno vzorčijo. Pretekli promet se morda ne ujema s tem, kako uporabniki uporabljajo zmogljivejši model po večji spremembi izdelka, izdaji novega orodja, svetovnem dogodku ali sezonski spremembi. Analiza v celotnem članku kaže, da je to težavo mogoče omiliti z uporabo najnovejših razpoložljivih podatkov.

Simulacija uvajanja je nov pristop k ocenjevanju tveganj pred uvedbo, ki vodilnim laboratorijem in ocenjevalcem pomaga predvideti, kako se lahko jezikovni modeli vedejo v resničnem svetu, ter razumeti tveganja, ki jih pred uvedbo predstavljajo. Dopolnjuje obstoječe evalvacije varnosti, simulirano iskanje šibkih točk v nadzorovanem okolju in ciljno usmerjeno analizo z dodajanjem napovedne plasti, bolj podobne produkcijskemu okolju, ki lahko izboljša ocene vedenja ob uvedbi, zmanjša učinke evalvacijskega zavedanja o vrednotenju in omogoči, da so napovedi pred uvedbo preverljive po izdaji. Če se uporablja skupaj s tradicionalnimi vrednotenji, lahko simulacija uvedbe pomaga, da je ocena tveganja modela bolj realistična, bolj kvantitativna in uporabnejša za odločitve o uvedbi.