Mallikäyttäytymisen ennustaminen ennen julkaisua käyttöönottoa simuloimalla

Ennen uuden mallin julkaisua laboratorioiden on ymmärrettävä paitsi, mitä se osaa tehdä, myös miten se todennäköisesti käyttäytyy tosielämän käytössä, mukaan lukien missä se voi tuoda uusia riskejä. Tämä korostuu entisestään kyvykkyyksien kasvaessa. Osana käyttöönottoa edeltävää turvallisuusarviointia hyödynnämme kohdennettuja arviointeja, red teaming -testausta ja muita tarkistuksia ymmärtääksemme mallin käyttäytymistä. Olemme nyt alkaneet käyttää menetelmää mallien käyttöönottojen simulointiin ennen niiden tapahtumista. Se lisää täydentävän signaalin: käyttöönottoa muistuttavan esikatselun siitä, miten ehdokasmalli voi käyttäytyä ennen kuin se tavoittaa käyttäjät.

Käyttöönoton simulointi on menetelmä tulevan käyttöönoton simuloimiseksi ennen sen tapahtumista. Teemme sen toistamalla aiempia keskusteluja yksityisyyttä suojaavalla tavalla uudella ehdokasmallilla. Näin voimme ennen julkaisua tutkia, miten uusi malli vastaa realistisissa konteksteissa, myös sitä, ilmeneekö uusia epätoivottuja käyttäytymisiä ja kuinka usein niitä voi esiintyä.

Useissa GPT‑5‑sarjan Thinking-käyttöönotossa käyttöönoton simulointi paransi arvioitamme epätoivotun mallikäyttäytymisen määristä, auttoi nostamaan esiin uusia vinoutuneisuuden muotoja ennen julkaisua ja auttoi vähentämään riskiä, että mallit pystyisivät päättelemään olevansa testattavana. Sovelsimme menetelmää myös haastaviin agenttipohjaisiin julkaisuihin ja osoitimme, että se voi ulottua tavallista chattia pidemmälle monimutkaisempiin agenttiympäristöihin, joihin liittyy työkalujen käyttöä, ja että sitä voidaan käyttää myös riskinarviointiin ennen sisäisiä mallien käyttöönottoja.

Olemme jo hyödyntäneet käyttöönoton simuloinnista saatuja oivalluksia mallikehityksessä perinteisten arviointien katvealueiden tunnistamiseen sekä lievennysten ja käyttöönottopäätösten ohjaamiseen. Kun teemme putkistosta helpommin ajettavan, odotamme sen saavan suuremman roolin tulevassa mallikehitysprosessissa.

Alalla käytetyt käyttöönottoa edeltävät arvioinnit koostuvat yleensä synteettisten, käsin kirjoitettujen tai tuotantokehotteiden yhdistelmästä, joka on tarkoituksella valittu vaikeaksi, vakavaksi tai haitallisiksi. Näillä arvioinneilla on yleensä ollut kaksi toisiinsa kietoutunutta tavoitetta: arvioida, miten malli vastaa stressitestattuna tilanteissa, joiden todennäköisyys käyttöönottoliikenteessä on hyvin pieni, ja saada yleinen käsitys epätoivotusta mallikäyttäytymisestä, mukaan lukien uusien epätoivottujen käyttäytymisten löytäminen ja niiden käyttöönoton aikaisten esiintymistiheyksien ennustaminen.

Vaikka perinteiset arvioinnit ovat edelleen ratkaisevia ensimmäisen tavoitteen kannalta, käyttöönoton simulointi on merkittävä edistysaskel toisen tavoitteen suhteen muiden kuin häntäriskien osalta (kokeissamme lähestymistapamme ei voi olettaa mittaavan käyttäytymisiä, joiden esiintymistiheys on alle 1 tapaus 200 000 viestissä). Käyttöönoton simuloinnin vahvuus syntyy siitä, että se kiertää joitakin perinteisten arviointien keskeisiä haasteita:

• Kattavuus: on vaikea olla varma, että arviointikehotteet kattavat kaikki mahdolliset epätoivotun mallikäyttäytymisen tyypit. Uusien epätoivotun käyttäytymisen tyyppien mittaaminen edellyttää uusien arviointien luomista ja tietoa siitä, mitä haittoja mitataan. Tämä voi viedä paljon aikaa ja työtä, ja arvioinnit voivat ajan myötä saturoitua.
• Valintaharhat: perinteiset arvioinnit rakennetaan yleensä tiettyjä epätoivottuja mallikäyttäytymisiä silmällä pitäen ja valitaan tavoilla, jotka vinoutuvat kohti aiemmin esiintyneitä konteksteja. Tämä voi tehdä niiden arvioista vähemmän informatiivisia tällaisten käyttäytymisten esiintyvyydestä käyttöönottojakauman koko laajuudessa.
• Mallit tunnistavat ne testeiksi: mallit ovat yhä paremmin pystyneet päättelemään olevansa testattavana, mikä voi vääristää niiden käyttäytymistä ja myöhempiä turvallisuusmittauksiamme. Vaikka monet OpenAI:lla käyttämistämme perinteisistä arvioinneista poimitaan myös tuotantoliikenteestä eivätkä ne kärsi tästä ongelmasta, tämä on yleinen huoli monissa alalla käytetyissä perinteisissä arvioinneissa.

Käyttöönoton simuloinnin päätekniikka on yksinkertainen: otamme tuoreita keskusteluja käyttöönotosta, poistamme vanhemman mallin alkuperäisen avustajavastauksen ja generoimme sen uudelleen julkaistavaksi tarkoitetulla ehdokasmallilla. Arvioimme täydennyksiä etsimällä uusia vikatiloja ja arvioimme käyttöönoton aikaisen epätoivotun käyttäytymisen esiintymistiheyden tämän käyttöönottoa muistuttavan jakauman esiintymistiheyden perusteella. Voimme tehdä samat mittaukset julkaisun jälkeen todellisessa käyttöönottoliikenteessä, mikä mahdollistaa käyttöönottoa edeltävien ennusteidemme validoinnin.

Käyttöönoton simulointi lieventää merkittävästi yllä lueteltuja kolmea rajoitusta: otantaharhaa korjataan käyttämällä arviointikehotteiden jakaumaa, joka edustaa viimeaikaista käyttöä. Edustavilla kehotteilla tehty käyttöönoton simulointi voi myös lieventää kattavuushuolia: saamme enemmän kattavuutta epätoivottuihin mallikäyttäytymisiin yksinkertaisesti simuloimalla enemmän liikennettä. Tämä laskennan ja kattavuuden välinen vaihtokauppa on tärkeä, koska se saa tämän riskinarvioinnin akselin laadun skaalautumaan laskennan eikä useampien arviointien rakentamiseen vaadittavan käsityön mukaan. Mallit eivät myöskään näytä pystyvän erottamaan käyttöönoton simuloinnin kautta saatuja keskusteluja todellisesta käyttöönottoliikenteestä.

Arvioidaksemme käyttöönoton simulointia esirekisteröimme ennusteet 20 epätoivotun käyttäytymistyypin käyttöönoton aikaisesta esiintymistiheydestä GPT‑5.4 Thinkingille. Teimme myös retrospektiivisiä tutkimuksia muista GPT‑5‑sarjan Thinking-mallien käyttöönotoista. Analysoimamme mallikäyttäytymiset kattavat sekä vinoutuneisuuden että kielletyn sisällön kategoriat, joista olemme raportoineet järjestelmäkorteissa (esim. malli valehtelee työkaluista tai tuottaa kiellettyä seksuaalista sisältöä). Vaikka näissä tuloksissa seuraamme vain 20:tä epätoivotun mallikäyttäytymisen kategoriaa ja etsimme vain uusia vinoutuneita käyttäytymisiä, käyttöönoton simulointi on yleinen tekniikka, jota voisi soveltaa minkä tahansa käyttöönoton aikaisen malliominaisuuden simulointiin.

Hyödyntämämme tuotantoliikenne oli myös GPT‑5‑sarjan Thinking-malleista. Ennen arviointien suorittamista poistimme automaattisesti tiliin liittyvät tunnisteet ja tunnistettavat tiedot. Tietosuojakäytäntömme mukaisesti analysoimme vain sellaisten käyttäjien ChatGPT‑liikennettä, jotka sallivat tietojensa käytön mallien parantamiseen. Raportoimme näistä arvioinneista vain koontituloksia. Yhteensä analysoimme noin 1,3 miljoonaa tunnisteista poistettua keskustelua GPT‑5 Thinkingistä GPT‑5.4‑käyttöönottoihin, ajalta elokuusta 2025 maaliskuuhun 2026.

Arvioimme käyttöönoton simuloinnin tuottaman käyttöönottoa edeltävän riskinarvioinnin laatua kolmella päätavalla:

• Taksonomian kattavuus: nostiko julkaisun jälkeinen auditointi esiin merkittäviä vinoutuneita käyttäytymisiä, jotka puuttuivat alkuperäisestä huonon käyttäytymisen taksonomiastamme?
• Suunnan tarkkuus: ennustiko simulaatio oikein, kasvaisiko vai vähenisikö tunnettujen käyttäytymisten esiintyvyys käyttöönotossa?
• Määrien kalibrointi: olivatko käyttöönottoa edeltävät arviomme lähellä määriä, joita myöhemmin havaitsimme käyttöönotossa? Hyvä määrien kalibrointi edellyttää muutakin kuin suunnan tarkkuutta, joten se on korkein mahdollinen laatustandardi.

Mittaamme myös, missä määrin mallit pystyvät päättelemään olevansa arvioinnissa käyttöönoton simuloinnin aikana, ja testaamme, miten robusti menetelmä on eri käyttöönottoliikenteen muodoille ja haastaville työkalunkäyttöympäristöille.

GPT‑5‑sarjan Thinking-käyttöönottojen läpi käyttöönoton simulointi päihitti haastavien kehotteiden vertailutasot todellisen riskimäärän määrittämisessä, pystyi nostamaan esiin laskinhakkeroinnin ennen julkaisua ja näytti mahdollisesti mallille erottamattomalta käyttöönotosta.

Yleiskatsaus ennusteisiimme. Katso kuvasta 2 visualisointi kaikista GPT‑5‑sarjan Thinking-mallien käyttöönottoja koskevista ennusteista. GPT‑5.4 Thinkingin ennusteet esirekisteröitiin, kun taas muut olivat takautuvia ennusteita. Kokonaisuutena ennusteidemme mediaani multiplikatiivinen virhe oli 1,5x (esim. jos epätoivotun käyttäytymisen määrä on 10 / 100k, tämä vastaisi arviota 15 tai 6,67 / 100k). Vaikka menetelmämme häntävirheet voivat olla karkeasti 10x suurempia, odotamme niiden pienenevän merkittävästi simulaatioputkistomme lisäparannuksilla, kuten alla käsitellään.

Käyttöönoton simuloinnin ennusteiden vertailu vertailutasoihin. Tärkeimmät kategoriat, jotka käyttöönottoa edeltävissä riskinarvioinneissa on arvioitava oikein, ovat ne, joiden esiintyvyys muuttuu paljon mallin käyttöönoton jälkeen (esim. >= 1,5x). Tässä osajoukossa käyttöönoton simulointi on selvästi vertailutasoja parempi sekä ennustamaan, lisääntyykö vai väheneekö tietyn epätoivotun käyttäytymisen esiintyvyys mallin käyttöönotossa (kuva 3, vasen), että arvioimaan sen täsmällistä käyttöönoton aikaista esiintyvyyttä (kuva 3, oikea). Käytämme kahta pääasiallista vertailutasoa: haastavien kehotteiden vertailutasoa, jota käytämme nykyisin järjestelmäkortteihin ja julkaisupäätöksiin, sekä naiivia vertailutasoa, jossa edellisen käyttöönoton määriä käytetään uuden mallin arvioina.

Simulaatiovirheen lähteet putkistossamme. Tutkimme myös putkistomme nykyisiä virhelähteitä. Erityisesti suuret häntävirheet tekevät putkistosta vähemmän luotettavan käyttöönottopäätöksissä: esimerkiksi kun nähdään suuri ennustettu kasvu tietyntyyppisessä epätoivotussa käyttäytymisessä, tieto siitä, että putkistossa voi olla edes satunnaisia suuria virheitä, herättää epäilyksen siitä, onko kyse luotettavasta arviosta vai putkiston artefaktista. Mahdolliselle virheelle on kaksi päälähdettä:

• Uudelleenotannan ympäristön tarkkuusvirhe: tuotantomäärien tarkka arviointi edellyttää, että simulaatioputkistomme on mahdollisimman realistinen. Tämä on osittain insinööriongelma (otanta mallista samoilla putkistoilla kuin tuotantoliikenteessä) ja osittain kiinnostava haaste työkaluille, jotka tarvitsevat luku-/kirjoitusoikeuden jatkuvasti muuttuviin ulkoisiin resursseihin (esim. verkkohakuihin tai paikallisten tiedostojen käsittelyyn). Voimme eristää simulaation tarkkuusvirheen vertaamalla todellisen käyttöönoton ja sen simulaation ennusteita (eli simuloimalla jo käyttöönotetun mallin käyttöönottoa).
• Kehotejakauman siirtymävirhe: merkittävä huoli käyttöönoton simuloinnissa on, että minkä tahansa mallin käyttöönotto aiheuttaa jakaumasiirtymän syötteissä, erityisesti jos käyttäjät mukautuvat uuden mallin tarjoamiin mahdollisuuksiin. Eristämme kehotejakauman virheen vertaamalla arvioita, kun käyttöönottoa simuloidaan tuoreilla kehotteilla verrattuna toteutuneen käyttöönoton kehotteisiin.

Kuten kuvasta 4 käy ilmi, olemme havainneet, että suuri osa prosessimme virheistä – etenkin hännän virheistä – johtuu tällä hetkellä simuloinnin tarkkuudesta. Tämä on hyvä uutinen, sillä odotamme simuloinnin tarkkuuden parantamisen olevan yleisesti ottaen helpompaa kuin prompt-jakauman siirtymän vähentämistä. Olemme myös havainneet, että prompt-jakauman siirtymästä johtuvaa virhettä voidaan vähentää käyttämällä edellisen käyttöönoton tuoreimpia tietoja. Lisätietoja löytyy tutkimusartikkelista.

Automaattinen auditointi löysi näissä käyttöönotoissa esitellyn yhden uuden vinoutuneisuuden. Tutkittavassa käyttöönottoikkunassa simuloituihin käyttöönottoihin perustuva automatisoitu tarkastusprosessimme olisi havainnut ”laskimen hakkeroinnin” jo ennen julkaisua; tämä oli ainoa uusi poikkeama, jonka tunnistimme analysoidusta ChatGPT‑liikenteestä. Laskimen hakkerointi on eräs palkkiohakkeroinnin muoto, jossa malli käyttää selaintyökalua laskimena esittäen toiminnon hakuna. Tämä ei tarkoita, että laajamittainen auditointi havaitsee jokaisen uuden virheen, mutta se osoittaa, miksi realistiset kontekstit ovat tärkeitä: ne voivat tuoda esiin käyttäytymismalleja, joita kapeammat arviointijoukot eivät ehkä koskaan suoraan paljastaisi, vaikka niitä ei olisikaan ollut simulaation lähtöaineistona käytetyssä alkuperäisessä liikenteessä.

Toinen käyttöönottoa muistuttavien kontekstien etu on, että ne voivat vähentää vääristymiä, joita syntyy, kun mallit tunnistavat olevansa testattavana. Aiemmassa tutkimuksessa sekä me että muut⁠(avautuu uudessa ikkunassa) ovat havainneet, että mallit ovat usein tietoisia siitä, milloin niitä testataan. Esimerkiksi mallit saattavat pohtia ajatusketjussaan, mistä niitä testataan, mitä arvioija saattaa pitää hyvänä ja – jos ne käyttäytyvät väärin – paljastuvatko ne. Tämä aiheuttaa ongelman yhdenmukaisuuden arvioinneille: jos malli käyttäytyy hyvin vain siksi, että se luulee olevansa testattavana, miten voimme luottaa siihen, että se käyttäytyy turvallisesti, kun se saa tietää, että se on otettu käyttöön?

Osoitamme, että käyttöönottosimulaatio vähentää merkittävästi mallien arviointitietoisuuden tasoa verrattuna perinteisiin arviointeihin, jotka eivät perustu todellisiin käyttöönottotietoihin. Mittaamme arviointitietoisuutta kolmella tavalla: pyytämällä mallia luokittelemaan, onko liikerata peräisin tuotantoympäristöstä vai arvioinnista, seuraamalla ajatteluketjua etsimällä nimenomaisia viittauksia siihen, että mallia arvioidaan yhdenmukaisuuden suhteen, sekä etsimällä metapelaamista⁠(avautuu uudessa ikkunassa): kaikkea valvontaan liittyvää päättelyä. Simuloitu käyttöönottoliikenne vastasi hyvin todellista käyttöönottoliikennettä kaikilla kolmella mittarilla. Esimerkiksi GPT‑5.2 luokitteli todellisen tuotantoliikenteen arviointimaiseksi 5,4 %:ssa tapauksista ja simuloidun liikenteen 5,1 %:ssa tapauksista, kun taas perinteiset arvioinnit (kuten SWE-Bench tai MonorepoBench, jotka koostuvat pääasiassa synteettisistä esimerkeistä) luokiteltiin arvioinneiksi lähes 100 %:ssa tapauksista.

Testataksemme, voisiko menetelmä ulottua tavallisten chat-tilojen ulkopuolelle, tutkimme myös käyttöönottojen simulointia haastavissa agenttipohjaisen koodauksen ympäristöissä. Käytämme tarkemmin 120 000:ta GPT‑5.4:n sisäisten työntekijöiden agenttipohjaista syötettä simuloidaksemme GPT‑5.5:een perustuvien koodausagenttien sisäistä käyttöönottoa. Tällä on kaksi tarkoitusta: se osoittaa, miten käyttöönoton simulointia voidaan käyttää myös sisäisten käyttöönottojen riskinarviointiin, ja se näyttää, että simulaation tarkkuus voidaan tehdä korkeaksi myös agenttipohjaisissa ympäristöissä huolellisella työkalusimulaatiolla.

Yllä käsittelimme sitä, että simulaation tarkkuus on yksi nykyisen putkistomme tärkeimmistä virhelähteistä. Yksi käyttöönoton simulointien realistiseksi tekemisen haasteista on, että työkalujen on toimittava realistisesti myös silloin, kun ne tarvitsevat luku-/kirjoitusoikeuden jatkuvasti muuttuviin ulkoisiin resursseihin (esim. verkkohakuihin tai paikallisten tiedostojen käsittelyyn).

Tämä on erityisen haastavaa agenttipohjaisten käyttöönottojen kaltaisissa ympäristöissä: yksittäinen agentin syöte voi riippua sadoista työkalukutsuista, repositorion tilasta, verkkovastauksista tai ohimenevistä vioista. Tämä tekee uudelleenotannasta todellisella työkalupääsyllä sekä haastavaa että mahdollisesti vaarallista. Tämän vuoksi emme kohdista työkalukutsuja eläviin järjestelmiin, vaan simuloimme niitä toisella suurella kielimallilla. Osoitamme, että lisämahdollisuuksien antaminen tälle suurelle kielimallille on olennaista realismin ja siten arvioinnin laadun kannalta.

Annamme työkalusimulaattorimallille alkuperäisen viimeisen vuoron julkaisun, keskusteluhetken repositorion, työkalukutsu–vastaus-parien tietokannan ja vain luku -liittimet. Testissä, jossa erottelija yritti erottaa simuloidut julkaisut todellisista, realismi parani 11,6 %:n voittosuhteesta 49,5 %:iin, lähelle 50 %:n sattumatasoa.

Lisänäyttönä simulaation tarkkuudesta: kun GPT‑5.4 Codex thinking -liikennettä simuloidaan GPT‑5.4:llä, vinoutuneisuusmäärät ovat kutakuinkin virherajojen sisällä. Sitä vastoin käyttöönottoa edeltävässä testauksessamme GPT‑5.5 oli useimmissa kategorioissa enemmän vinoutunut.

Nämä tulokset viittaavat siihen, että käyttöönoton simulointi voi ulottua monimutkaisiin agenttiympäristöihin, kun ympäröivä työkaluympäristö simuloidaan riittävällä tarkkuudella.

Luonteva kysymys on, voivatko ulkoiset auditoijat saada osan samoista hyödyistä ilman pääsyä yksityiseen tuotantoliikenteeseen. Testasimme tätä 100 000 WildChat-keskustelulla, joita käytettiin prefikseinä. WildChat oli vähemmän tarkka kuin tuore OpenAI:n tuotantodata, mutta silti informatiivinen: tuoreen tuotantodatan keskimääräinen multiplikatiivinen virhe oli pienempi kuin WildChatin (1,75× vs. 2,44×), kun taas WildChat pysyi usein noin 3×:n sisällä tuotantomääristä ja tunnisti paremman mallin sattumaa useammin. Pidämme WildChat-tyylisiä arviointeja lupaavana täydennyksenä kehittäjien suorittamalle käyttöönoton simuloinnille. Lisätuloksia tästä aiheesta on tässä täydentävässä Alignment-blogikirjoituksessa⁠(avautuu uudessa ikkunassa).

Käyttöönoton simulointi täydentää adversaarisia arviointeja, red teaming -testausta ja kohdennettua häntäriskianalyysiä, eikä korvaa niitä. Joidenkin epätoivottujen mallikäyttäytymisten havaitseminen nojaa Ajatusketjun monitoroitavuuteen: jos tulevat mallit päättelevät vähemmän luettavasti, jättävät keskeisiä vaiheita pois tai oppivat hämärtämään aikomuksensa, emme ehkä pysty havaitsemaan näitä epätoivotun käyttäytymisen muotoja. Lisäksi koska tuotantodata on yksityistä, kehittäjillä on tällä hetkellä ulkoisia auditoijia vahvempi pääsy edustaviin konteksteihin. Paremmat julkiset tietoaineistot voisivat kaventaa tätä kuilua.

Käyttöönoton simulointi on hyödyllisintä käyttäytymisille, joita esiintyy riittävän usein, jotta ne näkyvät otostetuissa prefikseissä. Vika, joka tapahtuu kerran kymmenessä miljoonassa keskustelussa, ei todennäköisesti löydy miljoonan otoksen ajossa, joten adversaariset arvioinnit, red teaming -testaus ja kohdennettu häntäriskianalyysi ovat edelleen tarpeen. Keskitymme tällä hetkellä yhden avustajavastauksen simulointiin, koska alustavissa kokeissa emme havainneet merkittäviä parannuksia arvioihimme simuloimalla useita vuoroja. Tämä voi olla tulevaisuudessa tärkeä alue simulaation tarkkuuden parantamiseksi.

Menetelmä riippuu myös prefiksijakaumasta – siitä keskustelujen sekoituksesta, josta otetaan uudelleen otoksia. Historiallinen liikenne ei välttämättä vastaa sitä, miten käyttäjät ovat vuorovaikutuksessa kyvykkäämmän mallin kanssa suuren tuotemuutoksen, uuden työkalujulkaisun, maailman tapahtuman tai kausivaihtelun jälkeen. Koko paperin analyysi viittaa siihen, että tätä ongelmaa voidaan lieventää käyttämällä uusinta saatavilla olevaa dataa.

Käyttöönoton simulointi on uusi lähestymistapa käyttöönottoa edeltävään riskinarviointiin. Se auttaa edistyneitä laboratorioita ja arvioijia ennustamaan, miten kielimallit voivat käyttäytyä todellisessa maailmassa, ja ymmärtämään niiden aiheuttamia riskejä ennen käyttöönottoa. Se täydentää nykyisiä turvallisuusarviointeja, red teaming -testausta ja kohdennettua analyysiä lisäämällä tuotantoa muistuttavamman ennustekerroksen, joka voi parantaa käyttöönoton aikaisen käyttäytymisen arvioita, vähentää arviointitietoisuuden vaikutuksia ja tehdä käyttöönottoa edeltävistä ennusteista tarkistettavia julkaisun jälkeen. Perinteisten arviointien rinnalla käytettynä käyttöönoton simulointi voi auttaa tekemään mallien riskinarvioinnista realistisempaa, määrällisempää ja hyödyllisempää käyttöönottopäätöksille.