Ajatusketjun seurannan arviointi
Esittelemme arviointeja ajatuskulun seurattavuudesta ja tutkimme, miten se skaalautuu testausajan laskennan, vahvistavan oppimisen ja esikoulutuksen kanssa.
Kun tekoälyjärjestelmät tekevät päätöksiä, joita on vaikea valvoa suoraan, on tärkeää ymmärtää, miten nämä päätökset tehdään. Yksi lupaava lähestymistapa on seurata mallin sisäistä päättelyä sen sijaan, että seurattaisiin vain sen toimia tai lopputuloksia.
Modernit päättelymallit, kuten GPT‑5 Thinking, luovat selkeän ajatusketjun ennen kuin ne tuottavat vastauksen. Näiden ajatusketjujen seuranta väärinkäytösten varalta voi olla huomattavasti tehokkaampaa kuin pelkkä mallin toimien ja tulosten seuranta. Kuitenkin, OpenAI:n ja laajemman teollisuuden tutkijat ovat huolissaan(avautuu uudessa ikkunassa) siitä, että tämä ajatusketjun ”seurattavuus” voi olla herkkä muutoksille koulutusmenetelmissä, tietolähteissä ja jopa olemassa olevien algoritmien jatkuvassa laajentamisessa.
Haluamme, että ajatuskulun seurattavuus säilyy, kun mallit laajenevat ja otetaan käyttöön korkeamman riskin ympäristöissä. Kehotamme alan tutkijoita työskentelemään ajatuskulun seurattavuuden säilyttämiseksi mahdollisimman pitkään ja selvittämään, voiko se toimia tulevien tekoälyjärjestelmien kantavana ohjauskerroksena. Jotta voimme säilyttää seurattavuuden, meidän täytyy pystyä mittaamaan sitä, mutta arviointeja on vain vähän [1(avautuu uudessa ikkunassa), 2(avautuu uudessa ikkunassa), 3(avautuu uudessa ikkunassa)] ja menetelmät vaihtelevat.
Tässä työssä tutkimme ajatusketjun monitorointia systemaattisesti. Esittelemme kehyksen ajatuskulun seurattavuuden arvioimiseksi sekä 13 arviointia (yhteensä 24 ympäristöä), jotka on suunniteltu mittaamaan konkreettisesti järjestelmän seurattavuutta. Nämä arvioinnit jakautuvat kolmeen tyyppiin: interventio, prosessi ja tulosominaisuus. Käyttämällä niitä tutkimme, kuinka valvottavia tämän päivän suuret kielimallit ovat ja miten valvottavuus muuttuu, kun päättelyä lisätään päättelyaikana, vahvistusoppimisen ajot kasvavat ja esikoulutuksen mittakaava kasvaa.
Nyt kun meillä on laaja valikoima arviointeja, voimme alkaa seurata malliemme valvottavuutta. (ylävasen) Huomaamme, että kun mallit "ajattelevat" enemmän ja niillä on pidempiä ajatusketjuja, seurattavuus paranee. (oikea yläkulma) Ilman ajatusketjua on tavallista yrittää seurata mallin toimintoja ja lopputuloksia yksin. Huomaamme kuitenkin, että pelkkien toimintojen ja tulosten seuranta jää huomattavasti jälkeen ajatusketjujen seurannasta. (alakeskellä) Vertailimme mallejamme ulkoisiin malleihin, jotka tarjoavat pääsyn täydelliseen ajatusketjuun – Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B ja Kimi K2 Thinking.
Havaitsemme, että useimmat päättelymallit ovat melko helposti seurattavissa, vaikkakaan eivät täydellisesti. Lähes kaikissa tutkimissamme ympäristöissä ajatusketjujen seuranta on huomattavasti tehokkaampaa kuin pelkkien toimintojen ja lopputulosten seuranta. Pidempään ajattelevat mallit ovat yleensä helpommin seurattavia, eikä vahvistusoppimisen optimointi nykyisillä rajapinta-asteikoilla näytä heikentävän seurattavuutta merkittävästi.
Erityisesti havaitsemme kompromissin päättelytyön ja mallin koon välillä: kun malli ajetaan vähäisellä päättelytyöllä, pienempi malli, jota ajetaan suuremmalla päättelytyöllä, voi saavuttaa vastaavan suorituskyvyn ja on samalla helpompi seurata. Tämä tapahtuu lisääntyneen päättelylaskennan kustannuksella, jota kutsumme seurantakustannukseksi. Lopuksi havaitsimme, että seurantakysymysten esittäminen ja siitä seuraavien ajatusketjujen seuranta voivat parantaa seurattavuutta entisestään.
Määrittelemme seurattavuuden valvojan kykynä ennustaa agentin käyttäytymisen kiinnostavia ominaisuuksia. Monissa tapauksissa nämä ominaisuudet vastaavat väärinkäytöksiä, kuten petosta, palkkioiden hakkerointia tai puolueellista päättelyä, mutta ne voivat sisältää myös hyvänlaatuisia ominaisuuksia, kuten sen, luottiko agentti tiettyyn vihjeeseen tai seurasi tiettyä päättelyketjua.
Seurattavuus on kaksipuolinen ominaisuus. Se riippuu sekä valvojasta että agentista.
- Valvojat. Voisimme tehdä valvojista älykkäämpiä monin tavoin, ja haluaisimme, että arvioinneissamme annettaisiin korkeammat pisteet valvojille, jotka pystyvät ennustamaan paremmin agentin käyttäytymistä.
- Agentit. Agentilta voidaan antaa valvojalle monia havaintoja, kuten agentin toimet, tuotokset, hermoaktivaatiot ja viime aikoina, päättelymallien myötä, ajatteluketju. Joidenkin agenttien ajatukset voivat olla vaikeammin ymmärrettäviä kuin toisten, joten haluaisimme, että seurattavuusarvioinnit mahdollistaisivat agenttien vertailun, eivätkä vain valvojien.
Arviointimme on suunniteltu arvioimaan molempia puolia: onko tiettyjä agentteja helpompi tai vaikeampi valvoa, ja voivatko kyvykkäämmät valvojat saada enemmän tietoa samoista signaaleista.
Ennen nykyistä päättelymallien sukupolvea ajatusketjut saatiin yleensä aikaan kehottaen mallia ajattelemaan askel askeleelta.
Päättelymallien ajatusketjut eroavat toisistaan kahdella tärkeällä tavalla. Ensinnäkin ne koulutetaan erityisesti luomaan ajatusketju ja antamaan sitten vastaus. Kun keskustelumallia kehotetaan ajattelemaan ”askel askeleelta”, mallin on noudatettava sille asetettuja vaatimuksia, kuten olla avulias ja vaaraton. Toisaalta vahvistusoppimisen koulutusprosessi opettaa päättelymallille, että ajatusketju (CoT) on yksityinen tila, jossa se voi ajatella mitä haluaa ilman rangaistusta, aivan kuten ihminen voi ajatella yksityisesti ilman rangaistusta ”ajatusrikoksista”.
Toiseksi, koulutusprosessi etsii tehokkaasti ajatusketjuja, jotka ovat agentille käytännöllisesti hyödyllisimpiä korkean palkkion lopullisen vastauksen saamiseksi. Näin ollen ajatusketju ei ole pelkästään tila, jossa malli voi vapaasti ilmaista itseään, vaan se sisältää ajattelua, joka auttaa mallia pääsemään lopulliseen vastaukseensa.
Järjestämme valvonta-arviointimme kolmeen erilliseen arkkityyppiin, joista jokainen hyödyntää eri mekanismia seurattavuuden mittaamiseen.
- Interventioarvioinnit, joita on inspiroinut Chen et al.(avautuu uudessa ikkunassa) 2025, Chua et al.(avautuu uudessa ikkunassa) 2025, Turpin et al. 2023,(avautuu uudessa ikkunassa) . Esitämme agentin ympäristöön hallitun muutoksen ja testaamme, pystyykö valvoja havaitsemaan käyttäytymisen muutoksen syyn tunnistamalla ketjussa olevat merkit muutoksesta. Toisin kuin tavanomaiset valvonta-arvioinnit (esim. Varjoareena(avautuu uudessa ikkunassa))-interventioarvioinnit antavat meille mahdollisuuden tutkia, voiko valvoja havaita miksi käyttäytyminen muuttui sen sijaan, että se vain havaitsee, tapahtuiko käyttäytymistä.
- Prosessiarvioinnit keskittyvät tehtäviin, joilla on rajallinen määrä kelvollisia ratkaisupolkuja (esimerkiksi matemaattinen ongelma voidaan ratkaista vain tietyillä teoreemoilla). Ihmisasiantuntijat luettelevat nämä polut, ja me testaamme, voiko valvoja havaita, mitkä askeleet malli todella otti. Näiden arviointien avulla voimme yhdistää mallin toimet tiettyihin toimenpiteisiin, joihin mallin on täytynyt ryhtyä ja kysyä, ovatko nämä toimenpiteet seurattavissa.
- Tulos-ominaisuuksien arvioinnit soveltuvat, kun mallin tuotoksen ominaisuus voidaan mitata luotettavasti. Näissä tapauksissa testaamme, voiko valvoja ennustaa mallin päättelystä tai toiminnoista kyseisen ominaisuuden, kuten palkkiohakkeroinnin. Esimerkiksi koodaustehtävässä saatamme luotettavasti arvioida, pyrkiikö malli hakkeroimaan palkkiosignaalia, ja voimme kysyä, löytääkö valvoja todisteita aikomuksesta palkkiohakkerointiin mallin ajattelussa tai toiminnassa.
Seuraavassa 0n luokittelu arvioinneillemme. Katso julkaisustamme kunkin yksittäisen arvioinnin täydellinen kuvaus.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
Havaitsimme, että mallimme seurattavuus vaihtelee jonkin verran ryhmittäin. Yleisesti ottaen huomaamme, että ne ovat hyvin seurattavissa; kuitenkin erityisesti Scruples-tehtävässä, joka on suunniteltu selvittämään, onko mielistelyyn liittyvä päättely seurattavissa, huomaamme erittäin alhaisen seurattavuuden.
Seurattavat vs. ei-seurattavat esimerkit
Tässä tulos-ominaisuusesimerkissä mallille annetaan mahdoton koodaustehtävä. Jos yksikkötestit läpäisevät, tiedämme, että malli on suorittanut jonkinlaisen hakkeroinnin. Seuraamattomassa ajatusketjussa (punainen) emme näe mitään todisteita siitä, että malli mainitsisi tekevänsä jotain pahaa, vaan se yksinkertaisesti hakkeroi testit ja kertoo käyttäjälle, että se on toteuttanut korjauksen. Selkeässä vertailussa seurattavassa ajatusketjussa (vihreä) näemme mallin ajattelevan: ”Mutta ratkaisun sisällä tapahtuva monkey patching -aika on kiistatta huijaamista.”
Ajatusketjun käsitteleminen yksityisenä työtilana – ja mallien kouluttaminen käyttämään sitä tehtävien tehokkaaseen ratkaisemiseen – pitäisi periaatteessa tehdä ajatusketjuista seurattavia. Samalla on useita syitä, joiden vuoksi vahvistava oppiminen voisi uskottavasti haitata ajatusketjun seurattavuutta.
Ensinnäkin päättelyn pituutta koskevat rajoitukset, kuten mallin ajatteluaikaan tai merkkien määrään kohdistuvat rajoitukset, kannustavat malleja päättelemään vähemmän. Toiseksi, vaikka ajatteluketjuun ei kohdistettaisi suoraa optimointipainetta, epäsuorat paineet voivat silti heikentää seurattavuutta. Esimerkiksi(avautuu uudessa ikkunassa), mallit voivat helpommin löytää korkean palkkion vastauksia, jos ne välttävät päättelypolkuja, jotka voivat johtaa matalan palkkion tai ei-toivottuihin lopputuloksiin. Lopuksi, seurattavuuden heikkeneminen voi johtua vahvistusoppimisen gradienttikohinasta aiheutuvasta väärästä poikkeamasta.
Seuraavassa tarkastelemme, miten seurattavuus muuttuu kahden OpenAI:n edistyksellisen vahvistusoppimisen koulutuksen aikana. Vaikka nämä tulokset edustavat vain kahta datapistettä, ne viittaavat siihen, että vahvistusoppimisen optimointi nykyisillä rajapinta-edistyneillä seurattavuutta ja lisää seurattavuutta alkuvaiheissa. Tämä ei kuitenkaan sulje pois mahdollisuutta, että merkittävästi suuremmat vahvistusoppimisen mittakaavat voisivat tulevaisuudessa vaikuttaa kielteisesti seurattavuuteen.
Huomaamme, että seurattavuus ei muutu merkittävästi nykyisillä RL-laskentamittakaavoilla, mutta kasvaa alkuvaiheissa. Vaikka tämä saattaa pitää paikkansa nykyisessä järjestelmässä, on mahdollista, että merkittävästi lisääntynyt mittakaava voisi aiheuttaa seurattavuuden heikkenemistä.
Suuri osa nykyisten tekoälyjärjestelmien älykkyydestä perustuu lisääntyneeseen esikoulutuksen laajuuteen, jossa sekä malliparametrit että tietojoukkojen koot ovat kasvaneet tasaisesti GPT‑paradigman alusta lähtien. Parametrien määrän kasvu johtaa siihen, että jokaiselle luodulle tunnisteelle käytetään enemmän päättelylaskentaa, mikä päättelymalleissa antaa mallin kognitiolle enemmän mahdollisuuksia tapahtua aktivointien sisällä kuin ajatteluketjun sisällä. Näin ollen voimme odottaa, että suurempia malleja on vaikeampi valvoa tietyllä suorituskyvyllä.
Samaan aikaan pienemmät mallit saattavat olla vähemmän kykeneviä käyttämään ajatusketjua tehokkaasti, mikä voi vaikuttaa myös seurattavuuteen.
Tutkiaksemme esikoulutuksen koon, kyvykkyyden ja seurattavuuden välistä suhdetta, koulutimme malliperheen kahden suuruusluokan esikoulutuslaskennan avulla lisäämällä syvyyttä ja leveyttä, ja sovelsimme sitten vahvistusoppimista kuhunkin yhteiseen matematiikan, tieteen ja koodauksen tehtäväjoukkoon. Arvioimme kutakin mallia useiden päättelyprosessien avulla ja vertasimme niiden seurattavuutta vastaavilla kyvykkyystasoilla.
Kuvaamme mallien seurattavuutta arviointisarjassamme suhteessa keskimääräiseen läpäisyasteeseen standardikyvykkyysarviointien joukossa (GPQA-Diamond, AIME 2025 ja CodeForces). Jokainen malli arvioidaan useiden päättelyponnistelujen perusteella (huomaa, että jokainen piste tässä kuvassa on itse asiassa mitattujen päättelyponnistelujen lineaarisen interpoloinnin tulos). Ympyrät osoittavat, että kyseisen päättelyponnistuksen malli hallitsee seurattavuutta kyseisellä kykyjen tasolla, ja läpinäkyvät X-merkit osoittavat, että kyseisen päättelyponnistuksen malli on seurattavuudessa alisteinen toiselle mallille kyseisellä kykyjen tasolla. Mustilla nuolilla näytämme esimerkkejä kahdesta tavasta käyttää enemmän päättelylaskentaa: ottamalla paljon enemmän tokeneita pienemmällä mallilla tai suhteellisesti vähemmän tokeneita samalla mallilla. Punaisilla nuolilla osoitamme valvontaveron, joka on maksettava, eli hieman vähennetyt kyvyt huomattavasti paremman seurattavuuden vuoksi.
Yleisesti ottaen huomaamme, että jos käyttäisimme tiettyä mallia matalalla päättelyteholla, voisimme sen sijaan käyttää pienempää mallia korkeammalla päättelyteholla. Verrattuna siihen, että käytämme lisälaskentatehoa alkuperäisen suuren mallin laajempaan päättelyyn, voisimme saavuttaa korkeamman seurattavuuden pienellä kyvykkyyskustannuksella tai seurattavuusverolla; kuitenkin, aika, joka kuluu suorituksen loppuun saattamiseen, voi myös olla tekijä joissakin käyttöönottopäätöksissä, joita emme tässä käsittele. Kun mallimme kehittyvät ja niitä aletaan käyttää entistä merkittävämmissä tilanteissa, voi olla tarpeen maksaa tällainen vero, jotta niitä voidaan käyttää turvallisesti.
Näillä tuloksilla on seuraavat rajoitukset: (1) koulutamme kunkin mallin vain kerran, joten emme ota huomioon koulutuskertojen välisiä eroja. Esimerkiksi ”keskikokoinen” malli näyttää olevan melko epäsuosittu seurattavuuden suhteen verrattuna sarjan muihin malleihin, mikä voi johtua tästä. (2) Arvioimme kykyjä suhteellisen jakautuneissa asetuksissa (matematiikka, tiede ja koodaus), ja kompromissit voivat muuttua, kun otetaan huomioon jakautumattoman kestävyyden vaikutus.
Kun tekoälyjärjestelmät ylittävät ihmisen suorituskyvyn, suora ihmisen suorittama valvonta muuttuu yhä vaikeammaksi. Ihanteellisesti meillä olisi skaalautuvia valvontamenettelyjä, jotka mahdollistavat luotettavien mutta heikompien valvojien valvoa vahvempia, mahdollisesti epäluotettavia agentteja. Tällaisten menettelyjen tulisi myös pystyä hyödyntämään lisälaskentatehoa testiaikana ja tuottamaan tarkempia ennusteita.
(Vasemmalla) Vertailimme monia eri valvojia ja vaihtelimme kunkin päättelytehoa. Jokainen valvoja valvoo samaa GPT‑5 Thinking -mallia. Havaitsemme odotetusti, että yleensä suuremmat ja kyvykkäämmät mallit toimivat paremmin valvojina, ja päättelymallit suoriutuvat paremmin valvontatehtävästä, jossa vaaditaan enemmän päättelyä (ja siten enemmän testiaikaa).
(Oikealla) Vertaamme erilaisia OpenAI o4-mini -mallin valvontatarkkailun laajuuksia, eli sitä, voiko valvoja nähdä vain CoT:n, vain toimet ja vastaukset vai kaikki valvottavan mallin viestit. Erityisesti havaitsemme, että seurattavuus lisääntyneellä testiajan seurannan laskentateholla (suurempi seurannan päättelytyö) paranee nopeammin, kun seurannalle annetaan pääsy ajatusketjuun. Näin ollen ajatusketjuseuranta voi tarjota skaalautuvamman tavan hallintaan kuin naiivi seuranta.
Ajatusketjun seurattavuus käsitellään usein kiinteänä suureena: kun malli tuottaa vastauksen tietyllä päättelyponnistuksella, tuloksena olevaa ajatusketjua seurataan mahdollisimman tarkasti. Koska olemme johdonmukaisesti havainneet, että seurattavuus paranee, kun lisäämme agenttiemme päättelyponnistuksia, mietimme, voisimmeko jotenkin saada lisää seurattavia tokeneja.
Tutustuaksemme tähän kokeilimme esittää seurantakysymyksiä mallin vastattua, säilyttäen alkuperäisen kehotteen, ajatusketjun ja vastauksen kontekstissa. Nämä seurantakysymykset keskittyvät seurattavaan ominaisuuteen, esimerkiksi: ”Käytitkö vihjettä mielekkäästi vastauksen valitsemiseen?” tai ”Teitkö jotain epäilyttävää?” Periaatteessa, koska malli säilyttää pääsyn aikaisempaan päättelyynsä, se voi tuoda esiin aiemmin sanattomiksi jääneitä ajatuksia seuraavassa ajatusketjussa tai vastauksessa.
Nämä tulokset ovat alustavia. Tutkimme vain muutamia seurantakysymysten muotoja ja uskomme, että menetelmää voidaan vielä huomattavasti parantaa. Lisäksi tämä menetelmä on hengeltään samanlainen kuin mallitunnustukset, ja työskentelemme aktiivisesti näiden lähestymistapojen vertailemiseksi.
Näytämme tulokset keskiarvona arviointisarjamme ja kaikkien uusimpien päättelymalliemme kesken: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini ja GPT‑5‑thinking. Huomaamme, että yleensä jatkokysymykset parantavat seurattavuutta erityisesti alhaisemmalla päättelytasolla. Jos kysymme toistuvasti jatkokysymyksiä ja annamme valvojalle kaikki seuranta-ajatusketjut, seurattavuus paranee entisestään. Huomionarvoista on, että kun annamme valvojalle pääsyn vain jatkovastaukseen eikä seuranta-ajatusketjuun, näemme vähemmän parannusta verrattuna lähtötasoon. Tämä osoittaa, että mallit eivät ole suoria vastauksissaan käyttäjälle, mutta antavat enemmän tietoa ajatusketjussaan (CoT).
Seurattavuuden parantamisen lisäksi tämä lähestymistapa on houkutteleva, koska sitä voidaan soveltaa jälkikäteen, jolloin lisäkustannuksia syntyy vain silloin, kun tarvitaan syvällisempää tarkastelua. Tulevaisuudessa, jos mallit on koulutettu odottamaan päättelyponnistuksen muutoksia keskustelun aikana, jälkikäteen tehtävät seurannat, joissa päättelyponnistus on suurempi, voivat parantaa seurattavuutta entisestään, vaikka alkuperäinen päättelyponnistus olisi vähäinen tai puuttuisi kokonaan.
Jokainen arviointimme mittaa, onko yksittäinen osa päättelyprosessia seurattavissa. Vaikka pyrimme kattamaan laajan kirjon käyttäytymismalleja – mukaan lukien mielistely, peukalointi, puolueellisuus, juonittelu ja palkkiohakkerointi – on monia muita ominaisuuksia, joita ei ole vielä testattu.
Kuten minkä tahansa vertailuarvon kohdalla, arviointimme voivat kärsiä rajoitetusta realismista tai lisääntyvästä arviointitietoisuudesta, eikä tuloksia välttämättä voida yleistää väärinkäytösten havaitsemiseen todellisessa ympäristössä.
Lopuksi, kun yhdenmukaistaminen paranee, mallit saattavat toimia virheellisesti harvemmin kontrolloiduissa arviointitilanteissa, mikä vähentää signaalia, joka on käytettävissä seurattavuuden ja hallinnan arvioinneissa, jotka perustuvat virheellisen käyttäytymisen havaitsemiseen. Näissä tapauksissa ”neutraalit” seurattavuusarvioinnit ovat edelleen sovellettavissa, vaikka niiden ennustettavuus todellisissa vioissa onkin avoin kysymys.
Jos kohdistusongelmaa ei voida täysin ratkaista, skaalautuvat hallintamenetelmät ovat äärimmäisen tärkeitä, jotta voimme ottaa käyttöön erittäin kykeneviä malleja turvallisesti. Ajatusketjun seuranta ja siihen liittyvät menetelmät voivat olla yksi harvoista käytettävissämme olevista valvontamekanismeista. Ajatusketju voi myös tuoda suuria etuja malliemme ymmärtämisessä, esim. ovatko ne tietoisia siitä, että ne ovat arvioinnin kohteena, ja käyttäytyvätkö ne eri tavalla kuin ne käyttäytyisivät todellisessa tilanteessa, onko näyttöä haitallisista tavoitteista, jotka eivät ole vielä ilmenneet arvioinneissamme jne. Näin ollen uskomme, että on äärimmäisen tärkeää ymmärtää, miten ja milloin voimme menettää seurattavuuden.
Pidämme ajatuskulun seurantaa mekaanisen tulkittavuuden täydentäjänä, emme sen korvaajana. Kuten kaikki tunnetut hallinta- ja tulkintamenetelmät, jokaisella on rajoituksensa ja sokeat pisteensä. Odotamme, että useiden lähestymistapojen yhdistelmä – syväpuolustusstrategia – voi auttaa kattamaan yksittäisen menetelmän jättämät aukot. Huomionarvoista on, että tässä työssä esiteltyjä arviointeja voitaisiin myös soveltaa arvioimaan ja vertailemaan mekanistiseen tulkittavuuteen perustuvia seurantatekniikoita.
Koska uskomme, että ajatuskulun seuranta voi olla kantava kerros skaalautuvassa ohjausjärjestelmässä, aiomme laajentaa näitä arviointeja ja käyttää niitä tulevien mallinnus- ja datapäätösten perustana.
Tekijä
Viitteet
1.Mallimme eivät ole tarkoitettu antamaan lääketieteellisiä diagnooseja, joten terveyskyselyjen tietojoukkoamme ei ole tarkoitettu testaamaan tätä ominaisuutta.
