Kiinan kansantasavaltaan liittyvä väärinkäyttö: valvonta- ja vaikuttamistoiminta

Tämä tapaustutkimus julkaistiin alun perin OpenAI:n lokakuun 2025⁠(avautuu uudessa ikkunassa) raportissa.

Kiinan kansantasavallan valtionhallinnon toimijoihin ilmeisesti yhteydessä olleet henkilöt käyttivät ChatGPT:tä apuna kehitystyössä, profiloinnissa ja hallinnollisissa tehtävissä.

Kuten totesimme maaliskuussa Yhdysvaltain tiede- ja teknologiapolitiikan virastolle antamassamme lausunnossa maan tekoälyä koskevasta toimintasuunnitelmasta, tekoälyn hyötyjen tuominen mahdollisimman monien ulottuville edellyttää mielestämme tekoälyn kehittämisen mahdollistamista järkevillä säännöillä, joilla ihmisiä suojellaan todellisilta haitoilta, sekä demokraattisen tekoälyn rakentamista. Demokraattisella tekoälyllä tarkoitamme tekoälyä, jota muovaavat Yhdysvaltojen aina puolustamat demokraattiset periaatteet. Tähän kuuluu sen estäminen, että autoritaariset hallinnot käyttäisivät tekoälytyökaluja valtansa kasvattamiseen ja kansalaistensa hallitsemiseen.

Panostuksemme autoritaaristen hallintojen ChatGPT:n ominaisuuksiin kohdistuvien väärinkäyttöyritysten havaitsemiseen ja estämiseen suojaavat ihmisiä jo nyt ja tarjoavat samalla tärkeää tietoa siitä, miten nämä hallinnot voisivat väärinkäyttää tulevia ominaisuuksia. Tässä osiossa käsitellään yhtä tällaisten havaintojen kokonaisuutta, joka koskee mahdollisesti tällaisiin hallintoihin kytkeytyviä henkilöitä ja keskittyy Kiinan kansantasavaltaan.

Kuten kirjoitimme kesäkuussa, Kiinan kansantasavalta edistyy aidosti autoritaarisen tekoälymallinsa kehittämisessä. Kiinan valtionhallinnon toimijoihin ilmeisesti yhteydessä olleiden henkilöiden käyttämien ChatGPT‑tilien sulkeminen valottaa tekoälyn nykyistä käyttöä tässä autoritaarisessa ympäristössä. Osa tästä käytöstä näytti tähtäävän laajamittaiseen verkko- tai liikennevirtojen seurantaan, mikä korostaa tarvetta kiinnittää jatkossakin huomiota autoritaaristen hallintojen mahdollisiin väärinkäytöksiin tällä alalla. Osa käytöstä puolestaan näytti tähtäävän yksityiskohtaisempaan profilointiin. Suljimme tähän toimintaan liittyneet tilit ja kerromme havainnoistamme tässä raportissa.

Tämä tutkimus perustuu valikoimaan havaitsemiamme ja estämiämme sääntöjen vastaisia toimia. Toiminta vastasi yksittäisten käyttäjien ChatGPT:n käyttöä eikä malliemme laajamittaista käyttöönottoa organisaatioissa. Siksi se tarjoaa vain rajallisen tilannekuvan eri tekoälymallien käytöstä tässä yhteydessä.

Osa sulkemistamme tileistä näytti pyrkivän käyttämään ChatGPT:tä laajamittaisen seurannan työkalujen kehittämiseen ja usein länsimaisilta tai kiinalaisilta sosiaalisen median alustoilta kerättyjen aineistojen analysointiin. Raportoimme helmikuussa yhdestä tällaisesta tapauksesta, jossa suunniteltiin tekoälypohjaista sosiaalisen median seurantatyökalua, jonka ylläpitäjät väittivät olevan tarkoitettu Kiinan turvallisuusviranomaisten käyttöön. Nämä käyttäjät pyysivät ChatGPT:ltä tavallisesti apua tällaisten työkalujen suunnitteluun tai niitä koskevan markkinointimateriaalin tuottamiseen, mutta eivät itse seurannan toteuttamiseen.

Suljimme esimerkiksi hiljattain käyttäjän tilin. Käyttäjä saattoi käyttää VPN-yhteyttä palvelujemme käyttämiseen Kiinasta ja pyysi ChatGPT:ltä apua sosiaalisen median seurantatyökalun markkinointimateriaalien ja projektisuunnitelmien laatimiseen oletettavasti valtionhallintoon kuuluvaa asiakasta varten. Työkalua kuvailtiin sosiaalisen median ”luotaimeksi” (探针), jonka väitettiin voivan etsiä Twitter/X:stä, Facebookista, Instagramista, Redditistä, TikTokista ja YouTubesta käyttäjän ääripuheeksi kuvaamaa aineistoa sekä etnistä, uskonnollista ja poliittista sisältöä. Käyttäjä ei käyttänyt malliamme sosiaalisen median varsinaiseen seurantaan. Emme pysty riippumattomasti vahvistamaan, onko jokin Kiinan valtionhallinnon toimija käyttänyt tätä työkalua.

Suljimme vastaavasti toisen, todennäköisesti valtionhallinnon toimijaan yhteydessä olleen käyttäjän tilin. Hän pyysi ChatGPT:ltä apua laatimaan ehdotuksen ”korkean riskin uiguureihin liittyvien henkilöiden saapumisesta varoittavaksi malliksi” (高危涉维吾尔关注人员流入预警模型). Ehdotuksessa kuvailtiin työkalua, joka analysoisi matkavarauksia ja vertaisi niitä poliisin rekistereihin voidakseen varoittaa ennalta sellaisten matkustajien liikkeistä, jotka oli luokiteltu uiguureihin liittyviksi ja korkean riskin henkilöiksi. Luokittelua ei määritelty tarkemmin. Käyttäjä ei pyytänyt malliltamme apua tällaisen työkalun rakentamiseen vaan ainoastaan yleisen ehdotuksen laatimiseen. Siksi emme pysty riippumattomasti vahvistamaan, mitä teknologiaa hän aikoi käyttää tai onko jokin Kiinan valtionhallinnon toimija käyttänyt tällaista työkalua.

Suljimme myös sellaisten käyttäjien tilejä, jotka vaikuttivat olevan yhteydessä Kiinan valtionhallinnon toimijoihin ja pyrkivät ilmeisesti käyttämään ChatGPT:tä yksilöllisempään, kohdennettuun profilointiin ja verkkotiedonhankintaan.

Yksi käyttäjä esimerkiksi pyysi ChatGPT:tä selvittämään Kiinan hallintoa arvostelleen X-tilin rahoituslähteet. Toinen käyttäjä pyysi ChatGPT:tä selvittämään Mongoliassa laaditun vetoomuksen järjestäjät. Molemmissa tapauksissa mallimme palauttivat vain julkisesti saatavilla olleita tietoja, joihin ei sisältynyt arkaluonteisia yksityiskohtia, kuten rahoituslähteitä tai vetoomuksen järjestäjien henkilöllisyyksiä.

Osassa tästä toiminnasta mallejamme käytettiin avoimiin lähteisiin perustuvan tiedonhankinnan välineenä samaan tapaan kuin aiemmat käyttäjät olisivat saattaneet käyttää internet- tai somehakuja. Kolmas käyttäjä esimerkiksi pyysi ChatGPT:tä tunnistamaan ja tiivistämään päivittäin Kiinan kannalta merkityksellisiä tuoreita uutisia. Mukana oli arkaluonteisia aiheita, kuten vuoden 1989 Taivaallisen rauhan aukion verilöylyn vuosipäivä ja dalai-laman syntymäpäivä.