Misbruk med tilknytning til Kina: Overvåkings- og påvirkningsaktivitet

Denne kasusstudien ble opprinnelig publisert i OpenAIs rapport fra oktober 2025⁠(åpnes i et nytt vindu).

Personer med tilsynelatende tilknytning til kinesiske myndighetsorganer brukte ChatGPT til utvikling, profilering og administrative oppgaver.

Som vi beskrev i innspillet vårt til det amerikanske kontoret for vitenskaps- og teknologipolitikks handlingsplan for KI i mars, mener vi at KI må reguleres med fornuftige regler som beskytter mennesker mot reell skade, og at vi må utvikle demokratisk KI for å sikre at KI kommer flest mulig til gode. Med demokratisk KI mener vi KI som er formet av de demokratiske prinsippene USA alltid har stått for. Dette innebærer blant annet å hindre autoritære regimer i å bruke KI-verktøy til å samle makt og kontrollere innbyggerne sine.

Investeringene våre i å oppdage og stanse autoritære regimers forsøk på å misbruke funksjonene i ChatGPT beskytter ikke bare mennesker i dag, men gir også viktig innsikt i hvordan slike regimer kan misbruke fremtidige funksjoner. Denne delen tar for seg noen av disse funnene om personer som kan ha tilknytning til slike regimer, med vekt på Kina.

Som vi skrev i juni, gjør Kina reelle fremskritt i utviklingen av sin autoritære versjon av KI. Ved å stanse ChatGPT‑kontoer som ble brukt av personer med tilsynelatende tilknytning til kinesiske myndighetsorganer, har vi fått et visst innblikk i hvordan KI brukes i denne autoritære konteksten i dag. Deler av denne bruken så ut til å støtte omfattende overvåking av trafikk på og utenfor nettet. Dette understreker hvor viktig det er at vi fortsetter å følge med på mulig autoritært misbruk på dette området. Andre deler av bruken så ut til å være rettet mot mer inngående profilering. Vi utestengte kontoene som var knyttet til denne aktiviteten, og deler innsikten vår i denne rapporten.

Studien bygger på et utvalg regelstridige aktiviteter som vi avdekket og stanset. Aktiviteten samsvarte med enkeltbrukeres bruk av ChatGPT, ikke omfattende institusjonell bruk av modellene våre. Studien gir derfor bare et begrenset øyeblikksbilde av hvordan ulike KI-modeller brukes i denne sammenhengen.

Noen av kontoene vi utestengte, så ut til å forsøke å bruke ChatGPT til å utvikle verktøy for omfattende overvåking ved å analysere datasett som ofte var samlet inn fra vestlige eller kinesiske sosiale medier. I februar rapporterte vi om ett slikt tilfelle. Målet var å utforme et KI-drevet verktøy for overvåking av sosiale medier, som operatørene hevdet var ment for kinesiske sikkerhetsstyrker. Disse brukerne ba vanligvis ChatGPT om hjelp til å utforme slike verktøy eller lage markedsføringsmateriell om dem, men ikke til å gjennomføre selve overvåkingen.

Vi utestengte for eksempel nylig en bruker som muligens benyttet et VPN for å få tilgang til tjenestene våre fra Kina. Brukeren ba ChatGPT om hjelp til å utforme markedsføringsmateriell og prosjektplaner for et verktøy til overvåking av sosiale medier, angivelig for en offentlig oppdragsgiver. Verktøyet ble omtalt som en «sonde» (探针) for sosiale medier, som angivelig kunne søke gjennom Twitter/X, Facebook, Instagram, Reddit, TikTok og YouTube etter det brukeren beskrev som ekstremistiske ytringer samt etnisk, religiøst og politisk innhold. Brukeren benyttet ikke modellen vår til å utføre selve overvåkingen av sosiale medier. Vi kan ikke uavhengig bekrefte om verktøyet har blitt brukt av et kinesisk myndighetsorgan.

På samme måte utestengte vi en annen bruker, trolig med tilknytning til et myndighetsorgan, som ba ChatGPT om hjelp til å skrive et forslag til det brukeren kalte en varslingsmodell for tilstrømming av høyrisikopersoner med uigurtilknytning (高危涉维吾尔关注人员流入预警模型). Forslaget beskrev et verktøy som skulle analysere transportbestillinger og sammenligne dem med politiregistre for å varsle tidlig om reisene til personer klassifisert som uigurrelaterte og høyrisikopersoner – en kategori som ellers ikke ble definert. Brukeren ba ikke modellen vår om hjelp til å bygge et slikt verktøy, bare til å utarbeide et generelt forslag. Vi kan derfor ikke uavhengig bekrefte hvilken teknologi brukeren hadde tenkt å benytte, eller om et slikt verktøy har blitt brukt av et kinesisk myndighetsorgan.

Vi utestengte også brukere som så ut til å ha tilknytning til kinesiske myndighetsorganer, og som tilsynelatende forsøkte å bruke ChatGPT til mer skreddersydd og målrettet profilering og undersøkelser på nettet.

Én bruker ba for eksempel ChatGPT om å identifisere finansieringskildene til en X-konto som kritiserte kinesiske myndigheter. En annen bruker ba ChatGPT om å identifisere initiativtakerne til et opprop i Mongolia. I begge tilfellene ga modellene våre bare offentlig tilgjengelig informasjon, som ikke omfattet sensitive opplysninger som finansieringskilder eller identiteten til initiativtakerne bak oppropet.

I deler av denne aktiviteten ble modellene våre brukt som verktøy for undersøkelser i åpne kilder, omtrent slik tidligere brukere kunne ha brukt søk på internett eller i sosiale medier. En tredje bruker ba for eksempel ChatGPT om å finne og oppsummere dagens siste nytt av relevans for Kina, blant annet om sensitive temaer som årsdagen for massakren på Den himmelske freds plass i 1989 og fødselsdagen til Dalai Lama.