Kina-relateret misbrug: Overvågning og påvirkningsaktiviteter

Denne casestudie blev oprindeligt offentliggjort i OpenAIs rapport fra oktober 2025⁠(åbner i et nyt vindue).

Personer med tilsyneladende forbindelser til kinesiske myndigheder brugte ChatGPT som hjælp til udvikling, profilering og administrative opgaver.

Som vi beskrev i vores bidrag fra marts til Office of Science and Technology Policys amerikanske AI-handlingsplan, mener vi, at AI skal komme så mange mennesker som muligt til gode. Det kræver, at AI muliggøres gennem fornuftige regler, der beskytter mennesker mod reelle skader, samt at der udvikles demokratisk AI. Med demokratisk AI mener vi AI, der formes af de demokratiske principper, som USA altid har stået for. Det indebærer blandt andet at forhindre autoritære regimer i at bruge AI-værktøjer til at samle magt og kontrollere deres borgere.

Vores investeringer i at opdage og standse autoritære regimers forsøg på at misbruge ChatGPTs funktioner beskytter ikke kun mennesker her og nu, men giver også vigtig indsigt i, hvordan disse regimer kan misbruge fremtidige funktioner. Dette afsnit gennemgår en række af disse resultater om personer med mulige forbindelser til sådanne regimer med fokus på Kina.

Som vi skrev i juni, gør Kina reelle fremskridt med udviklingen af sin autokratiske udgave af AI. Vores indgriben over for ChatGPT‑konti, som blev brugt af personer med tilsyneladende forbindelser til kinesiske myndigheder, kaster lys over, hvordan AI aktuelt anvendes i dette autoritære miljø. Dele af denne brug lod til at skulle understøtte omfattende overvågning af online- eller offlinetrafik. Det understreger, hvor vigtigt det er, at vi fortsat er opmærksomme på autoritære regimers mulige misbrug på dette område. Andre dele af denne brug lod til at være rettet mod mere dybdegående profilering. Vi udelukkede de konti, der var knyttet til aktiviteten, og deler vores indsigt i denne rapport.

Denne undersøgelse bygger på et udvalg af de regelstridige aktiviteter, som vi identificerede og greb ind over for. Aktiviteten stemte overens med individuelle brugeres anvendelse af ChatGPT og ikke med en omfattende, institutionel implementering af vores modeller. Undersøgelsen giver derfor kun et begrænset øjebliksbillede af, hvordan forskellige AI-modeller bruges i denne sammenhæng.

Nogle af de konti, vi udelukkede, lod til at forsøge at bruge ChatGPT til at udvikle værktøjer til omfattende overvågning ved at analysere datasæt, som ofte var indsamlet fra vestlige eller kinesiske sociale medieplatforme. I februar rapporterede vi om en sådan sag, der handlede om at designe et AI-baseret værktøj til overvågning af sociale medier, som operatørerne hævdede var beregnet til de kinesiske sikkerhedsstyrker. Disse brugere bad typisk ChatGPT om hjælp til at designe sådanne værktøjer eller udarbejde markedsføringsmateriale om dem, men ikke til at gennemføre selve overvågningen.

Vi udelukkede eksempelvis for nylig en bruger, som muligvis benyttede en VPN til at tilgå vores tjenester fra Kina. Brugeren bad ChatGPT om hjælp til at udforme markedsføringsmateriale og projektplaner for et værktøj til overvågning af sociale medier, angiveligt til en offentlig myndighed. Værktøjet blev beskrevet som en »sonde« til sociale medier (探针), der angiveligt kunne scanne Twitter/X, Facebook, Instagram, Reddit, TikTok og YouTube for det, brugeren beskrev som ekstremistiske ytringer samt etnisk, religiøst og politisk indhold. Brugeren anvendte ikke vores model til at udføre selve overvågningen af sociale medier. Vi kan ikke uafhængigt bekræfte, om værktøjet er blevet brugt af en kinesisk myndighed.

På samme måde udelukkede vi en anden bruger, som sandsynligvis havde forbindelse til en offentlig myndighed, og som bad ChatGPT om hjælp til at skrive et forslag til det, vedkommende beskrev som en »model til varsling om tilstrømning af højrisikopersoner med uighurisk tilknytning« (高危涉维吾尔关注人员流入预警模型). Forslaget beskrev et værktøj, der skulle analysere transportreservationer og sammenholde dem med politiets registre for at varsle om rejseaktivitet blandt personer, der blev klassificeret som uighurrelaterede og som højrisikopersoner – en kategori, der ikke blev nærmere defineret. Brugeren bad ikke vores model om hjælp til at bygge et sådant værktøj, men kun til at udarbejde et overordnet forslag. Derfor kan vi ikke uafhængigt bekræfte, hvilken teknologi vedkommende havde til hensigt at bruge, eller om et sådant værktøj er blevet anvendt af en kinesisk myndighed.

Vi udelukkede også brugere, der tilsyneladende havde forbindelser til kinesiske myndigheder, og som lod til at forsøge at bruge ChatGPT til mere skræddersyet og målrettet profilering og onlineresearch.

En bruger bad eksempelvis ChatGPT om at identificere finansieringskilderne bag en X-konto, der kritiserede den kinesiske regering. En anden bruger bad ChatGPT om at identificere personerne bag en underskriftsindsamling i Mongoliet. I begge tilfælde returnerede vores modeller kun offentligt tilgængelige oplysninger, som ikke omfattede følsomme detaljer såsom finansieringskilder eller identiteten på personerne bag underskriftsindsamlingen.

I nogle af disse aktiviteter blev vores modeller brugt som værktøj til research i åbne kilder, på samme måde som tidligere brugere kunne have foretaget søgninger på internettet eller sociale medier. En tredje bruger bad eksempelvis ChatGPT om dagligt at finde og sammenfatte aktuelle nyheder af betydning for Kina, herunder om følsomme emner som årsdagen for massakren på Den Himmelske Freds Plads i 1989 og Dalai Lamas fødselsdag.