Aan de VRC gelieerd misbruik: toezicht en beïnvloeding

Deze casestudy werd oorspronkelijk gepubliceerd in het rapport van OpenAI van oktober 2025⁠(opent in een nieuw venster).

Personen die kennelijk banden hadden met overheidsinstanties van de Volksrepubliek China en ChatGPT gebruikten voor ondersteuning bij ontwikkeling, profilering en bureaucratische taken.

Zoals we in maart uiteenzetten in onze bijdrage aan het Amerikaanse AI-actieplan van het Office of Science and Technology Policy, zijn wij van mening dat AI alleen zoveel mogelijk mensen ten goede kan komen als we de ontwikkeling ervan mogelijk maken met verstandige regels die mensen tegen daadwerkelijke schade beschermen, en als we democratische AI ontwikkelen. Met democratische AI bedoelen we AI die wordt gevormd door de democratische beginselen waar Amerika altijd voor heeft gestaan. Dit houdt onder meer in dat we voorkomen dat autoritaire regimes AI-tools gebruiken om macht te vergaren en hun burgers te controleren.

Onze investeringen in het opsporen en verstoren van pogingen van autoritaire regimes om de mogelijkheden van ChatGPT te misbruiken, beschermen niet alleen mensen in het heden, maar leveren ook belangrijke inzichten op in de manieren waarop die regimes toekomstige mogelijkheden zouden kunnen misbruiken. In dit gedeelte bespreken we een reeks van zulke bevindingen over personen die mogelijk banden hebben met dergelijke regimes, met de nadruk op de Volksrepubliek China.

Zoals we in juni schreven, boekt de Volksrepubliek China wezenlijke vooruitgang met haar autocratische versie van AI. Onze blokkering van ChatGPT‑accounts die werden gebruikt door personen die kennelijk banden hadden met Chinese overheidsinstanties, werpt enig licht op de huidige inzet van AI in deze autoritaire context. Sommige aspecten van dit gebruik leken bedoeld om grootschalige monitoring van online- of offlineverkeer te ondersteunen. Dit onderstreept hoe belangrijk het is dat we alert blijven op mogelijk autoritair misbruik op dit gebied. Andere aspecten van dit gebruik leken gericht op diepgaandere profilering. We hebben de accounts die bij deze activiteiten betrokken waren geblokkeerd en delen onze inzichten in dit rapport.

Dit onderzoek is gebaseerd op een selectie van de beleidsschendende activiteiten die we hebben opgespoord en beëindigd. Die activiteiten kwamen overeen met het gebruik van ChatGPT door individuele gebruikers, niet met grootschalige institutionele invoering van onze modellen. Het gaat dus om een beperkte momentopname van het gebruik van verschillende AI-modellen in deze context.

Sommige accounts die we blokkeerden, leken ChatGPT te willen gebruiken om tools voor grootschalige monitoring te ontwikkelen: het analyseren van datasets die vaak afkomstig waren van westerse of Chinese socialemediaplatforms. In februari berichtten we over zo'n geval, waarbij een AI-tool voor het monitoren van sociale media werd ontworpen die volgens de beheerders bestemd was voor de Chinese veiligheidsdiensten. Deze gebruikers vroegen ChatGPT doorgaans om zulke tools te helpen ontwerpen of er promotiemateriaal voor te maken, maar niet om de monitoring uit te voeren.

Zo blokkeerden we onlangs een gebruiker die mogelijk via een VPN vanuit China toegang had tot onze diensten en ChatGPT vroeg om promotiemateriaal en projectplannen te helpen maken voor een tool voor het monitoren van sociale media, die naar verluidt bestemd was voor een overheidsklant. De tool werd omschreven als een "sonde" voor sociale media (探针) die Twitter/X, Facebook, Instagram, Reddit, TikTok en YouTube naar verluidt kon scannen op wat de gebruiker omschreef als extremistische uitingen en etnische, religieuze en politieke content. De gebruiker zette ons model niet in om de sociale media daadwerkelijk te monitoren. We kunnen niet onafhankelijk verifiëren of deze tool door een Chinese overheidsinstantie is gebruikt.

Ook blokkeerden we een tweede gebruiker, die waarschijnlijk banden had met een overheidsinstantie en ChatGPT vroeg te helpen bij het schrijven van een voorstel voor wat diegene omschreef als een waarschuwingsmodel voor de instroom van hoogrisicopersonen met een Oeigoerse achtergrond (高危涉维吾尔关注人员流入预警模型). Het voorstel beschreef een tool die vervoersboekingen zou analyseren en vergelijken met politiegegevens om vroegtijdig te waarschuwen voor reisbewegingen van mensen die werden aangemerkt als Oeigoers-gerelateerd en als hoog risico, een categorie die verder niet werd gedefinieerd. De gebruiker vroeg ons model niet om zo'n tool te helpen bouwen, maar alleen om een algemeen voorstel uit te werken. We kunnen daarom niet onafhankelijk vaststellen welke technologie de gebruiker wilde inzetten of dat een Chinese overheidsinstantie zo'n tool heeft gebruikt.

We blokkeerden ook gebruikers die banden leken te hebben met Chinese overheidsinstanties en ChatGPT probeerden te gebruiken voor gerichtere profilering op maat en onlineonderzoek.

Zo vroeg een gebruiker ChatGPT om de financieringsbronnen te achterhalen van een X-account dat kritiek uitte op de Chinese overheid. Een tweede gebruiker vroeg ChatGPT om de organisatoren van een petitie in Mongolië te identificeren. In beide gevallen gaven onze modellen alleen openbaar beschikbare informatie, zonder gevoelige gegevens zoals financieringsbronnen of de identiteit van de organisatoren van de petitie.

Bij sommige van deze activiteiten werden onze modellen gebruikt als hulpmiddel voor onderzoek in openbare bronnen, vergelijkbaar met de manier waarop eerdere gebruikers op internet of sociale media zouden hebben gezocht. Zo vroeg een derde gebruiker ChatGPT om dagelijks actueel nieuws dat relevant zou zijn voor China te vinden en samen te vatten, waaronder gevoelige onderwerpen zoals de herdenking van het bloedbad op het Tiananmenplein in 1989 en de verjaardag van de dalai lama.