Abús vinculat a la RPC: activitats de vigilància i influència

Aquest estudi de cas es va publicar originalment a l'informe d'octubre de 2025⁠(s'obre en una finestra nova) d'OpenAI.

Persones aparentment vinculades a entitats governamentals de la RPC que utilitzaven ChatGPT com a ajuda en tasques de desenvolupament, elaboració de perfils i gestió burocràtica.

Tal com vam exposar al març en la nostra proposta per al Pla d'acció sobre IA dels Estats Units de l'Oficina de Política Científica i Tecnològica, creiem que, perquè la IA beneficiï tanta gent com sigui possible, cal impulsar-la mitjançant normes de sentit comú destinades a protegir les persones de danys reals i desenvolupar una IA democràtica. Per IA democràtica entenem una IA configurada pels principis democràtics que els Estats Units sempre han defensat. Això inclou impedir que els règims autoritaris utilitzin eines d'IA per acumular poder i controlar la ciutadania.

Les nostres inversions per detectar i interrompre els intents dels règims autoritaris d'abusar de les capacitats de ChatGPT no només protegeixen les persones ara, sinó que també aporten informació important sobre com aquests règims podrien abusar de capacitats futures. Aquesta secció exposa un conjunt de conclusions sobre persones potencialment vinculades a aquests règims, amb especial atenció a la RPC.

Tal com vam escriure al juny, la RPC està fent progressos reals en el desenvolupament de la seva versió autocràtica de la IA. La interrupció de l'activitat de comptes de ChatGPT utilitzats per persones aparentment vinculades a entitats governamentals xineses aporta informació sobre l'estat actual de l'ús de la IA en aquest entorn autoritari. Alguns elements d'aquest ús semblaven destinats a facilitar el monitoratge a gran escala del trànsit en línia o fora de línia, fet que subratlla la importància de continuar atents als possibles abusos autoritaris en aquest àmbit. Altres elements d'aquest ús semblaven destinats a elaborar perfils més detallats. Vam bloquejar els comptes associats a aquesta activitat i compartim les nostres conclusions en aquest informe.

Aquest estudi es basa en una selecció d'activitats infractores que vam detectar i interrompre, i dels comptes que vam bloquejar. Aquesta activitat era coherent amb l'ús de ChatGPT per part d'usuaris individuals, i no amb una adopció institucional a gran escala dels nostres models. Per tant, només ofereix una visió limitada de l'ús dels diferents models d'IA en aquest context.

Alguns dels comptes que vam bloquejar semblaven intentar utilitzar ChatGPT per desenvolupar eines de monitoratge a gran escala que analitzessin conjunts de dades, sovint recopilades de plataformes de xarxes socials occidentals o xineses. Al febrer vam informar d'un cas d'aquest tipus, destinat a dissenyar una eina d'escolta de xarxes socials basada en IA que, segons els operadors, era per a les forces de seguretat xineses. Aquests usuaris solien demanar a ChatGPT que els ajudés a dissenyar aquestes eines o a generar-ne materials promocionals, però no a implementar el monitoratge.

Per exemple, fa poc vam bloquejar un usuari que possiblement accedia als nostres serveis des de la Xina mitjançant una VPN i que demanava a ChatGPT ajuda per dissenyar materials promocionals i plans de projecte per a una eina d'escolta de xarxes socials, suposadament destinada a un client governamental. L'eina es descrivia com una "sonda" de xarxes socials (探针) que suposadament podia rastrejar Twitter/X, Facebook, Instagram, Reddit, TikTok i YouTube per detectar el que l'usuari descrivia com a discurs extremista i contingut ètnic, religiós i polític. L'usuari no va utilitzar el nostre model per dur a terme el monitoratge efectiu de les xarxes socials. No podem verificar de manera independent si alguna entitat governamental xinesa ha utilitzat aquesta eina.

De la mateixa manera, vam bloquejar un segon usuari, probablement vinculat a una entitat governamental, que va demanar a ChatGPT ajuda per redactar una proposta del que descrivia com un Model d'alerta sobre l'entrada de persones d'alt risc relacionades amb els uigurs (高危涉维吾尔关注人员流入预警模型). La proposta descrivia una eina que analitzaria reserves de transport i les compararia amb registres policials per alertar amb antelació dels desplaçaments de persones classificades com d'alt risc i relacionades amb els uigurs, una categoria que no es definia de cap altra manera. L'usuari no va demanar al nostre model que ajudés a crear aquesta eina, sinó únicament a elaborar-ne una proposta general. Per tant, no podem confirmar de manera independent quina tecnologia pretenia utilitzar ni si alguna entitat governamental xinesa ha fet servir una eina d'aquest tipus.

També vam bloquejar usuaris que semblaven vinculats a entitats governamentals xineses i que aparentment intentaven utilitzar ChatGPT per elaborar perfils més personalitzats i dirigits, i fer recerca en línia.

Per exemple, un usuari va demanar a ChatGPT que identifiqués les fonts de finançament d'un compte d'X que criticava el govern xinès. Un segon usuari va demanar a ChatGPT que identifiqués els organitzadors d'una petició a Mongòlia. En tots dos casos, els nostres models només van proporcionar informació disponible públicament, que no incloïa dades sensibles com ara les fonts de finançament o la identitat dels organitzadors de les peticions.

En part d'aquesta activitat, els nostres models es van utilitzar com una eina de recerca de fonts obertes, de manera semblant a com abans s'haurien fet servir cerques a internet o a les xarxes socials. Per exemple, un tercer usuari va demanar a ChatGPT que identifiqués i resumís diàriament notícies d'última hora rellevants per a la Xina, inclosos temes sensibles com l'aniversari de la massacre de la plaça de Tiananmen de 1989 i l'aniversari del naixement del dalai-lama.