Missbruk med koppling till Kina: övervakning och påverkansarbete

Denna fallstudie publicerades ursprungligen i OpenAI:s rapport från oktober 2025⁠(öppnas i ett nytt fönster).

Personer med uppenbara kopplingar till kinesiska statliga organ använde ChatGPT som stöd för utveckling, profilering och administrativa uppgifter.

Som vi beskrev i vårt yttrande om den amerikanska AI-handlingsplanen till Office of Science and Technology Policy i mars anser vi att AI ska gynna så många som möjligt. Det kräver att AI möjliggörs genom förnuftiga regler som ska skydda människor mot faktiska skador, samtidigt som vi bygger demokratisk AI. Med demokratisk AI menar vi AI som formas av de demokratiska principer som USA alltid har stått för. Det innebär bland annat att förhindra auktoritära regimer från att använda AI-verktyg för att samla makt och kontrollera sina medborgare.

Våra investeringar i att upptäcka och stoppa auktoritära regimers försök att missbruka funktionerna i ChatGPT skyddar inte bara människor i dag, utan ger också viktiga insikter om hur sådana regimer kan missbruka framtida funktioner. I det här avsnittet redogör vi för en uppsättning sådana fynd om personer med möjliga kopplingar till den typen av regimer, med fokus på Kina.

Som vi skrev i juni gör Kina verkliga framsteg med att utveckla sin auktoritära variant av AI. Genom att stänga av ChatGPT‑konton som användes av personer med uppenbara kopplingar till kinesiska statliga organ har vi fått en viss inblick i hur AI används i denna auktoritära miljö i dag. Delar av användningen tycktes syfta till att stödja storskalig övervakning av trafik både online och offline. Det understryker vikten av att vi fortsätter uppmärksamma risken för auktoritärt missbruk på området. Andra delar av användningen tycktes syfta till mer djupgående profilering. Vi stängde av de konton som var kopplade till aktiviteten och delar våra insikter i den här rapporten.

Studien bygger på ett urval av regelstridig aktivitet som vi upptäckte och stoppade genom att stänga av konton. Aktiviteten stämde överens med enskilda användares bruk av ChatGPT, snarare än att våra modeller hade införts i stor skala på organisationsnivå. Detta ger därför bara en begränsad ögonblicksbild av hur olika AI-modeller används i detta sammanhang.

Vissa av de konton vi stängde av tycktes försöka använda ChatGPT för att utveckla verktyg för storskalig övervakning genom att analysera datauppsättningar som ofta hade samlats in från västerländska eller kinesiska sociala medieplattformar. I februari rapporterade vi om ett sådant fall som rörde utformningen av ett AI-baserat verktyg för omvärldsbevakning i sociala medier. Operatörerna uppgav att verktyget var avsett för kinesiska säkerhetsstyrkor. Dessa användare bad vanligtvis ChatGPT om hjälp med att utforma sådana verktyg eller skapa marknadsföringsmaterial för dem, men inte med att genomföra själva övervakningen.

Vi stängde exempelvis nyligen av en användare som möjligen använde ett VPN för att få tillgång till våra tjänster från Kina. Personen bad ChatGPT om hjälp med att ta fram marknadsföringsmaterial och projektplaner för ett verktyg för omvärldsbevakning i sociala medier, som påstods vara avsett för en statlig kund. Verktyget beskrevs som en ”sond” (探针) för sociala medier som påstods kunna söka igenom Twitter/X, Facebook, Instagram, Reddit, TikTok och YouTube efter vad användaren beskrev som extremistiska uttalanden samt etniskt, religiöst och politiskt innehåll. Användaren använde inte vår modell för att utföra den faktiska övervakningen av sociala medier. Vi kan inte oberoende verifiera om verktyget har använts av ett kinesiskt statligt organ.

På liknande sätt stängde vi av en andra användare, sannolikt med koppling till ett statligt organ, som bad ChatGPT om hjälp med att skriva ett förslag till vad personen beskrev som en varningsmodell för inflöde av högriskpersoner med uigurisk anknytning (高危涉维吾尔关注人员流入预警模型). Förslaget beskrev ett verktyg som skulle analysera transportbokningar och jämföra dem med polisregister för att kunna varna tidigt om resor som görs av personer klassificerade som uigurrelaterade och högriskpersoner, en kategori som i övrigt inte definierades. Användaren bad inte vår modell om hjälp med att bygga ett sådant verktyg, utan bara med att ta fram ett allmänt förslag. Därför kan vi inte oberoende bekräfta vilken teknik personen avsåg att använda eller om ett sådant verktyg har använts av ett kinesiskt statligt organ.

Vi stängde också av användare som verkade ha kopplingar till kinesiska statliga organ och som tycktes försöka använda ChatGPT för mer skräddarsydd och riktad profilering och research på nätet.

En användare bad exempelvis ChatGPT att identifiera finansieringskällorna bakom ett konto på X som kritiserade den kinesiska regeringen. En annan användare bad ChatGPT att identifiera personerna bakom en namninsamling i Mongoliet. I båda fallen återgav våra modeller endast offentligt tillgänglig information, som inte omfattade känsliga uppgifter såsom finansieringskällor eller identiteten på personerna bakom namninsamlingen.

I delar av denna aktivitet användes våra modeller som researchverktyg för öppna källor, ungefär som tidigare användare kan ha använt sökningar på internet eller i sociala medier. En tredje användare bad exempelvis ChatGPT att varje dag identifiera och sammanfatta aktuella nyheter av betydelse för Kina, bland annat om känsliga ämnen såsom årsdagen av massakern på Himmelska fridens torg 1989 och Dalai lamas födelsedag.