Gå til hovedindhold
OpenAI

1. maj 2024

Sikkerhed

Operationen »Spamouflage«: Kinesisk påvirkningsaktivitet

OpenAI udelukkede konti med tilknytning til den kinesiske operation »Spamouflage«, som brugte AI til at undersøge aktivitet på sociale medier, generere opslag og fejlfinde et hidtil ukendt websted.

Indlæser ...

Dette casestudie blev oprindeligt udgivet i OpenAI’s rapport fra maj 2024⁠(åbner i et nyt vindue).

Aktør

Vi udelukkede et mindre antal konti med tilknytning til den kinesiske operation kendt som »Spamouflage«⁠(åbner i et nyt vindue). Meta⁠(åbner i et nyt vindue) har knyttet operationen til »personer med tilknytning til kinesiske retshåndhævende myndigheder«. FBI⁠(åbner i et nyt vindue) har knyttet en del af operationens aktivitet på sociale medier til en enhed under Kinas ministerium for offentlig sikkerhed.

Adfærd

Netværket var rettet mod målgrupper over hele verden, især medlemmer af den kinesiske diaspora og kritikere af den kinesiske regering. Det genererede hovedsageligt indhold på kinesisk og i mindre omfang på engelsk, japansk og koreansk.

Netværket brugte vores modeller til at fejlfinde kode, få rådgivning om analyse af sociale medier, undersøge nyheder og aktuelle begivenheder samt generere indhold, der efterfølgende blev udgivet på blogfora og sociale medier.

I 2023 brugte netværket eksempelvis vores modeller til at fejlfinde kode, der indstillede WordPress-temaet på webstedet revealscum.com. Webstedet offentliggjorde kritik på kinesisk og personoplysninger om medlemmer af den kinesiske diaspora, der kritiserede den kinesiske regering. Webstedet kaldte disse kritikere »forrædere«. Selve indholdet blev ikke genereret ved hjælp af vores modeller.

Skærmbillede af webstedet revealscum.com, der viser siden med titlen »汉奸« (»forræder«). Vi har sløret ansigterne på de personer, som webstedet var rettet mod.

Skærmbillede af webstedet revealscum.com, der viser siden med titlen »汉奸« (»forræder«). Vi har sløret ansigterne på de personer, som webstedet var rettet mod.

Kampagnen brugte også vores modeller til at skabe indhold, som efterfølgende blev slået op på sociale medieplatforme og fora. I slutningen af 2023 genererede operationen eksempelvis artikler, der beskyldte Japan for at skade havmiljøet ved at udlede spildevand fra Fukushima-kraftværket. Vi fandt artiklerne på blandt andet Medium, Blogspot og ameblo.jp.

I april 2024 offentliggjorde kampagnen en række engelske kommentarer, der kritiserede den kinesiske systemkritiker Cai Xia. Vi identificerede én X-konto, der offentliggjorde den første kommentar, og en klynge af andre konti, der lagde resten af kommentarerne op som svar. Vi så ingen ægte konti svare på dem.

Opslag og svar med angreb på Cai Xia, hvor indholdet blev genereret af Spamouflage ved hjælp af vores modeller. Bemærk, at der ikke er nogen delinger eller likes. Alle ti kommentarer til det oprindelige opslag kom fra konti, der brugte indhold genereret af Spamouflage.

Opslag og svar med angreb på Cai Xia, hvor indholdet blev genereret af Spamouflage ved hjælp af vores modeller. Bemærk, at der ikke er nogen delinger eller likes. Alle ti kommentarer til det oprindelige opslag kom fra konti, der brugte indhold genereret af Spamouflage.

Kampagnen brugte også vores modeller til at indsamle oplysninger fra åbne kilder, eksempelvis om, hvordan man ansøger om udviklerkonti på sociale medier, og til at bede om resuméer af opslag fra kritikere af den kinesiske regering.

Netværkets brug af kunstig intelligens ser kun ud til at have udgjort en mindre del af dets samlede produktion. Mange af de X- og Medium-konti, som vi identificerede som afsendere af indhold genereret af vores modeller, slog eksempelvis langt mere indhold op, der så ud til at være skabt manuelt på engelsk og kinesisk. Det fremgik blandt andet af den uidiomatiske brug af engelsk. De offentliggjorde dette indhold både før og efter de AI-genererede kommentarer.

Opslag fra den 22. april 2024 af en af de konti, der offentliggjorde AI-genereret indhold den 19. april. Både tekst og billede ser ud til at være skabt manuelt.

Opslag fra den 22. april 2024 af en af de konti, der offentliggjorde AI-genereret indhold den 19. april. Både tekst og billede ser ud til at være skabt manuelt.

Indhold

En stor del af det indhold, som kampagnen genererede, var på kinesisk. Emnerne spændte fra ros af den kinesiske regerings internationale retshåndhævelsessamarbejde til kritik af overgreb mod oprindelige amerikanere i USA. Noget indhold kritiserede den amerikanske regering og Microsoft for at afsløre aktiviteterne hos den kinesiske hackergruppe kendt som »Volt Typhoon«.

Andet indhold var på engelsk. Det kritiserede typisk fremtrædende kritikere af den kinesiske regering såsom skuespilleren og Tibet-aktivisten Richard Gere og systemkritikeren Cai Xia. Enkelte artikler, der blev genereret i slutningen af 2023 på engelsk, japansk, kinesisk, koreansk og russisk, beskyldte Japan for at forurene Stillehavet med udledningen fra Fukushima-atomkraftværket⁠(åbner i et nyt vindue) – et tilbagevendende tema i kinesiske påvirkningsoperationer.

En mindre aktivitetsklynge fokuserede på at generere positive kommentarer på kinesisk om et besøg i Usbekistan af Kinas minister for offentlig sikkerhed. Spamouflage har ikke tidligere beskæftiget sig med dette tema. Det er interessant i lyset af, at FBI har knyttet⁠(åbner i et nyt vindue) nogle af operationens tidligere aktiviteter på sociale medier til Kinas ministerium for offentlig sikkerhed.

Nogle af netværkets aktiviteter synes at have afspejlet personlige interesser hos dem, der stod bag. Eksempelvis brugte én operator vores modeller til at undersøge kameraobjektiver. En anden brugte vores modeller til at løse, hvad der lader til at have været en prøveopgave for medlemmer af Kinas Kommunistiske Parti.

Konsekvensvurdering

Spamouflage har været en af verdens mest intensivt undersøgte påvirkningsoperationer, siden den første gang blev beskrevet offentligt i 2019⁠(åbner i et nyt vindue). Kun meget få af dens aktiviteter er nogensinde blevet rapporteret at have nået ægte målgrupper.

Brugen af AI-genereret indhold ser ikke ud til at have ændret denne dynamik. Ingen af de blogs, artikler eller konti på sociale medier, som vi identificerede i vores undersøgelse, opnåede mange interaktioner eller følgere fra virkelige mennesker. I nogle tilfælde viser de tilgængelige indikatorer, at de eneste visninger af opslagene kom fra vores undersøgelsesteam.

Hvis vi bruger Breakout-skalaen⁠(åbner i et nyt vindue), der vurderer påvirkningsoperationers effekt på en skala fra 1 (lavest) til 6 (højest), vurderer vi dette som en kategori 2-operation. Den er kendetegnet ved aktivitet på mange platforme, men der er ingen tegn på betydelig forstærkning fra personer uden for netværket.

Indikatorer

Vi identificerede følgende domæne som knyttet til kampagnen.

  • revealscum.com