Operasjon «A2Z»: Flerspråklig påvirkningsaktivitet

Denne casestudien ble opprinnelig publisert i OpenAIs rapport fra oktober 2024⁠(åpnes i et nytt vindu).

Vi utestengte en tidligere uomtalt gruppe kontoer som brukte API-et vårt til å lage kommentarer som deretter ble publisert på X og Facebook. Mange av kommentarene hyllet Aserbajdsjan eller forsvarte landets menneskerettighetspraksis, men aktiviteten omfattet også en rekke andre temaer, noe som kan tyde på en kommersielt drevet operasjon. På grunn av hvor ofte nettverket hyllet Aserbajdsjan, og forsøket på å bruke KI i flere faser av operasjonen, har vi kalt nettverket «A2Z».

I likhet med den russiskspråklige Telegram-operasjonen vi avslørte i mai og kalte «Bad Grammar», brukte denne operasjonen modellene våre til å legge til rette for kommentering i sosiale medier. Den brukte KI til å administrere falske profiler i sosiale medier, lage biografier, analysere innlegg og kommentarer, utforme svar på mange språk og korrekturlese dem. Svarene ble deretter publisert på X eller Facebook. Det meste av innholdet besto av korte kommentarer, men det omfattet også stiliserte bilder. Disse var ofte utformet som plakater fra 1930-tallet og ser derfor ut til å være laget for å vekke oppmerksomhet og engasjement, ikke for å villede. Vanlige innlegg med disse stiliserte bildene fikk imidlertid bare 0–5 reaksjoner hver.

Denne bruken av KI gjorde det mulig for operasjonen å administrere mange kontoer i sosiale medier samtidig. Vi identifiserte rundt 150 kontoer på X og Facebook som samsvarte med aktiviteten, og mistenker at det finnes flere. Det gjorde det også mulig for operasjonen å delta i kommentartråder med virkelige personer på nettet. Av og til observerte vi korte samtaler mellom virkelige personer og de falske kontoene, der svarene fra de falske kontoene var generert med modellene våre.

Før KI ville en operasjon i denne skalaen trolig ha krevd en stor gruppe troll, med alle kostnadene og risikoene for lekkasjer som et slikt foretak innebærer. Samtidig gjorde operasjonens avhengighet av KI den uvanlig sårbar for tiltakene våre. Fordi den brukte KI i så mange ledd av angrepskjeden, brøt nedstengningen vår flere ledd samtidig. Etter at vi stanset aktiviteten tidlig i juni, sluttet kontoene i sosiale medier som vi hadde identifisert som del av operasjonen, å publisere gjennom valgperiodene i EU, Storbritannia og Frankrike. Noen begynte å publisere igjen sent i august. Et lite antall av innleggene deres hadde kjennetegn som tydet på at de sannsynligvis var generert av KI. Innholdet med slike kjennetegn kom ikke fra modellene våre.

Denne kampanjen genererte korte kommentarer om en rekke politiske temaer. Det mest fremtredende var hyllest av regjeringen i Aserbajdsjan og dens rolle i nasjonal, regional og internasjonal politikk – for eksempel ved å fremme samhold mellom landene i Sentral-Asia eller være vertskap for FNs klimakonferanse. Engelsk- og italienskspråklige kontoer hyllet Aserbajdsjans rolle som energileverandør til Europa – iblant som svar på kritikk av aserbajdsjanske myndigheters menneskerettighetspraksis.

Andre deler av aktiviteten handlet om fordelene ved og utviklingen av KI, finansmarkeder, miljøspørsmål, kryptovaluta og teknologi mer generelt. Én gruppe fokuserte på De forente arabiske emirater og fremstilte landet som et stabilt investeringsmål, ofte i kontrast til påstander om politisk ustabilitet i USA.

Enkelte falske profiler fokuserte på politikk i Europa eller USA. Ideologien bak aktiviteten varierte fra region til region. Én X-konto rettet mot USA utga seg for eksempel for å være liberal og kritiserte USAs tidligere president Trump, mens enkelte franskspråklige Facebook-kontoer kritiserte president Macron og støttet partiet Rassemblement National (RN). Noen ganger tok kritikken utgangspunkt i innenrikssaker for å argumentere for at det aktuelle landet ikke burde gripe inn i internasjonale spørsmål, blant annet Russlands invasjon av Ukraina.

Operasjonen var svært aktiv på Facebook og X, sannsynligvis med flere hundre kontoer. På X hadde enkelte av kontoene det blå merket som viser betalt verifisering. Blant de rundt 150 kontoene vi undersøkte på begge plattformene, fant vi ingen med et betydelig antall følgere. Det høyeste følgertallet på X som vi fant under undersøkelsen, var 222. Mer typiske tall lå mellom rundt 15 og litt over 20, og vanlige innlegg på X fikk et ensifret antall reaksjoner. Tilsvarende var det høyeste antallet reaksjoner vi observerte på et Facebook-innlegg under undersøkelsen, 36, mens mer typiske tall lå mellom 0 og 5. Vi fant imidlertid enkelte tilfeller der operasjonens innlegg fikk svar fra virkelige personer. Svarene var ikke alltid positive og omfattet iblant virkelige personer som motsa de falske kontoene. De viser likevel en viss evne til å engasjere publikum på flere plattformer, på flere språk og om flere temaer.

Ved bruk av Breakout Scale, som vurderer virkningen av påvirkningsoperasjoner på en skala fra 1 (lavest) til 6 (høyest), vurderer vi denne operasjonen til øvre del av kategori to, med risiko for å bryte gjennom til kategori tre. Den var preget av publisering på flere plattformer, med enkelte tegn på at virkelige personer engasjerte seg i innholdet. Etter at vi utestengte operasjonen fra å bruke modellene våre og delte informasjon med andre i bransjen, ble imidlertid kontoene i sosiale medier som vi hadde identifisert, tause i mange uker. Operasjonen viser dermed både den økte kapasiteten KI kan gi aktører, og den økte sårbarheten for forstyrrelser som følger av deres avhengighet av en KI-modell.