Operation ”A2Z”: Flerspråkig påverkansaktivitet

Den här fallstudien publicerades ursprungligen i OpenAI:s rapport från oktober 2024⁠(öppnas i ett nytt fönster).

Vi stängde av en tidigare okänd grupp konton som använde vårt API för att skapa kommentarer som sedan publicerades på X och Facebook. Många av kommentarerna hyllade Azerbajdzjan eller försvarade landets insatser för mänskliga rättigheter, men operationen behandlade också en mängd andra ämnen, vilket kan tyda på att den drevs kommersiellt. Eftersom nätverket så ofta hyllade Azerbajdzjan och försökte använda AI i flera faser av operationen har vi gett det namnet ”A2Z”.

Liksom den ryskspråkiga Telegram-operation som vi avslöjade i maj och kallade ”Bad Grammar” använde den här operationen våra modeller för att möjliggöra kommenterande i sociala medier. Den använde AI för att hantera falska identiteter i sociala medier, skapa profiltexter, analysera inlägg och kommentarer, skriva utkast till svar på många språk och korrekturläsa dem. Svaren publicerades sedan på X eller Facebook. Det mesta av innehållet bestod av korta kommentarer, men det omfattade även stiliserade bilder. De efterliknade ofta 1930-talets affischer och verkar därför ha utformats för att väcka uppmärksamhet och engagemang snarare än för att vilseleda. Vanliga inlägg med dessa stiliserade bilder fick dock bara 0–5 interaktioner vardera.

AI-användningen gjorde det möjligt för operationen att hantera många konton i sociala medier samtidigt. Vi identifierade omkring 150 konton på X och Facebook som stämde överens med aktiviteten, och ytterligare konton misstänks. Den gjorde det också möjligt för operationen att ibland delta i kommentarstrådar med verkliga personer på internet. Ibland såg vi korta samtal mellan verkliga personer och de falska kontona, där svaren från de falska kontona hade skapats med våra modeller.

En operation av den här omfattningen före AI-eran hade sannolikt krävt en stor grupp nättroll, med alla kostnader och risker för läckor som ett sådant projekt medför. Samtidigt gjorde operationens beroende av AI den ovanligt sårbar för våra motåtgärder. Eftersom den använde AI i så många led av attackkedjan slog vår avstängning ut många led samtidigt. Efter att vi stoppade aktiviteten i början av juni upphörde de konton i sociala medier som vi hade identifierat som delar av operationen att publicera under valperioderna i EU, Storbritannien och Frankrike. Vissa började publicera igen i slutet av augusti. Ett litet antal av deras inlägg uppvisade tecken på att sannolikt ha skapats med AI. Innehållet som uppvisade sådana tecken kom inte från våra modeller.

Kampanjen skapade korta kommentarer om en mängd olika politiska teman. Mest framträdande var hyllningarna av Azerbajdzjans regering och dess roll i inrikes-, regional- och internationell politik – till exempel att främja sammanhållningen mellan länderna i Centralasien eller stå värd för FN:s klimatkonferens. Engelsk- och italienskspråkiga konton hyllade Azerbajdzjans roll som energileverantör till Europa – ibland som svar på kritik mot den azerbajdzjanska regeringens insatser för mänskliga rättigheter.

Andra delar av aktiviteten handlade om fördelarna med och utvecklingen av AI, finansmarknader, miljöfrågor, kryptovalutor och teknik i bredare bemärkelse. En grupp fokuserade på Förenade Arabemiraten och framställde landet som en stabil investeringsmarknad, ofta i kontrast till påståenden om politisk instabilitet i USA.

Vissa falska identiteter fokuserade på politik i Europa eller USA. Aktivitetens ideologiska inriktning varierade mellan olika regioner. Ett X-konto inriktat på USA utgav sig exempelvis för att vara liberalt och kritiserade USA:s tidigare president Trump, medan vissa franskspråkiga Facebook-konton kritiserade president Macron och stödde partiet Nationell samling (RN). Ibland tog kritiken fasta på inrikesfrågor för att hävda att landet i fråga inte borde ingripa i internationella frågor, däribland Rysslands invasion av Ukraina.

Operationen var mycket aktiv på Facebook och X och omfattade sannolikt hundratals konton. På X hade vissa av kontona den blå bock som visar att verifiering hade köpts. Bland de cirka 150 konton vi granskade på de båda plattformarna hittade vi inget med ett betydande antal följare. Det största följarantalet på X som vi identifierade under utredningen var 222. Vanligare var mellan 15 och drygt 20 följare, och typiska inlägg på X fick färre än tio interaktioner. På liknande sätt var det högsta antalet reaktioner på ett Facebook-inlägg som vi såg under utredningen 36, medan 0–5 var vanligare. Vi hittade dock vissa tillfällen då operationens inlägg fick svar från verkliga personer. Svaren var inte alltid positiva och omfattade ibland verkliga personer som sade emot de falska kontona. De visar ändå att operationen åtminstone i viss mån kunde engagera målgrupper på flera plattformar, på flera språk och i flera ämnen.

När vi bedömer påverkansoperationers genomslag med Breakout Scale, där de klassificeras på en skala från 1 (lägst) till 6 (högst), placerar vi den här operationen i den övre delen av kategori två, med risk att nå kategori tre. Den utmärktes av publicering på flera plattformar och det fanns vissa belägg för att verkliga personer interagerade med innehållet. När vi hade förbjudit operationen att använda våra modeller och delat information med branschkollegor tystnade dock de identifierade kontona i sociala medier i flera veckor. Operationen belyser därmed både den ökade förmåga som AI kan ge aktörer och den ökade sårbarhet för störningar som följer av deras beroende av en AI-modell.