Operatie "A2Z": meertalige beïnvloedingsactiviteiten

Deze casestudy werd oorspronkelijk gepubliceerd in het rapport van oktober 2024⁠(opent in een nieuw venster) van OpenAI.

We blokkeerden een niet eerder gemeld cluster van accounts die onze API gebruikten om reacties te maken die vervolgens op X en Facebook werden geplaatst. Veel van deze reacties prezen Azerbeidzjan of verdedigden de reputatie van het land op het gebied van mensenrechten, maar de operatie richtte zich ook op allerlei andere onderwerpen, wat mogelijk wijst op een commercieel aangestuurde operatie. Omdat het netwerk Azerbeidzjan vaak prees en in meerdere fasen van de operatie AI probeerde te gebruiken, hebben we het "A2Z" genoemd.

Net als de Russischtalige Telegram-operatie die we in mei onthulden en "Bad Grammar" noemden, gebruikte deze operatie onze modellen om reacties op sociale media te plaatsen. De operatie gebruikte AI om valse persona's op sociale media te beheren, biografieën te genereren, berichten en reacties te analyseren, antwoorden in vele talen op te stellen en die te proeflezen. De antwoorden werden vervolgens op X of Facebook geplaatst. De meeste content bestond uit korte reacties, maar er werden ook gestileerde afbeeldingen geplaatst. Deze hadden vaak de stijl van posters uit de jaren dertig en lijken daarom bedoeld om aandacht en interactie te trekken, niet om mensen te misleiden. Kenmerkende berichten met deze gestileerde afbeeldingen kregen echter elk slechts 0–5 interacties.

Door dit gebruik van AI kon de operatie veel socialmedia-accounts tegelijk beheren. We identificeerden op X en Facebook ongeveer 150 accounts die met deze activiteit overeenkwamen en vermoedden dat er nog meer waren. Hierdoor kon de operatie soms ook met echte mensen op internet in discussie gaan. Af en toe zagen we korte gesprekken tussen echte mensen en de nepaccounts, waarbij de antwoorden van de nepaccounts met onze modellen waren gegenereerd.

Een operatie van deze omvang zou vóór de komst van AI waarschijnlijk een groot team van trollen hebben vereist, met alle bijbehorende kosten en risico's op lekken. De afhankelijkheid van AI maakte deze operatie echter ook uitzonderlijk kwetsbaar voor ons ingrijpen. Omdat de operatie AI bij zoveel schakels in de aanvalsketen inzette, verbrak ons ingrijpen veel schakels tegelijk. Nadat we deze activiteit begin juni hadden verstoord, stopten de socialmedia-accounts die we als onderdeel van de operatie hadden aangemerkt gedurende de verkiezingsperioden in de EU, het VK en Frankrijk met posten. Sommige begonnen eind augustus weer berichten te plaatsen. Een klein aantal van hun berichten bevatte aanwijzingen dat ze waarschijnlijk door AI waren gegenereerd. De content met zulke aanwijzingen was niet afkomstig van onze modellen.

Deze campagne genereerde korte reacties over uiteenlopende politieke thema's. Het meest prominente thema was lof voor de regering van Azerbeidzjan en haar rol in de binnenlandse, regionale en internationale politiek, bijvoorbeeld bij het bevorderen van eenheid tussen de landen van Centraal-Azië of als gastland van de VN-klimaatconferentie. Engelstalige en Italiaanstalige accounts prezen de rol van Azerbeidzjan als energieleverancier aan Europa, soms als reactie op kritiek op de staat van de mensenrechten in het land.

Andere activiteiten richtten zich op de voordelen en ontwikkeling van AI, financiële markten, ecologische kwesties, cryptovaluta en technologie in bredere zin. Eén cluster richtte zich op de Verenigde Arabische Emiraten en presenteerde het land als een stabiele investeringsbestemming, vaak tegenover beweringen over politieke instabiliteit in de Verenigde Staten.

Sommige neppersona's richtten zich op de politiek in Europa of de Verenigde Staten. De ideologische signatuur van deze activiteit verschilde per regio. Zo deed een op de Verenigde Staten gericht X-account zich voor als liberaal en bekritiseerde het de voormalige Amerikaanse president Trump, terwijl enkele Franstalige Facebook-accounts president Macron bekritiseerden en de partij Rassemblement National (RN) steunden. Soms richtte deze kritiek zich op binnenlandse kwesties om te betogen dat het betreffende land zich niet met internationale kwesties moest bemoeien, waaronder de Russische invasie van Oekraïne.

Deze operatie was zeer actief op Facebook en X en omvatte waarschijnlijk honderden accounts. Op X hadden sommige accounts het blauwe vinkje van betaalde verificatie. Onder de ongeveer 150 accounts die we op beide platforms onderzochten, vonden we er geen met een aanzienlijk aantal volgers. Het grootste X-account dat we tijdens ons onderzoek aantroffen, had 222 volgers. Gebruikelijker waren aantallen van rond de 15 tot iets boven de 20, en doorsnee berichten op X kregen minder dan tien interacties. Ook het hoogste aantal reacties op een Facebook-bericht dat we tijdens ons onderzoek zagen, was 36; gebruikelijker waren aantallen tussen 0 en 5. We zagen echter ook enkele gevallen waarin berichten van de operatie reacties van echte mensen uitlokten. Die reacties waren niet altijd positief en soms spraken echte mensen de nepaccounts tegen. Toch tonen ze aan dat de operatie in elk geval enig vermogen had om publiek te betrekken op meerdere platforms, in meerdere talen en rond meerdere onderwerpen.

Op basis van de Breakout Scale, die de impact van beïnvloedingsoperaties beoordeelt op een schaal van 1 (laagst) tot 6 (hoogst), plaatsen we deze operatie aan de bovenkant van categorie twee, met het risico door te groeien naar categorie drie. De operatie plaatste berichten op meerdere platforms en er waren aanwijzingen dat echte mensen met de content interacteerden. Nadat we deze operatie de toegang tot onze modellen hadden ontzegd en informatie met branchegenoten hadden gedeeld, bleven de door ons geïdentificeerde socialmedia-accounts echter wekenlang stil. Deze operatie laat dus zien dat AI de capaciteiten van uitvoerders kan vergroten, maar ook dat hun afhankelijkheid van een AI-model hen kwetsbaarder maakt voor verstoring.