Overslaan naar hoofdinhoud
OpenAI

1 mei 2024

Veiligheid

Operatie "Zero Zeno": aan Israël gelieerde beïnvloedingsactiviteiten

OpenAI heeft accounts geblokkeerd die verband hielden met een niet eerder gemelde operatie uit Israël die we "Zero Zeno" noemden en die AI gebruikte om anti-Hamas-, anti-Qatar-, pro-Israël-, anti-BJP- en pro-Histadrut-content te genereren.

Bezig met laden...

Deze casestudy werd oorspronkelijk gepubliceerd in het rapport van OpenAI van mei 2024⁠(opent in een nieuw venster).

Actor

We hebben een cluster van vanuit Israël beheerde accounts geblokkeerd die werden gebruikt om content te genereren en te bewerken voor een beïnvloedingsoperatie op X, Facebook, Instagram, websites en YouTube. Het netwerk werd beheerd door STOIC, een Israëlisch bedrijf dat politieke campagnes organiseert. Als eerbetoon aan de grondlegger van de stoïcijnse filosofische school en vanwege de geringe interactie die het netwerk wist te genereren, hebben we het de bijnaam "Zero Zeno" gegeven.

Gedrag

Deze operatie richtte zich met Engelstalige en Hebreeuwstalige content op doelgroepen in Canada, de Verenigde Staten en Israël. Begin mei begon de operatie zich met Engelstalige content op doelgroepen in India te richten. De operatie lijkt zich ook te hebben voorbereid op een beïnvloedingscampagne gericht op doelgroepen in Ghana.

De operatie gebruikte onze modellen om webartikelen en reacties voor sociale media te genereren, die vervolgens op meerdere platforms werden geplaatst, met name Instagram, Facebook en X.

Engelstalige reacties die door dit netwerk zijn gegenereerd en op Instagram zijn geplaatst. Zowel het oorspronkelijke bericht als de reacties zijn door deze campagne gegenereerd.

Engelstalige reacties die door dit netwerk zijn gegenereerd en op Instagram zijn geplaatst. Zowel het oorspronkelijke bericht als de reacties zijn door deze campagne gegenereerd.

De operatie gebruikte onze modellen ook om op basis van variabelen zoals leeftijd, gender en locatie fictieve persona's en biografieën voor sociale media te maken, en om onderzoek te doen naar mensen in Israël die zich publiekelijk over de Israëlische vakbond Histadrut hadden uitgelaten. Onze modellen weigerden in antwoord op deze prompts persoonsgegevens te verstrekken.

Door dit netwerk gegenereerde content werd op meerdere sociale-mediaplatforms geplaatst. Openbronnenonderzoek door het Digital Forensic Research Lab van de Atlantic Council⁠(opent in een nieuw venster) bracht een deel van de content op Facebook, Instagram en X aan het licht. Nadat die accounts waren uitgeschakeld, nam de operatie nieuwe accounts in gebruik. Andere content verscheen op vier websites die zich voordeden als actiegroepen rond het conflict in Gaza en bredere kwesties met betrekking tot de verhoudingen tussen mensen met een Joods en islamitisch geloof: uc4canada.com, the-good-samaritan.com, ufnews.io en nonagenda.com.

In sommige gevallen zagen we dat nepaccounts van deze operatie reageerden op sociale-mediaberichten van de operatie zelf, waarschijnlijk om de indruk van interactie met een publiek te wekken.

Bericht op X van een account dat verband houdt met de activiteiten die voor het eerst door DFRLab zijn vastgesteld, samen met de reacties erop. Alle reacties in deze afbeelding zijn door deze campagne gegenereerd.

Bericht op X van een account dat verband houdt met de activiteiten die voor het eerst door DFRLab zijn vastgesteld, samen met de reacties erop. Alle reacties in deze afbeelding zijn door deze campagne gegenereerd.

Veel sociale-media-accounts die content van dit netwerk plaatsten, gebruikten profielfoto's die lijken te zijn gemaakt met een ouder type kunstmatige intelligentie: generative adversarial networks (GAN's). Dergelijke afbeeldingen kunnen eenvoudig van internet worden gedownload. Hoewel deze afbeeldingen gemakkelijk te maken zijn, zagen we meerdere sociale-media-accounts binnen dit netwerk die dezelfde foto gebruikten. Soms reageerden twee of meer accounts met dezelfde profielfoto op hetzelfde sociale-mediabericht.

Profielfoto's van X-accounts die door dit netwerk gegenereerde reacties plaatsten. De foto vertoont visuele kenmerken die wijzen op generatie met een GAN.

Profielfoto's van X-accounts die door dit netwerk gegenereerde reacties plaatsten. De foto vertoont visuele kenmerken die wijzen op generatie met een GAN.

Content

Deze operatie bestond uit meerdere thematische campagnes, waarvan de meeste losjes verband hielden met het conflict in Gaza en de bredere vraag naar de verhoudingen tussen mensen met een Joods en islamitisch geloof. In mei hebben we binnen 24 uur na de start een deel van de activiteiten rond de verkiezingen in India verstoord.

Openbronnenonderzoek uit februari⁠(opent in een nieuw venster) beschreef hoe dit netwerk kritiek uitte op de VN-hulporganisatie voor Palestijnse vluchtelingen, UNRWA. Het DFRLab-rapport uit maart⁠(opent in een nieuw venster) belichtte content die zich op Canada richtte en kritiek uitte op mensen die in de berichten van de campagne werden omschreven als "radicale islamisten". Een ander cluster richtte zich op universiteiten in de Verenigde Staten en beschuldigde pro-Palestijnse demonstranten ervan antisemitisme en terrorisme te bevorderen. Een vierde cluster richtte zich op Qatar en portretteerde de investeringen van dat land in de VS als een bedreiging voor de Amerikaanse manier van leven. Een vijfde cluster genereerde Hebreeuwstalige berichten voor sociale media. Deze prezen doorgaans de vakbondsorganisatie Histadrut en haar leiderschap. Ten slotte begon het netwerk in mei reacties te genereren die zich op India richtten, kritiek uitten op de regerende BJP-partij en de oppositiepartij Congress prezen.

Soms lijkt het netwerk zijn accounts van het ene naar het andere onderwerp te hebben omgeschakeld. Accounts die eerder over Canada hadden gepost, verlegden hun aandacht bijvoorbeeld naar de VS, India of Histadrut, of naar meerdere hiervan.

Drie reacties op X van een account dat herhaaldelijk door deze campagne gegenereerde content plaatste, 1-4 mei 2024. Het oudste bericht (onderaan) lijkt een poging te zijn geweest om een persona op te bouwen. Het tweede bericht richt zich op Canada en bevat een bericht van het belangrijkste op Canada gerichte account van dit netwerk. Het derde richt zich op India.

Drie reacties op X van een account dat herhaaldelijk door deze campagne gegenereerde content plaatste, 1-4 mei 2024. Het oudste bericht (onderaan) lijkt een poging te zijn geweest om een persona op te bouwen. Het tweede bericht richt zich op Canada en bevat een bericht van het belangrijkste op Canada gerichte account van dit netwerk. Het derde richt zich op India.

Een deel van de door dit netwerk gemaakte content werd op sociale media geplaatst als reactie op prominente westerse personen aan beide kanten van het politieke spectrum. Deze reacties hielden doorgaans geen verband met het oorspronkelijke bericht. Zo werd een reactie over het "opkopen" van Amerika door Qatar geplaatst onder een bericht over de muzikale voorkeuren van voormalig president Trump.

Boven: een bericht van Laura Ingraham over de muzikale voorkeuren van president Trump. Onder: een bericht met een door dit netwerk gegenereerde reactie. Let op het verschil in interactiecijfers tussen het oorspronkelijke bericht en de reactie.

Boven: een bericht van Laura Ingraham over de muzikale voorkeuren van president Trump. Onder: een bericht met een door dit netwerk gegenereerde reactie. Let op het verschil in interactiecijfers tussen het oorspronkelijke bericht en de reactie.

Effectbeoordeling

De activiteiten van Zero Zeno lijken weinig tot geen interactie te hebben opgeleverd, afgezien van die van de eigen niet-authentieke accounts. (Veel accounts zijn al door Meta en X uitgeschakeld, waardoor de huidige interactiecijfers mogelijk geen volledig beeld geven.)

Op basis van de Breakout Scale⁠(opent in een nieuw venster) voor het beoordelen van de impact van beïnvloedingsoperaties, met scores van 1 (laagste) tot 6 (hoogste), zouden we dit aanmerken als een operatie van categorie 2: er werden berichten op meerdere platforms en websites geplaatst, maar er is geen bewijs dat mensen buiten het netwerk deze content aanzienlijk hebben versterkt.

YouTube-kanaal dat verband houdt met de op Canada gerichte campagne van deze operatie. Op 25 april 2024 had het één video geplaatst, die nog niet was bekeken.

YouTube-kanaal dat verband houdt met de op Canada gerichte campagne van deze operatie. Op 25 april 2024 had het één video geplaatst, die nog niet was bekeken.

Indicatoren

We hebben vastgesteld dat de volgende domeinen verband hielden met de campagnes van Zero Zeno.

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io