Operatie "Uncle Spam": beïnvloedingsactiviteit rond polarisatie in de VS
OpenAI blokkeerde accounts van Chinese oorsprong die AI gebruikten om politieke content over de VS te genereren en onderzoek te doen naar personen, bewegingen en onlinecommunity's.
Deze casestudy werd oorspronkelijk gepubliceerd in het rapport van OpenAI van juni 2025(opent in een nieuw venster).
Actor
Na een tip van onze collega's bij Meta blokkeerden we een aantal ChatGPT‑accounts die verband hielden met een beïnvloedingsoperatie van Chinese oorsprong(opent in een nieuw venster). De operatie genereerde polariserende content voor sociale media die beide kanten van controversiële onderwerpen in het politieke debat in de VS ondersteunde, waaronder tekst en door AI gegenereerde profielfoto's op platforms als X en Bluesky.
Gedrag
Het netwerk gebruikte onze modellen voor meerdere taken, voornamelijk om reacties voor sociale media te genereren die importheffingen steunden of bekritiseerden. De accounts vroegen onze modellen naar de beste momenten om berichten te plaatsen en zo de interactie met het publiek te maximaliseren, wat wijst op doelbewuste versterkingstactieken.
Twee tweets waarvan de tekst met onze modellen door deze dreigingsactor werd gegenereerd en die elk een andere kant van het debat over importheffingen belichten.
Daarnaast gebruikten de accounts onze mogelijkheden voor beeldgeneratie om gestileerde logo's te maken. Die werden vervolgens op verschillende sociale platforms gebruikt als profielfoto's voor fictieve persona's. De accounts richtten zich vooral op het creëren van persona's van Amerikaanse veteranen die kritiek hadden op de huidige Amerikaanse regering.
Een Bluesky-account dat door dit netwerk gegenereerde content plaatste. Het logo van "Veterans for Justice" werd met onze modellen gegenereerd.
Tot slot vroegen de accounts herhaaldelijk om code en methoden om met tools als Tweepy, Nitter en de openbare API van Bluesky persoonsgegevens, zoals gebruikersprofielen, volgerslijsten en andere gegevens, te verzamelen van sociale platforms als X en Bluesky. Daarnaast gebruikten de accounts onze modellen voor advies over het analyseren van profielgegevens op persoonlijke kenmerken en banden met organisaties, mogelijk om personen te categoriseren of verbanden en kenmerken af te leiden.
Resultaten
De accounts produceerden polariserende content over het politieke debat in de VS, vaak binnen dezelfde operationele sessies. In overeenstemming met bekende methoden van beïnvloedingsoperaties lijkt dit bedoeld om bestaande politieke verdeeldheid uit te buiten, en niet om een specifiek ideologisch standpunt te bevorderen. Vanwege de hoeveelheid content en de focus op Amerikaanse boodschappen noemden we deze operatie "Uncle Spam".
Tweets van fictieve persona's met tekst die door onze modellen is gegenereerd.
Impact
Op basis van de Breakout-schaal(opent in een nieuw venster) voor de impact van beïnvloedingsoperaties beoordelen we dit als categorie 2: activiteit op meerdere platforms, zonder doorbraak of met minimale interactie. De socialemedia-accounts die door onze modellen gegenereerde content plaatsten, kregen weinig authentieke interactie. De meeste X-berichten van dit netwerk kregen weinig tot geen likes of reposts; slechts enkele berichten kregen enige interactie. Sommige socialemedia-accounts hadden duizenden volgers, maar we konden de authenticiteit van die volgers niet beoordelen. Bovendien leken de volgersaantallen niet te leiden tot interactie met de berichten.