Operatie "Verkeerd nummer": taakfraude met hulp van AI
OpenAI blokkeerde accounts die waarschijnlijk vanuit Cambodja opereerden en AI gebruikten voor frauduleuze processen gericht op mensen in het VK.
Deze casestudy werd oorspronkelijk gepubliceerd in het rapport van OpenAI van juni 2025(opent in een nieuw venster).
Actor
We blokkeerden ChatGPT‑accounts die korte wervingsberichten genereerden in het Engels, Spaans, Swahili, Kinyarwanda, Duits en Haïtiaans-Creools. In deze berichten kregen ontvangers hoge salarissen aangeboden voor eenvoudige taken, zoals het liken van berichten op sociale media, en werden ze aangemoedigd om anderen te werven. De operatie leek sterk gecentraliseerd en was waarschijnlijk afkomstig uit Cambodja.
Met AI-gestuurde vertaalhulpmiddelen konden we het gebruik van OpenAI-diensten door deze campagne snel onderzoeken en verstoren.
Gedrag
Het merendeel van de opmerkingen van het netwerk betrof vertaaltaken. Ze gebruikten ChatGPT om alledaagse zinnen te vertalen tussen het Chinees en diverse andere talen, met name Engels, Spaans, Kinyarwanda, Swahili, Duits en Haïtiaans-Creools. Bij deze taken werd doorgaans afwisselend een inkomend bericht naar het Chinees vertaald en een Chinees antwoord terugvertaald naar de oorspronkelijke taal.
Een deel van deze berichten leek op ongevraagde personeelsadvertenties waarin een hoog uurloon voor weinig werk werd aangeboden. Eén zo'n bericht werd per sms verstuurd naar wat een willekeurige reeks Britse mobiele nummers leek te zijn. Een van die nummers behoorde toe aan een onderzoeker van OpenAI. Ter ere van de eerste sms hebben we deze operatie "Verkeerd nummer" genoemd.
Willekeurig naar een onderzoeker van OpenAI verstuurde sms, gegenereerd met ChatGPT.
De dreigingsactoren leken meerdere berichtenplatforms te gebruiken. De eerste sms verwees ontvangers naar WhatsApp. Wie reageerde, werd daar vervolgens doorgestuurd naar een "mentor" op Telegram. Bij sommige activiteiten werd ook verwezen naar de berichtenapp BonChat. De eerste introductieberichten via deze kanalen leken niet met onze modellen te zijn gegenereerd. Het ging om standaardberichten die waarschijnlijk in elk gesprek konden worden gebruikt.
WhatsApp-bericht dat als vervolg op de sms werd verstuurd. Dit bericht lijkt niet met onze modellen te zijn gegenereerd.
Veel vertaaltaken betroffen communicatie die zogenaamd afkomstig was van vertegenwoordigers van vermeende "werkgevers". Binnen de voor dit onderzoek relevante ChatGPT‑gesprekken doken steeds opnieuw dezelfde bedrijfsnamen op. Dit waren onder meer Hyesung Advertising(opent in een nieuw venster) en Lightning Shared Scooter Co (LSSC)(opent in een nieuw venster). Volgens openbare berichtgeving zijn Hyesung en LSSC vermoedelijk betrokken bij taakfraude. Hoewel we de aard van deze entiteiten niet onafhankelijk hebben geverifieerd, bleek uit ons onderzoek dat berichten die zogenaamd van hen afkomstig waren, werden gegenereerd door Chineestalige ChatGPT‑gebruikers die waarschijnlijk vanuit Cambodja opereerden.
Gegenereerde content
De bedrijven die dit netwerk naar eigen zeggen vertegenwoordigde, waren actief in zeer uiteenlopende sectoren, van aandelenhandel en scooterverhuur tot de verkoop van likes op sociale media. Een duidelijk waarschuwingssignaal was het aanbod van meer dan $ 5 voor één like op TikTok. Ter vergelijking: bij onze handmatige controle van online marktplaatsen zagen we dat sommige verkopers van likes minder dan $ 10 voor 1.000 likes rekenen.
Door signalen buiten het platform te combineren met interne waarnemingen, ontdekten we een terugkerend werkpatroon. Om deze tactiek beter begrijpelijk en eenvoudiger te classificeren te maken, beschrijven we dit patroon als: de lokker (ongevraagd contact), de prikkel (enthousiasme opwekken) en de angel (geld afhandig maken):
De lokker (ongevraagd contact): het netwerk genereert content voor ongevraagde benadering, doorgaans met een ongebruikelijk hoog loon voor weinig werk of de belofte van hoge rendementen op aandelenbeleggingen. Deze aanbiedingen omvatten hoge vergoedingen voor eenvoudige taken, zoals het liken van berichten op sociale media, of lucratieve beleggingsmogelijkheden.
De prikkel (enthousiasme opwekken): het netwerk vertaalt gesprekken, waarschijnlijk tussen de operator en diens "werknemers". Deze uitwisselingen bevatten praktische details over taken, maar worden vaak afgewisseld met motiverende berichten over inkomsten en mogelijke bonussen.
De angel (geld afhandig maken): het netwerk genereert en/of verstuurt content waarmee de "werknemer" of "belegger" onder druk wordt gezet om geld in te leggen en zo grotere beloningen vrij te spelen. Dit gebeurt in verschillende vormen, waaronder een eerste "storting", de aankoop van cryptovaluta en "administratiekosten".
Voorbeeld van een met ChatGPT gegenereerd bericht voor ongevraagde benadering, dat door dit netwerk werd verspreid. Het bericht werd gelijktijdig naar acht telefoonnummers gestuurd, waarvan er geen in de contactenlijst van de ontvanger stond. Eén ontvanger verliet de groep onmiddellijk.
Telegram-bericht van het netwerk aan een mogelijk slachtoffer, met de instructie om voor £ 20 aan cryptovaluta te kopen en die over te maken naar een niet bij naam genoemde handelaar.
Volgens openbare berichtgeving(opent in een nieuw venster) brachten sommige van deze bedrijven nieuwe deelnemers aanzienlijke instapkosten in rekening. Vervolgens gebruikten ze een deel van dat geld om bestaande "werknemers" net genoeg te betalen om hen betrokken te houden. Deze structuur is kenmerkend voor taakfraude(opent in een nieuw venster).
Impact
Door ons beperkte zicht op het netwerk is de werkelijke reikwijdte ervan moeilijk te bepalen. Uit berichten buiten het platform(opent in een nieuw venster) en gesprekken waarin "werknemers" hun geld terugeisten, blijkt echter dat ten minste enkele personen deze vermeende werkgevers hebben betaald. We zagen ook echte gebruikers die de bedrijven op sociale media verdedigden, wat erop wijst dat er tot op zekere hoogte daadwerkelijk mensen bij betrokken waren.