Operació "Doppelganger": activitat d'influència russa contra Ucraïna
OpenAI va prohibir comptes associats amb l'operació russa "Doppelganger", que usava IA per generar en diversos idiomes comentaris contra Ucraïna, traduccions i textos web.
Aquest estudi de cas es va publicar originalment a l'informe de maig de 2024(s'obre en una finestra nova) d'OpenAI.
Actor
Vam prohibir quatre grups de comptes que feien servir els nostres models i estaven vinculats a persones que actuaven en nom de l'operació d'influència russa coneguda com a "Doppelganger"(s'obre en una finestra nova). Cada grup mostrava tàctiques, tècniques i procediments (TTP) diferents, coherents amb una operació formada per diversos equips funcionals.
Comportament
Aquesta activitat es dirigia a públics d'Europa i Amèrica del Nord i se centrava a generar contingut per a llocs web i xarxes socials.
El primer grup de comptes generava comentaris de text breus en anglès, francès, alemany, italià i polonès. Es publicaven a 9GAG i X juntament amb mems, vídeos i enllaços que no sembla que s'haguessin generat amb els nostres models. Alguns mems s'havien copiat de diversos llocs d'Internet i semblaven tenir anys d'antiguitat.
A 9GAG, els comptes que publicaven el contingut d'aquesta campanya solien tenir fotos de perfil de famosos o gats. Publicaven els mems i vídeos en una gran varietat de canals, com ara "Random" i canals dedicats a les mascotes, els esports, l'humor i fins i tot les relacions i les cites.
Comentari sobre Ucraïna i vídeo sobre Gaza publicats al canal "Motor Vehicles" de 9GAG per un compte que publicava repetidament contingut generat per aquesta campanya. La referència a Ucraïna i a la frontera dels EUA es va generar amb els nostres models. El vídeo era un muntatge d'imatges de noticiaris. La publicació va rebre 11 vots positius i 93 de negatius.
Cada vegada que la campanya publicava un mem o un vídeo a 9GAG, entre tres i cinc comptes hi responien, normalment amb missatges senzills com "hahaha" o "lol". Aquests comptes només interactuaven amb el contingut d'aquesta campanya; la majoria s'havien creat el mateix dia. Aquest comportament sovint atreia comentaris crítics d'altres usuaris, molts dels quals denunciaven els comptes com a "bots".
Comentaris sobre el vídeo que es mostra més amunt. Els tres comptes de la part inferior, que van comentar primer, es van crear a finals d'abril de 2024 i van publicar, votar positivament o comentar repetidament les publicacions d'aquesta campanya i cap altra. Els tres comptes de la part superior, que denunciaven les falsificacions, s'havien creat entre un i deu anys abans i mostraven una gran varietat d'activitat.
A X, els comentaris de la campanya els publicaven comptes que normalment només feien una o dues publicacions cadascun. Els comentaris solien anar acompanyats d'un enllaç aparentment aleatori, com ara "solarpanelfor.sale". Aquests enllaços redirigien a un conjunt de llocs web que s'han atribuït repetidament a Doppelganger. Els llocs web tenien restriccions geogràfiques, de manera que només els podien consultar les persones amb una adreça IP del país objectiu. Tanmateix, sembla que els operadors van cometre un error i alguns articles en anglès, alemany i polonès només es podien consultar des d'una IP francesa.
Publicació a X amb un comentari generat mitjançant els nostres models. El comentari diu: "Un acte esgarrifós! La política no s'hauria d'associar mai amb la violència. Necessitem diàleg, no violència". L'enllaç adjunt redirigeix a l'edició en alemany del lloc web d'identitat pròpia de Doppelganger, rrn.media. Tanmateix, el 20 de maig només es podia consultar des d'una IP francesa.
Probablement per intentar evitar la detecció, aquest grup accedia als nostres models mitjançant un servei vinculat a empreses de Rússia i la República Txeca. Aquest servei pretenia permetre que les persones de Rússia eludissin la nostra política d'accés dels països admesos(s'obre en una finestra nova). Hem desactivat l'accés d'aquest servei a l'API.
El segon grup traduïa articles del rus a l'anglès i al francès; els textos en rus semblen haver estat composicions originals. Molts d'aquests articles es van publicar posteriorment en un lloc web que s'ha atribuït repetidament a Doppelganger: rrn.media. El mateix grup generava comentaris breus sobre els seus articles que més tard apareixien a les xarxes socials.
Publicació a X generada amb els nostres models, acompanyada d'un enllaç a un article d'rrn.media.
El tercer grup s'utilitzava per generar, revisar i corregir articles en francès. Després, els articles es publicaven en un lloc web que també s'ha atribuït a Doppelganger, franceeteu.today.
L'últim grup operava en alemany. Incorporava contingut d'un lloc web de Doppelganger, grenzezank.com, i el feia servir per generar publicacions breus per a un grup i una pàgina de Facebook amb el nom del lloc web.
Contingut
La major part del contingut que aquesta campanya publicava a Internet se centrava en la guerra d'Ucraïna. Presentava Ucraïna, els EUA, l'OTAN i la UE de manera negativa, i Rússia de manera positiva. Els comentaris habituals sostenien que Rússia és un soci econòmic important per als països europeus; que els líders occidentals que critiquen Rússia estan desconnectats dels seus votants, i que Ucraïna és feble, corrupta o està a punt de ser derrotada.
En algunes ocasions, els agents de Doppelganger van intentar que els nostres models generessin caricatures de polítics europeus destacats i de crítics amb Rússia. Els nostres models van rebutjar aquestes sol·licituds.
Avaluació de l'impacte
Cap de les campanyes de Doppelganger que vam identificar sembla haver aconseguit una interacció positiva significativa per part de públics autèntics.
A 9GAG, les publicacions habituals rebien entre 5 i 10 vots positius, principalment de comptes que també publicaven contingut d'aquesta campanya, i entre 15 i 200 vots negatius. A X, les publicacions habituals tenien unes 1.000 comparticions, cap resposta i cap m'agrada. Aquesta discrepància és tan gran que apunta a una amplificació no autèntica. Una publicació va rebre tres respostes, totes les quals la denunciaven com a falsa.
Resposta a X a una publicació de Doppelganger.
Si fem servir l'escala Breakout(s'obre en una finestra nova) per avaluar l'impacte de les operacions d'influència, que les puntua en una escala de l'1 (mínim) al 6 (màxim), situaríem l'activitat relacionada amb l'ús dels nostres models en la categoria 2, caracteritzada per publicacions en diverses plataformes, però sense propagació ni una interacció significativa del públic en cap d'elles.