"Mala gramàtica": activitat de comentaris a Telegram vinculada a Rússia
OpenAI va bloquejar comptes vinculats a una operació d'origen rus no revelada fins aleshores, que vam batejar "Mala gramàtica". Feia servir IA per generar comentaris en anglès i rus a Telegram sobre política d'Ucraïna, Moldàvia, el Bàltic i els EUA.
Aquest estudi de cas es va publicar originalment a l'informe de maig de 2024(s'obre en una finestra nova) d'OpenAI.
Actor
Vam bloquejar una xarxa de comptes, no documentada fins aleshores, que utilitzava els nostres models per crear comentaris que després es publicaven a Telegram. Vam vincular aquesta activitat a persones de Rússia. Atès que se centrava en Telegram, publicava repetidament textos en un anglès incorrecte i tenia dificultats per aconseguir audiència, vam anomenar aquesta xarxa "Mala gramàtica".
Comportament
Aquesta xarxa es dirigia a públics de Rússia, Ucraïna, els Estats Units, Moldàvia i els països bàltics amb contingut en rus i anglès.
La xarxa va utilitzar els nostres models i comptes de Telegram per establir un sistema de publicació massiva de comentaris. Primer, els operadors van utilitzar els nostres models per depurar codi que, aparentment, estava dissenyat per automatitzar les publicacions a Telegram. Després van generar comentaris en rus i anglès com a resposta a publicacions concretes de Telegram. Finalment, sembla que van utilitzar almenys una dotzena de comptes de Telegram per publicar aquests comentaris.
Comentari públic de Telegram que coincideix amb un text generat per aquesta xarxa. El compte en qüestió va publicar repetidament comentaris que coincidien amb els resultats de la xarxa.
En anglès, els operadors van utilitzar els nostres models per generar comentaris amb la veu de diversos personatges falsos, de grups demogràfics diferents i de tots dos extrems de l'espectre polític dels Estats Units. En rus, preferien instruccions més temàtiques i menys basades en personatges.
La xarxa comentava principalment les publicacions d'un petit nombre de canals de Telegram. El canal més mencionat era el prorús @Slavyangrad, seguit dels canals en anglès @police_frequency i @SGTNewsNetwork. (Aquest últim es fa passar per un veterà conservador nord-americà, però al novembre Meta va informar(s'obre en una finestra nova) que en realitat tenia l'origen a l'Iran.) En una mostra de l'activitat del febrer, la xarxa va intentar generar respostes per a aquests tres canals el doble de vegades que per als deu canals següents més mencionats en conjunt.
Contingut
Aquesta campanya va generar comentaris breus centrats en un grapat de temes polítics. Tant en anglès com en rus, els principals temes sobre els quals publicava a Telegram eren la guerra d'Ucraïna, la situació política a Moldàvia i els països bàltics, i la política dels Estats Units.
Els comentaris habituals en rus a Telegram acusaven els presidents d'Ucraïna i Moldàvia de corrupció, de manca de suport popular i de trair el seu propi poble davant la "ingerència" occidental. Els comentaris en anglès a Telegram se centraven en temes com la immigració, les dificultats econòmiques i les notícies d'última hora. Aquests comentaris sovint aprofitaven el context de l'actualitat per defensar que els Estats Units no havien de donar suport a Ucraïna.
Comentari públic de Telegram que coincideix amb un text generat per aquesta xarxa. El compte en qüestió va publicar repetidament comentaris que coincidien amb contingut generat amb els nostres models.
De vegades, més d'un personatge comentava la mateixa publicació i expressava punts de vista contradictoris. Aquest enfocament "de doble cara", que consisteix a fer-se passar per veus de tots dos bàndols, ja s'ha observat en operacions russes i pot indicar la voluntat d'atreure públics concrets o de fomentar la divisió.
Comentaris públics de Telegram que coincideixen amb textos generats per aquesta xarxa. Els comptes en qüestió van publicar repetidament comentaris que coincidien amb contingut generat amb els nostres models.
Després de l'atemptat terrorista de Moscou del 22 de març i la detenció de quatre ciutadans tadjiks, la campanya va començar a utilitzar un nou grup de comptes de Telegram centrat en el Tadjikistan. Els comentaris que publicava demanaven unitat entre tadjiks i russos, i respecte per la legislació russa.
Avaluació de l'impacte
La publicació massiva de comentaris ja era una tècnica habitual de les operacions d'influència abans de l'arribada de la IA generativa. Tot i que Mala gramàtica utilitzava una tècnica nova per generar els comentaris, el seu sistema de distribució tenia dificultats per suscitar interaccions.
Molt pocs dels seus comentaris van rebre reaccions positives o respostes. Els comentaris de la xarxa acostumaven a representar una minoria de les respostes a cada publicació; per tant, no silenciaven altres punts de vista, si aquest n'era l'objectiu.
De tant en tant, la xarxa utilitzava els nostres models per generar el que semblaven missatges privats, possiblement amb un altre usuari de Telegram, però els textos generats suggereixen que la xarxa conversava amb un estafador de criptomonedes.
Si apliquem la Breakout Scale(s'obre en una finestra nova) per avaluar l'impacte de les operacions d'influència, que les puntua en una escala de l'1 (mínim) al 6 (màxim), situaríem aquesta operació en la categoria 1, caracteritzada per l'activitat de publicació en una sola plataforma i sense indicis d'una amplificació significativa per part de persones alienes a la xarxa.