Operació "A2Z": activitat d'influència multilingüe

Aquest estudi de cas es va publicar originalment a l'informe d'OpenAI de l'octubre de 2024⁠(s'obre en una finestra nova).

Vam prohibir un grup de comptes, fins aleshores desconegut, que utilitzava la nostra API per crear comentaris que després es publicaven a X i Facebook. Molts d'aquests comentaris elogiaven l'Azerbaidjan o defensaven el seu historial en matèria de drets humans, però l'operació també se centrava en molts altres temes, fet que podria indicar que es tractava d'una operació comercial. Atesa la freqüència amb què elogiava l'Azerbaidjan i l'intent d'utilitzar la IA en diverses fases de l'operació, hem batejat aquesta xarxa com a "A2Z".

Com l'operació en rus de Telegram que vam revelar al maig i vam batejar com a "Bad Grammar", aquesta operació utilitzava els nostres models per publicar comentaris a les xarxes socials. Aprofitava la IA per gestionar identitats falses a les xarxes socials, generar biografies, analitzar publicacions i comentaris, redactar respostes en molts idiomes i corregir-les. Després, les respostes es publicaven a X o Facebook. La major part del contingut consistia en comentaris breus, però també incloïa imatges estilitzades. Sovint imitaven l'estil dels cartells dels anys trenta; per tant, semblaven dissenyades per atreure l'atenció i generar interaccions, més que no pas per enganyar. Tanmateix, les publicacions habituals amb aquestes imatges estilitzades només van rebre entre 0 i 5 interaccions cadascuna.

Aquest ús de la IA permetia a l'operació gestionar molts comptes de xarxes socials alhora: vam identificar uns 150 comptes a X i Facebook que coincidien amb aquesta activitat, a més d'altres comptes sospitosos. També permetia que l'operació participés de vegades en fils de comentaris amb persones reals a internet. En algunes ocasions, vam observar converses breus entre persones reals i els comptes falsos, en què les respostes d'aquests comptes es generaven amb els nostres models.

Una operació d'aquesta magnitud anterior a la IA probablement hauria necessitat un gran equip de trols, amb tots els costos i riscos de filtració associats a una iniciativa així. Tanmateix, la dependència de la IA també feia que aquesta operació fos especialment vulnerable a la nostra intervenció. Com que aprofitava la IA en tants punts de la cadena d'atac, la nostra intervenció en va trencar molts alhora. Després que interrompéssim aquesta activitat a principis de juny, els comptes de xarxes socials que havíem identificat com a part de l'operació van deixar de publicar durant els períodes electorals de la UE, el Regne Unit i França. Alguns van reprendre les publicacions a finals d'agost. Un nombre reduït de publicacions mostrava indicis que probablement s'havien generat amb IA. El contingut que mostrava aquests indicis no procedia dels nostres models.

Aquesta campanya va generar comentaris breus centrats en una gran varietat de temes polítics. El tema més destacat era l'elogi al govern de l'Azerbaidjan i al seu paper en la política nacional, regional i internacional, per exemple, promovent la unitat entre els països de l'Àsia Central o acollint la Conferència de l'ONU sobre el Canvi Climàtic. Els comptes en anglès i italià elogiaven el paper de l'Azerbaidjan com a proveïdor d'energia per a Europa, de vegades en resposta a les crítiques sobre l'historial del govern azerbaidjanès en matèria de drets humans.

Altres línies d'activitat se centraven en els beneficis i l'evolució de la IA, els mercats financers, les qüestions ecològiques, les criptomonedes i la tecnologia en general. Un grup se centrava en els Emirats Àrabs Units, que presentava com una destinació estable per invertir, sovint en contrast amb afirmacions d'inestabilitat política als Estats Units.

Algunes identitats falses se centraven en la política europea o nord-americana. La ideologia d'aquesta activitat variava segons la regió. Per exemple, un compte de X centrat en els Estats Units es feia passar per liberal i criticava l'expresident nord-americà Trump, mentre que alguns comptes de Facebook que publicaven en francès criticaven el president Macron i donaven suport al partit Reagrupament Nacional (RN). De vegades, aquestes crítiques se centraven en qüestions internes per defensar que el país en qüestió no havia d'intervenir en afers internacionals, inclosa la invasió russa d'Ucraïna.

Aquesta operació era molt activa a Facebook i X, probablement amb centenars de comptes. A X, alguns dels seus comptes tenien la marca blava de verificació de pagament. Dels aproximadament 150 comptes que vam analitzar en totes dues plataformes, no en vam identificar cap amb un nombre significatiu de seguidors: el compte amb més seguidors a X que vam detectar durant la investigació en tenia 222; les xifres més habituals se situaven entre la quinzena i la vintena baixa, i les publicacions habituals a X rebien menys de deu interaccions. De manera semblant, el nombre màxim de reaccions a una publicació de Facebook que vam observar durant la investigació va ser de 36, mentre que les xifres més habituals oscil·laven entre 0 i 5. Tanmateix, sí que vam detectar algunes ocasions en què les publicacions de l'operació van atreure respostes de persones reals. Aquestes respostes no sempre eren positives i de vegades incloïen persones reals que contradeien els comptes falsos, però demostren una certa capacitat per implicar públics de diverses plataformes, en diversos idiomes i sobre diversos temes.

Segons la Breakout Scale per avaluar l'impacte de les operacions d'influència, que les puntua de l'1 (mínim) al 6 (màxim), situaríem aquesta operació a la part superior de la categoria dos, amb risc de passar a la categoria tres: es caracteritzava per l'activitat de publicació en diverses plataformes i hi havia alguns indicis que persones reals interactuaven amb el seu contingut. Tanmateix, després que prohibíssim a aquesta operació l'ús dels nostres models i compartíssim informació amb altres empreses del sector, els comptes de xarxes socials que havíem identificat van quedar inactius durant moltes setmanes. Així, aquesta operació posa de manifest tant l'augment de capacitat que l'ús de la IA pot oferir als operadors com la major vulnerabilitat a les intervencions que comporta dependre d'un model d'IA.