Salta al contingut principal
OpenAI

16 d’agost del 2024

SeguretatSeguretat

Desarticulació d'una operació encoberta d'influència iraniana

Vam bloquejar comptes vinculats a una operació d'influència iraniana que utilitzava ChatGPT per generar contingut centrat en diversos temes, inclosa la campanya presidencial dels EUA. No hem vist cap indicació que aquest contingut arribés a una audiència significativa.

S'està carregant…

OpenAI està compromesa a prevenir els abusos i a millorar la transparència al voltant del contingut generat per IA. Això inclou la nostra feina per detectar i aturar les operacions encobertes d'influència (IO), que intenten manipular l'opinió pública o influir en resultats polítics mentre oculten la veritable identitat o les intencions dels actors que hi ha al darrere. Això és especialment important en el context de les moltes eleccions que se celebren el 2024. Hem ampliat la nostra feina en aquest àmbit al llarg de l'any, incloent-hi l'ús dels nostres propis models d'IA per detectar i entendre millor els abusos. 

Aquesta setmana vam identificar i vam desmantellar un grup de comptes de ChatGPT que generaven contingut per a una operació encoberta d'influència iraniana identificada com a Storm-2035(s'obre en una finestra nova). Hem prohibit a aquests comptes utilitzar els nostres serveis, i continuem vigilant qualsevol altre intent de vulnerar les nostres polítiques. L'operació va utilitzar ChatGPT per generar contingut centrat en diversos temes —incloent-hi comentaris sobre candidats d'ambdós bàndols a les eleccions presidencials dels EUA—, que després compartia a través de comptes de xarxes socials i llocs web. 

Igual que les operacions encobertes d'influència que vam informar al maig, aquesta operació no sembla haver aconseguit una interacció significativa de l'audiència. La majoria de les publicacions a les xarxes socials que vam identificar van rebre pocs o cap m'agrada, compartició o comentari. De la mateixa manera, tampoc no vam trobar indicis que els articles web s'haguessin compartit a les xarxes socials. Utilitzant la Breakout Scale(s'obre en una finestra nova) de Brookings, que avalua l'impacte de les IO encobertes en una escala de l'1 (més baix) al 6 (més alt), aquesta operació se situava a l'extrem inferior de la categoria 2 (activitat en múltiples plataformes, però sense proves que persones reals recollissin o compartissin àmpliament el seu contingut). La nostra investigació es va beneficiar de la informació sobre l'operació publicada per Microsoft la setmana passada.(s'obre en una finestra nova) 

La nostra investigació va revelar que aquesta operació va utilitzar ChatGPT amb dos propòsits: generar articles llargs i comentaris més breus per a xarxes socials. El primer flux de treball va produir articles sobre política dels EUA i esdeveniments globals, publicats en cinc llocs web que es feien passar tant per mitjans de notícies progressistes com conservadors. El segon flux de treball va crear comentaris breus en anglès i espanyol, que es van publicar a les xarxes socials. Vam identificar una dotzena de comptes a X i un a Instagram implicats en aquesta operació. Alguns dels comptes a X es feien passar per progressistes i d'altres per conservadors. Van generar alguns d'aquests comentaris demanant als nostres models que reescrivissin comentaris publicats per altres usuaris de xarxes socials.

L'operació va generar contingut sobre diversos temes: principalment, el conflicte a Gaza, la presència d'Israel als Jocs Olímpics i les eleccions presidencials dels EUA i, en menor mesura, la política a Veneçuela, els drets de les comunitats Latinx als EUA (tant en espanyol com en anglès) i la independència d'Escòcia. Van intercalar el seu contingut polític amb comentaris sobre moda i bellesa, possiblement per semblar més autèntics o en un intent de guanyar seguidors.

Malgrat la manca d'interacció significativa de l'audiència derivada d'aquesta operació, ens prenem seriosament qualsevol intent d'utilitzar els nostres serveis en operacions estrangeres d'influència. En conseqüència, com a part de la nostra feina per donar suport a la comunitat en general en la desarticulació d'aquesta activitat després d'eliminar els comptes dels nostres serveis, hem compartit intel·ligència sobre amenaces amb parts interessades del govern, de campanyes i del sector. OpenAI continua dedicada a descobrir i mitigar aquest tipus d'abús a escala mitjançant la col·laboració amb el sector, la societat civil i el govern, i aprofitant el poder de la IA generativa com a multiplicador de força en la nostra feina. Continuarem publicant conclusions com aquestes per promoure l'intercanvi d'informació i les bones pràctiques.

La imatge mostra dues capçaleres de llocs web. El titular superior diu: «Per què Kamala Harris va triar Tim Walz com a company de candidatura». La part inferior és de «The Creator» amb el titular: «X censura les piulades de Trump: una guerra oculta contra la llibertat d'expressió?»

Titulars de dos articles generats per aquesta operació i publicats en dos dels seus llocs web. No vam veure proves que aquests articles es compartissin àmpliament a les xarxes socials.

La imatge mostra dues publicacions a les xarxes socials. La primera critica les polítiques de Kamala Harris sobre immigració i canvi climàtic, i utilitza l'etiqueta #DumpKamala. La segona publicació critica Donald Trump i adverteix contra el seu lideratge, amb l'etiqueta #DumpTrump.

Publicacions sobre candidats a les eleccions dels EUA generades per aquesta operació, publicades per dos comptes diferents a X. Aquestes publicacions van obtenir poca o cap interacció.

La imatge mostra dues publicacions a les xarxes socials sobre la bellesa interior. La publicació de l'esquerra, en espanyol, mostra una dona mirant la llum del sol, i la de la dreta, en anglès, mostra una dona davant de flors roses. Totes dues publicacions utilitzen l'etiqueta #VitalCaplini.

Publicacions sobre bellesa generades per l'operació en anglès i espanyol, publicades per dos comptes diferents a X. Vam passar aquestes imatges pel nostre classificador DALL·E 3, que va identificar que no havien estat generades pels nostres serveis. Aquestes publicacions van obtenir poca o cap interacció.

Dominis connectats amb aquesta activitat:

  • niothinker[.]com
  • savannahtime[.]com
  • evenpolitics[.]com
  • teorator[.]com
  • westlandsun[.]com