Pasar al contenido principal
OpenAI

1 de mayo de 2024

Seguridad

Operación “Spamouflage”: actividad de influencia vinculada con China

OpenAI bloqueó cuentas asociadas con la operación “Spamouflage”, originada en la RPC, que usaba IA para investigar la actividad en redes sociales, generar publicaciones y depurar un sitio web que no se había reportado antes.

Cargando...

Este caso de estudio se publicó originalmente en el informe de mayo de 2024⁠(se abre en una nueva ventana) de OpenAI.

Actor

Bloqueamos una pequeña cantidad de cuentas asociadas con la operación de origen chino conocida como “Spamouflage”⁠(se abre en una nueva ventana). Meta⁠(se abre en una nueva ventana) atribuyó esta operación a “personas asociadas con las fuerzas del orden chinas”. El FBI⁠(se abre en una nueva ventana) atribuyó parte de la actividad de esta operación en redes sociales a una unidad del Ministerio de Seguridad Pública de China.

Comportamiento

Esta red se dirigió a audiencias de todo el mundo, en especial a miembros de la diáspora china y críticos del Gobierno chino. Generó contenido principalmente en chino y, en menor medida, en inglés, japonés y coreano.

La red usó nuestros modelos para depurar código, solicitar asesoramiento sobre el análisis de redes sociales, investigar noticias y acontecimientos actuales, y generar contenido que luego se publicó en foros de blogs y redes sociales.

Por ejemplo, en 2023, la red usó nuestros modelos para depurar el código que configuraba el tema de WordPress de un sitio web, revealscum.com. Este sitio web publicó críticas en chino e información personal sobre miembros de la diáspora china que criticaban al Gobierno chino. Calificó a estos críticos de “traidores”. El contenido en sí no se generó con nuestros modelos.

Captura de pantalla del sitio web revealscum.com, que muestra la página titulada “汉奸” (“traidor”). Ocultamos los rostros de las personas atacadas por este sitio.

Captura de pantalla del sitio web revealscum.com, que muestra la página titulada “汉奸” (“traidor”). Ocultamos los rostros de las personas atacadas por este sitio.

Esta campaña también usó nuestros modelos para crear contenido que luego se publicó en plataformas de redes sociales y foros. Por ejemplo, a finales de 2023, la operación generó artículos que acusaban a Japón de dañar el medioambiente marino al verter aguas residuales de la central eléctrica de Fukushima. Identificamos los artículos en plataformas como Medium, Blogspot y ameblo.jp.

En abril de 2024, la campaña publicó una serie de comentarios en inglés que criticaban a la disidente china Cai Xia. Identificamos una cuenta de X que publicó el comentario inicial y un grupo de otras cuentas que publicaron los demás comentarios como respuestas. No vimos que ninguna cuenta auténtica les respondiera.

Publicación y respuestas que atacan a Cai Xia, cuyo contenido fue generado por Spamouflage con nuestros modelos. Observa que no hay republicaciones ni “Me gusta”. Los diez comentarios de la publicación original provinieron de cuentas que usaron contenido generado por Spamouflage.

Publicación y respuestas que atacan a Cai Xia, cuyo contenido fue generado por Spamouflage con nuestros modelos. Observa que no hay republicaciones ni “Me gusta”. Los diez comentarios de la publicación original provinieron de cuentas que usaron contenido generado por Spamouflage.

La campaña también usó nuestros modelos para realizar investigaciones con fuentes abiertas, por ejemplo, sobre cómo solicitar cuentas de desarrollador en redes sociales, y para pedir resúmenes de publicaciones en redes sociales de críticos del Gobierno chino.

Al parecer, el uso de inteligencia artificial por parte de la red representó solo una pequeña parte de su producción total. Por ejemplo, muchas de las cuentas de X y Medium que identificamos por publicar contenido generado por nuestros modelos publicaron un volumen mayor de contenido que parecía haberse creado manualmente en inglés y chino (como lo demuestra, por ejemplo, el uso poco idiomático del inglés). Publicaron este contenido tanto antes como después de publicar comentarios generados por IA.

Publicación del 22 de abril de 2024 de una de las cuentas que publicó contenido generado por IA el 19 de abril. Tanto el texto como la imagen parecen haberse creado manualmente.

Publicación del 22 de abril de 2024 de una de las cuentas que publicó contenido generado por IA el 19 de abril. Tanto el texto como la imagen parecen haberse creado manualmente.

Contenido

Gran parte del contenido generado por esta campaña estaba en chino. Los temas abarcaban desde elogios a la cooperación internacional del Gobierno chino en materia de cumplimiento de la ley hasta críticas a los abusos contra los pueblos indígenas de Estados Unidos. Parte del contenido criticaba al Gobierno de Estados Unidos y a Microsoft por revelar la actividad del grupo de hackers chino conocido como “Volt Typhoon”.

Otro contenido estaba en inglés. Este solía criticar a figuras destacadas que cuestionaban al Gobierno chino, como el actor y activista por el Tíbet Richard Gere y la disidente Cai Xia. Algunos artículos generados a finales de 2023 en inglés, japonés, chino, coreano y ruso acusaban a Japón de contaminar las aguas del Pacífico con el vertido de la central nuclear de Fukushima⁠(se abre en una nueva ventana), un tema recurrente de las operaciones de influencia chinas.

Un pequeño grupo de actividad se centró en generar comentarios positivos en chino sobre una visita del ministro de Seguridad Pública de China a Uzbekistán. No se sabe que Spamouflage haya abordado este tema antes; resulta relevante a la luz de la atribución del FBI⁠(se abre en una nueva ventana) de parte de la actividad anterior de esta operación en redes sociales al Ministerio de Seguridad Pública de China.

Parte de la actividad de la red parece haber reflejado los intereses personales de los operadores. Por ejemplo, un operador usó nuestros modelos para investigar lentes de cámaras. Otro usó nuestros modelos para completar lo que parece haber sido una evaluación para miembros del Partido Comunista Chino.

Evaluación del impacto

Spamouflage ha sido una de las operaciones de influencia más investigadas del mundo desde que se describió públicamente por primera vez en 2019⁠(se abre en una nueva ventana). Se ha informado que muy poca de su actividad llegó alguna vez a audiencias auténticas.

El uso de contenido generado por IA no parece haber cambiado esa dinámica. Entre los blogs, artículos y cuentas de redes sociales que identificamos como parte de nuestra investigación, ninguno consiguió una gran cantidad de interacciones o seguidores reales. En algunos casos, los indicadores disponibles muestran que las únicas visualizaciones de sus publicaciones provinieron de nuestro equipo de investigación.

Si usamos la escala Breakout⁠(se abre en una nueva ventana) para evaluar el impacto de las operaciones de influencia, que las califica en una escala del 1 (más bajo) al 6 (más alto), consideraríamos que esta es una operación de categoría 2, caracterizada por publicar en muchas plataformas, pero sin pruebas de una amplificación significativa por parte de personas ajenas a la red.

Indicadores

Identificamos el siguiente dominio como asociado con esta campaña.

  • revealscum.com