Operation „Spamouflage“: Einflussaktivitäten mit Verbindungen zu China
OpenAI sperrte Konten der aus der Volksrepublik China stammenden Operation „Spamouflage“, die KI für Social-Media-Recherchen, Beiträge und das Debugging einer zuvor unbekannten Website nutzte.
Diese Fallstudie wurde ursprünglich im Bericht vom Mai 2024(wird in einem neuen Fenster geöffnet) von OpenAI veröffentlicht.
Akteur
Wir haben eine kleine Zahl von Konten gesperrt, die mit der aus China stammenden Operation „Spamouflage“(wird in einem neuen Fenster geöffnet) in Verbindung standen. Meta(wird in einem neuen Fenster geöffnet) schrieb diese Operation „Personen mit Verbindungen zu chinesischen Strafverfolgungsbehörden“ zu. Das FBI(wird in einem neuen Fenster geöffnet) schrieb einige der Social-Media-Aktivitäten dieser Operation einer Einheit des chinesischen Ministeriums für öffentliche Sicherheit zu.
Vorgehensweise
Dieses Netzwerk richtete sich an Menschen weltweit, insbesondere an Angehörige der chinesischen Diaspora und Personen, die die chinesische Regierung kritisierten. Es erstellte hauptsächlich Inhalte auf Chinesisch sowie in geringerem Umfang auf Englisch, Japanisch und Koreanisch.
Das Netzwerk nutzte unsere Modelle, um Code zu debuggen, sich zur Analyse sozialer Medien beraten zu lassen, Nachrichten und aktuelle Ereignisse zu recherchieren und Inhalte zu erstellen, die anschließend in Blogforen und sozialen Medien veröffentlicht wurden.
So nutzte das Netzwerk unsere Modelle 2023, um Code zu debuggen, mit dem das WordPress-Theme für die Website revealscum.com festgelegt wurde. Diese Website veröffentlichte auf Chinesisch Kritik und persönliche Informationen über Angehörige der chinesischen Diaspora, die die chinesische Regierung kritisierten. Sie bezeichnete diese Personen als „Verräter“. Die Inhalte selbst wurden nicht mit unseren Modellen erstellt.

Screenshot der Website revealscum.com mit der Seite „汉奸“ („Verräter“). Wir haben die Gesichter der Personen unkenntlich gemacht, gegen die sich diese Website richtet.
Die Kampagne nutzte unsere Modelle außerdem, um Inhalte zu erstellen, die anschließend auf Social-Media-Plattformen und in Foren veröffentlicht wurden. So erstellte die Operation Ende 2023 Artikel, in denen Japan vorgeworfen wurde, durch die Freisetzung von Abwasser aus dem Kernkraftwerk Fukushima die Meeresumwelt zu schädigen. Wir fanden die Artikel unter anderem auf Medium, Blogspot und ameblo.jp.
Im April 2024 veröffentlichte die Kampagne eine Reihe englischsprachiger Kommentare, in denen die chinesische Dissidentin Cai Xia kritisiert wurde. Wir identifizierten ein X-Konto, das den ersten Kommentar veröffentlichte, sowie eine Gruppe weiterer Konten, die die übrigen Kommentare als Antworten posteten. Wir sahen keine Antworten von authentischen Konten.

Beitrag und Antworten mit Angriffen auf Cai Xia. Die Inhalte wurden von Spamouflage mithilfe unserer Modelle erstellt. Auffällig ist, dass es weder Reposts noch Likes gab. Alle zehn Kommentare zum ursprünglichen Beitrag stammten von Konten, die von Spamouflage erstellte Inhalte verwendeten.
Die Kampagne nutzte unsere Modelle außerdem für Recherchen in öffentlich zugänglichen Quellen, etwa um herauszufinden, wie Entwicklungskonten für soziale Medien beantragt werden, oder um Zusammenfassungen von Social-Media-Beiträgen zu erhalten, die von Personen stammten, die die chinesische Regierung kritisierten.
Der Einsatz künstlicher Intelligenz scheint nur einen kleinen Teil der gesamten Inhalte des Netzwerks ausgemacht zu haben. Viele der X- und Medium-Konten, die nach unseren Erkenntnissen mit unseren Modellen erstellte Inhalte veröffentlichten, posteten beispielsweise noch mehr Inhalte, die offenbar manuell auf Englisch und Chinesisch verfasst worden waren. Darauf deutete unter anderem unidiomatisches Englisch hin. Sie veröffentlichten diese Inhalte sowohl vor als auch nach den KI-generierten Kommentaren.

Beitrag vom 22. April 2024 von einem der Konten, die am 19. April KI-generierte Inhalte veröffentlicht hatten. Text und Bild wurden offenbar manuell erstellt.
Inhalte
Ein großer Teil der von dieser Kampagne erstellten Inhalte war auf Chinesisch. Die Themen reichten vom Lob für die internationale Zusammenarbeit chinesischer Strafverfolgungsbehörden bis zur Kritik an Übergriffen gegen indigene Menschen in den USA. Einige Inhalte kritisierten die US-Regierung und Microsoft dafür, Aktivitäten der chinesischen Hackergruppe „Volt Typhoon“ offengelegt zu haben.
Andere Inhalte waren auf Englisch. Darin wurden meist bekannte Kritiker der chinesischen Regierung angegriffen, etwa der Schauspieler und Tibet-Aktivist Richard Gere sowie die Dissidentin Cai Xia. Einige Ende 2023 auf Englisch, Japanisch, Chinesisch, Koreanisch und Russisch erstellte Artikel warfen Japan vor, durch die Einleitung von Abwasser aus dem Kernkraftwerk Fukushima(wird in einem neuen Fenster geöffnet) den Pazifik zu verschmutzen. Dies ist ein seit Langem verwendetes Thema chinesischer Einflussoperationen.
Eine kleine Gruppe von Aktivitäten konzentrierte sich darauf, positive Kommentare auf Chinesisch über einen Besuch des chinesischen Ministers für öffentliche Sicherheit in Usbekistan zu erstellen. Spamouflage hatte dieses Thema nach bisherigem Kenntnisstand noch nicht aufgegriffen. Es ist angesichts der Zuschreibung durch das FBI(wird in einem neuen Fenster geöffnet) von Interesse, das einige frühere Social-Media-Aktivitäten dieser Operation dem chinesischen Ministerium für öffentliche Sicherheit zuschrieb.
Einige Aktivitäten des Netzwerks scheinen persönliche Interessen der Operatoren widergespiegelt zu haben. Ein Operator nutzte unsere Modelle beispielsweise, um Kameraobjektive zu recherchieren. Ein anderer nutzte unsere Modelle, um eine Aufgabe zu bearbeiten, bei der es sich offenbar um eine Testaufgabe für Mitglieder der Kommunistischen Partei Chinas handelte.
Folgenabschätzung
Spamouflage gehört zu den weltweit am intensivsten untersuchten Einflussoperationen, seit die Operation 2019 erstmals öffentlich beschrieben wurde(wird in einem neuen Fenster geöffnet). Es gibt nur sehr wenige Berichte darüber, dass ihre Aktivitäten jemals authentische Zielgruppen erreicht hätten.
Der Einsatz KI-generierter Inhalte scheint an dieser Dynamik nichts geändert zu haben. Keiner der Blogs, Artikel oder Social-Media-Konten, die wir im Rahmen unserer Untersuchung identifizierten, erzielte viele Interaktionen oder Follows von echten Menschen. In einigen Fällen zeigen die verfügbaren Indikatoren, dass nur unser Untersuchungsteam die Beiträge angesehen hat.
Auf der Breakout Scale(wird in einem neuen Fenster geöffnet) zur Bewertung der Wirkung von Einflussoperationen, die von 1 (niedrigste) bis 6 (höchste) reicht, stufen wir dies als Operation der Kategorie 2 ein. Kennzeichnend dafür sind Aktivitäten auf vielen Plattformen, ohne Belege für eine nennenswerte Verstärkung durch Menschen außerhalb des Netzwerks.
Indikatoren
Wir haben die folgende Domain als mit dieser Kampagne verbunden identifiziert.
revealscum.com