Operation „Uncle Spam“: Einflussaktivitäten zur Polarisierung in den USA
OpenAI sperrte Konten aus China, die mithilfe von KI Inhalte zur US-Politik erstellten und Informationen über Menschen, Bewegungen und Onlinegemeinschaften recherchierten.
Diese Fallstudie erschien ursprünglich im Bericht von OpenAI vom Juni 2025(wird in einem neuen Fenster geöffnet).
Akteur
Nach einem Hinweis von Meta sperrten wir mehrere ChatGPT‑Konten, die mit einer von China ausgehenden Einflussoperation(wird in einem neuen Fenster geöffnet) in Verbindung standen. Die Operation erstellte polarisierende Inhalte für soziale Medien, die bei kontroversen Themen des politischen Diskurses in den USA beide Seiten unterstützten. Dazu gehörten Texte und KI-generierte Profilbilder auf Plattformen wie X und Bluesky.
Verhalten
Das Netzwerk nutzte unsere Modelle für mehrere Aufgaben, vor allem zur Erstellung von Kommentaren in sozialen Medien, die Zölle befürworteten oder kritisierten. Die Konten fragten unsere Modelle nach den optimalen Veröffentlichungszeiten, um möglichst viele Interaktionen zu erzielen. Dies deutet auf gezielte Verstärkungstaktiken hin.
Zwei Tweets, deren Texte diese Bedrohungsgruppe mithilfe unserer Modelle erstellte und die jeweils eine der beiden Positionen in der Zolldebatte vertraten.
Außerdem nutzten die Konten unsere Funktionen zur Bildgenerierung, um stilisierte Logos zu erstellen. Diese dienten anschließend als Profilbilder für erfundene Identitäten auf verschiedenen sozialen Plattformen. Die Konten konzentrierten sich insbesondere darauf, Identitäten von US-Veteranen zu entwerfen, die die amtierende US-Regierung kritisierten.
Bluesky-Konto, das von diesem Netzwerk erstellte Inhalte veröffentlichte. Das Logo „Veterans for Justice“ wurde mithilfe unserer Modelle erstellt.
Schließlich forderten die Konten regelmäßig Code und Methoden an, um mit Tools wie Tweepy, Nitter und der öffentlichen API von Bluesky persönliche Daten aus sozialen Plattformen wie X und Bluesky zu extrahieren, darunter Nutzerprofile, Followerlisten und weitere Angaben. Darüber hinaus baten die Konten unsere Modelle um Anleitungen zur Analyse von Profildaten im Hinblick auf persönliche Merkmale und Organisationszugehörigkeiten. Damit sollten möglicherweise Personen kategorisiert oder Verbindungen und Eigenschaften abgeleitet werden.
Modellergebnisse
Die Konten erstellten polarisierende Inhalte zu unterschiedlichen Themen des politischen Diskurses in den USA, häufig innerhalb derselben Sitzungen. Im Einklang mit bekannten Methoden von Einflussoperationen sollte dies offenbar bestehende politische Spaltungen ausnutzen, statt eine bestimmte ideologische Position zu fördern. Aufgrund der Menge der Inhalte und des Schwerpunkts auf Botschaften für ein US-amerikanisches Publikum nannten wir diese Operation „Uncle Spam“.
Von erfundenen Identitäten veröffentlichte Tweets mit Texten, die unsere Modelle erstellt hatten.
Wirkung
Nach der Breakout Scale(wird in einem neuen Fenster geöffnet) zur Bewertung der Wirkung von Einflussoperationen würden wir dies als Kategorie 2 einstufen: Aktivitäten auf mehreren Plattformen, jedoch kein Durchbruch oder nur minimale Interaktionen. Die Konten in sozialen Medien, die von unseren Modellen erstellte Inhalte veröffentlichten, erzielten nur wenige authentische Interaktionen. Die meisten von diesem Netzwerk veröffentlichten Beiträge auf X erhielten nur wenige oder gar keine Likes oder Reposts. Lediglich einige wenige Beiträge erzielten eine gewisse Resonanz. Einige der Konten in sozialen Medien hatten mehrere Tausend Follower. Wir konnten jedoch nicht beurteilen, ob diese authentisch waren, und die Followerzahlen schlugen sich offenbar nicht in Interaktionen mit den Beiträgen nieder.