Zum Hauptinhalt springen
OpenAI

1. Mai 2024

Sicherheit

Operation „Doppelganger“: Russische Einflussaktivitäten gegen die Ukraine

OpenAI sperrte Konten der aus Russland stammenden Operation „Doppelganger“, die KI nutzte, um in mehreren Sprachen gegen die Ukraine gerichtete Social-Media-Kommentare, Übersetzungen und Websitetexte zu erstellen.

Laden …

Diese Fallstudie wurde ursprünglich im Bericht von OpenAI vom Mai 2024⁠(wird in einem neuen Fenster geöffnet) veröffentlicht.

Akteur

Wir sperrten vier Gruppen von Konten, die unsere Modelle nutzten und mit Personen in Verbindung standen, die im Auftrag der russischen Einflussoperation „Doppelganger“⁠(wird in einem neuen Fenster geöffnet) handelten. Jede Gruppe wies andere Taktiken, Techniken und Verfahren (TTPs) auf. Dies entspricht einer Operation, die aus verschiedenen funktionalen Teams besteht.

Verhalten

Diese Aktivitäten richteten sich an Zielgruppen in Europa und Nordamerika und konzentrierten sich auf die Erstellung von Inhalten für Websites und soziale Medien.

Die erste Gruppe von Konten erstellte kurze Textkommentare auf Englisch, Französisch, Deutsch, Italienisch und Polnisch. Diese wurden auf 9GAG und X zusammen mit Memes, Videos und Links veröffentlicht, die offenbar nicht mit unseren Modellen erstellt worden waren. Einige Memes waren aus verschiedenen Quellen im Internet kopiert worden und offenbar schon mehrere Jahre alt.

Die Konten, die auf 9GAG Inhalte dieser Kampagne veröffentlichten, verwendeten üblicherweise Profilbilder von Prominenten oder Katzen. Sie veröffentlichten ihre Memes und Videos in zahlreichen Kanälen, darunter „Random“ sowie Kanäle zu Haustieren, Sport, Humor und sogar Beziehungen und Partnersuche.

Kommentar über die Ukraine und Video über Gaza, veröffentlicht im 9GAG-Kanal „Motor Vehicles“ von einem Konto, das wiederholt Inhalte dieser Kampagne verbreitete. Der Verweis auf die Ukraine und die US-Grenze wurde mit unseren Modellen erstellt. Das Video war eine Collage aus Nachrichtenaufnahmen. Der Beitrag erhielt 11 Upvotes und 93 Downvotes.

Kommentar über die Ukraine und Video über Gaza, veröffentlicht im 9GAG-Kanal „Motor Vehicles“ von einem Konto, das wiederholt Inhalte dieser Kampagne verbreitete. Der Verweis auf die Ukraine und die US-Grenze wurde mit unseren Modellen erstellt. Das Video war eine Collage aus Nachrichtenaufnahmen. Der Beitrag erhielt 11 Upvotes und 93 Downvotes.

Immer wenn die Kampagne ein Meme oder Video auf 9GAG veröffentlichte, antworteten drei bis fünf Konten, meist mit einfachen Nachrichten wie „hahaha“ oder „lol“. Jedes dieser Konten interagierte ausschließlich mit den Inhalten dieser Kampagne. Die meisten waren am selben Tag erstellt worden. Dieses Verhalten führte häufig zu kritischen Kommentaren anderer Personen, von denen viele die Konten als „Bots“ bezeichneten.

Kommentare zu dem oben gezeigten Video. Die unteren drei Konten, von denen die frühesten Kommentare stammten, wurden alle Ende April 2024 erstellt. Sie veröffentlichten, bewerteten oder kommentierten wiederholt ausschließlich Beiträge dieser Kampagne. Die oberen drei Konten, die auf die Fälschungen hinwiesen, waren vor einem bis zehn Jahren erstellt worden und zeigten vielfältige Aktivitäten.

Kommentare zu dem oben gezeigten Video. Die unteren drei Konten, von denen die frühesten Kommentare stammten, wurden alle Ende April 2024 erstellt. Sie veröffentlichten, bewerteten oder kommentierten wiederholt ausschließlich Beiträge dieser Kampagne. Die oberen drei Konten, die auf die Fälschungen hinwiesen, waren vor einem bis zehn Jahren erstellt worden und zeigten vielfältige Aktivitäten.

Auf X wurden die Kommentare der Kampagne von Konten veröffentlicht, die üblicherweise insgesamt nur ein oder zwei Beiträge absetzten. Die Kommentare enthielten meist einen scheinbar zufälligen Link wie „solarpanelfor.sale“. Diese Links führten zu mehreren Websites, die wiederholt Doppelganger zugeschrieben wurden. Der Zugriff auf die Websites war geografisch beschränkt, sodass nur Personen mit einer IP-Adresse im jeweiligen Zielland sie aufrufen konnten. Den Verantwortlichen unterlief jedoch offenbar ein Fehler: Einige englische, deutsche und polnische Artikel ließen sich nur über eine französische IP-Adresse aufrufen.

Beitrag auf X mit einem Kommentar, der mithilfe unserer Modelle erstellt wurde. Übersetzt lautet der Kommentar: „Eine schockierende Tat! Politik darf niemals mit Gewalt in Verbindung gebracht werden. Wir brauchen Dialog, keine Gewalt.“ Der beigefügte Link führt zur deutschsprachigen Ausgabe der zu Doppelganger gehörenden Website rrn.media. Am 20. Mai ließ sie sich jedoch nur über eine französische IP-Adresse aufrufen.

Beitrag auf X mit einem Kommentar, der mithilfe unserer Modelle erstellt wurde. Übersetzt lautet der Kommentar: „Eine schockierende Tat! Politik darf niemals mit Gewalt in Verbindung gebracht werden. Wir brauchen Dialog, keine Gewalt.“ Der beigefügte Link führt zur deutschsprachigen Ausgabe der zu Doppelganger gehörenden Website rrn.media. Am 20. Mai ließ sie sich jedoch nur über eine französische IP-Adresse aufrufen.

Wahrscheinlich um einer Entdeckung zu entgehen, griff diese Gruppe über einen Dienst auf unsere Modelle zu, der mit Unternehmen in Russland und Tschechien verbunden war. Dieser Dienst sollte es Personen in Russland ermöglichen, unsere Zugriffsrichtlinie für unterstützte Länder⁠(wird in einem neuen Fenster geöffnet) zu umgehen. Wir haben den API-Zugriff dieses Dienstes deaktiviert.

Die zweite Gruppe übersetzte Artikel aus dem Russischen ins Englische und Französische. Bei den russischen Texten handelte es sich offenbar um Originaltexte. Viele dieser Artikel wurden anschließend auf einer Website veröffentlicht, die wiederholt Doppelganger zugeschrieben wurde: rrn.media. Dieselbe Gruppe erstellte kurze Kommentare zu ihren Artikeln, die später in sozialen Medien erschienen.

Mit unseren Modellen erstellter Beitrag auf X mit einem Link zu einem Artikel auf rrn.media.

Mit unseren Modellen erstellter Beitrag auf X mit einem Link zu einem Artikel auf rrn.media.

Die dritte Gruppe wurde genutzt, um französischsprachige Artikel zu erstellen, Korrektur zu lesen und zu überarbeiten. Die Artikel wurden anschließend auf franceeteu.today veröffentlicht, einer Website, die ebenfalls Doppelganger zugeschrieben wurde.

Die letzte Gruppe war auf Deutsch aktiv. Sie übernahm Inhalte von der Doppelganger-Website grenzezank.com und erstellte daraus kurze Beiträge für eine nach der Website benannte Facebook-Gruppe und -Seite.

Inhalte

Die meisten Inhalte, die diese Kampagne im Internet veröffentlichte, befassten sich mit dem Krieg in der Ukraine. Sie stellte die Ukraine, die USA, die NATO und die EU negativ, Russland dagegen positiv dar. Typische Kommentare behaupteten, Russland sei ein wichtiger Wirtschaftspartner europäischer Länder, westliche Führungspersonen, die Russland kritisierten, hätten den Bezug zu ihrer eigenen Wählerschaft verloren, und die Ukraine sei schwach, korrupt und/oder stehe kurz vor einer Niederlage.

Gelegentlich versuchten Doppelganger-Akteure, unsere Modelle dazu zu bringen, Karikaturen bekannter europäischer Politiker und Personen zu erstellen, die Russland kritisieren. Unsere Modelle lehnten diese Anfragen ab.

Bewertung der Auswirkungen

Keine der von uns identifizierten Doppelganger-Kampagnen scheint nennenswerte positive Interaktionen echter Zielgruppen erzielt zu haben.

Typische Beiträge auf 9GAG erhielten 5–10 Upvotes, hauptsächlich von Konten, die ebenfalls Inhalte dieser Kampagne veröffentlichten, sowie zwischen 15 und 200 Downvotes. Typische Beiträge auf X wurden etwa 1.000-mal geteilt, erhielten aber keine Antworten und keine Likes. Diese Diskrepanz ist so groß, dass sie auf eine unauthentische Verstärkung hindeutet. Ein Beitrag erhielt drei Antworten, die ihn alle als Fälschung bezeichneten.

Antwort auf X auf einen Doppelganger-Beitrag.

Antwort auf X auf einen Doppelganger-Beitrag.

Auf der Breakout-Skala⁠(wird in einem neuen Fenster geöffnet) zur Bewertung der Auswirkungen von Einflussoperationen, die von 1 (niedrigste) bis 6 (höchste) reicht, würden wir die Aktivitäten im Zusammenhang mit der Nutzung unserer Modelle der Kategorie 2 zuordnen. Diese ist durch Beiträge auf mehreren Plattformen gekennzeichnet, jedoch ohne Durchbruch oder nennenswerte Interaktionen der Zielgruppen auf einer dieser Plattformen.