Zum Hauptinhalt springen
OpenAI

1. Mai 2024

Sicherheit

Operation „Zero Zeno“: Einflussaktivitäten mit Verbindungen nach Israel

OpenAI sperrte Konten, die mit einer zuvor nicht öffentlich bekannten Operation aus Israel in Verbindung standen. Wir nannten sie „Zero Zeno“. Sie nutzte KI, um Inhalte gegen die Hamas, Katar und die BJP sowie für Israel und die Histadrut zu generieren.

Laden …

Diese Fallstudie wurde ursprünglich im Bericht von OpenAI vom Mai 2024⁠(wird in einem neuen Fenster geöffnet) veröffentlicht.

Akteur

Wir sperrten eine Gruppe von Konten, die von Israel aus betrieben und dazu genutzt wurden, Inhalte für eine Einflussoperation zu generieren und zu bearbeiten. Die Operation erstreckte sich über X, Facebook, Instagram, Websites und YouTube. Das Netzwerk wurde von STOIC betrieben, einem israelischen Unternehmen für die Leitung politischer Kampagnen. Zu Ehren des Begründers der stoischen Philosophenschule und angesichts der geringen Interaktion, die das Netzwerk erzielte, gaben wir ihm den Namen „Zero Zeno“.

Vorgehen

Diese Operation richtete sich mit englisch- und hebräischsprachigen Inhalten an Menschen in Kanada, den Vereinigten Staaten und Israel. Anfang Mai begann sie, sich mit englischsprachigen Inhalten an Menschen in Indien zu richten. Offenbar bereitete sie außerdem eine Kampagne zur Einflussnahme auf Menschen in Ghana vor.

Die Operation nutzte unsere Modelle, um Webartikel und Kommentare für soziale Medien zu generieren, die anschließend auf mehreren Plattformen veröffentlicht wurden, insbesondere auf Instagram, Facebook und X.

Englischsprachige Kommentare, die von diesem Netzwerk generiert und auf Instagram veröffentlicht wurden. Sowohl der ursprüngliche Beitrag als auch die Antworten wurden von dieser Kampagne generiert.

Englischsprachige Kommentare, die von diesem Netzwerk generiert und auf Instagram veröffentlicht wurden. Sowohl der ursprüngliche Beitrag als auch die Antworten wurden von dieser Kampagne generiert.

Die Operation nutzte unsere Modelle außerdem, um anhand bestimmter Variablen wie Alter, Geschlecht und Standort fiktive Personen und Biografien für soziale Medien zu erstellen. Zudem recherchierte sie zu Menschen in Israel, die sich öffentlich zur israelischen Gewerkschaft Histadrut geäußert hatten. Unsere Modelle weigerten sich, als Antwort auf diese Prompts personenbezogene Daten bereitzustellen.

Von diesem Netzwerk generierte Inhalte wurden auf mehreren Social-Media-Plattformen veröffentlicht. Durch Recherchen in offenen Quellen identifizierte das Digital Forensic Research Lab des Atlantic Council⁠(wird in einem neuen Fenster geöffnet) einige dieser Inhalte auf Facebook, Instagram und X. Nachdem die entsprechenden Konten deaktiviert worden waren, beschaffte sich die Operation neue. Weitere Inhalte erschienen auf vier Websites, die sich als aktivistische Gruppen ausgaben und den Konflikt im Gazastreifen sowie allgemeinere Fragen der Beziehungen zwischen Menschen jüdischen und muslimischen Glaubens behandelten: uc4canada.com, the-good-samaritan.com, ufnews.io und nonagenda.com.

In einigen Fällen stellten wir fest, dass gefälschte Konten dieser Operation Beiträge in sozialen Medien kommentierten, die von der Operation selbst stammten. Vermutlich sollte so der Eindruck von Publikumsinteraktion entstehen.

Beitrag auf X von einem Konto, das mit den erstmals vom DFRLab identifizierten Aktivitäten in Verbindung stand, samt Antworten. Alle auf diesem Bild gezeigten Antworten wurden von dieser Kampagne generiert.

Beitrag auf X von einem Konto, das mit den erstmals vom DFRLab identifizierten Aktivitäten in Verbindung stand, samt Antworten. Alle auf diesem Bild gezeigten Antworten wurden von dieser Kampagne generiert.

Viele der Social-Media-Konten, die Inhalte dieses Netzwerks veröffentlichten, verwendeten Profilbilder, die offenbar mit einer älteren Form künstlicher Intelligenz erstellt worden waren: generativen adversarialen Netzwerken (GAN). Solche Bilder lassen sich problemlos aus dem Internet herunterladen. Obwohl sich diese Bilder leicht erstellen lassen, fanden wir in diesem Netzwerk mehrere Social-Media-Konten, die dasselbe Bild verwendeten. Manchmal antworteten zwei oder mehr Konten mit demselben Profilbild auf denselben Beitrag in sozialen Medien.

Profilbilder von X-Konten, die von diesem Netzwerk generierte Kommentare veröffentlichten. Das Bild weist visuelle Merkmale auf, die mit einer GAN-Erzeugung vereinbar sind.

Profilbilder von X-Konten, die von diesem Netzwerk generierte Kommentare veröffentlichten. Das Bild weist visuelle Merkmale auf, die mit einer GAN-Erzeugung vereinbar sind.

Inhalte

Diese Operation gliederte sich in mehrere thematische Kampagnen. Die meisten standen in losem Zusammenhang mit dem Konflikt im Gazastreifen und der allgemeineren Frage der Beziehungen zwischen Menschen jüdischen und muslimischen Glaubens. Im Mai unterbanden wir einige Aktivitäten mit Bezug zu den Wahlen in Indien weniger als 24 Stunden nach ihrem Beginn.

Recherchen in offenen Quellen vom Februar⁠(wird in einem neuen Fenster geöffnet) beschrieben, wie dieses Netzwerk das Hilfswerk der Vereinten Nationen für Palästinaflüchtlinge, UNRWA, kritisierte. Der DFRLab-Bericht vom März⁠(wird in einem neuen Fenster geöffnet) hob Inhalte hervor, die sich mit Kanada befassten und Menschen kritisierten, die in den Beiträgen der Kampagne als „radikale Islamisten“ bezeichnet wurden. Eine weitere Gruppe konzentrierte sich auf Hochschulen in den Vereinigten Staaten und warf pro-palästinensischen Demonstrierenden vor, Antisemitismus und Terrorismus zu fördern. Eine vierte Gruppe konzentrierte sich auf Katar und stellte dessen Investitionen in den USA als Bedrohung für die amerikanische Lebensweise dar. Eine fünfte Gruppe generierte hebräischsprachige Beiträge für soziale Medien. Diese lobten üblicherweise den Gewerkschaftsverband Histadrut und dessen Führung. Im Mai begann das Netzwerk schließlich, Kommentare zu generieren, die sich mit Indien befassten, die regierende BJP kritisierten und die oppositionelle Kongresspartei lobten.

Mitunter stellte das Netzwerk seine Konten offenbar von einem Thema auf ein anderes um. Konten, die zuvor Beiträge über Kanada veröffentlicht hatten, konzentrierten sich danach beispielsweise auf die USA, Indien oder die Histadrut, teilweise auch auf mehrere dieser Themen.

Drei Kommentare auf X von einem Konto, das vom 1. bis 4. Mai 2024 wiederholt durch diese Kampagne generierte Inhalte veröffentlichte. Der früheste Beitrag (unten) war offenbar ein Versuch, eine Persona aufzubauen. Der zweite Beitrag befasst sich mit Kanada und bettet einen Beitrag des wichtigsten auf Kanada ausgerichteten Kontos dieses Netzwerks ein. Der dritte befasst sich mit Indien.

Drei Kommentare auf X von einem Konto, das vom 1. bis 4. Mai 2024 wiederholt durch diese Kampagne generierte Inhalte veröffentlichte. Der früheste Beitrag (unten) war offenbar ein Versuch, eine Persona aufzubauen. Der zweite Beitrag befasst sich mit Kanada und bettet einen Beitrag des wichtigsten auf Kanada ausgerichteten Kontos dieses Netzwerks ein. Der dritte befasst sich mit Indien.

Einige der von diesem Netzwerk erstellten Inhalte wurden in sozialen Medien als Antworten an bekannte westliche Persönlichkeiten aus unterschiedlichen Teilen des politischen Spektrums veröffentlicht. Diese Antworten hatten im Allgemeinen keinen Bezug zum ursprünglichen Beitrag. So wurde beispielsweise ein Kommentar darüber, dass Katar Amerika „aufkaufe“, als Antwort auf einen Beitrag über die musikalischen Vorlieben des ehemaligen Präsidenten Trump veröffentlicht.

Oben: Beitrag von Laura Ingraham über die musikalischen Vorlieben von Präsident Trump. Unten: Beitrag mit einem von diesem Netzwerk generierten Kommentar. Auffällig ist der Unterschied bei den Interaktionszahlen zwischen dem ursprünglichen Beitrag und der Antwort.

Oben: Beitrag von Laura Ingraham über die musikalischen Vorlieben von Präsident Trump. Unten: Beitrag mit einem von diesem Netzwerk generierten Kommentar. Auffällig ist der Unterschied bei den Interaktionszahlen zwischen dem ursprünglichen Beitrag und der Antwort.

Folgenabschätzung

Die Aktivitäten von Zero Zeno scheinen, abgesehen von den eigenen nicht authentischen Konten, kaum oder gar keine Interaktion erzielt zu haben. (Viele Konten wurden bereits von Meta und X deaktiviert, sodass die aktuellen Interaktionszahlen möglicherweise kein vollständiges Bild vermitteln.)

Auf der Breakout Scale⁠(wird in einem neuen Fenster geöffnet) zur Bewertung der Auswirkungen von Einflussoperationen (IO), die von 1 (niedrigste Stufe) bis 6 (höchste Stufe) reicht, würden wir dies als Operation der Kategorie 2 einstufen. Kennzeichnend sind Aktivitäten auf mehreren Plattformen und Websites, allerdings ohne Anzeichen für eine nennenswerte Verstärkung durch Menschen außerhalb des Netzwerks.

YouTube-Kanal, der mit der auf Kanada ausgerichteten Kampagne dieser Operation in Verbindung stand. Bis zum 25. April 2024 hatte der Kanal ein Video veröffentlicht, das keine Aufrufe erhalten hatte.

YouTube-Kanal, der mit der auf Kanada ausgerichteten Kampagne dieser Operation in Verbindung stand. Bis zum 25. April 2024 hatte der Kanal ein Video veröffentlicht, das keine Aufrufe erhalten hatte.

Indikatoren

Wir stellten fest, dass die folgenden Domains mit den Kampagnen von Zero Zeno in Verbindung standen.

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io