„Bad Grammar“: Mit Russland verbundene Kommentaraktivitäten auf Telegram
OpenAI sperrte Konten einer zuvor unbekannten Operation aus Russland, die wir „Bad Grammar“ nannten. Sie nutzte KI für englische und russische Telegram-Kommentare zur Politik in der Ukraine, Moldau, im Baltikum und in den USA.
Diese Fallstudie wurde ursprünglich im Bericht von OpenAI vom Mai 2024(wird in einem neuen Fenster geöffnet) veröffentlicht.
Akteure
Wir sperrten ein zuvor unbekanntes Netzwerk von Konten, das mit unseren Modellen Kommentare erstellte, die anschließend auf Telegram veröffentlicht wurden. Wir brachten diese Aktivitäten mit Personen aus Russland in Verbindung. Da sich das Netzwerk auf Telegram konzentrierte, wiederholt grammatikalisch fehlerhaftes Englisch veröffentlichte und kaum ein Publikum erreichte, nannten wir es „Bad Grammar“.
Vorgehensweise
Dieses Netzwerk richtete sich mit russischen und englischen Inhalten an Menschen in Russland, der Ukraine, den USA, Moldau und den baltischen Staaten.
Das Netzwerk nutzte unsere Modelle und Konten auf Telegram, um einen automatisierten Ablauf für Kommentarspam einzurichten. Zunächst nutzten die Verantwortlichen unsere Modelle, um Fehler in Code zu beheben, der offenbar das Veröffentlichen auf Telegram automatisieren sollte. Anschließend erstellten sie russische und englische Kommentare als Antworten auf bestimmte Telegram-Beiträge. Schließlich nutzten sie offenbar mindestens ein Dutzend Telegram-Konten, um diese Kommentare zu veröffentlichen.
Öffentlicher Telegram-Kommentar, der mit einem von diesem Netzwerk erstellten Text übereinstimmt. Das betreffende Konto veröffentlichte wiederholt Kommentare, die mit den Ergebnissen dieses Netzwerks übereinstimmten.
Für englische Kommentare nutzten die Verantwortlichen unsere Modelle, um in der Stimme verschiedener erfundener Persönlichkeiten zu schreiben. Diese sollten unterschiedliche Bevölkerungsgruppen und beide Seiten des politischen Spektrums in den USA vertreten. Für russische Kommentare bevorzugten sie stärker themenbezogene Anweisungen, die weniger auf erfundenen Persönlichkeiten beruhten.
Das Netzwerk kommentierte vor allem Beiträge einiger weniger Telegram-Kanäle. Am häufigsten wurde der prorussische Kanal @Slavyangrad erwähnt, gefolgt von den englischsprachigen Kanälen @police_frequency und @SGTNewsNetwork. (Der letztgenannte gibt sich als konservativer US-Veteran aus. Im November berichtete Meta(wird in einem neuen Fenster geöffnet) jedoch, dass der Kanal tatsächlich aus dem Iran stammte.) In einer Stichprobe der Aktivitäten vom Februar versuchte das Netzwerk, für diese drei Kanäle doppelt so häufig Antworten zu erstellen wie für die zehn am nächsthäufigsten erwähnten Kanäle zusammen.
Inhalte
Diese Kampagne erstellte kurze Kommentare zu einigen wenigen politischen Themen. Auf Englisch und Russisch veröffentlichte die Kampagne auf Telegram vor allem Beiträge zum Krieg in der Ukraine, zur politischen Lage in Moldau und den baltischen Staaten sowie zur Politik in den USA.
Typische russischsprachige Kommentare auf Telegram warfen den Präsidenten der Ukraine und Moldaus Korruption, mangelnden Rückhalt in der Bevölkerung und den Verrat am eigenen Volk zugunsten westlicher „Einmischung“ vor. Englischsprachige Kommentare auf Telegram konzentrierten sich auf Themen wie Einwanderung, wirtschaftliche Not und aktuelle Eilmeldungen. Diese Kommentare nahmen häufig aktuelle Ereignisse zum Anlass, um gegen eine Unterstützung der Ukraine durch die USA zu argumentieren.
Öffentlicher Telegram-Kommentar, der mit einem von diesem Netzwerk erstellten Text übereinstimmt. Das betreffende Konto veröffentlichte wiederholt Kommentare, die mit Inhalten übereinstimmten, die mithilfe unserer Modelle erstellt wurden.
Manchmal kommentierten mehrere erfundene Persönlichkeiten denselben Beitrag und vertraten dabei widersprüchliche Standpunkte. Dieser „doppelzüngige“ Ansatz, Stimmen beider Seiten vorzutäuschen, wurde bereits bei früheren russischen Operationen beobachtet. Er könnte auf den Versuch hindeuten, bestimmte Zielgruppen anzusprechen oder Spaltung zu fördern.
Öffentliche Telegram-Kommentare, die mit von diesem Netzwerk erstellten Texten übereinstimmen. Die betreffenden Konten veröffentlichten wiederholt Kommentare, die mit Inhalten übereinstimmten, die mithilfe unserer Modelle erstellt wurden.
Nach dem Terroranschlag in Moskau am 22. März und der Festnahme von vier tadschikischen Staatsangehörigen begann die Kampagne, eine neue Gruppe von Telegram-Konten mit Schwerpunkt Tadschikistan zu nutzen. Die veröffentlichten Kommentare riefen zu Zusammenhalt zwischen Tadschiken und Russen sowie zur Achtung des russischen Rechts auf.
Bewertung der Wirkung
Kommentarspam war bereits vor dem Aufkommen generativer KI eine verbreitete Technik bei Einflussoperationen. Bad Grammar nutzte zwar eine neuartige Technik zur Erstellung seiner Kommentare, doch sein Verbreitungssystem erzielte kaum Interaktionen.
Nur sehr wenige Kommentare erhielten Reaktionen oder Antworten. Die Kommentare des Netzwerks machten in der Regel nur einen kleinen Teil der Antworten auf einen Beitrag aus. Andere Ansichten wurden also nicht verdrängt, falls dies das Ziel war.
Gelegentlich nutzte das Netzwerk unsere Modelle offenbar auch zur Erstellung privater Nachrichten, möglicherweise für den Austausch mit einer anderen Person auf Telegram. Die erstellten Texte legen jedoch nahe, dass das Netzwerk mit einem Krypto-Betrüger kommunizierte.
Auf der Breakout-Skala(wird in einem neuen Fenster geöffnet) zur Bewertung der Wirkung von Einflussoperationen, die von 1 (niedrigste) bis 6 (höchste) reicht, ordnen wir diese Aktivitäten in Kategorie 1 ein. Diese ist durch Veröffentlichungen auf einer einzigen Plattform gekennzeichnet, ohne Anzeichen für eine nennenswerte Verstärkung durch Personen außerhalb des Netzwerks.