Operation „A2Z“: Mehrsprachige Einflussaktivitäten

Diese Fallstudie wurde ursprünglich im Bericht von OpenAI vom Oktober 2024⁠(wird in einem neuen Fenster geöffnet) veröffentlicht.

Wir sperrten eine zuvor unbekannte Gruppe von Konten, die über unsere API Kommentare erstellten und anschließend auf X und Facebook veröffentlichten. Viele dieser Kommentare lobten Aserbaidschan oder verteidigten die Menschenrechtsbilanz des Landes. Die Konten behandelten jedoch auch zahlreiche andere Themen, was auf eine kommerziell betriebene Operation hindeuten könnte. Da das Netzwerk Aserbaidschan häufig lobte und in mehreren Phasen der Operation KI einzusetzen versuchte, nannten wir es „A2Z“.

Wie die russischsprachige Telegram-Operation, die wir im Mai aufdeckten und „Bad Grammar“ nannten, nutzte auch diese Operation unsere Modelle, um Kommentare in sozialen Medien zu verfassen. Sie nutzte KI, um gefälschte Profile in sozialen Medien zu verwalten, Kurzbiografien zu erstellen, Beiträge und Kommentare zu analysieren, Antworten in vielen Sprachen zu entwerfen und diese Korrektur zu lesen. Die Antworten wurden anschließend auf X oder Facebook veröffentlicht. Die meisten Inhalte bestanden aus kurzen Kommentaren, umfassten aber auch stilisierte Bilder. Diese Bilder waren häufig im Stil von Plakaten der 1930er-Jahre gehalten. Sie sollten offenbar Aufmerksamkeit und Interaktionen erzielen, statt Menschen zu täuschen. Typische Beiträge mit diesen stilisierten Bildern erzielten jedoch jeweils nur 0–5 Interaktionen.

Durch diesen KI-Einsatz konnte die Operation viele Konten in sozialen Medien gleichzeitig verwalten. Wir identifizierten rund 150 Konten auf X und Facebook, die diesem Aktivitätsmuster entsprachen, und vermuteten weitere. Dadurch konnte sich die Operation gelegentlich auch mit realen Personen in Kommentarthreads austauschen. Gelegentlich beobachteten wir kurze Unterhaltungen zwischen realen Personen und den gefälschten Konten, deren Antworten mit unseren Modellen erstellt wurden.

Eine Operation dieser Größenordnung hätte vor dem Einsatz von KI vermutlich ein großes Trollteam erfordert, einschließlich aller damit verbundenen Kosten und Risiken, dass Informationen durchsickern. Die Abhängigkeit von KI machte diese Operation jedoch zugleich ungewöhnlich anfällig für unsere Gegenmaßnahmen. Da die Operation an so vielen Stellen ihrer Angriffskette KI einsetzte, unterbrach unsere Abschaltung mehrere Glieder der Kette gleichzeitig. Nachdem wir diese Aktivitäten Anfang Juni unterbunden hatten, stellten die von uns als Teil der Operation identifizierten Konten ihre Beiträge während der Wahlzeiträume in der EU, im Vereinigten Königreich und in Frankreich ein. Einige veröffentlichten ab Ende August wieder Beiträge. Eine kleine Zahl ihrer Beiträge wies Anzeichen dafür auf, dass sie wahrscheinlich mit KI erstellt worden waren. Die Inhalte mit solchen Anzeichen stammten nicht von unseren Modellen.

Diese Kampagne erstellte kurze Kommentare zu zahlreichen politischen Themen. Am häufigsten wurde die Regierung Aserbaidschans und ihre Rolle in der Innen-, Regional- und internationalen Politik gelobt, etwa die Förderung der Einheit zwischen den Ländern Zentralasiens oder die Ausrichtung der UN-Klimakonferenz. Englisch- und italienischsprachige Konten lobten Aserbaidschans Rolle als Energielieferant Europas, teilweise als Reaktion auf Kritik an der Menschenrechtsbilanz der aserbaidschanischen Regierung.

Weitere Aktivitäten befassten sich mit den Vorteilen und der Entwicklung von KI, den Finanzmärkten, ökologischen Themen, Kryptowährungen und Technologie im Allgemeinen. Eine Gruppe konzentrierte sich auf die Vereinigten Arabischen Emirate, stellte sie als stabiles Investitionsziel dar und kontrastierte dies häufig mit Behauptungen über politische Instabilität in den Vereinigten Staaten.

Einige gefälschte Profile konzentrierten sich auf die Politik in Europa oder den Vereinigten Staaten. Die ideologische Ausrichtung dieser Aktivitäten unterschied sich je nach Region. Ein auf die Vereinigten Staaten ausgerichtetes X-Konto gab sich beispielsweise als liberal aus und kritisierte den ehemaligen US-Präsidenten Trump. Einige französischsprachige Facebook-Konten kritisierten dagegen Präsident Macron und unterstützten die Partei Rassemblement National (RN). Teilweise bezog sich diese Kritik auf innenpolitische Themen, um zu argumentieren, das betreffende Land solle sich nicht in internationale Angelegenheiten einmischen, darunter Russlands Invasion der Ukraine.

Diese Operation war mit wahrscheinlich Hunderten von Konten auf Facebook und X sehr aktiv. Auf X trugen einige ihrer Konten das blaue Häkchen der kostenpflichtigen Verifizierung. Unter den rund 150 untersuchten Konten auf beiden Plattformen fanden wir keines mit einer nennenswerten Zahl von Followern. Die größte von uns während der Untersuchung ermittelte Reichweite auf X lag bei 222 Followern. Typischer waren Werte zwischen etwa 15 und knapp über 20, und übliche Beiträge auf X erzielten weniger als zehn Interaktionen. Ebenso lag die höchste Zahl der von uns während der Untersuchung beobachteten Reaktionen auf einen Facebook-Beitrag bei 36. Typischer waren 0–5 Reaktionen. Wir stellten jedoch einige Fälle fest, in denen Beiträge der Operation Antworten von realen Personen erhielten. Diese Antworten waren nicht immer positiv und widersprachen den gefälschten Konten teilweise. Sie zeigen jedoch, dass die Operation in gewissem Maße Menschen auf mehreren Plattformen, in mehreren Sprachen und zu mehreren Themen erreichen und zu Interaktionen bewegen konnte.

Auf der Breakout Scale, die die Wirkung von Einflussoperationen auf einer Skala von 1 (niedrigste) bis 6 (höchste) bewertet, würden wir diese Operation am oberen Ende von Kategorie zwei einordnen, mit dem Risiko eines Aufstiegs in Kategorie drei. Kennzeichnend waren Beiträge auf mehreren Plattformen sowie einige Hinweise darauf, dass reale Personen mit den Inhalten interagierten. Nachdem wir der Operation jedoch die Nutzung unserer Modelle untersagt und Informationen mit anderen Unternehmen der Branche geteilt hatten, verstummten die von uns identifizierten Konten in sozialen Medien für viele Wochen. Diese Operation verdeutlicht damit sowohl die erweiterten Möglichkeiten, die KI den Verantwortlichen bietet, als auch die größere Anfälligkeit für Gegenmaßnahmen, die aus ihrer Abhängigkeit von einem KI-Modell entsteht.