Operacja „A2Z”: wielojęzyczne działania wywierające wpływ

To studium przypadku opublikowano pierwotnie w raporcie OpenAI z października 2024 r.⁠(otwiera nowe okno)

Zablokowaliśmy nieopisany wcześniej zespół kont, które używały naszego API do tworzenia komentarzy publikowanych następnie na X i Facebooku. Wiele z tych komentarzy wychwalało Azerbejdżan lub broniło jego bilansu w dziedzinie praw człowieka, ale operacja poruszała też wiele innych tematów, co może wskazywać, że prowadzono ją komercyjnie. Ze względu na częstotliwość pochwał Azerbejdżanu oraz próbę wykorzystania AI na wielu etapach operacji nazwaliśmy tę sieć „A2Z”.

Podobnie jak ujawniona przez nas w maju rosyjskojęzyczna operacja na Telegramie, którą nazwaliśmy „Bad Grammar”, ta operacja wykorzystywała nasze modele do zamieszczania komentarzy w mediach społecznościowych. Wykorzystywała AI do zarządzania fałszywymi personami w mediach społecznościowych, tworzenia biogramów, analizowania postów i komentarzy, redagowania odpowiedzi w wielu językach oraz ich korekty. Odpowiedzi publikowano następnie na X lub Facebooku. Większość treści miała formę krótkich komentarzy, ale pojawiały się wśród nich również stylizowane obrazy. Często nawiązywały one do stylistyki plakatów z lat 30. XX wieku, przez co zdawały się służyć raczej przyciąganiu uwagi i wywoływaniu interakcji niż wprowadzaniu odbiorców w błąd. Typowe posty z tymi stylizowanymi obrazami uzyskiwały jednak tylko od 0 do 5 interakcji.

Wykorzystanie AI umożliwiło jednoczesne zarządzanie wieloma kontami w mediach społecznościowych: zidentyfikowaliśmy około 150 kont na X i Facebooku powiązanych z tymi działaniami, a podejrzanych kont było więcej. Pozwalało to również operatorom niekiedy wdawać się w internetowe dyskusje z prawdziwymi osobami. Sporadycznie obserwowaliśmy krótkie rozmowy prawdziwych osób z fałszywymi kontami, których odpowiedzi generowano przy użyciu naszych modeli.

Przed pojawieniem się AI operacja na taką skalę prawdopodobnie wymagałaby dużego zespołu trolli oraz poniesienia wszystkich związanych z tym kosztów i ryzyka wycieku informacji. Jednocześnie uzależnienie tej operacji od AI sprawiło, że była ona wyjątkowo podatna na nasze działania zakłócające. Ponieważ AI wykorzystywano w tak wielu ogniwach łańcucha ataku, zablokowanie operacji przerwało jednocześnie wiele z nich. Po zakłóceniu przez nas tych działań na początku czerwca konta w mediach społecznościowych, które zidentyfikowaliśmy jako część operacji, przestały publikować na cały okres wyborów w UE, Wielkiej Brytanii i Francji. Niektóre wznowiły publikowanie pod koniec sierpnia. Niewielka liczba ich postów zawierała oznaki wskazujące na prawdopodobne wygenerowanie przez AI. Treści zawierające takie oznaki nie pochodziły z naszych modeli.

W ramach tej kampanii tworzono krótkie komentarze dotyczące wielu różnych tematów politycznych. Najbardziej widoczne były pochwały rządu Azerbejdżanu i jego roli w polityce krajowej, regionalnej i międzynarodowej — na przykład w promowaniu jedności państw Azji Środkowej lub organizacji Konferencji Narodów Zjednoczonych w sprawie zmian klimatu. Konta publikujące po angielsku i włosku chwaliły rolę Azerbejdżanu jako dostawcy energii do Europy — czasami w odpowiedzi na krytykę dotyczącą przestrzegania praw człowieka przez azerski rząd.

Inne nurty działań dotyczyły korzyści i rozwoju AI, rynków finansowych, kwestii ekologicznych, kryptowalut oraz szeroko pojętej technologii. Jedna grupa koncentrowała się na Zjednoczonych Emiratach Arabskich, przedstawiając je jako stabilne miejsce do inwestowania i często przeciwstawiając temu twierdzenia o niestabilności politycznej w Stanach Zjednoczonych.

Niektóre fałszywe persony skupiały się na polityce w Europie lub Stanach Zjednoczonych. Ideologia stojąca za tymi działaniami różniła się zależnie od regionu. Na przykład jedno konto na X poświęcone Stanom Zjednoczonym podszywało się pod liberała i krytykowało byłego prezydenta USA Trumpa, natomiast niektóre francuskojęzyczne konta na Facebooku krytykowały prezydenta Macrona i popierały partię Zjednoczenie Narodowe (RN). Czasami krytyka ta skupiała się na sprawach wewnętrznych, aby dowodzić, że dane państwo nie powinno ingerować w kwestie międzynarodowe, w tym rosyjską inwazję na Ukrainę.

Operacja była bardzo aktywna na Facebooku i X i prawdopodobnie obejmowała setki kont. Niektóre jej konta na X miały niebieski znacznik płatnej weryfikacji. Wśród około 150 kont objętych naszą próbą na obu platformach nie znaleźliśmy żadnego ze znaczącą liczbą obserwujących. Największe konto na X zidentyfikowane podczas dochodzenia miało 222 obserwujących; typowe liczby wynosiły od kilkunastu do nieco ponad 20, a typowe posty na X uzyskiwały mniej niż 10 interakcji. Podobnie największa zaobserwowana podczas dochodzenia liczba reakcji na post na Facebooku wyniosła 36, a typowy wynik mieścił się w przedziale od 0 do 5. Zidentyfikowaliśmy jednak przypadki, w których posty operacji przyciągały odpowiedzi prawdziwych osób. Nie zawsze były one pozytywne — czasami prawdziwe osoby zaprzeczały twierdzeniom fałszywych kont — ale świadczą o pewnej zdolności do angażowania odbiorców na wielu platformach, w wielu językach i w dyskusje na różne tematy.

Korzystając ze skali Breakout Scale, która ocenia wpływ operacji informacyjnych od 1 (najniższy) do 6 (najwyższy), zakwalifikowalibyśmy tę operację do górnego zakresu kategorii drugiej, z ryzykiem przejścia do kategorii trzeciej. Charakteryzowała się aktywnością na wielu platformach i istniały pewne dowody, że prawdziwe osoby wchodziły w interakcje z jej treściami. Po zablokowaniu tej operacji dostępu do naszych modeli i przekazaniu informacji innym podmiotom z branży zidentyfikowane przez nas konta w mediach społecznościowych zamilkły jednak na wiele tygodni. Operacja ta pokazuje zatem zarówno większe możliwości, jakie AI może zapewnić operatorom, jak i większą podatność na zakłócenia wynikającą z ich zależności od modelu AI.