Operacja „Doppelganger”: rosyjskie działania wpływu wymierzone w Ukrainę
OpenAI zablokowało konta powiązane z rosyjską operacją „Doppelganger”, w której wykorzystywano AI do generowania w kilku językach antyukraińskich komentarzy do mediów społecznościowych, tłumaczeń i tekstów na strony internetowe.
To studium przypadku opublikowano pierwotnie w raporcie OpenAI z maja 2024 r.(otwiera nowe okno)
Podmiot
Zablokowaliśmy cztery grupy kont korzystających z naszych modeli, powiązane z osobami działającymi w imieniu rosyjskiej operacji wpływu znanej jako „Doppelganger”(otwiera nowe okno). Każda grupa stosowała odmienne taktyki, techniki i procedury (TTP), co odpowiadało strukturze operacji złożonej z różnych zespołów funkcjonalnych.
Działania
Działania te były wymierzone w odbiorców w Europie i Ameryce Północnej i koncentrowały się na tworzeniu treści do serwisów internetowych i mediów społecznościowych.
Pierwsza grupa kont generowała krótkie komentarze w języku angielskim, francuskim, niemieckim, włoskim i polskim. Publikowano je w serwisach 9GAG i X wraz z memami, filmami oraz linkami, które najprawdopodobniej nie zostały wygenerowane za pomocą naszych modeli. Niektóre memy skopiowano z internetu i wyglądały na mające już kilka lat.
W serwisie 9GAG konta publikujące treści tej kampanii miały zwykle zdjęcia profilowe przedstawiające celebrytów lub koty. Memy i filmy publikowano na wielu różnych kanałach, w tym „Random” oraz kanałach poświęconych zwierzętom domowym, sportowi, humorowi, a nawet związkom i randkom.

Komentarz o Ukrainie i film o Strefie Gazy opublikowane na kanale „Motor Vehicles” w serwisie 9GAG przez konto, które wielokrotnie zamieszczało treści wygenerowane w ramach tej kampanii. Wzmiankę o Ukrainie i granicy USA wygenerowano za pomocą naszych modeli. Film był kolażem materiałów informacyjnych. Post otrzymał 11 głosów pozytywnych i 93 negatywne.
Za każdym razem, gdy w ramach kampanii publikowano mem lub film w serwisie 9GAG, odpowiadało na niego od trzech do pięciu kont, zwykle prostymi wiadomościami, takimi jak „hahaha” lub „lol”. Każde z tych kont wchodziło w interakcje wyłącznie z treściami tej kampanii, a większość z nich utworzono tego samego dnia. Takie zachowanie często wywoływało krytyczne komentarze innych użytkowników, z których wielu określało te konta jako „boty”.

Komentarze do przedstawionego powyżej filmu. Trzy dolne konta (autorzy najwcześniejszych komentarzy) utworzono pod koniec kwietnia 2024 r. Wielokrotnie publikowały one, pozytywnie oceniały lub komentowały wyłącznie posty z tej kampanii. Trzy górne konta, które demaskowały fałszywe treści, utworzono od roku do dziesięciu lat temu. Wykazywały one bardzo zróżnicowaną aktywność.
Na platformie X komentarze w ramach kampanii publikowały konta, z których każde zamieściło zwykle tylko jeden lub dwa posty. Komentarzom zwykle towarzyszył pozornie przypadkowy link, na przykład „solarpanelfor.sale”. Linki te przekierowywały do zbioru stron internetowych, które wielokrotnie przypisywano operacji Doppelganger. Strony objęto blokadą geograficzną, dlatego mogły je wyświetlać tylko osoby z adresem IP w kraju będącym celem operacji. Operatorzy najwyraźniej popełnili jednak błąd, przez co niektóre artykuły w języku angielskim, niemieckim i polskim można było wyświetlić wyłącznie z francuskiego adresu IP.

Post na platformie X zawierający komentarz wygenerowany za pomocą naszych modeli. Jego tłumaczenie brzmi: „Szokujący czyn! Polityka nigdy nie powinna wiązać się z przemocą. Potrzebujemy dialogu, a nie przemocy”. Dołączony link przekierowuje do niemieckojęzycznej wersji strony rrn.media, sygnowanej marką Doppelganger. Jednak 20 maja można ją było wyświetlić wyłącznie z francuskiego adresu IP.
Prawdopodobnie w celu uniknięcia wykrycia grupa ta uzyskiwała dostęp do naszych modeli za pośrednictwem usługi powiązanej z firmami w Rosji i Czechach. Usługa ta miała umożliwiać osobom w Rosji obchodzenie naszych zasad dostępu dotyczących obsługiwanych krajów(otwiera nowe okno). Wyłączyliśmy tej usłudze dostęp do interfejsu API.
Druga grupa tłumaczyła artykuły z rosyjskiego na angielski i francuski. Teksty rosyjskie wyglądały na oryginalne utwory. Wiele z tych artykułów opublikowano następnie w serwisie rrn.media, który wielokrotnie przypisywano operacji Doppelganger. Ta sama grupa generowała krótkie komentarze dotyczące swoich artykułów, które później pojawiały się w mediach społecznościowych.

Post na platformie X wygenerowany za pomocą naszych modeli wraz z linkiem do artykułu w serwisie rrn.media.
Trzecia grupa służyła do generowania, redagowania i poprawiania artykułów w języku francuskim. Artykuły publikowano następnie w serwisie franceeteu.today, który również przypisywano operacji Doppelganger.
Ostatnia grupa działała w języku niemieckim. Pobierała treści z należącej do operacji Doppelganger strony grenzezank.com i używała ich do generowania krótkich postów dla grupy i strony na Facebooku nazwanych od tego serwisu.
Treści
Większość treści publikowanych w internecie w ramach tej kampanii dotyczyła wojny w Ukrainie. Przedstawiano w nich Ukrainę, USA, NATO i UE w negatywnym świetle, a Rosję — w pozytywnym. W typowych komentarzach twierdzono, że Rosja jest ważnym partnerem gospodarczym państw europejskich, zachodni przywódcy krytykujący Rosję nie rozumieją własnych wyborców, a Ukraina jest słaba, skorumpowana lub bliska porażki.
W niektórych przypadkach osoby prowadzące operację Doppelganger próbowały nakłonić nasze modele do generowania karykatur znanych europejskich polityków i krytyków Rosji. Nasze modele odrzuciły te żądania.
Ocena wpływu
Żadna ze zidentyfikowanych przez nas kampanii Doppelganger nie uzyskała znaczącego pozytywnego zaangażowania autentycznych odbiorców.
W serwisie 9GAG typowe posty otrzymywały od 5 do 10 głosów pozytywnych — głównie od kont, które również publikowały treści tej kampanii — oraz od 15 do 200 głosów negatywnych. Na platformie X typowe posty miały około 1000 udostępnień, zero odpowiedzi i zero polubień. Tak duża rozbieżność wskazuje na nieautentyczne zwiększanie zasięgu. Jeden z postów otrzymał trzy odpowiedzi, a wszystkie wskazywały, że jest fałszywy.

Odpowiedź na platformie X na post operacji Doppelganger.
Korzystając ze skali Breakout Scale(otwiera nowe okno) do oceny wpływu operacji wpływu (IO), która klasyfikuje je od 1 (najniższa ocena) do 6 (najwyższa), działania związane z użyciem naszych modeli ocenilibyśmy na kategorię 2. Oznacza ona publikowanie na wielu platformach, ale bez przebicia się do szerszej publiczności ani znaczącego zaangażowania odbiorców na którejkolwiek z nich.