„Zła gramatyka”: powiązana z Rosją akcja komentowania na Telegramie
OpenAI zablokowało konta powiązane z nieujawnioną wcześniej operacją z Rosji, nazwaną przez nas „Złą gramatyką”, która używała AI do tworzenia rosyjsko- i anglojęzycznych komentarzy na Telegramie o polityce Ukrainy, Mołdawii, państw bałtyckich i USA.
To studium przypadku opublikowano pierwotnie w raporcie OpenAI z maja 2024 r.(otwiera nowe okno).
Podmiot
Zablokowaliśmy nieujawnioną wcześniej sieć kont, która wykorzystywała nasze modele do tworzenia komentarzy publikowanych następnie na Telegramie. Powiązaliśmy tę aktywność z osobami z Rosji. Ze względu na skupienie działań na Telegramie, wielokrotne publikowanie niegramatycznych tekstów po angielsku oraz trudności ze zdobyciem odbiorców nazwaliśmy tę sieć „Złą gramatyką”.
Działania
Sieć kierowała rosyjsko- i anglojęzyczne treści do odbiorców w Rosji, Ukrainie, Stanach Zjednoczonych, Mołdawii i państwach bałtyckich.
Sieć wykorzystywała nasze modele i konta na Telegramie do stworzenia systemu masowego publikowania komentarzy. Najpierw operatorzy używali naszych modeli do usuwania błędów z kodu, który najwyraźniej miał automatyzować publikowanie na Telegramie. Następnie generowali po rosyjsku i angielsku komentarze w odpowiedzi na określone posty na Telegramie. Na koniec najwyraźniej wykorzystali co najmniej kilkanaście kont na Telegramie do opublikowania tych komentarzy.
Publiczny komentarz na Telegramie odpowiadający tekstowi wygenerowanemu przez tę sieć. To konto wielokrotnie publikowało komentarze odpowiadające wynikom działania tej sieci.
W przypadku języka angielskiego operatorzy używali naszych modeli do generowania komentarzy pisanych głosem wielu fikcyjnych postaci z różnych grup demograficznych, reprezentujących obie strony amerykańskiego spektrum politycznego. W języku rosyjskim preferowali bardziej tematyczne instrukcje, w mniejszym stopniu oparte na fikcyjnych postaciach.
Sieć komentowała głównie posty niewielkiej liczby kanałów na Telegramie. Najczęściej wskazywany był prorosyjski kanał @Slavyangrad, a następnie anglojęzyczne kanały @police_frequency i @SGTNewsNetwork. (Ten ostatni podszywa się pod konserwatywnego amerykańskiego weterana, ale w listopadzie Meta poinformowała(otwiera nowe okno), że w rzeczywistości kanał pochodzi z Iranu). W lutowej próbce aktywności sieć próbowała generować odpowiedzi na posty z tych trzech kanałów dwa razy częściej niż na posty z kolejnych 10 najczęściej wskazywanych kanałów łącznie.
Treści
W ramach tej kampanii generowano krótkie komentarze dotyczące kilku wątków politycznych. Zarówno w języku angielskim, jak i rosyjskim głównymi tematami publikowanych na Telegramie komentarzy były wojna w Ukrainie, sytuacja polityczna w Mołdawii i państwach bałtyckich oraz polityka Stanów Zjednoczonych.
Typowe rosyjskojęzyczne komentarze na Telegramie oskarżały prezydentów Ukrainy i Mołdawii o korupcję, brak poparcia społecznego oraz zdradę własnych narodów na rzecz zachodniej „ingerencji”. Anglojęzyczne komentarze na Telegramie dotyczyły takich tematów jak imigracja, trudności gospodarcze i najnowsze wydarzenia dnia. Komentarze te często wykorzystywały kontekst bieżących wydarzeń do przekonywania, że Stany Zjednoczone nie powinny wspierać Ukrainy.
Publiczny komentarz na Telegramie odpowiadający tekstowi wygenerowanemu przez tę sieć. To konto wielokrotnie publikowało komentarze odpowiadające treściom wygenerowanym za pomocą naszych modeli.
Czasami ten sam post komentowała więcej niż jedna fikcyjna postać, przedstawiając sprzeczne punkty widzenia. Takie „dwulicowe” podejście, polegające na podszywaniu się pod przedstawicieli obu stron, obserwowano już wcześniej w rosyjskich operacjach. Może ono świadczyć o chęci przyciągnięcia określonych grup odbiorców lub pogłębiania podziałów.
Publiczne komentarze na Telegramie odpowiadające tekstom wygenerowanym przez tę sieć. Konta te wielokrotnie publikowały komentarze odpowiadające treściom wygenerowanym za pomocą naszych modeli.
Po zamachu terrorystycznym w Moskwie 22 marca i zatrzymaniu czterech obywateli Tadżykistanu w ramach kampanii zaczęto wykorzystywać nową grupę kont na Telegramie skupionych na Tadżykistanie. Publikowane komentarze wzywały do jedności Tadżyków i Rosjan oraz do przestrzegania rosyjskiego prawa.
Ocena wpływu
Masowe publikowanie komentarzy było powszechną techniką operacji wpływu jeszcze przed pojawieniem się generatywnej AI. Choć „Zła gramatyka” wykorzystywała nowatorską technikę generowania komentarzy, jej system dystrybucji nie potrafił wzbudzić zaangażowania.
Bardzo niewiele komentarzy otrzymało polubienia lub odpowiedzi. Komentarze sieci stanowiły zazwyczaj niewielką część odpowiedzi pod danym postem — nie zagłuszały więc innych opinii, jeśli taki był cel.
Sieć sporadycznie wykorzystywała nasze modele do generowania tekstów wyglądających na prywatne wiadomości, być może kierowane do innego użytkownika Telegrama. Wygenerowane treści sugerują jednak, że sieć rozmawiała z oszustem wyłudzającym kryptowaluty.
Korzystając ze skali przebicia(otwiera nowe okno) do oceny wpływu operacji wpływu, która klasyfikuje je od 1 (najniższy poziom) do 6 (najwyższy poziom), zaliczylibyśmy tę operację do kategorii 1. Oznacza ona aktywność na jednej platformie bez dowodów na znaczące zwiększenie zasięgu przez osoby spoza sieci.