Przejdź do treści głównej
OpenAI

1 maja 2024

Bezpieczeństwo

Operacja „Zero Zeno”: działania wpływu powiązane z Izraelem

OpenAI zablokowało konta powiązane z nieujawnioną wcześniej operacją z Izraela, nazwaną przez nas „Zero Zeno”, która używała AI do tworzenia treści przeciwko Hamasowi, Katarowi i BJP oraz popierających Izrael i Histadrut.

Ładowanie…

To studium przypadku opublikowano pierwotnie w raporcie OpenAI z maja 2024 r.⁠(otwiera nowe okno)

Podmiot

Zablokowaliśmy grupę kont obsługiwanych z Izraela, których używano do generowania i edytowania treści na potrzeby operacji wpływu obejmującej X, Facebook, Instagram, strony internetowe i YouTube. Siecią zarządzała izraelska firma STOIC, zajmująca się prowadzeniem kampanii politycznych. Na cześć twórcy stoickiej szkoły filozoficznej, a zarazem dla podkreślenia niewielkiego zaangażowania odbiorców tej sieci, nadaliśmy jej nazwę „Zero Zeno”.

Działanie

Operacja była skierowana do odbiorców w Kanadzie, Stanach Zjednoczonych i Izraelu, a wykorzystywane treści były w językach angielskim i hebrajskim. Na początku maja zaczęła kierować anglojęzyczne treści także do odbiorców w Indiach. Wydaje się również, że przygotowywano kampanię wpływu skierowaną do odbiorców w Ghanie.

W ramach operacji używano naszych modeli do generowania artykułów internetowych i komentarzy w mediach społecznościowych, które następnie publikowano na wielu platformach, zwłaszcza na Instagramie, Facebooku i X.

Anglojęzyczne komentarze wygenerowane przez tę sieć i opublikowane na Instagramie. Zarówno pierwotny post, jak i odpowiedzi zostały wygenerowane przez tę kampanię.

Anglojęzyczne komentarze wygenerowane przez tę sieć i opublikowane na Instagramie. Zarówno pierwotny post, jak i odpowiedzi zostały wygenerowane przez tę kampanię.

Naszych modeli używano również do tworzenia fikcyjnych person i biogramów w mediach społecznościowych na podstawie takich zmiennych jak wiek, płeć i lokalizacja, a także do zbierania informacji o osobach w Izraelu, które publicznie komentowały działalność izraelskiej centrali związkowej Histadrut. W odpowiedzi na te polecenia nasze modele odmówiły podania danych osobowych.

Treści wygenerowane przez tę sieć publikowano na wielu platformach społecznościowych. Badacze z Digital Forensic Research Lab przy Atlantic Council⁠(otwiera nowe okno), korzystając z ogólnodostępnych źródeł, zidentyfikowali część treści tej sieci na Facebooku, Instagramie i X. Po zablokowaniu tych kont operatorzy pozyskali nowe. Inne treści pojawiały się w czterech serwisach podszywających się pod grupy aktywistów zajmujących się konfliktem w Strefie Gazy oraz szerzej pojętymi relacjami między wyznawcami judaizmu i islamu: uc4canada.com, the-good-samaritan.com, ufnews.io i nonagenda.com.

W niektórych przypadkach wykryliśmy, że fałszywe konta należące do operatorów tej operacji komentowały ich własne posty w mediach społecznościowych, prawdopodobnie po to, by stworzyć wrażenie zaangażowania odbiorców.

Post na X opublikowany przez konto powiązane z działaniami wykrytymi po raz pierwszy przez DFRLab wraz z odpowiedziami. Wszystkie odpowiedzi widoczne na tym obrazie zostały wygenerowane przez tę kampanię.

Post na X opublikowany przez konto powiązane z działaniami wykrytymi po raz pierwszy przez DFRLab wraz z odpowiedziami. Wszystkie odpowiedzi widoczne na tym obrazie zostały wygenerowane przez tę kampanię.

Wiele kont społecznościowych publikujących treści tej sieci używało zdjęć profilowych, które najwyraźniej utworzono za pomocą wcześniejszego rodzaju sztucznej inteligencji: generatywnych sieci przeciwstawnych (GAN). Takie obrazy można łatwo pobrać z internetu. Mimo łatwości tworzenia takich obrazów zidentyfikowaliśmy w tej sieci wiele kont społecznościowych używających tego samego zdjęcia. Zdarzało się, że dwa lub więcej kont z tym samym zdjęciem profilowym odpowiadało na ten sam post w mediach społecznościowych.

Zdjęcia profilowe kont na X, które publikowały komentarze wygenerowane przez tę sieć. Zdjęcie ma cechy wskazujące na wygenerowanie przez sieć GAN.

Zdjęcia profilowe kont na X, które publikowały komentarze wygenerowane przez tę sieć. Zdjęcie ma cechy wskazujące na wygenerowanie przez sieć GAN.

Treści

Operacja składała się z kilku kampanii tematycznych, z których większość była luźno związana z konfliktem w Strefie Gazy oraz szerzej pojętymi relacjami między wyznawcami judaizmu i islamu. W maju zakłóciliśmy część działań dotyczących wyborów w Indiach w ciągu niespełna 24 godzin od ich rozpoczęcia.

Badanie ogólnodostępnych źródeł przeprowadzone w lutym⁠(otwiera nowe okno) opisywało, jak sieć krytykowała agencję ONZ ds. pomocy uchodźcom palestyńskim — UNRWA. W marcowym raporcie DFRLab⁠(otwiera nowe okno) zwrócono uwagę na treści dotyczące Kanady i krytykujące osoby określane w postach kampanii jako „radykalni islamiści”. Kolejna grupa treści dotyczyła uniwersytetów w Stanach Zjednoczonych i oskarżała propalestyńskich demonstrantów o promowanie antysemityzmu i terroryzmu. Czwarta grupa treści koncentrowała się na Katarze, przedstawiając jego inwestycje w USA jako zagrożenie dla amerykańskiego stylu życia. Piąta grupa obejmowała posty w mediach społecznościowych generowane w języku hebrajskim. Zwykle chwalono w nich centralę związkową Histadrut i jej kierownictwo. Wreszcie w maju sieć zaczęła generować komentarze dotyczące Indii, które krytykowały rządzącą partię BJP i chwaliły opozycyjną partię Kongres.

Czasami operatorzy sieci przenosili konta z jednego tematu na inny — na przykład konta, które wcześniej publikowały treści o Kanadzie, zaczynały koncentrować się na USA, Indiach lub Histadrucie, niekiedy na więcej niż jednym z tych tematów.

Trzy komentarze opublikowane na X w dniach 1–4 maja 2024 r. przez konto, które wielokrotnie zamieszczało treści wygenerowane przez tę kampanię. Najwcześniejszy post (u dołu) był prawdopodobnie próbą stworzenia wiarygodnej persony. Drugi post dotyczy Kanady i osadza wpis z głównego konta tej sieci poświęconego Kanadzie. Trzeci post dotyczy Indii.

Trzy komentarze opublikowane na X w dniach 1–4 maja 2024 r. przez konto, które wielokrotnie zamieszczało treści wygenerowane przez tę kampanię. Najwcześniejszy post (u dołu) był prawdopodobnie próbą stworzenia wiarygodnej persony. Drugi post dotyczy Kanady i osadza wpis z głównego konta tej sieci poświęconego Kanadzie. Trzeci post dotyczy Indii.

Część treści utworzonych przez tę sieć publikowano w mediach społecznościowych jako odpowiedzi kierowane do znanych zachodnich postaci z obu stron sceny politycznej. Odpowiedzi te zazwyczaj nie miały żadnego związku z pierwotnym postem. Na przykład komentarz o „wykupywaniu” Ameryki przez Katar opublikowano w odpowiedzi na post dotyczący preferencji muzycznych byłego prezydenta Trumpa.

U góry: post Laury Ingraham o preferencjach muzycznych prezydenta Trumpa. U dołu: post zawierający komentarz wygenerowany przez tę sieć. Warto zwrócić uwagę na różnicę w poziomie zaangażowania między pierwotnym postem a odpowiedzią.

U góry: post Laury Ingraham o preferencjach muzycznych prezydenta Trumpa. U dołu: post zawierający komentarz wygenerowany przez tę sieć. Warto zwrócić uwagę na różnicę w poziomie zaangażowania między pierwotnym postem a odpowiedzią.

Ocena wpływu

Działania Zero Zeno wzbudziły niewielkie zainteresowanie lub nie wzbudziły go wcale, poza reakcjami własnych nieautentycznych kont sieci. (Wiele kont zostało już zablokowanych przez Meta i X, dlatego obecne dane dotyczące zaangażowania mogą nie przedstawiać pełnego obrazu.)

Oceniając wpływ operacji wpływu za pomocą skali Breakout⁠(otwiera nowe okno), która klasyfikuje je od 1 (najniższy poziom) do 6 (najwyższy poziom), uznalibyśmy tę operację za kategorię 2. Oznacza to publikowanie na wielu platformach i stronach internetowych, ale bez dowodów na istotne rozpowszechnianie treści przez osoby spoza sieci.

Kanał YouTube powiązany z kampanią tej operacji skierowaną do odbiorców w Kanadzie. Do 25 kwietnia 2024 r. opublikowano na nim jeden film, który nie uzyskał żadnych wyświetleń.

Kanał YouTube powiązany z kampanią tej operacji skierowaną do odbiorców w Kanadzie. Do 25 kwietnia 2024 r. opublikowano na nim jeden film, który nie uzyskał żadnych wyświetleń.

Wskaźniki

Zidentyfikowaliśmy następujące domeny powiązane z kampaniami Zero Zeno.

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io