Hopp til hovedinnhold
OpenAI

1. mai 2024

Sikkerhet

Operasjon «Zero Zeno»: Israel-tilknyttet påvirkningsaktivitet

OpenAI utestengte kontoer knyttet til en tidligere urapportert israelsk operasjon kalt «Zero Zeno», som brukte KI til å lage innhold mot Hamas, Qatar og BJP samt for Israel og Histadrut.

Laster inn …

Denne kasusstudien ble opprinnelig publisert i OpenAIs rapport fra mai 2024⁠(åpnes i et nytt vindu).

Aktør

Vi utestengte en gruppe kontoer som ble drevet fra Israel, og som ble brukt til å generere og redigere innhold for en påvirkningsoperasjon på X, Facebook, Instagram, nettsteder og YouTube. Nettverket ble drevet av STOIC, et israelsk selskap som administrerer politiske kampanjer. Til ære for grunnleggeren av den stoiske filosofiske skolen, og som en henvisning til det lave engasjementet nettverket oppnådde, ga vi det kallenavnet «Zero Zeno».

Atferd

Operasjonen rettet engelskspråklig og hebraiskspråklig innhold mot målgrupper i Canada, USA og Israel. Tidlig i mai begynte den å rette engelskspråklig innhold mot målgrupper i India. Det ser også ut til at den forberedte en påvirkningskampanje rettet mot målgrupper i Ghana.

Operasjonen brukte modellene våre til å generere nettartikler og kommentarer i sosiale medier, som deretter ble publisert på flere plattformer, særlig Instagram, Facebook og X.

Engelskspråklige kommentarer generert av dette nettverket og publisert på Instagram. Både det opprinnelige innlegget og svarene ble generert av denne kampanjen.

Engelskspråklige kommentarer generert av dette nettverket og publisert på Instagram. Både det opprinnelige innlegget og svarene ble generert av denne kampanjen.

Operasjonen brukte også modellene våre til å lage fiktive identiteter og biografier for sosiale medier basert på variabler som alder, kjønn og bosted, og til å undersøke personer i Israel som offentlig kommenterte den israelske fagorganisasjonen Histadrut. Modellene våre avslo å oppgi personopplysninger som svar på disse instruksjonene.

Innhold generert av dette nettverket ble publisert på flere sosiale medier. Undersøkelser av åpne kilder utført av Atlantic Councils Digital Forensic Research Lab⁠(åpnes i et nytt vindu) identifiserte noe av nettverkets innhold på Facebook, Instagram og X. Da disse kontoene ble deaktivert, skaffet operasjonen seg nye. Annet innhold dukket opp på fire nettsteder som utga seg for å være aktivistgrupper med fokus på Gaza-konflikten og mer generelle spørsmål om forholdet mellom personer med jødisk og muslimsk tro: uc4canada.com, the-good-samaritan.com, ufnews.io og nonagenda.com.

I noen tilfeller oppdaget vi at operasjonens falske kontoer kommenterte innlegg i sosiale medier som operasjonen selv hadde publisert, trolig for å skape et inntrykk av engasjement blant publikum.

Innlegg på X fra en konto knyttet til aktiviteten DFRLab først identifiserte, sammen med svar. Alle svarene på dette bildet ble generert av denne kampanjen.

Innlegg på X fra en konto knyttet til aktiviteten DFRLab først identifiserte, sammen med svar. Alle svarene på dette bildet ble generert av denne kampanjen.

Mange av kontoene i sosiale medier som publiserte innhold fra dette nettverket, brukte profilbilder som ser ut til å være laget med en tidligere type kunstig intelligens: generative motstandsnettverk (GAN). Slike bilder kan enkelt lastes ned fra internett. Selv om slike bilder er enkle å lage, identifiserte vi flere kontoer i dette nettverket som brukte det samme bildet. Noen ganger svarte to eller flere kontoer med samme profilbilde på det samme innlegget i sosiale medier.

Profilbilder fra X-kontoer som publiserte kommentarer generert av dette nettverket. Bildet har visuelle kjennetegn som tyder på at det er generert med et GAN.

Profilbilder fra X-kontoer som publiserte kommentarer generert av dette nettverket. Bildet har visuelle kjennetegn som tyder på at det er generert med et GAN.

Innhold

Operasjonen var delt inn i flere tematiske kampanjer. De fleste hadde en løs tilknytning til Gaza-konflikten og det bredere spørsmålet om forholdet mellom personer med jødisk og muslimsk tro. I mai stanset vi aktivitet rettet mot valget i India mindre enn 24 timer etter at den startet.

Undersøkelser av åpne kilder i februar⁠(åpnes i et nytt vindu) beskrev hvordan dette nettverket kritiserte FNs hjelpeorganisasjon for palestinske flyktninger, UNRWA. DFRLabs rapport fra mars⁠(åpnes i et nytt vindu) fremhevet innhold som handlet om Canada og kritiserte det kampanjens innlegg beskrev som «radikale islamister» i landet. En annen gruppe fokuserte på universiteter i USA og anklaget propalestinske demonstranter for å fremme antisemittisme og terrorisme. En fjerde gruppe fokuserte på Qatar og fremstilte landets investeringer i USA som en trussel mot den amerikanske livsstilen. En femte gruppe genererte innlegg på hebraisk i sosiale medier. Disse innleggene roste vanligvis fagorganisasjonen Histadrut og ledelsen der. I mai begynte nettverket til slutt å generere kommentarer som handlet om India, kritiserte regjeringspartiet BJP og roste opposisjonspartiet Kongresspartiet.

Noen ganger ser nettverket ut til å ha flyttet kontoene sine fra ett tema til et annet. Kontoer som tidligere hadde publisert om Canada, begynte for eksempel å fokusere på USA, India eller Histadrut – eller flere av disse.

Tre kommentarer på X fra en konto som gjentatte ganger publiserte innhold generert av denne kampanjen, 1.–4. mai 2024. Det tidligste innlegget (nederst) ser ut til å ha vært et forsøk på å bygge opp en falsk identitet. Det andre innlegget handler om Canada og bygger inn et innlegg fra nettverkets hovedkonto rettet mot Canada. Det tredje handler om India.

Tre kommentarer på X fra en konto som gjentatte ganger publiserte innhold generert av denne kampanjen, 1.–4. mai 2024. Det tidligste innlegget (nederst) ser ut til å ha vært et forsøk på å bygge opp en falsk identitet. Det andre innlegget handler om Canada og bygger inn et innlegg fra nettverkets hovedkonto rettet mot Canada. Det tredje handler om India.

Noe av innholdet nettverket laget, ble publisert i sosiale medier som svar til fremtredende vestlige personer på begge sider av det politiske spekteret. Disse svarene hadde som regel ingen sammenheng med det opprinnelige innlegget. En kommentar om at Qatar «kjøper opp» USA, ble for eksempel publisert som svar på et innlegg om tidligere president Trumps musikkpreferanser.

Øverst: Laura Ingrahams innlegg om president Trumps musikkpreferanser. Nederst: et innlegg med en kommentar generert av dette nettverket. Legg merke til forskjellen i engasjementstall mellom det opprinnelige innlegget og svaret.

Øverst: Laura Ingrahams innlegg om president Trumps musikkpreferanser. Nederst: et innlegg med en kommentar generert av dette nettverket. Legg merke til forskjellen i engasjementstall mellom det opprinnelige innlegget og svaret.

Konsekvensvurdering

Zero Zenos aktivitet ser ut til å ha skapt lite eller intet engasjement, bortsett fra fra nettverkets egne falske kontoer. (Mange kontoer er allerede deaktivert av Meta og X, så dagens engasjementstall gir kanskje ikke et fullstendig bilde.)

Ved å bruke Breakout Scale⁠(åpnes i et nytt vindu) til å vurdere virkningen av påvirkningsoperasjoner på en skala fra 1 (lavest) til 6 (høyest), vurderer vi dette som en operasjon i kategori 2. Det innebærer publiseringsaktivitet på flere plattformer og nettsteder, men ingen tegn til at personer utenfor nettverket har bidratt til vesentlig spredning.

YouTube-kanal knyttet til denne operasjonens kampanje rettet mot Canada. Per 25. april 2024 hadde den publisert én video, som ikke hadde fått noen visninger.

YouTube-kanal knyttet til denne operasjonens kampanje rettet mot Canada. Per 25. april 2024 hadde den publisert én video, som ikke hadde fått noen visninger.

Indikatorer

Vi identifiserte følgende domener som tilknyttet Zero Zenos kampanjer.

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io