Hopp til hovedinnhold
OpenAI

1. mai 2024

Sikkerhet

Operasjon «Doppelganger»: Russisk påvirkningsaktivitet rettet mot Ukraina

OpenAI utestengte kontoer knyttet til den russiske operasjonen «Doppelganger», som brukte KI til å lage Ukraina-fiendtlige kommentarer i sosiale medier, oversettelser og nettstedstekster på flere språk.

Laster inn …

Denne kasusstudien ble opprinnelig publisert i OpenAIs rapport fra mai 2024⁠(åpnes i et nytt vindu).

Aktør

Vi utestengte fire grupper med kontoer som brukte modellene våre, og som var knyttet til personer som handlet på vegne av den russiske påvirkningsoperasjonen kjent som «Doppelganger»⁠(åpnes i et nytt vindu). Hver gruppe benyttet ulike taktikker, teknikker og prosedyrer (TTP-er), noe som samsvarer med en operasjon bestående av forskjellige funksjonelle team.

Atferd

Aktiviteten var rettet mot målgrupper i Europa og Nord-Amerika og fokuserte på å lage innhold for nettsteder og sosiale medier.

Den første kontogruppen genererte korte tekstkommentarer på engelsk, fransk, tysk, italiensk og polsk. Disse ble publisert på 9GAG og X sammen med memer, videoer og lenker som ikke ser ut til å ha blitt generert ved hjelp av modellene våre. Enkelte memer var kopiert fra ulike steder på internett og så ut til å være flere år gamle.

På 9GAG hadde kontoene som publiserte innhold fra denne kampanjen, vanligvis profilbilder av kjendiser eller katter. De publiserte memene og videoene sine i en rekke kanaler, blant annet kanalen «Tilfeldig» og kanaler viet til kjæledyr, sport, humor og til og med parforhold og dating.

Kommentar om Ukraina og video om Gaza, publisert i 9GAG-kanalen «Motorkjøretøy» av en konto som gjentatte ganger publiserte innhold generert av denne kampanjen. Henvisningen til Ukraina og grensen til USA ble generert ved hjelp av modellene våre. Videoen var en montasje av nyhetsopptak. Innlegget fikk 11 oppstemmer og 93 nedstemmer.

Kommentar om Ukraina og video om Gaza, publisert i 9GAG-kanalen «Motorkjøretøy» av en konto som gjentatte ganger publiserte innhold generert av denne kampanjen. Henvisningen til Ukraina og grensen til USA ble generert ved hjelp av modellene våre. Videoen var en montasje av nyhetsopptak. Innlegget fikk 11 oppstemmer og 93 nedstemmer.

Hver gang kampanjen publiserte et mem eller en video på 9GAG, svarte tre til fem kontoer, vanligvis med enkle meldinger som «hahaha» eller «lol». Disse kontoene samhandlet utelukkende med innhold fra denne kampanjen, og de fleste ble opprettet på samme dato. Denne atferden utløste ofte kritiske kommentarer fra andre brukere, og mange av dem omtalte kontoene som «boter».

Kommentarer til videoen vist ovenfor. De tre nederste kontoene, som kommenterte først, ble alle opprettet sent i april 2024 og publiserte, stemte opp eller kommenterte gjentatte ganger innlegg fra denne kampanjen – og ingen andre. De tre øverste kontoene, som påpekte at innleggene var falske, ble opprettet for mellom ett og ti år siden og hadde svært variert aktivitet.

Kommentarer til videoen vist ovenfor. De tre nederste kontoene, som kommenterte først, ble alle opprettet sent i april 2024 og publiserte, stemte opp eller kommenterte gjentatte ganger innlegg fra denne kampanjen – og ingen andre. De tre øverste kontoene, som påpekte at innleggene var falske, ble opprettet for mellom ett og ti år siden og hadde svært variert aktivitet.

På X ble kampanjens kommentarer publisert av kontoer som vanligvis bare hadde lagt ut ett eller to innlegg hver. Kommentarene ble vanligvis ledsaget av en tilsynelatende tilfeldig lenke, for eksempel «solarpanelfor.sale». Disse lenkene videresendte til en gruppe nettsteder som gjentatte ganger har blitt knyttet til Doppelganger. Nettstedene var geografisk avgrenset, slik at bare personer med en IP-adresse i mållandet kunne se dem. Operatørene ser imidlertid ut til å ha gjort en feil, slik at enkelte engelske, tyske og polske artikler bare kunne vises fra en fransk IP-adresse.

Innlegg på X med en kommentar generert ved hjelp av modellene våre. Kommentaren kan oversettes slik: «En sjokkerende handling! Politikk må aldri forbindes med vold. Vi trenger dialog, ikke vold». Den tilhørende lenken videresender til den tyskspråklige utgaven av Doppelgangers profilerte nettsted, rrn.media. Per 20. mai kunne siden imidlertid bare vises fra en fransk IP-adresse.

Innlegg på X med en kommentar generert ved hjelp av modellene våre. Kommentaren kan oversettes slik: «En sjokkerende handling! Politikk må aldri forbindes med vold. Vi trenger dialog, ikke vold.» Den tilhørende lenken videresender til den tyskspråklige utgaven av Doppelgangers profilerte nettsted, rrn.media. Per 20. mai kunne siden imidlertid bare vises fra en fransk IP-adresse.

Trolig for å unngå å bli oppdaget fikk denne gruppen tilgang til modellene våre via en tjeneste knyttet til selskaper i Russland og Tsjekkia. Tjenesten skulle gjøre det mulig for personer i Russland å omgå retningslinjene våre for tilgang fra støttede land⁠(åpnes i et nytt vindu). Vi har deaktivert tjenestens API-tilgang.

Den andre gruppen oversatte artikler fra russisk til engelsk og fransk. De russiske tekstene ser ut til å ha vært originaltekster. Mange av disse artiklene ble senere publisert på et nettsted som gjentatte ganger har blitt knyttet til Doppelganger: rrn.media. Den samme gruppen genererte korte kommentarer om artiklene sine, som senere dukket opp i sosiale medier.

Innlegg på X generert ved hjelp av modellene våre, med en lenke til en artikkel på rrn.media.

Innlegg på X generert ved hjelp av modellene våre, med en lenke til en artikkel på rrn.media.

Den tredje gruppen ble brukt til å generere, korrekturlese og korrigere franskspråklige artikler. Artiklene ble deretter publisert på nettstedet franceeteu.today, som også har blitt knyttet til Doppelganger.

Den siste gruppen opererte på tysk. Den hentet innhold fra Doppelganger-nettstedet grenzezank.com og brukte det til å generere korte innlegg for en Facebook-gruppe og -side med navn etter nettstedet.

Innhold

Mesteparten av innholdet denne kampanjen publiserte på nettet, handlet om krigen i Ukraina. Det fremstilte Ukraina, USA, NATO og EU negativt og Russland positivt. Typiske kommentarer hevdet at Russland er en viktig økonomisk partner for europeiske land, at vestlige ledere som kritiserer Russland, har mistet kontakten med sine egne velgere, og at Ukraina er svakt, korrupt og/eller på randen av nederlag.

Ved enkelte anledninger forsøkte Doppelganger-aktører å få modellene våre til å generere karikaturer av fremtredende europeiske politikere og personer som kritiserer Russland. Modellene våre avviste disse forespørslene.

Konsekvensvurdering

Ingen av Doppelganger-kampanjene vi identifiserte, ser ut til å ha fått betydelig positiv respons fra autentiske målgrupper.

På 9GAG fikk typiske innlegg 5–10 oppstemmer – hovedsakelig fra kontoer som også publiserte kampanjens innhold – og mellom 15 og 200 nedstemmer. På X hadde typiske innlegg rundt 1000 delinger, ingen svar og ingen likerklikk. Avviket er så stort at det tyder på uautentisk forsterkning. Ett innlegg fikk tre svar, og alle påpekte at det var falskt.

Svar på X til et Doppelganger-innlegg.

Svar på X til et Doppelganger-innlegg.

Ved å bruke Breakout-skalaen⁠(åpnes i et nytt vindu) til å vurdere konsekvensene av påvirkningsoperasjoner, som rangeres fra 1 (lavest) til 6 (høyest), vurderer vi aktiviteten knyttet til bruken av modellene våre til kategori 2. Denne kategorien kjennetegnes av publisering på flere plattformer, men uten gjennombrudd eller betydelig publikumsengasjement på noen av dem.