Siirry pääsisältöön
OpenAI

1. lokakuuta 2024

Turvallisuus

Operaatio ”A2Z”: monikielistä vaikuttamistoimintaa

OpenAI esti ”A2Z”-tilit, jotka käyttivät tekoälyä vaaleja, Ukrainaa ja politiikkaa käsittelevän monikielisen vaikuttamissisällön tuottamiseen eri alustoilla.

Ladataan...

Tämä tapaustutkimus julkaistiin alun perin OpenAI:n lokakuun 2024⁠(avautuu uudessa ikkunassa) raportissa.

Toimija

Estimme aiemmin raportoimattoman tiliryhmän, joka loi ohjelmointirajapintamme avulla kommentteja julkaistaviksi X:ssä ja Facebookissa. Monissa kommenteissa ylistettiin Azerbaidžania tai puolustettiin maan ihmisoikeustilannetta, mutta toiminta käsitteli myös monia muita aiheita, mikä saattaa viitata kaupallisesti johdettuun operaatioon. Koska verkosto ylisti usein Azerbaidžania ja pyrki käyttämään tekoälyä operaation eri vaiheissa, annoimme sille nimen ”A2Z”.

Toiminta

Kuten toukokuussa paljastamamme venäjänkielinen Telegram-operaatio, jolle annoimme nimen ”Bad Grammar”, tämäkin operaatio käytti mallejamme sosiaalisen median kommentointiin. Se hyödynsi tekoälyä tekaistujen somepersoonien hallintaan, esittelytekstien luomiseen, julkaisujen ja kommenttien analysointiin, monikielisten vastausten laatimiseen sekä tekstien oikolukuun. Vastaukset julkaistiin sitten X:ssä tai Facebookissa. Suurin osa sisällöstä oli lyhyitä kommentteja, mutta mukana oli myös tyyliteltyjä kuvia. Kuvissa jäljiteltiin usein 1930-luvun julisteiden tyyliä, joten ne vaikuttavat olevan suunniteltuja herättämään huomiota ja reaktioita pikemminkin kuin harhauttamaan. Tyyliteltyjä kuvia sisältävät tavalliset julkaisut saivat kuitenkin vain 0–5 reaktiota kukin.

Operaation turkinkielisen X-tilin julkaisu, jossa on tekstiä ja kuva. Molemmat tuotettiin malleillamme. Julkaisu ei saanut vastauksia, jakoja eikä tykkäyksiä.

Operaation turkinkielisen X-tilin julkaisu, jossa on tekstiä ja kuva. Molemmat tuotettiin malleillamme. Julkaisu ei saanut vastauksia, jakoja eikä tykkäyksiä.

Operaation englanninkielisen X-tilin julkaisu, jossa on tekstiä ja kuva. Molemmat tuotettiin malleillamme. Julkaisu ei saanut vastauksia, jakoja eikä tykkäyksiä.

Operaation englanninkielisen X-tilin julkaisu, jossa on tekstiä ja kuva. Molemmat tuotettiin malleillamme. Julkaisu ei saanut vastauksia, jakoja eikä tykkäyksiä.

Tekoälyn avulla operaatio pystyi hallitsemaan useita sosiaalisen median tilejä samanaikaisesti. Tunnistimme X:stä ja Facebookista noin 150 tähän toimintaan sopivaa tiliä, minkä lisäksi epäiltyjä tilejä oli enemmän. Sen avulla operaatio pystyi myös ajoittain osallistumaan verkossa oikeiden ihmisten kommenttiketjuihin. Havaitsimme toisinaan oikeiden ihmisten ja valetilien välisiä lyhyitä keskusteluja, joissa valetilien vastaukset oli tuotettu malleillamme.

Kahden oikean henkilön ja operaation hallinnoiman tilin keskustelu, jossa käytettiin malleillamme tuotettua sisältöä. Käännetty turkista: [Henkilö 1]: Tiedätkö? Kaikki atatürkistit eivät ole sionisteja, mutta kaikki Turkin sionistit, Israelin tukijat ja kansanmurhasta vaikenevat ovat atatürkistejä. Onko olemassa esimerkkiä, joka ei sovi tähän yleistykseen? [Operaation tili]: Kemalismi puolustaa rauhaa ja modernisaatiota. Tällaiset yleistykset ovat vaarallisia ja harhaanjohtavia. [Henkilö 2]: Mitä rauhaa? Jos minun Atatürkini olisi elänyt, hän olisi vallannut takaisin Mosulin, Kirkukin ja Länsi-Traakian... Sinä vain luet Atatürkista. Kuunteletko Yılmaz Özdilin tarinoita şeblebin syömisestä? [Operaation tili]: Historia osoittaa, että Atatürk halusi rauhaa ja modernisaatiota. Älkäämme uskoko väärää tietoa.

Kahden oikean henkilön ja operaation hallinnoiman tilin keskustelu, jossa käytettiin malleillamme tuotettua sisältöä. Käännetty turkista: [Henkilö 1]: Tiedätkö? Kaikki atatürkistit eivät ole sionisteja, mutta kaikki Turkin sionistit, Israelin tukijat ja kansanmurhasta vaikenevat ovat atatürkistejä. Onko olemassa esimerkkiä, joka ei sovi tähän yleistykseen? [Operaation tili]: Kemalismi puolustaa rauhaa ja modernisaatiota. Tällaiset yleistykset ovat vaarallisia ja harhaanjohtavia. [Henkilö 2]: Mitä rauhaa? Jos minun Atatürkini olisi elänyt, hän olisi vallannut takaisin Mosulin, Kirkukin ja Länsi-Traakian... Sinä vain luet Atatürkista. Kuunteletko Yılmaz Özdilin tarinoita şeblebin syömisestä? [Operaation tili]: Historia osoittaa, että Atatürk halusi rauhaa ja modernisaatiota. Älkäämme uskoko väärää tietoa.

Ennen tekoälyä näin laaja operaatio olisi todennäköisesti vaatinut suuren trolliryhmän sekä tällaisen toiminnan kustannusten ja tietovuotoriskien kantamista. Operaation riippuvuus tekoälystä teki siitä kuitenkin myös poikkeuksellisen alttiin häirintätoimillemme. Koska se hyödynsi tekoälyä niin monessa hyökkäysketjun vaiheessa, alasajomme katkaisi ketjusta useita lenkkejä kerralla. Kun häiritsimme toimintaa kesäkuun alussa, operaatioon kuuluviksi tunnistamamme sosiaalisen median tilit lopettivat julkaisemisen EU:n, Ison-Britannian ja Ranskan vaalikausien ajaksi. Osa jatkoi julkaisemista elokuun lopulla. Pienessä osassa niiden julkaisuista oli merkkejä siitä, että sisältö oli todennäköisesti tuotettu tekoälyllä. Tällaisia merkkejä sisältänyt aineisto ei ollut peräisin malleistamme.

Tuotokset

Kampanja tuotti lyhyitä kommentteja monista poliittisista aiheista. Näkyvin teema oli Azerbaidžanin hallituksen ja sen sisä-, alue- ja kansainvälispoliittisen roolin ylistäminen. Esimerkkeinä mainittiin Keski-Aasian maiden yhtenäisyyden edistäminen ja YK:n ilmastokokouksen järjestäminen. Englannin- ja italiankieliset tilit ylistivät Azerbaidžanin asemaa Euroopan energiantoimittajana, toisinaan vastauksena maan hallituksen ihmisoikeustilannetta koskevaan arvosteluun.

Kommenttiketju X:ssä. [Käyttäjä 1, jonka käyttäjänimessä on sana ”vapaa”]: Mutta mitä niin pöyristyttävää on sellaisen imperialistisen sotilasliiton hajottamisessa, jossa Italiakin on noutajan asemassa ja joka toivottaa Erdoganin kaltaiset diktaattorit tervetulleiksi? [Käyttäjä 2]: Hyvä nimeltäsi vapaa mutta todellisuudessa alamainen, NATOsta eroaminen tarkoittaa joutumista heti seuraavassa hetkessä Venäjän saappaan alle. Eivätkä asiat nähdäkseni ole kovin hyvin Valko-Venäjällä, Georgiassa, Azerbaidžanissa tai Kazakstanissa... Ai, haluatko juuri sellaisen kohtalon? [Operaation tili]: Joutua Venäjän alaisuuteen? Naurettavaa. NATO suojelee meitä. Tehdään yhteistyötä Azerbaidžanin kanssa energiaturvallisuuden hyväksi. Nimeltäsi vapaa, todellisuudessa hämmentynyt.

Kommenttiketju X:ssä. [Käyttäjä 1, jonka käyttäjänimessä on sana ”vapaa”]: Mutta mitä niin pöyristyttävää on sellaisen imperialistisen sotilasliiton hajottamisessa, jossa Italiakin on noutajan asemassa ja joka toivottaa Erdoganin kaltaiset diktaattorit tervetulleiksi? [Käyttäjä 2]: Hyvä nimeltäsi vapaa mutta todellisuudessa alamainen, NATOsta eroaminen tarkoittaa joutumista heti seuraavassa hetkessä Venäjän saappaan alle. Eivätkä asiat nähdäkseni ole kovin hyvin Valko-Venäjällä, Georgiassa, Azerbaidžanissa tai Kazakstanissa... Ai, haluatko juuri sellaisen kohtalon? [Operaation tili]: Joutua Venäjän alaisuuteen? Naurettavaa. NATO suojelee meitä. Tehdään yhteistyötä Azerbaidžanin kanssa energiaturvallisuuden hyväksi. Nimeltäsi vapaa, todellisuudessa hämmentynyt.

Muut toiminnan osa-alueet keskittyivät tekoälyn hyötyihin ja kehitykseen, rahoitusmarkkinoihin, ympäristökysymyksiin, kryptovaluuttoihin ja yleisemmin teknologiaan. Yksi ryhmä keskittyi Yhdistyneisiin arabiemiirikuntiin ja kuvasi sitä vakaaksi sijoituskohteeksi, usein vastakohtana väitteille Yhdysvaltojen poliittisesta epävakaudesta.

Operaation sisältöä julkaisseen tilin vastaus Bloombergin raporttiin X:ssä.

Operaation sisältöä julkaisseen tilin vastaus Bloombergin raporttiin X:ssä.

Osa tekaistuista persoonista keskittyi Euroopan tai Yhdysvaltojen politiikkaan. Toiminnan ideologia vaihteli alueittain. Esimerkiksi eräs Yhdysvaltoihin keskittynyt X-tili esiintyi liberaalina ja arvosteli Yhdysvaltojen entistä presidenttiä Trumpia. Osa ranskaksi julkaisseista Facebook-tileistä puolestaan arvosteli presidentti Macronia ja tuki Kansallinen liittouma (RN) -puoluetta. Joskus arvostelu keskittyi maan sisäisiin ongelmiin ja perusteli niillä, ettei kyseisen maan pitäisi puuttua kansainvälisiin kysymyksiin, kuten Venäjän hyökkäykseen Ukrainaan.

Kahden eri tilin kommentit Facebookissa. Tilit julkaisivat toistuvasti tämän operaation sisältöä. Saksankielinen teksti kommentoi AfD-poliitikko Alexander Jungbluthin haastattelua. Siinä lukee: ”Jungbluth puhuu todellisista ongelmista: EU:n pitäisi huolehtia sisäisistä asioistaan! Hänen vastauksensa innostavat minua, etenkin Ukrainan konfliktia koskevat.”

Kahden eri tilin kommentit Facebookissa. Tilit julkaisivat toistuvasti tämän operaation sisältöä. Saksankielinen teksti kommentoi AfD-poliitikko Alexander Jungbluthin haastattelua. Siinä lukee: ”Jungbluth puhuu todellisista ongelmista: EU:n pitäisi huolehtia sisäisistä asioistaan! Hänen vastauksensa innostavat minua, etenkin Ukrainan konfliktia koskevat.”

Vaikutusten arviointi

Operaatio oli erittäin aktiivinen Facebookissa ja X:ssä, ja sillä oli todennäköisesti satoja tilejä. Osalla sen X-tileistä oli maksullisen vahvistuksen sininen merkki. Emme löytäneet kummaltakaan alustalta tarkastelemiemme noin 150 tilin joukosta yhtäkään, jolla olisi ollut merkittävästi seuraajia. Tutkimuksemme suurimmalla X-tilillä oli 222 seuraajaa, tavallisesti seuraajia oli noin 15–22 ja X-julkaisut saivat yleensä alle kymmenen reaktiota. Vastaavasti tutkimuksemme aikana havaitsemamme Facebook-julkaisun suurin reaktiomäärä oli 36, mutta tavallisesti reaktioita oli 0–5. Havaitsimme kuitenkin joitakin tilanteita, joissa operaation julkaisut saivat vastauksia oikeilta ihmisiltä. Vastaukset eivät aina olleet myönteisiä, ja toisinaan oikeat ihmiset kiistivät valetilien väitteitä. Tapaukset osoittavat silti, että operaatio pystyi ainakin jossain määrin aktivoimaan yleisöjä useilla alustoilla, kielillä ja aiheilla.

Kommenttiväittely operaation tilin (ylempi julkaisu) ja oikean henkilön (alempi julkaisu) välillä. Ylempi: Gerald, juuri tämä osoittaa, kuinka syviä oikeusjärjestelmämme ongelmat ovat. Meidän on nyt tuettava Trumpia enemmän kuin koskaan! Vastaus: Juuri tämä osoittaa, kuinka syviä oikeuskäsityksemme ongelmat ovat, kun oikeuslaitos alkaa ”vainota” jokaista lakia tai määräyksiä rikkovaa poliitikkoa ”poliittisista” syistä…

Kommenttiväittely operaation tilin (ylempi julkaisu) ja oikean henkilön (alempi julkaisu) välillä. Ylempi: Gerald, juuri tämä osoittaa, kuinka syviä oikeusjärjestelmämme ongelmat ovat. Meidän on nyt tuettava Trumpia enemmän kuin koskaan! Vastaus: Juuri tämä osoittaa, kuinka syviä oikeuskäsityksemme ongelmat ovat, kun oikeuslaitos alkaa ”vainota” jokaista lakia tai määräyksiä rikkovaa poliitikkoa ”poliittisista” syistä…

Kun informaatio-operaation vaikutusta arvioidaan Breakout Scale -asteikolla 1:stä (matalin) 6:een (korkein), sijoittaisimme tämän operaation luokan 2 yläpäähän, ja sillä oli riski nousta luokkaan 3. Se julkaisi aktiivisesti useilla alustoilla, ja oli jonkin verran näyttöä siitä, että oikeat ihmiset reagoivat sen sisältöön. Kun estimme operaatiolta malliemme käytön ja jaoimme tietoa muiden alan toimijoiden kanssa, tunnistamamme sosiaalisen median tilit kuitenkin vaikenivat useiksi viikoiksi. Operaatio osoittaa siis sekä tekoälyn toimijoille antamat paremmat valmiudet että sen, kuinka riippuvuus tekoälymallista lisää toiminnan alttiutta häirinnälle.