Fara beint í aðalefni
OpenAI

1. júní 2025

Öryggi

Aðgerðin „Óljós fókus“: Félagsverkfræði og áhrifastarfsemi

OpenAI lokaði reikningum sem notuðu gervigreind til félagsverkfræði, rannsókna tengdra eftirliti og áhrifastarfsemi sem beindist gegn gagnrýnendum.

Hleður inn...

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá júní 2025⁠(opnast í nýjum glugga).

Gerendur

Við lokuðum litlu neti ChatGPT‑reikninga sem notuðu líkönin okkar til að semja færslur á samfélagsmiðla, greina gagnasöfn og þýða tölvupósta og skilaboð úr kínversku yfir á ensku sem virtust vera tilraunir til félagsverkfræði. Beiðnir frá reikningunum til líkananna okkar voru á kínversku og reikningarnir voru að mestu virkir á hefðbundnum vinnutíma á meginlandi Kína.

Þeir bjuggu til skilaboð sem áttu að vera frá starfsfólki þriggja rekstrareininga á sviði hnattrænna stjórnmála: „Fókusfrétta“, „Bjartbylgju – miðla í Evrópu“ og „Framsýns ráðgjafarhóps“ (VAG). Auk þess bjuggu ChatGPT‑reikningarnir til texta sem samsvaraði færslum og notandalýsingum á X-reikningum tengdum þessum þremur rekstrareiningum. Í öðrum samskiptum lýstu ógnaraðilarnir þessum rekstrareiningum sem yfirvarpi fyrir öflun og greiningu leyniupplýsinga. Með hliðsjón af þessum nöfnum höfum við nefnt aðgerðina „Óljós fókus“.

Hegðun

ChatGPT var notað til að styðja fjóra meginþætti aðgerðarinnar. Í fyrsta lagi voru reikningarnir aðallega notaðir til að láta líkönin okkar semja samfélagsmiðlafærslur og æviágrip fyrir persónur á netinu sem virtust tengjast leynilegri áhrifa aðgerð. Færslunum var dreift af X-reikningum sem gáfu sig út fyrir að tilheyra blaðamönnum og sérfræðingum í hnattrænum stjórnmálum.

Færsla sem þessi ógnaraðili samdi með ChatGPT og birti á X-reikningi sem birti reglulega efni frá honum.

Færsla sem þessi ógnaraðili samdi með ChatGPT og birti á X-reikningi sem birti reglulega efni frá honum.

Í öðru lagi voru reikningarnir notaðir til að fínpússa og þýða bréf til bandarísks öldungadeildarþingmanns um tilnefningu embættismanns í ríkisstjórninni. Við getum ekki staðfest með óháðum hætti hvort einhver bréfanna voru send.

Í þriðja lagi voru lagðar fram margar grunnspurningar frá reikningunum um verkfæri til að ráðast á tölvunet og nýta veikleika þeirra. Líkönin okkar veittu aðeins almennar skýringar á notkun og getu þessara verkfæra. Spurningarnar báru ekki vott um sömu tæknilegu kunnáttu og hjá netógnaraðilunum sem við lýsum síðar í þessari skýrslu, heldur bentu til lítillar sérþekkingar.

Að lokum óskuðu notendurnir reglulega eftir þýðingum úr kínversku yfir á ensku á skilaboðum sem virtust miða að því að hefja samskipti við óþekkta viðmælendur og loks fá upplýsingar frá þeim. Sum þessara skilaboða voru birt á samfélagsmiðlum sem svör til blaðamanna og rannsakenda. Önnur líktust einkaskilaboðum og fundust ekki við leit á netinu.

Óumbeðin fyrirspurn til rannsakanda, birt opinberlega á X frá reikningi sem tengist þessari aðgerð.

Óumbeðin fyrirspurn til rannsakanda, birt opinberlega á X frá reikningi sem tengist þessari aðgerð.

Myndað efni

Meginmarkmið þessa nets virtist vera að afla leyniupplýsinga með því að þykjast vera sérfræðingar búsettir í Evrópu eða Tyrklandi. Í efninu sem aðstandendur aðgerðarinnar bjuggu til og birtu á netinu lýstu þeir „Fókusfréttum“ sem óháðum miðli með aðsetur í Evrópu sem sérhæfði sig í greiningu og fréttaflutningi. Aðstandendurnir fullyrtu þó einnig að þessi ímynd væri í raun yfirvarp til að auðvelda öflun, greiningu og miðlun leyniupplýsinga.

Samkvæmt vefsíðunni sem vísað var á í notandalýsingum á samfélagsmiðlum er Framsýnn ráðgjafarhópur staðsettur í Tyrklandi og sérhæfir sig í faglegri ráðgjöf um hnattræn stjórnmál. Aðstandendurnir notuðu líkönin okkar til að þýða fyrirmæli úr kínversku yfir á ensku þar sem fullyrt var að VAG Group leitaði upplýsinga um efnahags- og fjármálastefnu Bandaríkjanna og væri reiðubúið að greiða 2.000 Bandaríkjadali á klukkustund fyrir viðtal. Þeir þýddu einnig tilboð um greiðslu fyrir leyniskjöl.

Vefsíða VAG Group er til á tyrknesku og ensku. Á síðunni „Hafðu samband“ í ensku útgáfunni sjást kínversku táknin fyrir „hafðu samband“ (聯絡) í valmyndinni. Þetta var eini kínverski textinn á öllu léninu.

Skjámynd af síðunni „Hafðu samband“ hjá VAG Group, þar sem kínversku táknin fyrir „hafðu samband“ (聯絡) sjást í fellivalmyndinni.

Skjámynd af síðunni „Hafðu samband“ hjá VAG Group, þar sem kínversku táknin fyrir „hafðu samband“ (聯絡) sjást í fellivalmyndinni.

Sumt efnið frá þessu neti líktist markaðsefni fyrir umfangsmeiri áhrifaaðgerðir. Samkvæmt fullyrðingum sem við getum ekki sannreynt með óháðum hætti voru vélanám, málvinnsla og sjálfvirk gagnasköfun notuð í aðgerðinni til að finna áhrifamiklar raddir og umræðuefni á samfélagsmiðlum.

Áhrif

Samfélagsmiðlareikningarnir sem tengdust þessari starfsemi vöktu lítil raunveruleg viðbrögð á netinu. Aðeins X-reikningur Fókusfrétta hafði umtalsverðan fjölda fylgjenda, eða 17.000. Reikningurinn var þó stofnaður í nóvember 2014 undir öðru nafni, birti færslur í þrjá daga og lá síðan í dvala fram á mitt ár 2024. Þetta er dæmigert fyrir reikninga sem hafa verið teknir yfir og nýttir í öðrum tilgangi. Því ber að túlka fjölda fylgjenda hans með varúð.

Miðað við útbreiðslukvarðann⁠(opnast í nýjum glugga) til að meta áhrif áhrifaaðgerða myndum við flokka opinberan hluta þessarar aðgerðar neðarlega í flokki 2: starfsemi á mörgum miðlum en fáar vísbendingar um að raunverulegt fólk hafi tekið efnið upp eða dreift því víða. Fyrirliggjandi gögn nægja ekki til að meta áhrif félagsverkfræðinnar og annarrar leynilegrar starfsemi í tengslum við aðgerðina.