Scenarij svetle plati: dejavnost, verjetno s Kitajske, usmerjena proti osebam iz ZDA

Ta študija primera je bila prvotno objavljena v poročilu OpenAI iz februarja 2026⁠(odpre se v novem oknu) o preprečevanju zlonamerne uporabe umetne inteligence.

Onemogočili smo manjšo skupino računov ChatGPT, ki so verjetno izvirali iz Kitajske. Uporabniki so z našimi modeli iskali informacije o osebah iz ZDA, forumih in lokacijah zveznih stavb ter navodila za programsko opremo za zamenjavo obrazov. Ustvarjali so tudi e-poštna sporočila v angleščini, ki so bila videti kot poskusi socialnega inženiringa. Našim modelom so dajali pozive v kitajščini, dejavni so bili predvsem med delovnim časom na celinski Kitajski, do naše platforme pa so dostopali prek omrežij VPN.

S temi računi so ustvarjali osnutke e-poštnih sporočil, katerih domnevni pošiljatelji so bili zaposleni v podjetju »Nimbus Hub Consulting« s sedežem v Hongkongu. Vendar so pozive našim modelom pisali v poenostavljenih kitajskih pismenkah (ki se običajno uporabljajo na celinski Kitajski) in ne v tradicionalnih kitajskih pismenkah (ki se običajno uporabljajo v Hongkongu). To nakazuje, da so dejanski upravljavci delovali s celinske Kitajske. Poleg tega so z enim računom ustvarili e-poštno sporočilo, v katerem so se izdajali za predstavnika organizacije za odnose z javnostmi s sedežem v Šanghaju, ki spodbuja gospodarske in kulturne izmenjave med ZDA in Šanghajem. Ker ime podjetja vsebuje besedo »Nimbus«, ki pomeni deževni oblak ali svetniški sij, smo operacijo poimenovali »Scenarij svetle plati«.

S temi računi so ustvarjali osnutke e-poštnih sporočil v angleščini, naslovljene na uradnike ameriških zveznih držav ali analitike politik na področju gospodarstva in financ. Videti je bilo, da prejemnike vabijo k plačanemu svetovanju, ki so ga opisali kot razlago politik in strateško svetovanje svojim strankam. Zahtevali so jedrnate, jasne in profesionalne osnutke e-poštnih sporočil z zadevami, ki bi vzbujale občutek nujnosti in vsebovale prefinjene psihološke namige.

Poleg tega so uporabniki teh računov ChatGPT naše modele uporabljali za iskanje splošnih informacij, pri čemer je naš model odgovarjal na podlagi javno dostopnih virov. Poizvedovali so o naslednjih temah:

• Lokacije uradov ameriške zvezne vlade, vključno z njihovimi sedeži, ter seznam zveznih držav, razvrščenih glede na veliko koncentracijo zveznih agencij in uradnikov.

• Porazdelitev ameriških zveznih uslužbencev po zveznih državah.

• Osebe iz ZDA, denimo voditelji Glasu Amerike, vključno z njihovimi preteklimi intervjuji in temami, ki jih zanimajo.

• Spletni forumi in strani, ki jih pogosto uporabljajo strokovnjaki in iskalci zaposlitve na področju gospodarstva in financ v ZDA.

Posebej izstopa račun, s katerim so iskali navodila za prenos in namestitev platforme FaceFusion na svoj računalnik. Ta je namenjena obdelavi in zamenjavi obrazov ter drugim izboljšavam medijskih vsebin. Kot je razvidno iz njihove dejavnosti v ChatGPT, so navedli, da nameravajo uporabljati prav funkcijo zamenjave obraza v živo. Prosili so za navodila za namestitev po korakih brez tehničnega izrazja in trdili, da so začetniki v programiranju, zato morajo biti navodila preprosta. Za pomoč pri namestitvi so naložili posnetek zaslona s tehničnimi podatki o strojni opremi svojega računalnika. Model je odgovoril z informacijami z javno dostopnega spletnega mesta in iz dokumentacije platforme FaceFusion.

Njihova navodila za ustvarjanje osnutkov e-pošte z našimi modeli so bolj spominjala na načrt⁠(odpre se v novem oknu) socialnega inženiringa za navezovanje stikov v imenu tuje obveščevalne službe kot na običajna sporočila o zaposlitvi. Za vsak osnutek e-poštnega sporočila so zahtevali naslednje razdelke:

Ustvarjanje vtisa legitimnosti: »Nimbus Hub« so predstavljali kot profesionalno podjetje za strateško svetovanje z uglednimi strokovnjaki za geopolitiko in nadnacionalne politike. Vključili so povezavo do spletnega mesta podjetja Nimbus Hub (glejte spodnji posnetek zaslona).

Prilagajanje sporočila ciljni osebi in laskanje: Modelu so naročili, naj izrecno navede prejemnikove izkušnje v javnem sektorju kot dokaz, da je prav on idealen kandidat za to vlogo. V enem primeru so z računom naložili posnetke zaslona profila na LinkedInu osebe iz ZDA, ki živi v Šanghaju. Modelu so naročili, naj osnutek e-poštnega sporočila prilagodi na podlagi besedila o njenih osebnih izkušnjah in ozadju na teh posnetkih.

Kopičenje spodbud: Svetovalno delo so običajno ponujali kot donosno priložnost za delo prek spleta z dodatki za uspešnost in nagradami za priporočila, dejansko delo pa so opisovali le ohlapno.

Pomirjujoč jezik in zmanjševanje zaznanih tveganj: Pogosto so trdili, da je delo sproščeno in zaupno ter da so plačila pravočasna.

Hitra preusmeritev komunikacije na drugo platformo: Prejemnike so vedno poskušali preusmeriti z e-pošte na uvodni spletni videoklic prek aplikacij WhatsApp, Zoom ali Teams.

Interakcije teh omrežij z modeli v tem primeru niso bile tehnično zahtevne, njihove zahteve pa so bile včasih videti kot verodostojne prošnje za pripravo vabil k zaposlitvi ali pomoč pri zakoniti namestitvi programske opreme. Vendar prikrivanje uporabnikov za lažno identiteto podjetja in njihovo zanimanje za geopolitične teme kažeta na morebitno namero novačenja za sovražne namene.

Na podlagi uporabe ChatGPT v teh računih ni bilo dokazov, da bi jim uspelo pridobiti odgovore ciljnih oseb na poslana vabila. Nismo mogli neodvisno ugotoviti, ali so bila e-poštna vabila dejansko poslana in ali se je kateri od ciljnih prejemnikov odzval.

Vlade več demokratičnih držav (npr. ZDA⁠(odpre se v novem oknu), Združenega kraljestva⁠(odpre se v novem oknu) in Avstralije⁠(odpre se v novem oknu)) so opozorile, da tuje obveščevalne službe poskušajo novačiti sedanje in nekdanje državne uslužbence tako, da se na družbenih in poklicnih omrežjih izdajajo za svetovalna podjetja in druge organizacije. Običajna sporočila o zaposlitvi je včasih težko ločiti od teh ciljnih poskusov socialnega inženiringa, saj imajo nekaj skupnih značilnosti. Vendar so pristna povabila običajno prilagojena počasnejšim postopkom preverjanja kandidatov ter vsebujejo preverljive podatke o nazivu delovnega mesta, verodostojne podatke o delodajalcu, tržno primerne razpone plačila in povezave do resničnih zaposlitvenih oglasov. Skratka, če se nekaj zdi predobro, da bi bilo res, verjetno ni res.