SweetSpecter: Hiinaga seotud kübertegevus
OpenAI blokeeris tõenäoliselt Hiinas tegutsevale ründajale SweetSpecterile kuulunud kontod, millel kasutati tehisintellekti turvanõrkuste uurimiseks, koodi kirjutamiseks ja sihtandmepüügi toetamiseks.
See juhtumiuuring avaldati algselt OpenAI 2024. aasta oktoobri(avaneb uues aknas) aruandes.
Ohutegutseja
Tuvastasime ja blokeerisime kontod, mis usaldusväärse allika hinnangul kuulusid tõenäoliselt arvatavalt Hiinas tegutsevale ründajale. Kontodel püüti kasutada meie mudeleid ründavate küberoperatsioonide toetamiseks, korraldades samal ajal sihtandmepüügiründeid meie töötajate ja valitsuste vastu üle maailma. Avalikkuses SweetSpecteri nime all jälgitav ründaja ilmus välja 2023. aastal. Meile teadaolevalt on see esimene kord, kui tema sihtmärkide seas on avalikult tuvastatud USA tehisintellektiettevõte. Varasemate teadete järgi oli tema tegevus keskendunud poliitilistele organisatsioonidele Lähis-Idas, Aafrikas ja Aasias.
Käitumine
2024. aasta mais saime usaldusväärselt allikalt vihje: nende turvameeskond oli märganud, et SweetSpecter saatis mõne meie töötaja töö- ja isiklikele meiliaadressidele pahatahtlike manustega sihtandmepüügikirju.
Osaliselt varjatud sisuga versioon meilist, mille SweetSpecter saatis mõnele meie töötajale. Meie turvasüsteemid blokeerisid need kirjad. Pildi kasutamiseks andis loa Proofpoint.
Neis kirjades esines SweetSpecter ChatGPT kasutajana, kes palus sihikule võetud töötajatelt abi. Kirjadele oli lisatud pahatahtlik manus nimega „some problems.zip“, mis sisaldas LNK-faili. See fail sisaldas koodi, mis oleks avamisel näidanud kasutajale DOCX-faili mitmesuguste näiliselt ChatGPT‑st pärinevate vea- ja teenuseteadetega. Taustal oleks aga dekrüptitud ja käivitatud Windowsi pahavara SugarGh0st RAT. Pahavara eesmärk on anda SweetSpecterile kontroll nakatunud arvuti üle ning võimaldada tal muu hulgas käivitada suvalisi käske, teha kuvatõmmiseid ja varastada andmeid.
OpenAI turvameeskond võttis ühendust töötajatega, kes olid arvatavasti selle sihtandmepüügikampaania sihtmärgiks. Selgus, et olemasolevad turvameetmed olid takistanud kirjade jõudmist nende tööpostkastidesse.
Peibutussisu, mida oleks kuvatud ühe analüüsitud pahatahtliku LNK-faili käivitamisel.
Koostöö valdkonna partneritega oli kogu protsessi vältel võtmetähtsusega nende ebaõnnestunud katsete tuvastamisel, millega püüti töötajate kontosid üle võtta. See rõhutab ohuteabe jagamise ja koostöö tähtsust, et püsida tehisintellekti ajastul keerukaid meetodeid kasutavatest ründajatest sammu võrra ees. Jagatud teabe ja ühiste eriteadmiste toel saame oma varasid paremini kaitsta ning takistada sellise tegevusega seotud kontode kasutamist meie platvormil.
Mudeli vastused
Kampaaniat toetanud laiemat taristut analüüsides leidsime rühma ChatGPT kontosid, millelt püüti sama taristu abil saada vastuseid küsimustele ning täita skriptimise ja turvanõrkuste uurimise ülesandeid. Takistasime nende kontode edasist kasutamist. Seostasime need vestlused LLM-idega seotud taktikate, tehnikate ja protseduuridega (TTP-d), mille lisamist MITRE ATT&CK® raamistikku Microsoft selle aasta alguses soovitas. MITRE raamistik koondab küberründajate tegelikult kasutatud taktikaid ja tehnikaid. Neid seoseid esitades soovime teavitada laiemat küberturbekogukonda täheldatud TTP-dest ning aidata küberkaitset tõhustada.
Allpool on mõned näited SweetSpecteri tegevusest, mis vastab neile TTP-dele.
Tegevus | LLM-iga seotud kategooria ATT&CK raamistikus |
|---|---|
Erinevate rakenduste turvanõrkuste kohta küsimine | LLM-i teabele tuginev luure |
Küsimine, kuidas otsida Log4j versioone, mida mõjutab kriitiline koodi kaugkäivitamist võimaldav turvanõrkus Log4Shell | LLM-i teabele tuginev luure |
Välismaal kasutatavate populaarsete sisuhaldussüsteemide kohta küsimine | LLM-i teabele tuginev luure |
Kindlate CVE-numbrite kohta teabe küsimine | LLM-i teabele tuginev luure |
Küsimine, kuidas luuakse kogu internetti hõlmavaid skannereid. | LLM-i teabele tuginev luure |
Küsimine, kuidas kasutada sqlmapi võimaliku veebikesta sihtserverisse üleslaadimiseks. | Turvanõrkuste uurimine LLM-i abil |
Abi küsimine, et leida viise tuntud autotootja taristu turvanõrkuste ärakasutamiseks. | Turvanõrkuste uurimine LLM-i abil |
Koodi esitamine ja täiendava abi küsimine sideteenuste kasutamiseks tekstsõnumite programmilisel saatmisel. | LLM-iga täiustatud skriptimistehnikad |
Abi küsimine küberturbetööriista laienduse arendamisel tekkinud vigade silumiseks. | LLM-iga täiustatud skriptimistehnikad |
Abi küsimine koodi silumiseks, mis kuulub suuremasse raamistikku tekstsõnumite programmiliseks saatmiseks ründaja määratud numbritele. | Arendus LLM-i abil |
Küsimine, millised teemad pakuksid valitsusasutuste töötajatele huvi ning millised manuste nimed aitaksid vältida blokeerimist. | LLM-i toel toimuv sotsiaalne manipuleerimine |
Ründaja esitatud värbamissõnumist eri variantide küsimine. | LLM-i toel toimuv sotsiaalne manipuleerimine |
Meie turvameeskonnad kasutasid kogu uurimise vältel ChatGPT‑d, et analüüsida, liigitada ja tõlkida ründaja kontodel peetud vestlusi ning teha neist kokkuvõtteid. See võimaldas meil suurtest andmestikest kiiresti olulist teavet leida, hoides samal ajal tööks vajaliku ressursikulu minimaalsena. Mudelite arenedes loodame, et saame ChatGPT‑d kasutada ka töötajatele saadetud pahatahtlike manuste pöördprojekteerimiseks ja analüüsimiseks.
Mõju
Kooskõlas meie esimeses ohuaruandes täheldatuga ei paistnud meie mudelite kasutamine andvat ründajatele uusi võimeid ega juhiseid, mida nad poleks võinud saada ka mitmest avalikult kättesaadavast allikast. Meie turvamehhanismid blokeerisid ründaja pahatahtlikud kirjad enne, kui need töötajate postkastidesse jõudsid.