Incident OpenAI-Hugging Face(odpre se v novem oknu) je bil prelomnica za kibernetsko varnost, saj je pokazal, kako se bodo v prihodnjih mesecih razvijale zmogljivosti običajnih akterjev groženj. V zadnjih nekaj tednih sem govoril s številnimi organizacijami in skupna tema je jasna: vedo, da morajo svoje prakse kibernetske varnosti korenito izboljšati z doslej nepredstavljivo hitrostjo. V tej objavi bom predstavil, kako varujemo OpenAI, katere konkretne korake lahko druge organizacije izvedejo že danes in zakaj je treba ukrepati zdaj.
Modeli umetne inteligence, razviti po svetu, lahko vse pogosteje avtomatizirajo dele resničnih kibernetskih napadov, zato je dolgotrajne varnostne vrzeli – od napak, globoko zakopanih v kodi, ki so jo napisali ljudje, do pozabljenih dovoljenj – lažje odkriti in izkoristiti. Iste zmogljivosti umetne inteligence varnostnim ekipam ponujajo nove načine za odkrivanje in odpravljanje teh pomanjkljivosti, vendar morajo ukrepati zdaj. Če bodo podjetja ukrepala odločno – tudi z izboljšanjem temeljev in okrepitvijo ekip z umetno inteligenco –, lahko internet naredimo varnejši kot kadar koli prej.
V incidentu OpenAI-Hugging Face je skupina agentov samostojno vdrla ne le v raziskovalno infrastrukturo OpenAI, temveč tudi v produkcijsko infrastrukturo drugega podjetja, pri čemer je povezala ranljivosti, ki so segale od prej neznanih varnostnih pomanjkljivosti do uporabe poverilnic uporabniških računov, objavljenih na internetu. Vse jasneje je, da tehnični dolg(odpre se v novem oknu) vsakega podjetja skriva pomembne pomanjkljivosti, ki jih morajo varnostne ekipe odkriti in odpraviti pred napadalci.
Da bi varnostnim ekipam zagotovili prednost pred napadalci, smo svoje kibernetske zmogljivosti v začetku leta začeli izdajati samo zaupanja vrednim varnostnim ekipam. Od takrat so različna podjetja izdala modele z odprtimi utežmi in kibernetskimi zmogljivostmi, ki za prelomnimi modeli zaostajajo le nekaj mesecev. Kaže, da bo najnovejši med temi modeli izdan(odpre se v novem oknu) ob koncu avgusta in da bo verjetno znatno pospešil razvoj groženj.
Napadalci, podprti z umetno inteligenco, bodo lahko kmalu odkrili dolgotrajne pomanjkljivosti v številnih obstoječih sistemih, vendar bo umetna inteligenca tudi varnostnim ekipam precej olajšala odkrivanje, prednostno razvrščanje in odpravljanje istih pomanjkljivosti. Varnost ostaja igra mačke z mišjo, vendar lahko umetna inteligenca spremeni njeno ekonomiko(odpre se v novem oknu) tako, da bo varnostnim ekipam zagotovila odločilno prednost. Svoje modele smo na primer začeli posebej učiti pisanja kode z nadčloveško ravnjo varnosti. Naši modeli so izjemni tudi pri matematičnih dokazih, ki jih je mogoče uporabiti za formalno preverjanje varnosti programske opreme na način, ki se je za ljudi izkazal za neobvladljivega.
Po incidentu OpenAI-Hugging Face sem ChatGPT Work (z javno dostopnim GPT‑5.6 Sol) prosil, naj oceni varnost spletnega mesta gregbrockman.com(odpre se v novem oknu). Gre za preprosto statično spletno mesto, ki gostuje v storitvi AWS, Cloudflare pa je njegova vstopna točka, zato sem menil, da možnih ranljivosti ne more biti veliko.
V približno 15 minutah je odkril 13 težav. Mnogih verjetno ni mogoče izkoristiti samostojno, lahko pa bi jih povezali z drugimi ranljivostmi in dosegli znaten učinek. Zapisov DNS nisem nastavil tako, da bi napadalcem preprečil ponarejanje e-poštnih sporočil v mojem imenu; moje spletno mesto je uporabljalo nevarno različico knjižnice jQuery; Cloudflare je zahteve v AWS posredoval prek nešifriranega protokola HTTP.
Nato sem ChatGPT Work prosil, naj odpravi te težave, kar je storil v eni uri. V mojem brskalniku je odprl nadzorno ploščo Cloudflare in s klikanjem številnih gumbov pravilno nastavil DNS, TLS ter napredne varnostne nastavitve; s spletnega mesta je v celoti odstranil jQuery; spletno mesto je preselil iz storitve AWS v Cloudflare Pages; začel je postopno uvajati DMARC(odpre se v novem oknu).
In to je bilo samo moje osebno spletno mesto. To je majhen primer, kako lahko naši obstoječi modeli delujejo kot kibernetski varuhi: odkrijejo množico manj očitnih težav, za katere človek ne bi imel časa ali strokovnega znanja (s številnimi nastavitvami, ki jih je popravil, sem bežno seznanjen, vendar jih ne bi znal pravilno nastaviti brez preverjanja), nato pa jih odpravijo z ustrezno prilagojenim načrtom uvajanja.
Incident Hugging Face je pokazal, da smo podcenili dejanske kibernetske zmogljivosti svojih modelov umetne inteligence. Zato krepimo svoje varnostne zahteve, kar še povečuje nujnost naših obstoječih raziskav varnosti in dela na notranji varnosti.
Predstavil bom nekaj podrobnosti o našem trenutnem pristopu k varovanju OpenAI, saj upam, da bodo koristile tudi drugim organizacijam. Za zaščito OpenAI veliko vlagamo tako v temeljne nadzorne mehanizme – pravilno izvajanje osnov – kot v krepitev naše obrambe s prelomno inteligenco. Ta strategija temelji na štirih glavnih stebrih.
Prvič, svoje modele uporabljamo za izboljšanje varnosti naše kode. Codex, vključno z našim varnostnim vtičnikom, preverja spremembe kode, odkriva ranljivosti in razvijalcem pomaga odpraviti težave pred uvedbo. Ne želimo zgolj ustvarjati še več varnostnih ugotovitev, ki jih morajo preveriti ljudje; cilj je odkriti resnične ranljivosti pred izdajo ter skrajšati pot od odkritja težave do varne uvedbe popravka. Medtem ko svoje modele še naprej učimo pisati vse varnejšo kodo, želimo pri novo napisani kodi odpraviti nekatere vrste programskih ranljivosti.
Drugič, svoje modele uporabljamo za stalno varovanje infrastrukture. Danes skoraj vsa naša začetna varnostna opozorila najprej razvrsti Inteligenca, šele nato se vključijo ljudje. To varnostnim ekipam (tudi: branilcem) zmanjša rutinsko delo, izboljša odzivni čas in ljudem omogoči, da se posvetijo nalogam, pri katerih njihove spretnosti najbolj pridejo do izraza – presoji, razsodnosti in uporabi strokovnega znanja. Ta zaznavanja vse pogosteje povezujemo z omejenimi samodejnimi odzivi, pri čemer odgovornost za odločitve z največjim vplivom ostaja pri ljudeh. Cilj je zagotoviti, da lahko varnostne težave zaznamo in se nanje odzovemo s hitrostjo strojev.
Tretjič, prelomno Inteligenco uporabljamo za stalno popisovanje, preverjanje in odkrivanje možnih poti napada. Z odkrivanjem ranljivosti, napačnih nastavitev, identitet s prevelikimi pooblastili ali nenamernih meja zaupanja lahko te vrzeli hitro prepoznamo in zapremo, preden jih izkoristijo napadalci. Tako lahko v svojih izdelkih, infrastrukturi in sistemih nenehno ocenjujemo, spremljamo in preizkušamo varnostne stalnice ali invariante – varnostne lastnosti, za katere menimo, da veljajo.
Nazadnje veliko vlagamo v temeljne ukrepe na vseh ravneh. Še naprej vlagamo v varno arhitekturo in nadzorne mehanizme, uporabljamo pristope, kot sta večplastna obramba in načelo najmanjših privilegijev, ter načrtujemo sisteme, pri katerih bi moralo za katastrofalen dogodek hkrati odpovedati več neodvisnih nadzornih mehanizmov. Klasični varnostni ukrepi, kot so omrežna izolacija, utrjevanje delovnih obremenitev, spremljanje ter varno nameščanje popravkov in uvajanje, bodo v prihodnosti z umetno inteligenco pomembnejši kot kadar koli prej.
Časa ni na pretek, zato bodo morale varnostne ekipe spodnje korake izvesti z izjemno hitrostjo. V nadaljevanju bom omenil tehnologijo OpenAI, vendar je v ekosistemu tudi veliko konkurenčnih rešitev, ki jih je vredno oceniti. Bolj kot izbira določenega orodja je pomembno, da sposobno umetno inteligenco že zdaj ponudite svojim varnostnim ekipam.
- Zagotovite zavezanost in podporo organizacije Varnostna tveganja se hitro spreminjajo, zato svojim varnostnim in inženirskim ekipam zagotovite podporo, sodelovanje in sredstva, potrebna za hitro obvladovanje teh tveganj. Z ekipami izvedite namizne simulacijske vaje, da ponazorite, kako bi se ti napadi lahko pokazali v vaši organizaciji in kako bi se nanje odzvali.
- Svoji varnostni ekipi zagotovite agenta. Začnite uporabljati Codex, vtičnik Codex Security(odpre se v novem oknu) ali drugo zmogljivo orodje za agentsko kodiranje in varnost. Omogočite mu odobren dostop do kodnih zbirk, nastavitev infrastrukture in tehnične dokumentacije, ki jih mora oceniti vaša varnostna ekipa. Pri sistemih z najvišjo prednostjo ne čakajte na uvedbo v celotnem podjetju.
- Agenta opremite z varnostnim strokovnim znanjem Začnite z veščinami(odpre se v novem oknu), ki jih podpira skupnost in vključujejo delovne postopke za statično analizo, varnostno usmerjen pregled kode, analizo različic ranljivosti, tveganja v dobavni verigi programske opreme in druge varnostne postopke. Nato razvijte lastne veščine, prilagojene arhitekturi, varnostnim standardom, modelom groženj in operativnim priročnikom svoje organizacije.
- Takoj izvedite varnostne ocene svojih sistemov. Najprej ocenite storitve, dostopne iz interneta, postopke preverjanja pristnosti, infrastrukturo kot kodo, cevovode za uvajanje in sisteme, ki obdelujejo občutljive podatke. Ko bo ekipa pridobivala zaupanje, razširite obseg pregledovanja.
- Odpravite obstoječi zaostanek pri ranljivostih. Agentu posredujte ugotovitve pregledovalnikov kode, opozorila o odvisnostih, varnostne zahtevke, poročila programov nagrajevanja za odkrite napake in prejšnje ocene. Naročite mu, naj ugotovitve razvrsti, loči težave z možnim izkoriščanjem od šuma, poišče povezane ranljivosti drugje v kodni zbirki in priporoči vrstni red odpravljanja.
- Varnostni pregled vključite neposredno v razvojni proces. Agente uporabljajte za pregled sprememb kode pred združitvijo in izvajanje varnostnih preverjanj v postopku neprekinjene integracije (CI). Iščite napake pri preverjanju pristnosti, obvode pri nadzoru dostopa, razkrite poverilnice, nevarne odvisnosti, nevarne privzete nastavitve, spremembe, ki razširjajo dostop do produkcijskih sistemov, in druge ranljivosti.
- Agent naj pomaga odpraviti ugotovljene težave Pri potrjenih težavah ga prosite, naj ustvari in preveri ciljno usmerjen popravek, napiše regresijski preizkus ter potrdi, da ranljivosti ni več mogoče poustvariti. Pri pomembnih spremembah ohranite človeški pregled, vendar odpravite nepotrebno zamudo med odkritjem resnične težave in predložitvijo varnega popravka inženirju.
- Postopoma avtomatizirajte razvrščanje zaznanih dogodkov Ne začnite s poskusom izgradnje avtonomnega centra za varnostne operacije. Najprej izvedite varnostni pregled enega repozitorija z dostopom samo za branje ali pa agentu z dostopom do obstoječih dnevnikov samo za branje naročite pregled že razrešenih opozoril. Agent naj povzame dokaze in priporoči razrešitev, medtem ko vse odločitve sprejema človek. Ko se zaupanje poveča, preidite na svetovalno pregledovanje zahtev za vključitev sprememb, nato na sprotno razvrščanje opozoril in nazadnje na samodejno zapiranje ozko opredeljenih lažno pozitivnih zaznav.
- Vzpostavite zmogljivost forenzičnih preiskav s podporo umetne inteligence, še preden jo potrebujete. Prijavite se za Trusted Access for Cyber(odpre se v novem oknu) in pridobite odobritev, da lahko vaša ekipa uporablja GPT‑Daybreak‑Blue za pooblaščeno obrambno delo, vključno z odzivanjem na incidente, razvojem zaznavanja in analizo zlonamerne programske opreme. Vadite uporabo te zmogljivosti za analizo dnevnikov, telemetrije in varnostnih opozoril.
- Eksperimentirajte, organizirajte hekerske tedne in hitro izboljšujte rešitve Za svet, v katerega vstopamo, bomo morali izdelati najrazličnejša nova orodja, spremeniti način dela in izboljšati znanje vseh zaposlenih. Zaposlene spodbujajte k eksperimentiranju, načrtujte hekerski teden za razvoj novih zmogljivosti in se osredotočite na hitro izboljševanje zank, ki avtomatizirajo manjše dele težave. Hiter postopen napredek prinaša vse večje obrambne učinke, stopnjo avtonomije pa lahko povečujete postopoma, ko ekipa pridobiva zaupanje.
Nobeno podjetje tega ne zmore samo. Laboratorije umetne inteligence, ponudnike varnostnih rešitev, podjetja in vzdrževalce pozivamo, naj si izmenjujejo potrjene ugotovitve, popravke in praktične operativne priročnike, da bo odkritje ene organizacije lahko okrepilo celoten ekosistem.
Okno priložnosti za branilce je odprto zdaj. V prihodnjih mesecih bo morala vsaka organizacija začeti obsežno avtomatizirati svoj varnostni program, da bo ostala varna, varnostna skupnost pa mora nujno opredeliti orodja, prakse in operativne priročnike, ki bodo ob nadaljnjem napredku umetne inteligence moč varnostnih ekip povečevali hitreje kot moč napadalcev. To bo zahtevalo izjemen napor brez primere, vendar lahko s skupnimi močmi ustvarimo varnejši svet, kot smo si ga doslej sploh lahko predstavljali.
