Incident OpenAI–Hugging Face(otvara se u novom prozoru) bio je prekretnica za kibernetičku sigurnost jer je pružio uvid u to kako će se sposobnosti tipičnog aktera prijetnje razvijati tokom narednih mjeseci. Tokom proteklih nekoliko sedmica razgovarao sam s mnogim organizacijama i jedna je tema jasna: znaju da svoje prakse kibernetičke sigurnosti moraju iz temelja unaprijediti dosad nezabilježenom brzinom. U ovoj objavi opisat ću šta radimo kako bismo odbranili OpenAI, koje konkretne korake druge organizacije mogu poduzeti već danas i zašto je upravo sada vrijeme za djelovanje.
Modeli umjetne inteligencije razvijeni širom svijeta sve su sposobniji automatizirati dijelove stvarnih kibernetičkih napada, pa je dugogodišnje sigurnosne propuste — od grešaka duboko skrivenih u softveru koji su napisali ljudi do zaboravljenih dozvola — lakše pronaći i iskoristiti. Iste sposobnosti umjetne inteligencije pružaju braniocima nove načine da pronađu i otklone te slabosti, ali moraju djelovati odmah. Ako kompanije djeluju odlučno — uključujući unapređenje osnova i osnaživanje svojih timova umjetnom inteligencijom — internet možemo učiniti sigurnijim nego ikad prije.
U incidentu OpenAI–Hugging Face, grupa autonomnih agenata uspjela je samostalno prodrijeti ne samo u istraživačku infrastrukturu kompanije OpenAI nego i u produkcijsku infrastrukturu druge kompanije, povezujući ranjivosti koje su sezale od dotad nepoznatih sigurnosnih propusta do korištenja pristupnih podataka korisničkih računa procurjelih na internet. Sve je jasnije da tehnički dug(otvara se u novom prozoru) svake kompanije prikriva ozbiljne nedostatke te da ih branioci moraju pronaći i otkloniti prije napadača.
Kako bismo braniocima dali prednost nad napadačima, početkom ove godine svoje kibernetičke sposobnosti počeli smo pružati samo pouzdanim braniocima. Od tada su razne kompanije objavile modele s otvorenim težinama čije kibernetičke sposobnosti za graničnim modelima zaostaju samo nekoliko mjeseci. Čini se da je objavljivanje(otvara se u novom prozoru) najnovijeg od tih modela planirano za kraj augusta i da će vjerovatno znatno ubrzati razvoj prijetnji.
Iako će napadači potpomognuti umjetnom inteligencijom uskoro moći pronalaziti dugogodišnje propuste u mnogim postojećim sistemima, umjetna inteligencija će braniocima znatno olakšati pronalaženje, određivanje prioriteta i otklanjanje tih istih propusta. Sigurnost je i dalje igra mačke i miša, ali umjetna inteligencija može promijeniti njenu ekonomsku računicu(otvara se u novom prozoru) tako da temeljno pogoduje braniocima. Naprimjer, počinjemo obučavati svoje modele posebno za pisanje koda čija sigurnost nadmašuje ljudske mogućnosti. Naši modeli također su izvanredni u izradi matematičkih dokaza, koji se mogu primijeniti za formalnu provjeru sigurnosti softvera na način koji se za ljude pokazao nerješivim.
Nakon incidenta OpenAI–Hugging Face, zatražio sam od usluge ChatGPT Work, koristeći javno dostupni GPT‑5.6 Sol, da procijeni sigurnost stranice gregbrockman.com(otvara se u novom prozoru). To je jednostavna statička stranica smještena na AWS-u, s uslugom Cloudflare kao ulaznom tačkom, pa sam pretpostavio da neće imati veliku površinu za napad.
Za otprilike 15 minuta otkrio je 13 problema. Mnogi od njih vjerovatno se ne mogu zasebno iskoristiti, ali mogao sam zamisliti da bi povezivanje s drugim ranjivostima moglo imati ozbiljne posljedice. Nisam bio podesio DNS zapise tako da spriječe napadače da krivotvore e-poruke u moje ime; moja stranica koristila je nesigurnu verziju biblioteke jQuery; Cloudflare je prosljeđivao zahtjeve AWS-u putem nešifriranog HTTP-a.
Zatim sam zatražio od usluge ChatGPT Work da otkloni te probleme, što je učinila za otprilike sat vremena. Otvorila je kontrolnu ploču usluge Cloudflare u mom pregledniku i klikom na brojne opcije pravilno podesila DNS, TLS i napredne sigurnosne postavke; potpuno je uklonila jQuery sa stranice; premjestila je stranicu s AWS-a na Cloudflare Pages; započela je postepeno uvođenje protokola DMARC(otvara se u novom prozoru).
A to je bila samo moja lična web-stranica. Ovo je mali primjer kako naši postojeći modeli mogu djelovati kao kibernetički čuvari: pronalaze mnoštvo problema za koje čovjek ne bi imao vremena ili stručnog znanja — s mnogim postavkama koje je model ispravio donekle sam upoznat, ali ne bih odmah znao kako ih pravilno podesiti — a zatim ih otklanjaju uz odgovarajuće prilagođen plan uvođenja.
Incident s kompanijom Hugging Face pokazao je da smo potcijenili stvarne kibernetičke sposobnosti svojih modela umjetne inteligencije. U skladu s tim pooštravamo sigurnosne zahtjeve, čime naša postojeća istraživanja sigurnosti i rad na internoj zaštiti postaju još hitniji.
Želim predstaviti dio našeg trenutnog pristupa zaštiti kompanije OpenAI u nadi da će koristiti drugim organizacijama. Kako bismo zaštitili OpenAI, znatno ulažemo i u temeljne kontrole — pravilno provođenje osnovnih mjera — i u osnaživanje svoje odbrane graničnom inteligencijom. Ova strategija ima četiri glavna stuba.
Prvo, koristimo svoje modele kako bismo zaštitili svoj kôd. Codex, uključujući naš sigurnosni dodatak, provjerava izmjene koda, prepoznaje ranjivosti i pomaže programerima da otklone probleme prije uvođenja u produkciju. Ne želimo samo stvarati još više sigurnosnih nalaza koje ljudi moraju provjeravati; cilj je otkriti stvarne ranjivosti prije objave i skratiti put od otkrivanja problema do sigurnog uvođenja ispravke. Dok nastavljamo obučavati svoje modele da stvaraju sve sigurniji kôd, cilj nam je ukloniti određene vrste softverskih ranjivosti iz novonapisanog koda.
Drugo, svoje modele stavljamo u službu neprekidne odbrane naše infrastrukture. Danas inteligencija provodi početnu procjenu gotovo svih naših sigurnosnih upozorenja prije uključivanja ljudi. Time se smanjuje rutinski teret branilaca, ubrzava odgovor i omogućava ljudima da svoje vrijeme posvete onome gdje su njihove vještine najkorisnije — razlučivanju, prosuđivanju i primjeni stručnog znanja. Ova otkrivanja sve češće povezujemo s ograničenim automatiziranim odgovorima, dok ljudi ostaju odgovorni za odluke s najvećim posljedicama. Cilj je osigurati da sigurnosne probleme možemo otkrivati i rješavati brzinom računara.
Treće, koristimo graničnu inteligenciju kako bismo neprekidno popisivali, ispitivali i prepoznavali moguće pravce napada. Prepoznavanjem ranjivosti, pogrešnih konfiguracija, identiteta s prevelikim ovlastima ili nenamjernih granica povjerenja možemo brzo pronaći i zatvoriti te propuste prije nego što ih napadači iskoriste. To nam omogućava da u svim proizvodima, infrastrukturi i sistemima neprekidno procjenjujemo, pratimo i testiramo svoje sigurnosne invarijante — sigurnosna svojstva za koja vjerujemo da vrijede.
Naposljetku, mnogo ulažemo u osnove na svim nivoima. Nastavljamo ulagati u sigurnu arhitekturu i kontrole, primjenjujemo strategije poput slojevite odbrane i najmanjih ovlasti te projektujemo sisteme u kojima se više nezavisnih kontrola mora istovremeno izjaloviti da bi nastupile katastrofalne posljedice. Klasične sigurnosne kontrole, poput izolacije mreže, ojačavanja radnih opterećenja, nadzora te sigurnog instaliranja zakrpa i uvođenja u produkciju, bit će važnije nego ikad u budućnosti s umjetnom inteligencijom.
Vrijeme je presudno i branioci će korake u nastavku morati provesti izuzetno brzo. U nastavku ću spomenuti tehnologiju kompanije OpenAI, ali u ovom ekosistemu postoji i mnogo konkurenata koje vrijedi razmotriti. Manje je važno koji ćete konkretan alat odabrati; važno je da sposobnu umjetnu inteligenciju odmah stavite u ruke svojih branilaca.
- Osigurajte posvećenost i podršku cijele organizacije. Sigurnosni rizici brzo se mijenjaju — pobrinite se da vaši sigurnosni i inženjerski timovi imaju podršku, partnerstva i resurse potrebne da ih brzo riješe. Provedite simulacijske vježbe sa svojim timovima kako biste razmotrili na koje bi se načine ovi napadi mogli pojaviti u vašim organizacijama i kako ćete odgovoriti.
- Dodijelite agent sigurnosnom timu. Počnite koristiti Codex, sigurnosni dodatak Codex(otvara se u novom prozoru) ili drugi sposoban alat za kodiranje s agentima i sigurnost. Omogućite mu odobreni pristup bazama koda, konfiguracijama infrastrukture i tehničkoj dokumentaciji koju vaš sigurnosni tim treba procijeniti. Nemojte čekati uvođenje u cijeloj kompaniji da biste počeli s najvažnijim sistemima.
- Opremite taj agent stručnim znanjem o sigurnosti. Počnite od vještina(otvara se u novom prozoru) koje podržava zajednica, a koje obuhvataju tokove rada za statičku analizu, sigurnosni pregled koda, analizu varijanti ranjivosti, rizike u lancu nabavke softvera i druge sigurnosne postupke. Zatim izgradite vlastite vještine prilagođene arhitekturi, sigurnosnim standardima, modelima prijetnji i priručnicima svoje organizacije.
- Odmah provedite sigurnosne procjene vlastitih sistema. Najprije procijenite usluge dostupne putem interneta, tokove autentifikacije, infrastrukturu kao kôd, kanale za uvođenje u produkciju i sisteme koji obrađuju osjetljive podatke. Proširujte skeniranje kako samopouzdanje vašeg tima raste.
- Riješite postojeći zaostatak ranjivosti. Dajte svom agent nalaze skenera koda, upozorenja o zavisnostima, sigurnosne zadatke, izvještaje programa nagrađivanja za otkrivene greške i ranije procjene. Zatražite da procijeni te nalaze, razlikuje iskoristive probleme od nebitnih upozorenja, pronađe povezane ranjivosti drugdje u bazi koda i preporuči šta prvo treba popraviti.
- Ugradite sigurnosni pregled direktno u razvojni proces. Koristite agente da pregledaju izmjene koda prije spajanja i provode sigurnosne provjere u CI-ju. Tražite greške u autentifikaciji, zaobilaženje kontrole pristupa, izložene pristupne podatke, nesigurne zavisnosti, nesigurne zadane postavke, izmjene koje proširuju pristup produkcijskim sistemima i druge ranjivosti.
- Neka agent pomogne otkloniti ono što pronađe. Za potvrđene probleme zatražite da izradi i provjeri ciljanu zakrpu, napiše regresijski test i potvrdi da se ranjivost više ne može reproducirati. Zadržite ljudski pregled za izmjene s ozbiljnim posljedicama, ali uklonite nepotrebno kašnjenje između otkrivanja stvarnog problema i dostavljanja sigurne ispravke inženjeru.
- Postepeno automatizirajte procjenu otkrivenih prijetnji. Nemojte početi pokušajem izgradnje autonomnog centra za sigurnosne operacije. Počnite sigurnosnim skeniranjem jednog repozitorija samo za čitanje ili neka agent pregleda ranije riješena upozorenja koristeći pristup postojećim zapisnicima samo za čitanje. Neka sažme dokaze i preporuči odluku, dok čovjek donosi svaku odluku. Kako povjerenje raste, pređite na savjetodavno skeniranje zahtjeva za spajanje, zatim na procjenu upozorenja u stvarnom vremenu, a potom na automatsko zatvaranje usko definiranih lažno pozitivnih nalaza.
- Unaprijed pripremite kapacitete za forenzičke istrage potpomognute umjetnom inteligencijom. Prijavite se za Trusted Access for Cyber(otvara se u novom prozoru) i pribavite odobrenje da vaš tim koristi GPT‑Daybreak‑Blue za ovlaštene odbrambene zadatke, uključujući odgovor na incidente, inženjering otkrivanja prijetnji i analizu zlonamjernog softvera. Vježbajte korištenje tih mogućnosti za analizu zapisnika, telemetrije i sigurnosnih upozorenja.
- Eksperimentirajte, organizujte sedmice hakovanja i brzo poboljšavajte rješenja. Morat ćemo izgraditi brojne nove alate, promijeniti način rada i unaprijediti vještine svih za svijet prema kojem idemo. Potaknite zaposlenike da provode eksperimente, organizujte sedmicu hakovanja radi izgradnje novih mogućnosti i usmjerite se na brzo poboljšavanje procesa koji automatiziraju male dijelove problema. Brz postepeni napredak donosi odbrambene rezultate koji se međusobno pojačavaju, a nivo autonomije možete postepeno povećavati kako samopouzdanje vašeg tima raste.
Nijedna kompanija ovo ne može učiniti sama. Pozivamo laboratorije za umjetnu inteligenciju, sigurnosne dobavljače, preduzeća i održavatelje da dijele potvrđene nalaze, ispravke i praktične priručnike kako bi otkriće jedne organizacije moglo ojačati cijeli ekosistem.
Prilika za branioce otvorena je upravo sada. Tokom narednih mjeseci svaka će organizacija morati početi znatno automatizirati svoj sigurnosni program kako bi ostala zaštićena, a sigurnosna zajednica mora hitno definirati alate, prakse i priručnike koji će, dok umjetna inteligencija nastavlja napredovati, povećavati moć branilaca brže od moći napadača. To će zahtijevati ogroman i dosad nezabilježen trud, ali ako se udružimo, možemo izgraditi sigurniji svijet nego što smo ranije mogli zamisliti.
