Incident OpenAI a Hugging Face(otvorí sa v novom okne) bol pre kybernetickú bezpečnosť zlomovým okamihom, pretože ukázal, ako sa budú v nasledujúcich mesiacoch vyvíjať schopnosti bežného aktéra hrozieb. V uplynulých týždňoch som hovoril s mnohými organizáciami a jedna téma je zrejmá: vedia, že musia bezprecedentne rýchlo a zásadne zlepšiť svoje postupy kybernetickej bezpečnosti. V tomto príspevku opíšem, ako chránime OpenAI, aké konkrétne kroky môžu iné organizácie podniknúť už dnes a prečo treba konať práve teraz.
Modely AI vyvíjané po celom svete dokážu čoraz viac automatizovať časti reálnych kybernetických útokov. Vďaka tomu možno ľahšie nájsť a zneužiť dlhodobé medzery v zabezpečení – od chýb ukrytých hlboko v softvéri napísanom ľuďmi až po zabudnuté oprávnenia. Rovnaké schopnosti AI dávajú obrancom nové možnosti, ako tieto slabiny nájsť a opraviť, musia však konať už teraz. Ak firmy zakročia rozhodne – vrátane zlepšenia základov a výrazného posilnenia tímov pomocou AI –, môžeme dosiahnuť, aby bol internet bezpečnejší než kedykoľvek predtým.
Pri incidente OpenAI a Hugging Face dokázal agentický kolektív autonómne preniknúť nielen do výskumnej infraštruktúry OpenAI, ale aj do produkčnej infraštruktúry inej spoločnosti. Reťazil pritom zraniteľnosti od dovtedy neznámych bezpečnostných chýb až po použitie prihlasovacích údajov k používateľským účtom uniknutých na internet. Čoraz jasnejšie sa ukazuje, že technický dlh(otvorí sa v novom okne) každej spoločnosti skrýva závažné nedostatky a obrancovia ich musia nájsť a odstrániť skôr než útočníci.
Aby sme obrancom poskytli výhodu oproti útočníkom, začali sme začiatkom tohto roka sprístupňovať naše kybernetické schopnosti iba dôveryhodným obrancom. Odvtedy rôzne spoločnosti vydali open-weight modely s kybernetickými schopnosťami, ktoré za prelomovou úrovňou zaostávajú iba o niekoľko mesiacov. Zdá sa, že najnovší z týchto modelov má byť vydaný(otvorí sa v novom okne) koncom augusta a pravdepodobne výrazne urýchli vývoj hrozieb.
Útočníci využívajúci AI budú síce čoskoro schopní odhaľovať dlhodobé nedostatky v mnohých existujúcich systémoch, no AI zároveň obrancom výrazne uľahčí hľadanie, určovanie priorít a odstraňovanie tých istých nedostatkov. Bezpečnosť je stále hrou na mačku a myš, no AI môže zmeniť jej ekonomiku(otvorí sa v novom okne) spôsobom, ktorý zásadne zvýhodní obrancov. Začíname napríklad naše modely trénovať špeciálne na písanie kódu s nadľudskou úrovňou bezpečnosti. Naše modely sú tiež mimoriadne schopné v oblasti matematických dôkazov, ktoré možno využiť na formálne overovanie bezpečnosti softvéru spôsobom, ktorý bol pre ľudí doteraz nezvládnuteľný.
Po incidente OpenAI a Hugging Face som požiadal ChatGPT Work (s použitím verejne dostupného GPT‑5.6 Sol), aby posúdil bezpečnosť webu gregbrockman.com(otvorí sa v novom okne). Ide o jednoduchú statickú lokalitu hosťovanú v AWS, ktorej vstupnou bránou je Cloudflare, takže som predpokladal, že nebude ponúkať veľa priestoru na zraniteľnosti.
Približne za 15 minút odhalil 13 problémov. Mnohé z nich sa zrejme nedajú zneužiť samostatne, no v kombinácii s ďalšími zraniteľnosťami by mohli mať závažný dosah. Nemal som nastavené záznamy DNS tak, aby útočníkom bránili falšovať e-maily v mojom mene. Môj web používal nezabezpečenú verziu jQuery a Cloudflare preposielal požiadavky do AWS cez nešifrovaný protokol HTTP.
Potom som požiadal ChatGPT Work, aby tieto problémy odstránil, čo zvládol približne za hodinu. V mojom prehliadači otvoril ovládací panel Cloudflare a klikaním na množstvo tlačidiel správne nakonfiguroval DNS, TLS a pokročilé nastavenia zabezpečenia. Z webu úplne odstránil jQuery, migroval ho z AWS na Cloudflare Pages a začal postupne zavádzať DMARC(otvorí sa v novom okne).
A to išlo iba o môj osobný web. Je to malý príklad toho, ako môžu naše súčasné modely fungovať ako kybernetický ochranca: nájdu aj množstvo menej častých problémov, na ktoré by človek nemal čas ani odborné znalosti (s mnohými opravenými nastaveniami som bol zbežne oboznámený, no nevedel by som ich bez prípravy správne nakonfigurovať), a následne ich odstránia pomocou vhodne nastaveného plánu zavádzania.
Incident Hugging Face ukázal, že sme podcenili reálne kybernetické schopnosti našich modelov AI. Preto sprísňujeme naše bezpečnostné požiadavky, čím sa ešte viac zvyšuje naliehavosť nášho prebiehajúceho výskumu bezpečnosti a interného úsilia o zabezpečenie.
V nádeji, že to pomôže aj iným organizáciám, sa podelím o niekoľko informácií o našom súčasnom prístupe k zabezpečeniu OpenAI. Na ochranu OpenAI významne investujeme do základných kontrolných mechanizmov – teda do správneho zvládnutia základov – a zároveň posilňujeme našu obranu pomocou prelomovej inteligencie. Táto stratégia má štyri hlavné piliere.
Po prvé, naše modely používame na zvýšenie bezpečnosti nášho kódu. Codex vrátane nášho bezpečnostného doplnku overuje zmeny kódu, identifikuje zraniteľnosti a pomáha vývojárom odstrániť problémy ešte pred nasadením. Nechceme iba produkovať ďalšie bezpečnostné zistenia, ktoré musia overovať ľudia. Cieľom je zachytiť skutočné zraniteľnosti pred nasadením a skrátiť cestu od odhalenia problému po bezpečné nasadenie opravy. Naše modely naďalej trénujeme, aby vytvárali čoraz bezpečnejší kód, pričom naším cieľom je v novom kóde odstrániť niektoré triedy softvérových zraniteľností.
Po druhé, naše modely nepretržite zapájame do ochrany našej infraštruktúry. V súčasnosti takmer všetky naše prvotné bezpečnostné upozornenia najskôr vyhodnocuje inteligencia a až potom sa zapoja ľudia. Obrancom to pomáha obmedziť rutinnú prácu, zrýchľuje reakcie a umožňuje ľuďom venovať sa činnostiam, pri ktorých najlepšie využijú svoje schopnosti – rozlišovaniu, úsudku a uplatňovaniu odborných znalostí. Tieto detekcie čoraz častejšie prepájame s ohraničenými automatizovanými reakciami, pričom za rozhodnutia s najväčším dosahom naďalej zodpovedajú ľudia. Cieľom je zabezpečiť, aby sme bezpečnostné problémy dokázali odhaľovať a riešiť rýchlosťou strojov.
Po tretie, pomocou prelomovej inteligencie nepretržite mapujeme, preverujeme a identifikujeme možné cesty útoku. Vďaka odhaľovaniu zraniteľností, nesprávnych konfigurácií, identít s nadmernými oprávneniami či neúmyselných hraníc dôvery dokážeme tieto medzery rýchlo nájsť a uzavrieť skôr, než ich zneužijú útočníci. Umožňuje nám to nepretržite posudzovať, monitorovať a testovať naše bezpečnostné invarianty – vlastnosti zabezpečenia, o ktorých predpokladáme, že platia – naprieč našimi produktmi, infraštruktúrou a systémami.
Napokon vo veľkom investujeme do základov. Naďalej investujeme do bezpečnej architektúry a kontrolných mechanizmov, uplatňujeme stratégie ako viacvrstvová ochrana a princíp najmenších oprávnení a navrhujeme systémy tak, aby ku katastrofickej udalosti mohlo dôjsť iba pri súčasnom zlyhaní viacerých nezávislých kontrolných mechanizmov. Klasické bezpečnostné opatrenia, ako sú izolácia siete, posilnenie zabezpečenia pracovných záťaží, monitorovanie či bezpečné opravy a nasadzovanie, budú v budúcnosti s AI dôležitejšie než kedykoľvek predtým.
Čas je rozhodujúci a obrancovia budú musieť nasledujúce kroky uskutočniť mimoriadne rýchlo. Nižšie spomeniem technológie OpenAI, no v ekosystéme je aj množstvo konkurenčných riešení, ktoré sa oplatí vyhodnotiť. Dôležitejší než konkrétny nástroj je fakt, aby vaši obrancovia dostali schopnú AI do rúk už teraz.
- Získajte podporu a záväzok celej organizácie. Bezpečnostné riziká sa rýchlo menia. Zabezpečte preto, aby vaše bezpečnostné a technické tímy mali podporu, partnerstvá a zdroje potrebné na rýchle riešenie týchto rizík. Uskutočnite so svojimi tímami simulačné cvičenia, pri ktorých si vyskúšate, ako by sa tieto útoky mohli vo vašej organizácii prejaviť a ako na ne zareagujete.
- Dajte svojmu bezpečnostnému tímu agenta. Začnite používať Codex, bezpečnostný doplnok Codex(otvorí sa v novom okne) alebo iný schopný nástroj na agentické programovanie a zabezpečenie. Poskytnite mu schválený prístup ku kódovým základniam, konfiguráciám infraštruktúry a technickej dokumentácii, ktoré potrebuje váš bezpečnostný tím posúdiť. So systémami s najvyššou prioritou začnite ešte pred zavedením riešenia v celej spoločnosti.
- Vybavte tohto agenta odbornými znalosťami o bezpečnosti. Začnite komunitou podporovanými zručnosťami(otvorí sa v novom okne), ktoré zahŕňajú pracovné postupy na statickú analýzu, bezpečnostnú kontrolu kódu, analýzu variantov zraniteľností, riziká softvérového dodávateľského reťazca a ďalšie bezpečnostné činnosti. Potom vytvorte vlastné zručnosti prispôsobené architektúre, bezpečnostným štandardom, modelom hrozieb a postupom vašej organizácie.
- Okamžite vykonajte bezpečnostné posúdenia vlastných systémov. Najprv uprednostnite posúdenie služieb dostupných z internetu, procesov overovania totožnosti, infraštruktúry ako kódu, kanálov nasadzovania a systémov spracúvajúcich citlivé informácie. S rastúcou istotou tímu rozširujte rozsah skenovania.
- Spracujte existujúci zoznam nevyriešených zraniteľností. Poskytnite agentovi zistenia zo skenerov kódu, upozornenia na závislosti, bezpečnostné tikety, hlásenia z programov odmien za chyby a výsledky predchádzajúcich posúdení. Požiadajte ho, aby tieto zistenia vyhodnotil, odlíšil zneužiteľné problémy od šumu, našiel súvisiace zraniteľnosti v iných častiach kódovej základne a odporučil poradie opráv.
- Začleňte bezpečnostnú kontrolu priamo do vývojového procesu. Pomocou agentov kontrolujte zmeny kódu pred ich zlúčením a spúšťajte bezpečnostné kontroly v CI. Hľadajte chyby v overovaní totožnosti, obchádzanie riadenia prístupu, odhalené prihlasovacie údaje, nebezpečné závislosti, nezabezpečené predvolené nastavenia, zmeny rozširujúce prístup k produkčným systémom a ďalšie zraniteľnosti.
- Nechajte agenta pomáhať s opravou nájdených problémov. Pri overených problémoch ho požiadajte, aby vytvoril a overil cielenú opravu, napísal regresný test a potvrdil, že zraniteľnosť už nemožno reprodukovať. Pri zmenách so závažnými dôsledkami zachovajte ľudskú kontrolu, no odstráňte zbytočné oneskorenie medzi odhalením skutočného problému a predložením bezpečnej opravy technikovi.
- Postupne automatizujte vyhodnocovanie detekcií. Nezačínajte pokusom vybudovať autonómne centrum bezpečnostných operácií. Začnite bezpečnostným skenovaním jedného repozitára v režime iba na čítanie alebo nechajte agenta skontrolovať už vyriešené upozornenia s prístupom k existujúcim denníkom iba na čítanie. Nechajte ho zhrnúť dôkazy a odporučiť spôsob vybavenia, pričom každé rozhodnutie urobí človek. Keď získate väčšiu istotu, prejdite na poradné skenovanie pull requestov, potom na priebežné vyhodnocovanie upozornení a napokon na automatické uzatváranie úzko vymedzených falošne pozitívnych zistení.
- Pripravte si vyšetrovanie digitálnych stôp s podporou AI skôr, než ho budete potrebovať. Požiadajte o Dôveryhodný prístup pre kybernetickú bezpečnosť(otvorí sa v novom okne) a získajte pre svoj tím schválenie používať GPT‑Daybreak‑Blue na autorizovanú obrannú činnosť vrátane reakcie na incidenty, tvorby detekcií a analýzy malvéru. Precvičujte si používanie tejto funkcie na analýzu denníkov, telemetrie a bezpečnostných upozornení.
- Experimentujte, organizujte hackerské týždne a rýchlo vylepšujte riešenia. Pre svet, do ktorého smerujeme, budeme musieť vytvoriť množstvo nových nástrojov, zmeniť spôsob práce a zvýšiť schopnosti všetkých ľudí. Podporujte zamestnancov v experimentovaní, naplánujte hackerský týždeň na vytváranie nových schopností a sústreďte sa na rýchle zdokonaľovanie cyklov, ktoré automatizujú malé časti problému. Rýchly postup po malých krokoch prináša násobiace sa výsledky obrany a s rastúcou istotou tímu môžete postupne rozširovať mieru autonómie.
Žiadna spoločnosť to nedokáže sama. Žiadame laboratóriá AI, dodávateľov bezpečnostných riešení, podniky a správcov, aby zdieľali overené zistenia, opravy a praktické postupy. Objav jednej organizácie tak môže posilniť celý ekosystém.
Okno príležitosti pre obrancov je otvorené práve teraz. V nasledujúcich mesiacoch bude musieť každá organizácia začať výrazne automatizovať svoj bezpečnostný program, aby zostala v bezpečí. Bezpečnostná komunita zároveň musí urýchlene definovať nástroje, postupy a návody, ktoré budú s pokračujúcim pokrokom AI zvyšovať schopnosti obrancov rýchlejšie než schopnosti útočníkov. Bude si to vyžadovať obrovské a bezprecedentné úsilie, no ak spojíme sily, môžeme vytvoriť bezpečnejší svet, než sme si doteraz dokázali predstaviť.
