Incident OpenAI – Hugging Face(otevře se v novém okně) představoval pro kybernetickou bezpečnost zásadní zlom, protože naznačil, jak se budou v nadcházejících měsících vyvíjet schopnosti běžných útočníků. V posledních několika týdnech jsem mluvil s mnoha organizacemi a jedno téma je zřejmé: vědí, že musí nebývalou rychlostí od základu pozvednout úroveň svých postupů v oblasti kybernetické bezpečnosti. V tomto příspěvku popíšu, jak chráníme OpenAI, jaké konkrétní kroky mohou ostatní organizace podniknout už dnes a proč je nutné jednat právě teď.
Modely umělé inteligence vyvíjené po celém světě dokážou stále lépe automatizovat části skutečných kybernetických útoků. Dlouhodobé bezpečnostní mezery – od chyb ukrytých hluboko v kódu napsaném lidmi až po zapomenutá oprávnění – je proto snazší najít a zneužít. Tytéž schopnosti umělé inteligence ale dávají také obráncům nové možnosti, jak tyto slabiny najít a opravit, ale musejí jednat hned. Pokud firmy zakročí rozhodně – mimo jiné zlepší své základy a výrazně posílí své týmy pomocí umělé inteligence – můžeme internet zabezpečit lépe než kdy dřív.
Při incidentu OpenAI – Hugging Face dokázala skupina agentů autonomně proniknout nejen do výzkumné infrastruktury OpenAI, ale také do produkční infrastruktury jiné společnosti. Propojila přitom zranitelnosti sahající od dosud neznámých bezpečnostních chyb až po použití přihlašovacích údajů k uživatelským účtům uniklých na internet. Je stále zřejmější, že technický dluh(otevře se v novém okně) každé společnosti skrývá závažné chyby a obránci je musí najít a opravit dříve než útočníci.
Abychom obráncům poskytli výhodu nad útočníky, začali jsme počátkem tohoto roku zpřístupňovat naše kybernetické schopnosti pouze důvěryhodným obráncům. Od té doby různé společnosti vydaly modely s otevřenými váhami a kybernetickými schopnostmi, které za průkopnickou úrovní zaostávají jen o několik měsíců. Nejnovější z těchto modelů má být podle všeho vydán(otevře se v novém okně) koncem srpna a pravděpodobně výrazně urychlí vývoj hrozeb.
Útočníci využívající umělou inteligenci budou brzy schopni nacházet dlouhodobé chyby v mnoha stávajících systémech. Umělá inteligence však obráncům zároveň výrazně usnadní hledání, stanovování priorit a opravu stejných chyb. Zabezpečení je stále hrou na kočku a myš, ale umělá inteligence může změnit její ekonomiku(otevře se v novém okně) způsobem, který obráncům poskytne zásadní výhodu. Začínáme například své modely cíleně trénovat, aby psaly kód s nadlidskou úrovní zabezpečení. Naše modely jsou také mimořádně schopné v oblasti matematických důkazů. Ty lze využít k formálnímu ověření zabezpečení softwaru způsobem, který byl pro lidi dosud prakticky nezvládnutelný.
Po incidentu OpenAI – Hugging Face jsem požádal ChatGPT Work (s využitím veřejně dostupného GPT‑5.6 Sol), aby posoudil zabezpečení webu gregbrockman.com(otevře se v novém okně). Je to jednoduchý statický web hostovaný na AWS, před nímž jako vstupní brána funguje Cloudflare, takže jsem předpokládal, že prostor pro zranitelnosti nebude velký.
Asi za 15 minut odhalil 13 problémů. Mnohé z nich pravděpodobně nelze zneužít samostatně, ale dokázal jsem si představit, že by v kombinaci s dalšími zranitelnostmi mohly mít závažné důsledky. Záznamy DNS jsem neměl nastavené tak, aby útočníkům bránily v padělání e-mailů mým jménem. Web používal nezabezpečenou verzi jQuery a Cloudflare předával požadavky do AWS přes nešifrovaný protokol HTTP.
Poté jsem ChatGPT Work požádal, aby tyto problémy opravil, což během hodiny udělal. V mém prohlížeči otevřel ovládací panel Cloudflare a postupným klikáním na řadu tlačítek správně nakonfiguroval DNS, TLS a pokročilá nastavení zabezpečení. Z webu úplně odstranil jQuery, provedl migraci z AWS na Cloudflare Pages a zahájil postupné zavádění DMARC(otevře se v novém okně).
A to šlo jen o můj osobní web. Je to drobný příklad toho, jak mohou naše současné modely fungovat jako kybernetický strážce: vyhledají množství méně obvyklých problémů, na které by člověk neměl čas ani potřebné odborné znalosti (řadu opravených nastavení znám jen zběžně a nedokázal bych bez přípravy říct, jak je správně nakonfigurovat), a poté je opraví pomocí vhodně nastaveného plánu zavádění.
Incident Hugging Face ukázal, že jsme podcenili skutečné kyberbezpečnostní schopnosti svých modelů umělé inteligence. Odpovídajícím způsobem zpřísňujeme své bezpečnostní požadavky, což zase dodává ještě větší naléhavost našemu stávajícímu výzkumu bezpečnosti a internímu zabezpečení.
Rád bych se nyní podělil o část našeho přístupu k zabezpečení OpenAI v naději, že bude užitečný i pro jiné organizace. Do ochrany OpenAI výrazně investujeme jak prostřednictvím základních kontrolních mechanismů – tedy správně nastavených základů –, tak posilováním obrany pomocí průkopnické inteligence. Tato strategie stojí na čtyřech hlavních pilířích.
Zaprvé používáme naše modely k lepšímu zabezpečení našeho kódu. Codex včetně našeho bezpečnostního pluginu ověřuje změny kódu, odhaluje zranitelnosti a pomáhá vývojářům opravit problémy ještě před nasazením. Nechceme pouze produkovat více bezpečnostních nálezů, které musí ověřovat lidé. Cílem je zachytit skutečné zranitelnosti před vydáním a zkrátit cestu od odhalení problému k bezpečnému nasazení opravy. Naše modely dál trénujeme, aby vytvářely stále bezpečnější kód. Naším cílem je u nově vytvořeného kódu zcela odstranit některé kategorie softwarových zranitelností.
Zadruhé své modely nasazujeme k nepřetržité ochraně naší infrastruktury. Téměř všechna naše prvotní bezpečnostní upozornění dnes nejprve vyhodnocuje inteligence a teprve poté se zapojují lidé. Obráncům to ubírá rutinní práci, zrychluje reakci a umožňuje lidem věnovat se tomu, kde nejlépe uplatní své schopnosti – rozlišování, úsudku a praktickým odborným znalostem. Tato zjištění stále častěji propojujeme s omezenými automatizovanými reakcemi, přičemž za rozhodnutí s největším dopadem nadále odpovídají lidé. Cílem je zajistit, abychom bezpečnostní problémy dokázali odhalovat a řešit strojovou rychlostí.
Zatřetí využíváme průkopnickou inteligenci k nepřetržitému mapování, prověřování a odhalování možných cest útoku. Odhalováním zranitelností, chybných konfigurací, účtů s nadměrnými oprávněními či nezáměrných hranic důvěry dokážeme tyto mezery rychle najít a odstranit dříve, než je útočníci zneužijí. Díky tomu můžeme ve svých produktech, infrastruktuře a systémech průběžně posuzovat, monitorovat a testovat bezpečnostní invarianty – vlastnosti zabezpečení, o nichž předpokládáme, že platí.
A konečně výrazně investujeme do základů ve velkém měřítku. Nadále investujeme do bezpečné architektury a kontrolních mechanismů, uplatňujeme strategie, jako je vícevrstvá obrana a zásada nejnižších oprávnění, a navrhujeme systémy tak, aby ke katastrofické události mohlo dojít pouze při současném selhání několika nezávislých kontrolních mechanismů. Klasické bezpečnostní mechanismy, jako jsou izolace sítě, posilování zabezpečení pracovních úloh, monitorování a bezpečné opravy i nasazování, budou v budoucnosti s umělou inteligencí důležitější než kdy dřív.
Čas je rozhodující a obránci budou muset následující kroky provést závratnou rychlostí. Níže zmíním technologie OpenAI, ale v ekosystému existuje i řada konkurenčních řešení, která stojí za posouzení. Méně než na konkrétním nástroji záleží na tom, aby vaši obránci dostali schopnou umělou inteligenci do rukou už nyní.
- Získejte podporu a účast celé organizace. Bezpečnostní rizika se rychle mění. Zajistěte, aby vaše bezpečnostní a technické týmy měly podporu, partnery a prostředky potřebné k rychlému řešení těchto rizik. Provádějte se svými týmy simulační cvičení, při nichž si vyzkoušíte, jak by se tyto útoky mohly ve vaší organizaci projevit a jak na ně budete reagovat.
- Dejte svému bezpečnostnímu týmu agenta. Začněte používat Codex, bezpečnostní plugin Codex(otevře se v novém okně) nebo jiný schopný nástroj pro agentní kódování a zabezpečení. Dejte mu schválený přístup ke zdrojovým kódům, konfiguracím infrastruktury a technické dokumentaci, které váš bezpečnostní tým potřebuje posoudit. S nejdůležitějšími systémy začněte hned a nečekejte na zavedení v celé společnosti.
- Vybavte tohoto agenta odbornými znalostmi zabezpečení. Začněte s komunitou podporovanými dovednostmi(otevře se v novém okně), které zahrnují pracovní postupy pro statickou analýzu, bezpečnostní kontrolu kódu, analýzu variant zranitelností, rizika softwarového dodavatelského řetězce a další bezpečnostní činnosti. Poté si vytvořte vlastní dovednosti přizpůsobené architektuře, bezpečnostním standardům, modelům hrozeb a postupům vaší organizace.
- Okamžitě proveďte bezpečnostní posouzení vlastních systémů. Nejprve upřednostněte posouzení služeb dostupných z internetu, ověřovacích procesů, infrastruktury jako kódu, kanálů nasazování a systémů pracujících s citlivými údaji. S rostoucí jistotou týmu rozšiřujte rozsah kontrol.
- Zpracujte stávající seznam nevyřešených zranitelností. Poskytněte agentovi nálezy ze skenerů kódu, upozornění na závislosti, bezpečnostní tikety, hlášení z programů odměn za nalezené chyby a předchozí posouzení. Požádejte ho, aby nálezy vyhodnotil, odlišil zneužitelné problémy od šumu, našel související zranitelnosti v jiných částech zdrojového kódu a doporučil pořadí oprav.
- Začleňte bezpečnostní kontrolu přímo do vývoje. Pomocí agentů kontrolujte změny kódu před jejich sloučením a spouštějte bezpečnostní kontroly v CI. Hledejte chyby ověřování, možnosti obejití řízení přístupu, odhalené přihlašovací údaje, nebezpečné závislosti, nezabezpečená výchozí nastavení, změny rozšiřující přístup k produkčním systémům a další zranitelnosti.
- Nechte agenta pomoci s opravou nalezených problémů. U ověřených problémů ho požádejte, aby vytvořil a ověřil cílenou opravu, napsal regresní test a potvrdil, že zranitelnost již nelze reprodukovat. U změn se závažnými dopady zachovejte lidskou kontrolu, ale odstraňte zbytečné prodlevy mezi odhalením skutečného problému a předložením bezpečné opravy technikovi.
- Postupně automatizujte vyhodnocování detekcí. Nezačínejte snahou vybudovat autonomní bezpečnostní operační centrum. Začněte bezpečnostní kontrolou jednoho úložiště v režimu pouze pro čtení nebo nechte agenta prověřit již vyřešená upozornění pomocí přístupu ke stávajícím protokolům pouze pro čtení. Nechte ho shrnout důkazy a doporučit způsob řešení, zatímco všechna rozhodnutí bude dělat člověk. S rostoucí důvěrou přejděte k poradní kontrole pull requestů, poté k vyhodnocování upozornění v reálném čase a nakonec k automatickému uzavírání úzce vymezených falešně pozitivních nálezů.
- Připravte si možnosti forenzního vyšetřování s podporou umělé inteligence dříve, než je budete potřebovat. Požádejte o přístup Trusted Access for Cyber(otevře se v novém okně) a nechte svůj tým schválit k používání GPT‑Daybreak‑Blue pro autorizovanou obrannou činnost včetně řešení incidentů, vývoje detekcí a analýzy malwaru. Procvičujte používání těchto možností k analýze protokolů, telemetrie a bezpečnostních upozornění.
- Experimentujte, pořádejte hackingové týdny a rychle se zlepšujte. Pro svět, do kterého směřujeme, budeme muset vytvořit nejrůznější nové nástroje, změnit způsob práce a zvýšit schopnosti všech pracovníků. Povzbuzujte zaměstnance k experimentování, naplánujte hackingový týden zaměřený na vývoj nových schopností a soustřeďte se na rychlé zdokonalování cyklů, které automatizují malé části problému. Rychlý postup po malých krocích přináší násobící se výsledky v obraně a s rostoucí důvěrou týmu můžete postupně rozšiřovat míru autonomie.
Žádná společnost to nezvládne sama. Žádáme proto laboratoře umělé inteligence, dodavatele bezpečnostních řešení, podniky a správce, aby sdíleli ověřené nálezy, opravy a praktické postupy. Objev jedné organizace tak může posílit celý ekosystém.
Okno příležitosti pro obránce je otevřené právě teď. V nadcházejících měsících bude muset každá organizace začít výrazně automatizovat svůj bezpečnostní program, aby zůstala v bezpečí. Bezpečnostní komunita musí urychleně definovat nástroje, postupy a scénáře, které s pokračujícím rozvojem umělé inteligence zvýší sílu obránců rychleji než sílu útočníků. Bude to vyžadovat obrovské a bezprecedentní úsilí. Ale pokud spojíme síly, můžeme vytvořit svět, který bude bezpečnější, než jsme si kdy dokázali představit.
