Posilování kybernetické odolnosti souběžně s rozvojem schopností umělé inteligence

Kybernetické schopnosti modelů AI se rychle rozvíjejí a přinášejí významné přínosy ke kybernetické obraně, ale přinášejí také nová rizika dvojího použití, která je nutné pečlivě řídit. Například schopnosti hodnocené prostřednictvím úloh typu capture-the-flag (CTF) se zlepšily z 27 % u GPT‑5⁠(otevře se v novém okně) v srpnu 2025 na 76 % u GPT‑5.1‑Codex‑Max⁠(otevře se v novém okně) v listopadu 2025.

Očekáváme, že budoucí modely umělé inteligence budou v tomto směru pokračovat; v rámci příprav plánujeme a hodnotíme, jako by každý nový model mohl dle našeho rámce připravenosti⁠(otevře se v novém okně) dosáhnout „vysoké“ úrovně schopností v oblasti kybernetické bezpečnosti. Máme tím na mysli modely, které buď dokážou vyvinout funkční zero-day vzdálené exploity proti dobře chráněným systémům, nebo smysluplně napomáhat při komplexních, skrytých pokusech o infiltraci do podniků či průmyslových cílů zaměřených na dopady v reálném světě. Tento příspěvek vysvětluje, jak přemýšlíme o ochranných opatřeních pro modely, které dosahují těchto úrovní schopností, a jak zajišťujeme, aby smysluplně pomáhaly obráncům a zároveň omezovaly zneužití.

S tím, jak se tyto schopnosti rozvíjejí, investuje OpenAI do posilování našich modelů pro úkoly obranné kybernetické bezpečnosti a do vytváření nástrojů, které obráncům umožňují snadněji provádět pracovní postupy, jako jsou audit kódu a opravování zranitelností. Naším cílem je, aby naše modely a produkty přinášely obráncům významné výhody, protože často čelí početní převaze a nedostatku zdrojů.

Stejně jako jiné oblasti dvojího užití se defenzivní i ofenzivní kybernetické postupy často opírají o stejné základní znalosti a techniky. Investujeme do ochranných opatření, která mají pomoci zajistit, aby tyto výkonné schopnosti sloužily především k obranným účelům a omezily posílení schopností ke škodlivým účelům. Kybernetická bezpečnost zasahuje téměř do všech oblastí, což znamená, že se nemůžeme spoléhat na žádnou jedinou kategorii bezpečnostních opatření (například pouze na omezování znalostí nebo využívání prověřeného přístupu), ale místo toho potřebujeme hloubkový přístup k obraně, který vyváží rizika a posílí postavení uživatelů. V praxi to znamená utvářet způsob, jakým se ke schopnostem přistupuje, jak jsou vedeny a jak se používají tak, aby pokročilé modely posilovaly bezpečnost a nesnižovaly bariéry pro zneužití.

Tuto práci nevnímáme jako jednorázové úsilí, ale jako trvalou a dlouhodobou investici, která dává obráncům výhodu a průběžně posiluje stav zabezpečení kritické infrastruktury v celém širším ekosystému.

Naše modely jsou navrženy a trénovány tak, aby fungovaly bezpečně, a jsou podporovány proaktivními systémy, které odhalují kybernetické zneužívání a reagují na něj. Tyto ochranné prvky neustále zdokonalujeme s tím, jak se mění naše schopnosti a prostředí hrozeb. Ačkoli žádný systém nemůže zaručit to, že úplně zabrání kybernetickému zneužití bez výrazného omezení obranného využití, naší strategií je zmírňovat riziko prostřednictvím vícevrstvého bezpečnostního systému.

V tomto ohledu volíme hloubkovou obranu, která se opírá o kombinaci kontrol přístupu, posílení infrastruktury, výstupní kontroly a monitorování. Tato opatření doplňujeme o detekční a reakční systémy a o specializované programy pro rozpoznávání hrozeb a programy zaměřené na interní rizika, díky nimž jsou nově vznikající hrozby rychle identifikovány a blokovány. Tato ochranná opatření jsou navržena tak, aby se vyvíjela s vývojem hrozeb. Počítáme se změnami a vytváříme věci tak, abychom se mohli rychle a vhodně přizpůsobit.

Stavíme na těchto základech:

• Trénování modelu k odmítání nebo bezpečné reakci na škodlivé požadavky při zachování užitečnosti pro vzdělávací a obranné případy použití: Naše průkopnické modely trénujeme tak, aby odmítaly nebo bezpečně reagovaly na požadavky, které by mohly vést ke zneužití v kyberprostoru, a zároveň zůstávaly maximálně užitečné pro legitimní vzdělávací a obranné případy použití.
• Systémy detekce: Zdokonalujeme a udržujeme systémový monitoring v rámci produktů, které využívají průkopnické modely k detekci potenciálně škodlivé kybernetické aktivity. Když se aktivita jeví jako nebezpečná, můžeme zablokovat výstup, směrovat prompty do bezpečnějších nebo méně výkonných modelů, nebo věc předat k vynucení opatření. Naše vymáhání pravidel kombinuje automatizovanou i lidskou kontrolu a vychází z faktorů, jako jsou právní požadavky, závažnost a opakované chování. Také úzce spolupracujeme s vývojáři a firemními zákazníky, abychom sladili bezpečnostní standardy a umožnili odpovědné používání s jasně stanovenými postupy předávání.
• Komplexní red-teaming: Spolupracujeme s odbornými organizacemi zaměřenými na red-teaming, abychom mohli vyhodnotit a zlepšit naše bezpečnostní opatření. Jejich úkolem je pokusit se obejít veškerou naši obranu tím, že budou pracovat komplexně, stejně jako by to dokázal odhodlaný a dobře vybavený protivník. To nám pomáhá včas odhalit nedostatky a posílit celý systém.

Společnost OpenAI včas investovala do využití umělé inteligence pro obranu v oblasti kybernetické bezpečnosti a náš tým úzce koordinuje spolupráci s globálními odborníky tak, aby rozvíjel naše modely i jejich využití. Vážíme si globální komunity odborníků na kybernetickou bezpečnost, kteří pracují na tom, aby byl náš digitální svět bezpečnější, a jsme odhodláni poskytovat výkonné nástroje na podporu obranné bezpečnosti. Při zavádění nových ochranných opatření budeme i nadále spolupracovat s komunitou věnující se kybernetické bezpečnosti, abychom pochopili, kde může AI smysluplně posílit odolnost a kde jsou nejdůležitější promyšlená opatření.

Vedle těchto spoluprací zavádíme také soubor iniciativ, které mají pomoci bezpečnostním týmům postupovat rychleji, ukotvit naše ochranná opatření ve skutečných potřebách a urychlit zodpovědnou nápravu ve velkém měřítku.

Brzy představíme program důvěryhodného přístupu, v rámci kterého prozkoumáme možnosti poskytování odstupňování přístupu k rozšířeným funkcím v našich nejnovějších modelech pro obranné účely. Stále zkoumáme správnou hranici mezi tím, ke kterým schopnostem můžeme poskytnout široký přístup a které schopnosti vyžadují vrstvená omezení. To může ovlivnit budoucí podobu tohoto programu. Naším cílem je, aby tento program důvěryhodného přístupu byl stavebním kamenem na cestě k odolnému ekosystému.

Aardvark, náš bezpečnostní výzkumník, který pomáhá vývojářům a bezpečnostním týmům nacházet a opravovat zranitelná místa ve velkém měřítku, je nyní v soukromé beta verzi. Prohledává zranitelná místa v kódové základně a navrhuje opravy, které mohou správci rychle implementovat. Uvažováním nad celou kódovou základnou již identifikoval nové CVE v open-source softwaru. Plánujeme nabídnout bezplatné pokrytí vybraným nekomerčním open-source repozitářům, abychom přispěli k bezpečnosti ekosystému open-source softwaru a dodavatelského řetězce. Přihlaste se k účasti zde.

Založíme Radu pro rizika nejvyspělejších technologií, poradní skupinu, která umožní zkušeným kybernetickým obráncům a odborníkům z oblasti bezpečnosti úzce spolupracovat s našimi týmy. Tato rada se zpočátku zaměří na kybernetickou bezpečnost a v budoucnu rozšíří svou působnost i do oblastí dalších vyspělých schopností. Členové budou radit ohledně hranice mezi užitečnou a zodpovědnou schopností a potenciálním zneužitím a tyto poznatky budou přímo ovlivňovat naše hodnocení a ochranná opatření. Brzy zveřejníme více informací o radě. 

A konečně předpokládáme, že zneužití v kybernetické oblasti může být možné u jakéhokoli průkopnického modelu v tomto odvětví. Abychom to vyřešili, spolupracujeme s dalšími průkopnickými laboratořemi prostřednictvím Frontier Model Forum, neziskové organizace podporované předními laboratořemi v oblasti AI a průmyslovými partnery, na vytvoření sdíleného porozumění modelům hrozeb a osvědčeným postupům. Modelování hrozeb pomáhá v tomto kontextu zmírňovat rizika tím, že identifikuje, jak by mohly být schopnosti AI zneužity jako zbraň, kde se nacházejí kritická úzká místa pro různé aktéry hrozeb a jak by průkopnické modely mohly přinést smysluplné zlepšení. Cílem této spolupráce je vybudovat konzistentní, ekosystémové porozumění aktérům hrozeb a cestám útoků, což umožní laboratořím, správcům a obráncům lépe zlepšovat svá opatření k zmírnění hrozby a zajistit rychlé šíření kritických bezpečnostních poznatků v celém ekosystému. S externími týmy také spolupracujeme na vývoji hodnocení kybernetické bezpečnosti⁠(otevře se v novém okně). Doufáme, že ekosystém nezávislých hodnocení dále pomůže budovat společné porozumění schopnostem modelů.

Toto úsilí společně odráží náš dlouhodobý závazek posilovat obrannou stránku ekosystému. S tím, jak se modely stávají výkonnějšími, je naším cílem zajistit, aby se tyto schopnosti proměnily ve skutečný nástroj pro obránce, který bude založený na potřebách reálného světa, formovaný na základě odborných vstupů a nasazovaný s maximální opatrností. Vedle této práce plánujeme prozkoumat další iniciativy a granty v oblasti kybernetické bezpečnosti, které pomohou odhalit průlomové nápady mimo tradiční postupy, a shromáždit odvážná a kreativní obranná řešení z celé akademické sféry, průmyslu i open-source komunity. Celkově vzato se jedná o neustálou práci a očekáváme, že tyto programy budeme dále vyvíjet, jakmile se dozvíme, co nejefektivněji podporuje bezpečnost v reálném světě.