OpenAI

Řízení rizik průkopnické AI: Od trénování k nasazení

18. listopadu 2026 · Bezpečnost

Schopnosti průkopnických modelů se rychle rozvíjejí. Naše schopnost jim porozumět, sladit je a zabezpečit je musí být o krok napřed. Záměrně omezujeme tempo vývoje a vydávání modelů. Pokud potřebujeme více času na splnění bezpečnostních standardů, pozastavujeme interní trénování⁠(otevře se v novém okně) nebo odkládáme vydání modelů, jako je GPT‑6.1 Astra. Zavedli jsme nové postupy, například bezpečnostní argumentaci, a během celého trénování vyžadujeme přesvědčivější důkazy o sladěném chování. Tyto požadavky zpomalují vydávání modelů, ale dávají nám větší jistotu, že můžeme pokročit vpřed bezpečně.

Od červencového incidentu na Hugging Face⁠ jsme posílili ochrany i požadavky na sladění při trénování, testování a nasazování modelů. Tento článek vysvětluje, jak hodnotíme a řídíme rizika v každé fázi – od důkladně izolovaných trénovacích prostředí až po Codex, který používáte na svém počítači. V každé fázi hodnotíme modely i ochranná opatření. Přechod do další fáze vyžaduje bezpečnostní přezkum.

Hloubková obrana v celém životním cyklu modelu

Používáme hloubkovou obranu s několika vrstvami ochrany, které snižují závislost na jednotlivých opatřeních. Pokud jedna vrstva selže, ostatní pomáhají předcházet škodám, omezit následky nebo nás upozornit, abychom mohli zasáhnout.

Naše ochranná opatření dělíme do čtyř vrstev:

Účinné monitorování závisí na monitorovatelnosti modelu – tedy na tom, jak spolehlivě mohou monitorovací systémy odhalit chyby či nebezpečné chování z jeho uvažování a akcí. Například model, který ve svém myšlenkovém řetězci (CoT) slovně vyjádří záměr podvádět, je monitorovatelnější než model, který tuto informaci vynechá. Monitorovatelnost hodnotíme během trénování i před nasazením, vyvíjíme lepší metody jejího měření⁠(otevře se v novém okně) a zkoumáme, co ji ovlivňuje⁠(otevře se v novém okně).

Incident na Hugging Face ukázal, proč bychom se při omezování velmi schopných modelů neměli spoléhat pouze na sandboxy. Průkopnické modely nyní monitorujeme ve většině interních i externích nasazení, včetně všech interních nasazení využívajících nástroje.

Úloha každé vrstvy se mění ve třech fázích vývoje a nasazování modelů:

  • Výzkum: Modely trénujeme, testujeme a používáme v sandboxových prostředích.

  • Interní nasazení: Zaměstnanci OpenAI používají modely při skutečné práci.

  • Externí nasazení: Modely zpřístupňujeme širšímu okruhu lidí a organizací.

V různých fázích spoléháme na různé vrstvy. Během trénování, kdy je sladění méně jisté, se více spoléháme na sandboxy a monitorování. S rozšiřováním přístupu modelů během nasazení roste význam sladění a systémových kontrolních mechanismů. V každé fázi hodnotíme, zda kombinace ochran odpovídá schopnostem modelu a rozsahu jeho přístupu. Naše závěry může přezkoumat Poradní skupina pro bezpečnost. Dohled nad nimi vykonává Výbor pro bezpečnost a ochranu správní rady OpenAI Foundation.

Během výzkumu: udržování modelů v sandboxových prostředích

Ve výzkumné fázi modely hodnotíme, abychom získali jistotu o jejich sladění. Protože se při předcházení škodám zatím nemůžeme na sladění plně spoléhat, výrazně využíváme zabezpečení a sandboxy k omezení toho, k čemu mají modely přístup a co mohou dělat.

S ohledem na současný stav výzkumu sladění, monitorovacích systémů a zabezpečení internetové infrastruktury považujeme za odpovědné trénovat průkopnické modely bez přímého přístupu k internetu. Po incidentu na Hugging Face jsme zásadně přestavěli interní výzkumné systémy, abychom modely omezili pomocí:

  • sandboxů, které omezují oprávnění modelu

  • virtuálních strojů, které dále izolují úlohu od hostitelského počítače

  • síťových a cloudových perimetrů, které odpojují celý cluster od internetu

Systém průběžně podrobujeme red-teamingu. Týmy našich nejsilnějších modelů se pokoušejí připojit k internetu, překonat bezpečnostní hranice nebo komunikovat s agenty, od nichž mají být izolovány. Tím ověřujeme, zda izolace odolá schopnostem modelů, které má omezovat.

Jako další vrstvu obrany monitorujeme veškerou inferenci průkopnických modelů, abychom zjistili, zda model neobešel naše bezpečnostní podmínky. Pokud monitorování odhalí, že se model připojil k internetu, vyrozumíme bezpečnostní týmy a úlohu automaticky pozastavíme.

Monitorování je zásadní pojistkou pro případ selhání izolace. V nedávné zprávě o nesladěnosti jsme uvedli, že monitorovací systémy odhalily interní výzkumný model zneužívající chybnou konfiguraci DNS⁠(otevře se v novém okně) k získání omezeného přístupu k internetu. Od 20. září do 1. října jsme pozastavili trénování a hodnocení našich nejschopnějších modelů, zatímco jsme incident vyšetřovali a odstraňovali bezpečnostní mezeru.

Pro rychlé a spolehlivé zásahy jsme vytvořili Control Room⁠, centrální systém, který sleduje výzkumné úlohy a do 35 sekund od přijetí pokynu k zastavení úlohy zamezí dalšímu výstupu modelu. Tyto mechanismy se uplatňují přímo v inferenční infrastruktuře, takže nezávisí na tom, zda má každá výzkumná úloha vlastní mechanismus vypnutí. U výzkumných úloh s průkopnickými modely zastaví výstup modelu i tehdy, když je Control Room nedostupný.

Red-teaming a monitorování se doplňují. Nemůžeme zaručit, že je sandbox neproniknutelný. Red-teaming nám ale pomáhá odhadnout, kolik úsilí by model potřeboval k úniku. Čím více úsilí musí model vynaložit, tím větší mají monitorovací systémy příležitost jej odhalit a zastavit.

Ve výzkumné fázi vyžadujeme důsledné zabezpečení a monitorování z několika důvodů:

  • Hodnocení modelů stále probíhá. Některé ještě neprošly bezpečnostním trénováním, audity sladění a kontrolami nutnými pro veřejné vydání.

  • Podmínky průkopnického výzkumu mohou zvyšovat rizika. Některé výzkumné úlohy vyžadují ambicióznější konfigurace, v nichž je model vytrvalejší nebo schopnější než při běžném externím nasazení (například k vyřešení problému Navierových–Stokesových rovnic byl potřeba tým 10 000 agentů).

  • Trénování probíhá ve velkém měřítku s menším přímým lidským dohledem. Na rozdíl od běžné práce s Codexem zahrnují naše trénovací úlohy velké množství akcí modelu, aniž by člověk sledoval každou interakci.

Interní nasazení: testování sladění a pečlivé sledování chování

Před širším vydáním zaměstnanci přecházejí od výzkumného využití průkopnických modelů v sandboxu k internímu využití mimo něj, například když jim model zpřístupníme v ChatGPT. Díky tomu lépe rozumíme tomu, jak se modely chovají v praxi⁠(otevře se v novém okně), a získáváme podklady pro rozhodování o nasazení.

V této fázi modelu dáváme širší přístup k internetu, našemu Slacku, zdrojovému kódu a interní infrastruktuře. To výrazně mění rizika, protože akce modelu nyní přímo ovlivňují systémy, které používáme k rozvoji a provozu OpenAI. Při interním nasazení se musíme více spoléhat na sladění modelu, systémové ochrany a monitorování než na zabezpečení.

Než lze průkopnický model nasadit mimo sandbox, musí nejprve projít testy sladění a monitorovatelnosti⁠(otevře se v novém okně). Používáme sadu hodnocení sladění, která testují konkrétní typy selhání (například obcházení bezpečnostních omezení) i obecné sklony modelu (například opakovaným vzorkováním interních průběhů práce Codexu a kontrolou nesladěnosti). Více o našich hodnoceních sladění a monitorovatelnosti najdete v nejnovější kartě systému GPT‑6 Astra⁠(otevře se v novém okně).

Po vzoru produkčního prostředí přidáváme další vrstvu obrany v podobě systémových klasifikátorů. Ty mají chránit před hrozbami spojenými s průkopnickými modely, například kybernetickým zneužitím nebo využitím k tvorbě biologických zbraní. Od zaměstnanců používajících Codex také zpravidla vyžadujeme Auto-Review⁠(otevře se v novém okně), které posuzuje potenciálně rizikové akce a předává je zpět uživateli k rozhodnutí.

Při interním nasazení navíc při každé inferenci průkopnických modelů monitorujeme nesladěné chování. Protože model má nyní širší oprávnění a přístup k interním informacím a systémům, je obzvlášť důležité odhalovat rizika, jako je exfiltrace dat neboli odesílání citlivých dat na neoprávněné místo. Monitorování nám také pomáhá zkoumat nové formy nesladěnosti⁠(otevře se v novém okně).

Externí nasazení: ochrana před zneužitím a nesladěností ve velkém měřítku

Při veřejném nasazení se modely setkávají s mnohem více uživateli, úlohami a prostředími, což zvyšuje rozsah i rozmanitost rizik. V této fázi se také musíme chránit před potenciálními útočníky, kteří model záměrně navádějí ke škodlivému jednání.

Před veřejným vydáním musí modely i systémové ochrany splňovat naše bezpečnostní požadavky pro externí nasazení. Posuzujeme je těmito způsoby:

  • Provádíme širší sadu hodnocení sladění a bezpečnosti. U průkopnických modelů to zahrnuje nová kola adaptivního testování⁠ s našimi interními automatizovanými nástroji pro red-teaming, které důkladně prověřují odolnost modelu. Výsledky hodnocení schopností a bezpečnosti zveřejňujeme v našich kartách systémů⁠(otevře se v novém okně).

  • Naše nejschopnější modely testujeme také s třetími stranami, abychom důkladně prověřili ochranu před zneužitím i samotné sladění modelů.

  • Zkoumáme upozornění z monitorování během interního nasazení, abychom sledovali případné změny ve sladění základního modelu.

Kromě „synchronních“ ochran (například bezpečnostního trénování modelů a systémových klasifikátorů) využíváme při externím nasazení také následné vymáhání pravidel a vyšetřování mimo reálný čas. Tyto týmy kombinují vyšetřovací agenty pracující ve velkém měřítku s lidskou kontrolou, aby odhalovaly a určovaly možné původce hrozeb. Zabývají se kybernetickým zneužitím, tvorbou biologických zbraní, destilací⁠ i nesladěností samotného modelu. Následné vymáhání pravidel je obzvlášť užitečné pro shromažďování informací napříč účty, které umožňuje získat ucelenější obraz možné hrozby.

Programy přístupu pro důvěryhodné uživatele, jako jsou Daybreak a Rosalind⁠, přidávají další vrstvu zabezpečení. Urychlují práci obránců a legitimních výzkumníků a zároveň brání v přístupu potenciálním útočníkům.

Reakce na incidenty a jejich zveřejňování

Když zjistíme selhání některé bezpečnostní vrstvy, chceme je rychle prošetřit, určit jeho závažnost a podle možností a vhodnosti ho zveřejnit – bez ohledu na to, zda skutečně došlo ke škodě. Podle našich zásad informování o nesladěnosti⁠ může incident navrhnout ke zveřejnění kterýkoli zaměstnanec. Tato hlášení prošetřujeme. Pokud se neshodneme, zda je zveřejnit, předáváme rozhodnutí naší Poradní skupině pro bezpečnost. Nespoléháme jen na hlášení zaměstnanců. Incidenty spojené s nesladěností také aktivně vyhledáváme, abychom je mohli řešit a sdílet zjištění.

Naše zprávy o nesladěnosti najdete zde⁠(otevře se v novém okně).

​


​

Tato práce závisí na pokroku ve výzkumu i na provozní důslednosti: správném nastavení kontrolních mechanismů, testování jejich součinnosti a rozhodné reakci při selhání. Chybně nastavená síťová služba nebo selhání automatického zastavení může oslabit jinak silné ochrany.

S novými schopnostmi modelů budeme muset průběžně prověřovat předpoklady, na nichž naše ochrany stojí, a podle potřeby je zlepšovat. Poznatky z výzkumu, interního používání i veřejného nasazení musí ovlivňovat to, jak další modely trénujeme, hodnotíme a nasazujeme.

Zjištění budeme dál sdílet prostřednictvím karet systémů, zpráv o incidentech, zpráv o rizicích⁠(otevře se v novém okně) interního nasazení a externích hodnocení⁠, aby ostatní mohli náš přístup kriticky posoudit včetně jeho omezení. Pokud důkazy nebudou dostatečné pro splnění našich bezpečnostních standardů, znovu pozastavíme trénování nebo odložíme vydání, dokud požadavky nebudou splněny.

Související výzkum a zdroje

Stanovování bezpečnostních standardů

Definování a hodnocení sladěného chování

Izolace modelů a zlepšování ochran

Reakce na incidenty a jejich zveřejňování

Pokrok ve výzkumu a jeho využití