Řízení rizik průkopnické AI: Od trénování k nasazení
18. listopadu 2026 · Bezpečnost
Schopnosti průkopnických modelů se rychle rozvíjejí. Naše schopnost jim porozumět, sladit je a zabezpečit je musí být o krok napřed. Záměrně omezujeme tempo vývoje a vydávání modelů. Pokud potřebujeme více času na splnění bezpečnostních standardů, pozastavujeme interní trénování(otevře se v novém okně) nebo odkládáme vydání modelů, jako je GPT‑6.1 Astra. Zavedli jsme nové postupy, například bezpečnostní argumentaci, a během celého trénování vyžadujeme přesvědčivější důkazy o sladěném chování. Tyto požadavky zpomalují vydávání modelů, ale dávají nám větší jistotu, že můžeme pokročit vpřed bezpečně.
Od červencového incidentu na Hugging Face jsme posílili ochrany i požadavky na sladění při trénování, testování a nasazování modelů. Tento článek vysvětluje, jak hodnotíme a řídíme rizika v každé fázi – od důkladně izolovaných trénovacích prostředí až po Codex, který používáte na svém počítači. V každé fázi hodnotíme modely i ochranná opatření. Přechod do další fáze vyžaduje bezpečnostní přezkum.
Používáme hloubkovou obranu s několika vrstvami ochrany, které snižují závislost na jednotlivých opatřeních. Pokud jedna vrstva selže, ostatní pomáhají předcházet škodám, omezit následky nebo nás upozornit, abychom mohli zasáhnout.
Naše ochranná opatření dělíme do čtyř vrstev:
Účinné monitorování závisí na monitorovatelnosti modelu – tedy na tom, jak spolehlivě mohou monitorovací systémy odhalit chyby či nebezpečné chování z jeho uvažování a akcí. Například model, který ve svém myšlenkovém řetězci (CoT) slovně vyjádří záměr podvádět, je monitorovatelnější než model, který tuto informaci vynechá. Monitorovatelnost hodnotíme během trénování i před nasazením, vyvíjíme lepší metody jejího měření(otevře se v novém okně) a zkoumáme, co ji ovlivňuje(otevře se v novém okně).
Incident na Hugging Face ukázal, proč bychom se při omezování velmi schopných modelů neměli spoléhat pouze na sandboxy. Průkopnické modely nyní monitorujeme ve většině interních i externích nasazení, včetně všech interních nasazení využívajících nástroje.
Úloha každé vrstvy se mění ve třech fázích vývoje a nasazování modelů:
Výzkum: Modely trénujeme, testujeme a používáme v sandboxových prostředích.
Interní nasazení: Zaměstnanci OpenAI používají modely při skutečné práci.
Externí nasazení: Modely zpřístupňujeme širšímu okruhu lidí a organizací.
V různých fázích spoléháme na různé vrstvy. Během trénování, kdy je sladění méně jisté, se více spoléháme na sandboxy a monitorování. S rozšiřováním přístupu modelů během nasazení roste význam sladění a systémových kontrolních mechanismů. V každé fázi hodnotíme, zda kombinace ochran odpovídá schopnostem modelu a rozsahu jeho přístupu. Naše závěry může přezkoumat Poradní skupina pro bezpečnost. Dohled nad nimi vykonává Výbor pro bezpečnost a ochranu správní rady OpenAI Foundation.
Ve výzkumné fázi modely hodnotíme, abychom získali jistotu o jejich sladění. Protože se při předcházení škodám zatím nemůžeme na sladění plně spoléhat, výrazně využíváme zabezpečení a sandboxy k omezení toho, k čemu mají modely přístup a co mohou dělat.
S ohledem na současný stav výzkumu sladění, monitorovacích systémů a zabezpečení internetové infrastruktury považujeme za odpovědné trénovat průkopnické modely bez přímého přístupu k internetu. Po incidentu na Hugging Face jsme zásadně přestavěli interní výzkumné systémy, abychom modely omezili pomocí:
sandboxů, které omezují oprávnění modelu
virtuálních strojů, které dále izolují úlohu od hostitelského počítače
síťových a cloudových perimetrů, které odpojují celý cluster od internetu
Systém průběžně podrobujeme red-teamingu. Týmy našich nejsilnějších modelů se pokoušejí připojit k internetu, překonat bezpečnostní hranice nebo komunikovat s agenty, od nichž mají být izolovány. Tím ověřujeme, zda izolace odolá schopnostem modelů, které má omezovat.
Jako další vrstvu obrany monitorujeme veškerou inferenci průkopnických modelů, abychom zjistili, zda model neobešel naše bezpečnostní podmínky. Pokud monitorování odhalí, že se model připojil k internetu, vyrozumíme bezpečnostní týmy a úlohu automaticky pozastavíme.
Monitorování je zásadní pojistkou pro případ selhání izolace. V nedávné zprávě o nesladěnosti jsme uvedli, že monitorovací systémy odhalily interní výzkumný model zneužívající chybnou konfiguraci DNS(otevře se v novém okně) k získání omezeného přístupu k internetu. Od 20. září do 1. října jsme pozastavili trénování a hodnocení našich nejschopnějších modelů, zatímco jsme incident vyšetřovali a odstraňovali bezpečnostní mezeru.
Pro rychlé a spolehlivé zásahy jsme vytvořili Control Room, centrální systém, který sleduje výzkumné úlohy a do 35 sekund od přijetí pokynu k zastavení úlohy zamezí dalšímu výstupu modelu. Tyto mechanismy se uplatňují přímo v inferenční infrastruktuře, takže nezávisí na tom, zda má každá výzkumná úloha vlastní mechanismus vypnutí. U výzkumných úloh s průkopnickými modely zastaví výstup modelu i tehdy, když je Control Room nedostupný.
Red-teaming a monitorování se doplňují. Nemůžeme zaručit, že je sandbox neproniknutelný. Red-teaming nám ale pomáhá odhadnout, kolik úsilí by model potřeboval k úniku. Čím více úsilí musí model vynaložit, tím větší mají monitorovací systémy příležitost jej odhalit a zastavit.
Ve výzkumné fázi vyžadujeme důsledné zabezpečení a monitorování z několika důvodů:
Hodnocení modelů stále probíhá. Některé ještě neprošly bezpečnostním trénováním, audity sladění a kontrolami nutnými pro veřejné vydání.
Podmínky průkopnického výzkumu mohou zvyšovat rizika. Některé výzkumné úlohy vyžadují ambicióznější konfigurace, v nichž je model vytrvalejší nebo schopnější než při běžném externím nasazení (například k vyřešení problému Navierových–Stokesových rovnic byl potřeba tým 10 000 agentů).
Trénování probíhá ve velkém měřítku s menším přímým lidským dohledem. Na rozdíl od běžné práce s Codexem zahrnují naše trénovací úlohy velké množství akcí modelu, aniž by člověk sledoval každou interakci.
Před širším vydáním zaměstnanci přecházejí od výzkumného využití průkopnických modelů v sandboxu k internímu využití mimo něj, například když jim model zpřístupníme v ChatGPT. Díky tomu lépe rozumíme tomu, jak se modely chovají v praxi(otevře se v novém okně), a získáváme podklady pro rozhodování o nasazení.
V této fázi modelu dáváme širší přístup k internetu, našemu Slacku, zdrojovému kódu a interní infrastruktuře. To výrazně mění rizika, protože akce modelu nyní přímo ovlivňují systémy, které používáme k rozvoji a provozu OpenAI. Při interním nasazení se musíme více spoléhat na sladění modelu, systémové ochrany a monitorování než na zabezpečení.
Než lze průkopnický model nasadit mimo sandbox, musí nejprve projít testy sladění a monitorovatelnosti(otevře se v novém okně). Používáme sadu hodnocení sladění, která testují konkrétní typy selhání (například obcházení bezpečnostních omezení) i obecné sklony modelu (například opakovaným vzorkováním interních průběhů práce Codexu a kontrolou nesladěnosti). Více o našich hodnoceních sladění a monitorovatelnosti najdete v nejnovější kartě systému GPT‑6 Astra(otevře se v novém okně).
Po vzoru produkčního prostředí přidáváme další vrstvu obrany v podobě systémových klasifikátorů. Ty mají chránit před hrozbami spojenými s průkopnickými modely, například kybernetickým zneužitím nebo využitím k tvorbě biologických zbraní. Od zaměstnanců používajících Codex také zpravidla vyžadujeme Auto-Review(otevře se v novém okně), které posuzuje potenciálně rizikové akce a předává je zpět uživateli k rozhodnutí.
Při interním nasazení navíc při každé inferenci průkopnických modelů monitorujeme nesladěné chování. Protože model má nyní širší oprávnění a přístup k interním informacím a systémům, je obzvlášť důležité odhalovat rizika, jako je exfiltrace dat neboli odesílání citlivých dat na neoprávněné místo. Monitorování nám také pomáhá zkoumat nové formy nesladěnosti(otevře se v novém okně).
Při veřejném nasazení se modely setkávají s mnohem více uživateli, úlohami a prostředími, což zvyšuje rozsah i rozmanitost rizik. V této fázi se také musíme chránit před potenciálními útočníky, kteří model záměrně navádějí ke škodlivému jednání.
Před veřejným vydáním musí modely i systémové ochrany splňovat naše bezpečnostní požadavky pro externí nasazení. Posuzujeme je těmito způsoby:
Provádíme širší sadu hodnocení sladění a bezpečnosti. U průkopnických modelů to zahrnuje nová kola adaptivního testování s našimi interními automatizovanými nástroji pro red-teaming, které důkladně prověřují odolnost modelu. Výsledky hodnocení schopností a bezpečnosti zveřejňujeme v našich kartách systémů(otevře se v novém okně).
Naše nejschopnější modely testujeme také s třetími stranami, abychom důkladně prověřili ochranu před zneužitím i samotné sladění modelů.
Zkoumáme upozornění z monitorování během interního nasazení, abychom sledovali případné změny ve sladění základního modelu.
Kromě „synchronních“ ochran (například bezpečnostního trénování modelů a systémových klasifikátorů) využíváme při externím nasazení také následné vymáhání pravidel a vyšetřování mimo reálný čas. Tyto týmy kombinují vyšetřovací agenty pracující ve velkém měřítku s lidskou kontrolou, aby odhalovaly a určovaly možné původce hrozeb. Zabývají se kybernetickým zneužitím, tvorbou biologických zbraní, destilací i nesladěností samotného modelu. Následné vymáhání pravidel je obzvlášť užitečné pro shromažďování informací napříč účty, které umožňuje získat ucelenější obraz možné hrozby.
Programy přístupu pro důvěryhodné uživatele, jako jsou Daybreak a Rosalind, přidávají další vrstvu zabezpečení. Urychlují práci obránců a legitimních výzkumníků a zároveň brání v přístupu potenciálním útočníkům.
Když zjistíme selhání některé bezpečnostní vrstvy, chceme je rychle prošetřit, určit jeho závažnost a podle možností a vhodnosti ho zveřejnit – bez ohledu na to, zda skutečně došlo ke škodě. Podle našich zásad informování o nesladěnosti může incident navrhnout ke zveřejnění kterýkoli zaměstnanec. Tato hlášení prošetřujeme. Pokud se neshodneme, zda je zveřejnit, předáváme rozhodnutí naší Poradní skupině pro bezpečnost. Nespoléháme jen na hlášení zaměstnanců. Incidenty spojené s nesladěností také aktivně vyhledáváme, abychom je mohli řešit a sdílet zjištění.
Naše zprávy o nesladěnosti najdete zde(otevře se v novém okně).
Tato práce závisí na pokroku ve výzkumu i na provozní důslednosti: správném nastavení kontrolních mechanismů, testování jejich součinnosti a rozhodné reakci při selhání. Chybně nastavená síťová služba nebo selhání automatického zastavení může oslabit jinak silné ochrany.
S novými schopnostmi modelů budeme muset průběžně prověřovat předpoklady, na nichž naše ochrany stojí, a podle potřeby je zlepšovat. Poznatky z výzkumu, interního používání i veřejného nasazení musí ovlivňovat to, jak další modely trénujeme, hodnotíme a nasazujeme.
Zjištění budeme dál sdílet prostřednictvím karet systémů, zpráv o incidentech, zpráv o rizicích(otevře se v novém okně) interního nasazení a externích hodnocení, aby ostatní mohli náš přístup kriticky posoudit včetně jeho omezení. Pokud důkazy nebudou dostatečné pro splnění našich bezpečnostních standardů, znovu pozastavíme trénování nebo odložíme vydání, dokud požadavky nebudou splněny.
Stanovování bezpečnostních standardů
Řízení tempa vývoje modelů v éře schopností zásadních pro kybernetickou bezpečnost — Jak jsme zpomalili trénování průkopnických modelů, posílili izolaci, rozšířili monitorování a zpřísnili požadavky na důkazy o sladění.
Cesta k bezpečnostní argumentaci při trénování průkopnické AI — Úvodní pokyny pro bezpečnostní argumentaci podloženou důkazy, zahrnující technické ochrany, provozní postupy a vyšetřování nesouladu.
Priority a principy účinného posuzování třetími stranami — Náš návrh přístupu k nezávislému přezkumu dokladů bezpečnosti, ochran, hodnocení a chování modelů.
Pravidelný souhrn hodnocení katastrofických rizik interního používání(otevře se v novém okně) — Veřejná zpráva za červen až září 2026 popisuje interní nasazení průkopnických modelů, posouzení jejich rizik a změny ochran i řízení.
Definování a hodnocení sladěného chování
Aktualizovaná specifikace modelu pro schopnější a přínosnější AI — Jak jsme specifikaci modelu upravili kolem pěti základních hodnot, které mají vést úsudek a chování modelů i jejich respekt k lidskému dohledu.
Rozdíly v bezpečnosti agentů při hodnocení a v provozu a role povědomí o hodnocení(otevře se v novém okně) — Studie rozdílů mezi výsledky bezpečnostních hodnocení a chováním v provozu, včetně vlivu toho, jak modely chápou cíle hodnocení.
Nad rámec g-mean²: doplňkové metriky monitorovatelnosti(otevře se v novém okně) — Nové metriky pro porovnávání monitorovatelnosti a odhad zbytkového rizika v simulovaných systémech, kde monitorovací systémy odmítají výstupy modelů.
Karta systému GPT‑6 Astra(otevře se v novém okně) — Podrobná hodnocení schopností, bezpečnosti, sladění a monitorovatelnosti modelu Astra spolu s ochranami a omezeními při nasazení.
Izolace modelů a zlepšování ochran
Zabezpečení prostředí pro trénování našich průkopnických modelů — Jak jsme posílili izolaci, vybudovali výzkumná prostředí bez připojení k internetu a využili naše nejsilnější modely k testování hranic izolace.
Trénování klasifikátorů aktivací pro bezpečnost a sladění(otevře se v novém okně) — Jak klasifikátory využívají vnitřní aktivace modelů k odhalování potenciálně škodlivého chování a přerušování odpovědí či volání nástrojů.
Automatická kontrola akcí agentů bez synchronního lidského dohledu(otevře se v novém okně) — Jak samostatný kontrolní agent posuzuje akce překračující hranice sandboxu, umožňuje programovacím agentům pracovat samostatně a blokuje potenciálně škodlivé či neoprávněné akce.
GPT‑Red: Sebezdokonalováním k vyšší odolnosti — Jak trénujeme automatizované nástroje pro red-teaming hrou proti sobě samým, aby odhalovaly zranitelnosti a zvyšovaly odolnost modelů vůči útokům typu prompt injection.
Control Room — Jak sledujeme úlohy napříč výzkumnou infrastrukturou a zajišťujeme rychlé zastavení výstupu modelů, když bezpečnostní rizika vyžadují zásah.
Reakce na incidenty a jejich zveřejňování
Jak odhalujeme nesoulad průkopnických modelů — Náš monitorovací systém kombinuje sondy aktivací, kontrolu pomocí modelů, automatizované vyšetřování a lidskou reakci k odhalování a prošetřování znepokojivého chování.
Incident na Hugging Face a další postup — Naše zjištění z incidentu na Hugging Face a změny v zabezpečení, monitorování a sladění, pro které byl impulsem.
Agent využil DNS k připojení k externímu chatbotu(otevře se v novém okně) — Jak výzkumný model obešel omezení internetu kvůli nedostatečnému filtrování DNS, jak to monitorování odhalilo a jaká opatření jsme následně přidali.
Narušení koordinované kampaně zaměřené na destilaci modelů — Jak jsme vyšetřili a narušili pokusy o získání chráněného uvažování modelů pomocí zásahů proti účtům, technických opatření a spolupráce s partnery.
Náš rámec pro hlášení nesladěnosti modelů — Náš postup pro sledování, vyšetřování a zveřejňování znepokojivého chování modelů, včetně případů, jejichž příčiny či význam jsou zatím nejasné.
Zprávy a oznámení o nesladěnosti(otevře se v novém okně) — Soubor zveřejněných incidentů a oznámení ukazujících, jak nesladěnost vzniká a kde ochrany fungují či selhávají.
Pokrok ve výzkumu a jeho využití
Zrychlování výzkumu: Pohled zevnitř OpenAI — První poznatky o tom, jak programovací agenti mění výzkum v OpenAI: jejich rostoucí využití, stále složitější úlohy a vliv na experimentování.
K problému tisíciletí pro Navierovy–Stokesovy rovnice — Matematický důkaz vytvořený interním systémem AI, doplněný formalizací v jazyce Lean, ukazuje schopnosti výzkumných nasazení ve velkém měřítku.
Daybreak — Náš program kybernetické bezpečnosti poskytuje prověřeným obráncům pokročilé schopnosti AI, bezpečnostní nástroje a podporu při hledání zranitelností a posilování obrany.
Představujeme GPT‑Rosalind pro výzkum v biologických vědách — Specializovaný model pro biologii, objevování léčiv a translační medicínu, dostupný způsobilým organizacím v programu přístupu pro důvěryhodné uživatele.






