Riadenie rizík prelomovej AI: Od tréningu po nasadenie
18. novembra 2026 · Bezpečnosť
Schopnosti prelomových modelov rýchlo napredujú a naša schopnosť rozumieť im, zosúladiť ich a zabezpečiť musí byť o krok vpred. Prispôsobujeme tempo vývoja a sprístupňovania našich modelov. Ak potrebujeme viac času na splnenie bezpečnostných štandardov, pozastavujeme interný tréning(otvorí sa v novom okne) alebo odkladáme vydanie modelov, ako je GPT‑6.1 Astra. Zaviedli sme nové postupy, napríklad zdôvodnenia bezpečnosti, a počas celého tréningu vyžadujeme presvedčivejšie dôkazy zosúladeného správania. Tieto požiadavky spomaľujú vydávanie modelov, ale dávajú nám väčšiu istotu, že môžeme bezpečne napredovať.
Od júlového incidentu Hugging Face sme posilnili ochranné opatrenia a požiadavky na zosúladenie pri tréningu, testovaní a nasadzovaní modelov. Tento článok vysvetľuje, ako hodnotíme a riadime riziká v každej fáze, od tréningu v prísne izolovaných sandboxoch až po nasadenie Codex, ktoré používate na počítači. V každej fáze hodnotíme modely aj ochranné opatrenia. Na prechod do ďalšej fázy je potrebné bezpečnostné posúdenie.
Používame viacvrstvovú ochranu, ktorá znižuje závislosť od ktoréhokoľvek jednotlivého ochranného opatrenia. Ak jedna vrstva zlyhá, ostatné pomôžu predísť škodám, obmedziť následky alebo nás upozornia, aby sme mohli zasiahnuť.
Našu ochranu organizujeme do štyroch vrstiev:
Účinné monitorovanie závisí od monitorovateľnosti modelu – od toho, ako spoľahlivo monitorovacie systémy dokážu z uvažovania a akcií modelu odhaliť chyby či nebezpečné správanie. Napríklad model, ktorý v reťazení myšlienok (CoT) slovne vyjadrí zámer podvádzať, je monitorovateľnejší než model, ktorý túto informáciu vynechá. Monitorovateľnosť hodnotíme počas tréningu aj pred nasadením, vyvíjame lepšie metódy jej merania(otvorí sa v novom okne) a skúmame, čo ju ovplyvňuje(otvorí sa v novom okne).
Incident Hugging Face ukázal, prečo sa pri obmedzovaní vysoko schopných modelov nemôžeme spoliehať len na sandboxy. Prelomové modely už monitorujeme vo väčšine interných aj externých nasadení vrátane všetkých interných nasadení využívajúcich nástroje.
Úloha každej vrstvy sa mení v troch fázach vývoja a nasadzovania modelov:
Výskum: Modely trénujeme, testujeme a používame v sandboxoch.
Interné nasadenie: Zamestnanci OpenAI používajú modely pri praktickej práci.
Externé nasadenie: Modely sprístupňujeme širšiemu okruhu ľudí a organizácií.
V rôznych fázach sa spoliehame na rôzne vrstvy. Počas tréningu, keď je zosúladenie menej isté, sa viac spoliehame na sandboxy a monitorovanie. Keď modely pri nasadení získavajú širší prístup, rastie význam zosúladenia a systémových kontrolných mechanizmov. V každej fáze hodnotíme, či kombinovaná ochrana postačuje vzhľadom na schopnosti modelu a jeho prístup. Naše závery môžeme preskúmať s Poradnou skupinou pre bezpečnosť a dohliadať na ne môže Výbor pre bezpečnosť a ochranu správnej rady OpenAI Foundation.
Vo výskumnej fáze hodnotíme modely, aby sme získali väčšiu istotu v ich zosúladení. Keďže pri predchádzaní škodám sa zatiaľ nemôžeme úplne spoliehať na zosúladenie, prístup a činnosti modelov výrazne obmedzujeme zabezpečením a sandboxmi.
Vzhľadom na súčasný stav výskumu zosúladenia, monitorovacích systémov a zabezpečenia internetovej infraštruktúry považujeme za zodpovedné trénovať prelomové modely bez živého prístupu na internet. Po incidente Hugging Face sme zásadne zmenili naše interné výskumné systémy, aby sme modely izolovali pomocou:
sandboxov, ktoré obmedzujú oprávnenia modelu
virtuálnych počítačov, ktoré ďalej izolujú spracúvané úlohy od hostiteľského počítača
sieťových a cloudových perimetrov, ktoré odpoja celý klaster od internetu
Systém priebežne podrobujeme red teamingu: tímy našich najsilnejších modelov sa pokúšajú dostať na živý internet, prekonať bezpečnostné hranice alebo komunikovať s agentmi, od ktorých majú byť izolované. Takto testujeme, či izolácia odolá schopnostiam modelov, ktoré má obmedzovať.
Ako ďalšiu vrstvu ochrany monitorujeme všetky inferencie prelomových modelov, aby sme zistili, či model obišiel naše bezpečnostné invarianty. Ak monitorovanie odhalí, že sa model dostal na internet, upozorníme bezpečnostné tímy a automaticky pozastavíme spracúvanie úlohy.
Monitorovanie je kľúčovou poistkou pri zlyhaní izolácie. V nedávnej správe o nesúlade sme uviedli, že monitorovacie systémy odhalili interný výskumný model, ktorý zneužíval chybnú konfiguráciu DNS(otvorí sa v novom okne) na získanie obmedzeného prístupu na internet. Od 20. septembra do 1. októbra sme pozastavili tréning a hodnotenie našich najschopnejších modelov, kým sme incident vyšetrili a odstránili bezpečnostnú medzeru.
Na rýchle a spoľahlivé zásahy sme vytvorili Control Room, centrálny systém, ktorý sleduje výskumné úlohy a do 35 sekúnd od prijatia pokynu na zastavenie úlohy zastaví ďalšie generovanie výstupu modelu. Tieto mechanizmy sa uplatňujú priamo v inferenčnej infraštruktúre, takže nezávisia od toho, či má každá výskumná úloha vlastný mechanizmus vypnutia. Pri výskumných úlohách s prelomovými modelmi zastavia generovanie výstupu aj vtedy, keď sa Control Room stane nedostupným.
Red teaming a monitorovanie sa navzájom dopĺňajú. Nemôžeme zaručiť, že sandbox je nepreniknuteľný, no red teaming nám pomáha odhadnúť, koľko úsilia by model potreboval na únik. Čím viac úsilia model potrebuje, tým viac príležitostí majú monitorovacie systémy na jeho odhalenie a zastavenie.
Vo výskumnej fáze vyžadujeme silné bezpečnostné a monitorovacie mechanizmy z niekoľkých dôvodov:
Modely sa stále vyhodnocujú. Niektoré ešte neabsolvovali bezpečnostný tréning, audity zosúladenia a kontroly potrebné na verejné sprístupnenie.
Podmienky prelomového výskumu môžu zvyšovať riziká. Niektoré výskumné úlohy si vyžadujú ambicióznejšie konfigurácie, v ktorých je model vytrvalejší alebo schopnejší než pri bežnom externom nasadení (napríklad na vyriešenie Navierovho-Stokesovho problému bol potrebný tím 10 000 agentov).
Tréning prebieha vo veľkom rozsahu s menším priamym ľudským dohľadom. Na rozdiel od bežnej relácie v Codex zahŕňajú naše tréningové úlohy veľké množstvo akcií modelu bez toho, aby človek sledoval každú interakciu.
Pred širším sprístupnením zamestnanci prechádzajú od výskumného používania prelomových modelov v sandboxe k internému používaniu mimo sandboxu, napríklad sprístupnením modelu zamestnancom v ChatGPT. Vďaka tomu lepšie rozumieme, ako sa modely správajú v praxi(otvorí sa v novom okne), a získavame podklady na rozhodovanie o nasadení.
V tejto fáze modelu poskytujeme širší prístup na internet, do nášho Slacku, k zdrojovému kódu a internej infraštruktúre. To výrazne mení riziká, pretože akcie modelu už priamo ovplyvňujú systémy, ktoré používame na rozvoj a prevádzku OpenAI. Pri internom nasadení sa musíme viac spoliehať na zosúladenie modelu, systémové ochranné opatrenia a monitorovanie než na bezpečnostné obmedzenia.
Pred nasadením mimo sandboxu musí prelomový model prejsť testami zosúladenia a monitorovateľnosti(otvorí sa v novom okne). Máme súbor hodnotení zosúladenia, ktoré testujú konkrétne typy zlyhaní (napríklad obchádzanie bezpečnostných a ochranných obmedzení) aj všeobecné sklony modelu (napríklad opätovným vzorkovaním interných trajektórií Codex a kontrolou nesúladu). Viac o našich hodnoteniach zosúladenia a monitorovateľnosti nájdete v najnovšej systémovej karte GPT‑6 Astra(otvorí sa v novom okne).
Podobne ako v produkčnom prostredí pridávame ďalšiu vrstvu ochrany pomocou systémových klasifikátorov, ktoré chránia pred hrozbami prelomových modelov, ako je kybernetické zneužitie či tvorba biologických zbraní. Od zamestnancov používajúcich Codex spravidla vyžadujeme aj Auto-Review(otvorí sa v novom okne), ktorý posudzuje potenciálne rizikové akcie a predkladá ich používateľovi na rozhodnutie.
Napokon pri internom nasadení monitorujeme každú inferenciu prelomových modelov, aby sme odhalili nesúlad v správaní. Keďže model má teraz širšie oprávnenia a prístup k interným informáciám a systémom, je obzvlášť dôležité odhaľovať riziká, ako je exfiltrácia údajov, teda odosielanie citlivých údajov na neoprávnené miesto. Monitorovanie nám tiež pomáha skúmať nové formy nesúladu(otvorí sa v novom okne).
Verejné nasadenie vystavuje modely oveľa väčšiemu počtu používateľov, úloh a prostredí, čím rastie rozsah aj rozmanitosť rizík. V tejto fáze musíme chrániť aj pred potenciálnymi škodlivými aktérmi, ktorí model zámerne navádzajú na škodlivé konanie.
Pred verejným sprístupnením musia modely aj systémové ochranné opatrenia spĺňať naše bezpečnostné požiadavky na externé nasadenie. Posudzujeme ich týmito spôsobmi:
Vykonávame rozsiahlejší súbor hodnotení zosúladenia a bezpečnosti. Pri prelomových modeloch to zahŕňa nové kolá adaptívneho testovania s našimi internými automatizovanými nástrojmi na red teaming, ktoré záťažovo preverujú odolnosť modelu. Výsledky hodnotení schopností a bezpečnosti zverejňujeme v našich systémových kartách(otvorí sa v novom okne).
Naše najschopnejšie modely testujeme aj s tretími stranami, aby sme záťažovo preverili ochranu pred zneužitím aj samotné zosúladenie modelov.
Skúmame upozornenia z monitorovania počas interného nasadenia, aby sme sledovali prípadné zmeny v zosúladení základného modelu.
Okrem „synchrónnych“ ochranných opatrení (ako bezpečnostný tréning modelov a systémové klasifikátory) pri externom nasadení využívame aj následné presadzovanie pravidiel a vyšetrovanie mimo reálneho času. Tieto tímy kombinujú vyšetrovacích agentov nasadených vo veľkom rozsahu s ľudskou kontrolou, aby odhalili a identifikovali potenciálnych pôvodcov hrozieb: od kybernetického zneužitia, tvorby biologických zbraní a destilácie až po nesúlad samotného modelu. Následné presadzovanie pravidiel je užitočné najmä na zhromažďovanie informácií naprieč účtami, ktoré pomáha vytvoriť ucelenejší obraz potenciálnej hrozby.
Programy dôveryhodného prístupu, ako Daybreak a Rosalind, pridávajú ďalšiu vrstvu zabezpečenia. Urýchľujú prácu obrancov a legitímnych výskumníkov a zároveň obmedzujú prístup potenciálnym útočníkom.
Keď zistíme zlyhanie niektorej bezpečnostnej vrstvy, bez ohľadu na to, či spôsobilo škodu, chceme ho rýchlo vyšetriť, posúdiť jeho závažnosť a podľa možností a vhodnosti aj zverejniť. Podľa našich zásad nahlasovania nesúladu môže každý zamestnanec navrhnúť incident na zverejnenie. Tieto hlásenia sa vyšetrujú. Ak sa nezhodneme na ich zverejnení, rozhodnutie postupujeme našej Poradnej skupine pre bezpečnosť. Nespoliehame sa len na hlásenia zamestnancov. Incidenty nesúladu aj aktívne vyhľadávame, aby sme ich mohli riešiť a zdieľať zistenia.
Naše správy o nesúlade nájdete tu(otvorí sa v novom okne).
Táto práca závisí od pokroku vo výskume aj od prevádzkovej disciplíny: správneho nastavenia kontrolných mechanizmov, testovania ich súčinnosti a rozhodnej reakcie pri zlyhaní. Chybne nastavená sieťová služba alebo zlyhanie automatického zastavenia môžu oslabiť inak silnú ochranu.
S novými schopnosťami modelov budeme musieť naďalej preverovať predpoklady, na ktorých stoja naše ochranné opatrenia, a podľa potreby ich zlepšovať. Poznatky z výskumu, interného používania a verejného nasadenia musia usmerňovať tréning, hodnotenie a nasadzovanie ďalších modelov.
Zistenia budeme naďalej zdieľať v systémových kartách, správach o incidentoch, správach o rizikách(otvorí sa v novom okne) interného nasadenia a externých hodnoteniach, aby ostatní mohli kriticky posúdiť náš prístup aj jeho obmedzenia. Ak tieto dôkazy nesplnia našu bezpečnostnú latku, opäť pozastavíme tréning alebo odložíme vydanie, kým požiadavky nebudú splnené.
Stanovovanie bezpečnostných štandardov
Tempo vývoja modelov v ére schopností kritických pre kybernetickú bezpečnosť — Ako sme spomalili tréning prelomových modelov, posilnili izoláciu, rozšírili monitorovanie a sprísnili požiadavky na dôkazy zosúladenia.
Smerom k zdôvodneniam bezpečnosti tréningu prelomovej AI — Úvodné usmernenia pre bezpečnostnú argumentáciu podloženú dôkazmi, zahŕňajúcu technické ochranné opatrenia, prevádzkové postupy a vyšetrovanie nesúladu.
Priority a zásady účinného posudzovania tretími stranami — Náš návrh nezávislého skúmania zdôvodnení bezpečnosti, ochranných opatrení, hodnotení a správania modelov.
Pravidelný súhrn hodnotení katastrofických rizík interného používania(otvorí sa v novom okne) — Verejná správa za jún až september 2026 opisuje interné nasadenia prelomových modelov, posúdené riziká a zmeny v ochranných opatreniach a riadení.
Definovanie a hodnotenie zosúladeného správania
Aktualizovaná špecifikácia modelu pre schopnejšiu a prospešnejšiu AI — Ako sme špecifikáciu modelu upravili podľa piatich základných hodnôt, ktoré usmerňujú úsudok a správanie modelov aj rešpektovanie ľudského dohľadu.
Rozdiely v bezpečnosti agentov pri hodnotení a v produkcii a úloha uvedomovania si hodnotenia(otvorí sa v novom okne) — Štúdia rozdielov medzi výsledkami bezpečnostných hodnotení a správaním v produkcii vrátane vplyvu interpretácie cieľov hodnotenia modelmi na ich výkon.
Nad rámec g-mean²: doplnkové metriky monitorovateľnosti(otvorí sa v novom okne) — Nové metriky na porovnávanie monitorovateľnosti a odhad zvyškového rizika v simulovaných systémoch, kde monitorovacie systémy odmietajú výstupy modelov.
Systémová karta GPT‑6 Astra(otvorí sa v novom okne) — Podrobné hodnotenia schopností, bezpečnosti, zosúladenia a monitorovateľnosti modelu Astra spolu s ochrannými opatreniami a obmedzeniami pri nasadení.
Izolácia modelov a zlepšovanie ochranných opatrení
Zabezpečenie tréningového prostredia pre prelomové modely — Ako sme posilnili izoláciu, vytvorili výskumné prostredia bez internetu a použili naše najsilnejšie modely na testovanie hraníc izolácie.
Tréning klasifikátorov aktivácií pre bezpečnosť a zosúladenie(otvorí sa v novom okne) — Ako klasifikátory využívajú interné aktivácie modelov na odhaľovanie potenciálne škodlivého správania a prerušenie odpovedí či volaní nástrojov.
Automatická kontrola akcií agentov bez synchrónneho ľudského dohľadu(otvorí sa v novom okne) — Ako samostatný kontrolný agent posudzuje akcie prekračujúce hranice sandboxu, umožňuje programovacím agentom pracovať samostatne a blokuje potenciálne škodlivé či neoprávnené akcie.
GPT‑Red: Sebazdokonaľovaním k vyššej odolnosti — Ako prostredníctvom hry proti sebe trénujeme automatizované nástroje na red teaming, aby odhaľovali zraniteľnosti a zvyšovali odolnosť modelov voči vkladaniu škodlivých príkazov.
Control Room — Ako sledujeme úlohy v celej výskumnej infraštruktúre a rýchlo zastavujeme výstup modelov, keď bezpečnostné alebo ochranné riziká vyžadujú zásah.
Reakcia na incidenty a ich zverejňovanie
Ako odhaľujeme nesúlad prelomových modelov — Náš monitorovací systém kombinuje sondy aktivácií, kontrolu pomocou modelov, automatizované vyšetrovanie a ľudskú reakciu na odhaľovanie a vyšetrovanie znepokojujúceho správania.
Incident Hugging Face a ďalší postup — Zistenia z incidentu Hugging Face a zmeny, ktoré vyvolal v zabezpečení, monitorovaní a zosúladení.
Agent použil DNS na prístup k externému chatbotu(otvorí sa v novom okne) — Ako výskumný model obišiel internetové obmedzenia cez nedostatočné filtrovanie DNS, ako to monitorovanie odhalilo a aké opatrenia sme následne pridali.
Narušenie koordinovanej kampane na destiláciu modelov — Ako sme vyšetrili a narušili pokusy o získanie chráneného uvažovania modelov pomocou zásahov proti účtom, technických opatrení a koordinácie s partnermi.
Náš rámec nahlasovania nesúladu modelov — Postup sledovania, vyšetrovania a zverejňovania znepokojujúceho správania modelov vrátane prípadov, ktorých príčiny či význam zostávajú neisté.
Správy a oznámenia o nesúlade(otvorí sa v novom okne) — Súbor zverejnených incidentov a oznámení, ktoré ukazujú, ako nesúlad vzniká a kde ochranné opatrenia fungujú alebo zlyhávajú.
Pokrok vo výskume a praktické využitie
Zrýchľovanie výskumu: Pohľad zvnútra OpenAI — Prvé dôkazy o tom, ako programovací agenti menia výskum v OpenAI: ich rastúce využitie, čoraz zložitejšie úlohy a vplyv na experimentovanie.
O Navierovom-Stokesovom probléme milénia — Matematický dôkaz vytvorený interným systémom AI s formalizáciou v jazyku Lean, ktorý ilustruje schopnosti rozsiahlych výskumných nasadení.
Daybreak — Náš program kybernetickej bezpečnosti poskytuje prevereným obrancom pokročilé schopnosti AI, bezpečnostné nástroje a podporu pri hľadaní zraniteľností a posilňovaní obrany.
Predstavujeme GPT‑Rosalind pre výskum v biologických vedách — Špecializovaný model pre biológiu, objavovanie liečiv a translačnú medicínu, dostupný oprávneným organizáciám cez program dôveryhodného prístupu.






