OpenAI

Riadenie rizík prelomovej AI: Od tréningu po nasadenie

18. novembra 2026 · Bezpečnosť

Schopnosti prelomových modelov rýchlo napredujú a naša schopnosť rozumieť im, zosúladiť ich a zabezpečiť musí byť o krok vpred. Prispôsobujeme tempo vývoja a sprístupňovania našich modelov. Ak potrebujeme viac času na splnenie bezpečnostných štandardov, pozastavujeme interný tréning⁠(otvorí sa v novom okne) alebo odkladáme vydanie modelov, ako je GPT‑6.1 Astra. Zaviedli sme nové postupy, napríklad zdôvodnenia bezpečnosti, a počas celého tréningu vyžadujeme presvedčivejšie dôkazy zosúladeného správania. Tieto požiadavky spomaľujú vydávanie modelov, ale dávajú nám väčšiu istotu, že môžeme bezpečne napredovať.

Od júlového incidentu Hugging Face⁠ sme posilnili ochranné opatrenia a požiadavky na zosúladenie pri tréningu, testovaní a nasadzovaní modelov. Tento článok vysvetľuje, ako hodnotíme a riadime riziká v každej fáze, od tréningu v prísne izolovaných sandboxoch až po nasadenie Codex, ktoré používate na počítači. V každej fáze hodnotíme modely aj ochranné opatrenia. Na prechod do ďalšej fázy je potrebné bezpečnostné posúdenie.

Viacvrstvová ochrana počas celého životného cyklu modelu

Používame viacvrstvovú ochranu, ktorá znižuje závislosť od ktoréhokoľvek jednotlivého ochranného opatrenia. Ak jedna vrstva zlyhá, ostatné pomôžu predísť škodám, obmedziť následky alebo nás upozornia, aby sme mohli zasiahnuť.

Našu ochranu organizujeme do štyroch vrstiev:

Účinné monitorovanie závisí od monitorovateľnosti modelu – od toho, ako spoľahlivo monitorovacie systémy dokážu z uvažovania a akcií modelu odhaliť chyby či nebezpečné správanie. Napríklad model, ktorý v reťazení myšlienok (CoT) slovne vyjadrí zámer podvádzať, je monitorovateľnejší než model, ktorý túto informáciu vynechá. Monitorovateľnosť hodnotíme počas tréningu aj pred nasadením, vyvíjame lepšie metódy jej merania⁠(otvorí sa v novom okne) a skúmame, čo ju ovplyvňuje⁠(otvorí sa v novom okne).

Incident Hugging Face ukázal, prečo sa pri obmedzovaní vysoko schopných modelov nemôžeme spoliehať len na sandboxy. Prelomové modely už monitorujeme vo väčšine interných aj externých nasadení vrátane všetkých interných nasadení využívajúcich nástroje.

Úloha každej vrstvy sa mení v troch fázach vývoja a nasadzovania modelov:

  • Výskum: Modely trénujeme, testujeme a používame v sandboxoch.

  • Interné nasadenie: Zamestnanci OpenAI používajú modely pri praktickej práci.

  • Externé nasadenie: Modely sprístupňujeme širšiemu okruhu ľudí a organizácií.

V rôznych fázach sa spoliehame na rôzne vrstvy. Počas tréningu, keď je zosúladenie menej isté, sa viac spoliehame na sandboxy a monitorovanie. Keď modely pri nasadení získavajú širší prístup, rastie význam zosúladenia a systémových kontrolných mechanizmov. V každej fáze hodnotíme, či kombinovaná ochrana postačuje vzhľadom na schopnosti modelu a jeho prístup. Naše závery môžeme preskúmať s Poradnou skupinou pre bezpečnosť a dohliadať na ne môže Výbor pre bezpečnosť a ochranu správnej rady OpenAI Foundation.

Počas výskumu: obmedzenie modelov na sandboxy

Vo výskumnej fáze hodnotíme modely, aby sme získali väčšiu istotu v ich zosúladení. Keďže pri predchádzaní škodám sa zatiaľ nemôžeme úplne spoliehať na zosúladenie, prístup a činnosti modelov výrazne obmedzujeme zabezpečením a sandboxmi.

Vzhľadom na súčasný stav výskumu zosúladenia, monitorovacích systémov a zabezpečenia internetovej infraštruktúry považujeme za zodpovedné trénovať prelomové modely bez živého prístupu na internet. Po incidente Hugging Face sme zásadne zmenili naše interné výskumné systémy, aby sme modely izolovali pomocou:

  • sandboxov, ktoré obmedzujú oprávnenia modelu

  • virtuálnych počítačov, ktoré ďalej izolujú spracúvané úlohy od hostiteľského počítača

  • sieťových a cloudových perimetrov, ktoré odpoja celý klaster od internetu

Systém priebežne podrobujeme red teamingu: tímy našich najsilnejších modelov sa pokúšajú dostať na živý internet, prekonať bezpečnostné hranice alebo komunikovať s agentmi, od ktorých majú byť izolované. Takto testujeme, či izolácia odolá schopnostiam modelov, ktoré má obmedzovať.

Ako ďalšiu vrstvu ochrany monitorujeme všetky inferencie prelomových modelov, aby sme zistili, či model obišiel naše bezpečnostné invarianty. Ak monitorovanie odhalí, že sa model dostal na internet, upozorníme bezpečnostné tímy a automaticky pozastavíme spracúvanie úlohy.

Monitorovanie je kľúčovou poistkou pri zlyhaní izolácie. V nedávnej správe o nesúlade sme uviedli, že monitorovacie systémy odhalili interný výskumný model, ktorý zneužíval chybnú konfiguráciu DNS⁠(otvorí sa v novom okne) na získanie obmedzeného prístupu na internet. Od 20. septembra do 1. októbra sme pozastavili tréning a hodnotenie našich najschopnejších modelov, kým sme incident vyšetrili a odstránili bezpečnostnú medzeru.

Na rýchle a spoľahlivé zásahy sme vytvorili Control Room⁠, centrálny systém, ktorý sleduje výskumné úlohy a do 35 sekúnd od prijatia pokynu na zastavenie úlohy zastaví ďalšie generovanie výstupu modelu. Tieto mechanizmy sa uplatňujú priamo v inferenčnej infraštruktúre, takže nezávisia od toho, či má každá výskumná úloha vlastný mechanizmus vypnutia. Pri výskumných úlohách s prelomovými modelmi zastavia generovanie výstupu aj vtedy, keď sa Control Room stane nedostupným.

Red teaming a monitorovanie sa navzájom dopĺňajú. Nemôžeme zaručiť, že sandbox je nepreniknuteľný, no red teaming nám pomáha odhadnúť, koľko úsilia by model potreboval na únik. Čím viac úsilia model potrebuje, tým viac príležitostí majú monitorovacie systémy na jeho odhalenie a zastavenie.

Vo výskumnej fáze vyžadujeme silné bezpečnostné a monitorovacie mechanizmy z niekoľkých dôvodov:

  • Modely sa stále vyhodnocujú. Niektoré ešte neabsolvovali bezpečnostný tréning, audity zosúladenia a kontroly potrebné na verejné sprístupnenie.

  • Podmienky prelomového výskumu môžu zvyšovať riziká. Niektoré výskumné úlohy si vyžadujú ambicióznejšie konfigurácie, v ktorých je model vytrvalejší alebo schopnejší než pri bežnom externom nasadení (napríklad na vyriešenie Navierovho-Stokesovho problému bol potrebný tím 10 000 agentov).

  • Tréning prebieha vo veľkom rozsahu s menším priamym ľudským dohľadom. Na rozdiel od bežnej relácie v Codex zahŕňajú naše tréningové úlohy veľké množstvo akcií modelu bez toho, aby človek sledoval každú interakciu.

Interné nasadenie: testovanie zosúladenia, dôkladné monitorovanie správania

Pred širším sprístupnením zamestnanci prechádzajú od výskumného používania prelomových modelov v sandboxe k internému používaniu mimo sandboxu, napríklad sprístupnením modelu zamestnancom v ChatGPT. Vďaka tomu lepšie rozumieme, ako sa modely správajú v praxi⁠(otvorí sa v novom okne), a získavame podklady na rozhodovanie o nasadení.

V tejto fáze modelu poskytujeme širší prístup na internet, do nášho Slacku, k zdrojovému kódu a internej infraštruktúre. To výrazne mení riziká, pretože akcie modelu už priamo ovplyvňujú systémy, ktoré používame na rozvoj a prevádzku OpenAI. Pri internom nasadení sa musíme viac spoliehať na zosúladenie modelu, systémové ochranné opatrenia a monitorovanie než na bezpečnostné obmedzenia.

Pred nasadením mimo sandboxu musí prelomový model prejsť testami zosúladenia a monitorovateľnosti⁠(otvorí sa v novom okne). Máme súbor hodnotení zosúladenia, ktoré testujú konkrétne typy zlyhaní (napríklad obchádzanie bezpečnostných a ochranných obmedzení) aj všeobecné sklony modelu (napríklad opätovným vzorkovaním interných trajektórií Codex a kontrolou nesúladu). Viac o našich hodnoteniach zosúladenia a monitorovateľnosti nájdete v najnovšej systémovej karte GPT‑6 Astra⁠(otvorí sa v novom okne).

Podobne ako v produkčnom prostredí pridávame ďalšiu vrstvu ochrany pomocou systémových klasifikátorov, ktoré chránia pred hrozbami prelomových modelov, ako je kybernetické zneužitie či tvorba biologických zbraní. Od zamestnancov používajúcich Codex spravidla vyžadujeme aj Auto-Review⁠(otvorí sa v novom okne), ktorý posudzuje potenciálne rizikové akcie a predkladá ich používateľovi na rozhodnutie.

Napokon pri internom nasadení monitorujeme každú inferenciu prelomových modelov, aby sme odhalili nesúlad v správaní. Keďže model má teraz širšie oprávnenia a prístup k interným informáciám a systémom, je obzvlášť dôležité odhaľovať riziká, ako je exfiltrácia údajov, teda odosielanie citlivých údajov na neoprávnené miesto. Monitorovanie nám tiež pomáha skúmať nové formy nesúladu⁠(otvorí sa v novom okne).

Externé nasadenie: ochrana pred zneužitím a nesúladom vo veľkom rozsahu

Verejné nasadenie vystavuje modely oveľa väčšiemu počtu používateľov, úloh a prostredí, čím rastie rozsah aj rozmanitosť rizík. V tejto fáze musíme chrániť aj pred potenciálnymi škodlivými aktérmi, ktorí model zámerne navádzajú na škodlivé konanie.

Pred verejným sprístupnením musia modely aj systémové ochranné opatrenia spĺňať naše bezpečnostné požiadavky na externé nasadenie. Posudzujeme ich týmito spôsobmi:

  • Vykonávame rozsiahlejší súbor hodnotení zosúladenia a bezpečnosti. Pri prelomových modeloch to zahŕňa nové kolá adaptívneho testovania⁠ s našimi internými automatizovanými nástrojmi na red teaming, ktoré záťažovo preverujú odolnosť modelu. Výsledky hodnotení schopností a bezpečnosti zverejňujeme v našich systémových kartách⁠(otvorí sa v novom okne).

  • Naše najschopnejšie modely testujeme aj s tretími stranami, aby sme záťažovo preverili ochranu pred zneužitím aj samotné zosúladenie modelov.

  • Skúmame upozornenia z monitorovania počas interného nasadenia, aby sme sledovali prípadné zmeny v zosúladení základného modelu.

Okrem „synchrónnych“ ochranných opatrení (ako bezpečnostný tréning modelov a systémové klasifikátory) pri externom nasadení využívame aj následné presadzovanie pravidiel a vyšetrovanie mimo reálneho času. Tieto tímy kombinujú vyšetrovacích agentov nasadených vo veľkom rozsahu s ľudskou kontrolou, aby odhalili a identifikovali potenciálnych pôvodcov hrozieb: od kybernetického zneužitia, tvorby biologických zbraní a destilácie⁠ až po nesúlad samotného modelu. Následné presadzovanie pravidiel je užitočné najmä na zhromažďovanie informácií naprieč účtami, ktoré pomáha vytvoriť ucelenejší obraz potenciálnej hrozby.

Programy dôveryhodného prístupu, ako Daybreak a Rosalind⁠, pridávajú ďalšiu vrstvu zabezpečenia. Urýchľujú prácu obrancov a legitímnych výskumníkov a zároveň obmedzujú prístup potenciálnym útočníkom.

Reakcia na incidenty a ich zverejňovanie

Keď zistíme zlyhanie niektorej bezpečnostnej vrstvy, bez ohľadu na to, či spôsobilo škodu, chceme ho rýchlo vyšetriť, posúdiť jeho závažnosť a podľa možností a vhodnosti aj zverejniť. Podľa našich zásad nahlasovania nesúladu⁠ môže každý zamestnanec navrhnúť incident na zverejnenie. Tieto hlásenia sa vyšetrujú. Ak sa nezhodneme na ich zverejnení, rozhodnutie postupujeme našej Poradnej skupine pre bezpečnosť. Nespoliehame sa len na hlásenia zamestnancov. Incidenty nesúladu aj aktívne vyhľadávame, aby sme ich mohli riešiť a zdieľať zistenia.

Naše správy o nesúlade nájdete tu⁠(otvorí sa v novom okne).

​


​

Táto práca závisí od pokroku vo výskume aj od prevádzkovej disciplíny: správneho nastavenia kontrolných mechanizmov, testovania ich súčinnosti a rozhodnej reakcie pri zlyhaní. Chybne nastavená sieťová služba alebo zlyhanie automatického zastavenia môžu oslabiť inak silnú ochranu.

S novými schopnosťami modelov budeme musieť naďalej preverovať predpoklady, na ktorých stoja naše ochranné opatrenia, a podľa potreby ich zlepšovať. Poznatky z výskumu, interného používania a verejného nasadenia musia usmerňovať tréning, hodnotenie a nasadzovanie ďalších modelov.

Zistenia budeme naďalej zdieľať v systémových kartách, správach o incidentoch, správach o rizikách⁠(otvorí sa v novom okne) interného nasadenia a externých hodnoteniach⁠, aby ostatní mohli kriticky posúdiť náš prístup aj jeho obmedzenia. Ak tieto dôkazy nesplnia našu bezpečnostnú latku, opäť pozastavíme tréning alebo odložíme vydanie, kým požiadavky nebudú splnené.

Súvisiaci výskum a zdroje

Stanovovanie bezpečnostných štandardov

Definovanie a hodnotenie zosúladeného správania

Izolácia modelov a zlepšovanie ochranných opatrení

Reakcia na incidenty a ich zverejňovanie

Pokrok vo výskume a praktické využitie

  • Zrýchľovanie výskumu: Pohľad zvnútra OpenAI — Prvé dôkazy o tom, ako programovací agenti menia výskum v OpenAI: ich rastúce využitie, čoraz zložitejšie úlohy a vplyv na experimentovanie.

  • O Navierovom-Stokesovom probléme milénia — Matematický dôkaz vytvorený interným systémom AI s formalizáciou v jazyku Lean, ktorý ilustruje schopnosti rozsiahlych výskumných nasadení.

  • Daybreak — Náš program kybernetickej bezpečnosti poskytuje prevereným obrancom pokročilé schopnosti AI, bezpečnostné nástroje a podporu pri hľadaní zraniteľností a posilňovaní obrany.

  • Predstavujeme GPT‑Rosalind pre výskum v biologických vedách⁠ — Špecializovaný model pre biológiu, objavovanie liečiv a translačnú medicínu, dostupný oprávneným organizáciám cez program dôveryhodného prístupu.