Obvladovanje tveganj prelomne UI: od učenja do uvedbe
18. november 2026 · Varnost
Zmogljivosti prelomnih modelov se hitro povečujejo, naša sposobnost njihovega razumevanja, usklajevanja in varovanja pa mora ostajati korak pred njimi. Prilagajamo tempo razvoja in objavljanja modelov, kar vključuje tudi začasno ustavitev notranjega učenja(odpre se v novem oknu) ali odložitev objave modelov, kot je GPT‑6.1 Astra, kadar potrebujemo več časa za izpolnitev varnostnih standardov. Uvedli smo nove postopke, kot so utemeljitve varnosti, in med celotnim učenjem zahtevamo trdnejše dokaze o usklajenem vedenju. Te zahteve upočasnjujejo objavljanje modelov, vendar nam dajejo več zaupanja, da lahko varno napredujemo.
Po julijskem incidentu Hugging Face smo okrepili zaščitne ukrepe in zahteve glede usklajenosti pri učenju, preizkušanju in uvajanju modelov. Ta objava pojasnjuje, kako ocenjujemo in obvladujemo tveganja v vsaki fazi, od strogo izoliranih učnih okolij do orodja Codex, ki ga uporabljate v računalniku. V vsaki fazi ocenjujemo modele in zaščitne ukrepe, za prehod v naslednjo fazo pa zahtevamo varnostni pregled.
Uporabljamo večplastno obrambo z več ravnmi zaščite, ki zmanjšujejo odvisnost od posameznega zaščitnega ukrepa. Če ena plast odpove, druge pomagajo preprečiti škodo, omejiti posledice ali nas opozoriti, da lahko ukrepamo.
Našo zaščito sestavljajo štiri plasti:
Učinkovito spremljanje je odvisno od možnosti spremljanja modela – kako zanesljivo lahko nadzorni sistemi iz njegovega sklepanja in dejanj zaznajo napake ali nevarno vedenje. Model, ki v svoji verigi sklepanja (CoT) ubesedi namero goljufanja, je denimo lažje spremljati kot model, ki to informacijo izpusti. Možnost spremljanja ocenjujemo med učenjem in pred uvedbo, razvijamo boljše metode za njeno merjenje(odpre se v novem oknu) ter raziskujemo, kaj vpliva nanjo(odpre se v novem oknu).
Incident Hugging Face je pokazal, zakaj se pri omejevanju zelo zmogljivih modelov ne smemo zanašati zgolj na peskovnike. Prelomne modele zdaj spremljamo v večini okolij notranje in zunanje uporabe, vključno z vsemi notranjimi uvedbami, ki uporabljajo orodja.
Vloga posamezne plasti se spreminja skozi tri faze razvoja in uvajanja modelov:
Raziskave: Modele učimo, preizkušamo in uporabljamo v peskovnikih.
Notranja uvedba: Zaposleni v OpenAI uporabljajo modele pri praktičnem delu.
Zunanja uvedba: Modeli postanejo širše dostopni ljudem in organizacijam.
V različnih fazah se opiramo na različne plasti. Med učenjem, ko je usklajenost manj gotova, se bolj zanašamo na peskovnike in spremljanje. Ko modeli ob uvedbi dobijo širši dostop, postajajo usklajenost in sistemski nadzorni ukrepi vse pomembnejši. V vsaki fazi ocenjujemo, ali skupna zaščita zadostuje glede na zmogljivosti modela in njegov dostop. Naše presoje lahko pregledamo s svetovalno skupino za varnost, nadzoruje pa jih odbor za varnost in zaščito upravnega odbora organizacije OpenAI Foundation.
V raziskovalni fazi ocenjujemo modele, da pridobimo zaupanje v njihovo usklajenost. Ker se za preprečevanje škode še ne moremo povsem zanesti na usklajenost, z varnostnimi ukrepi in peskovniki strogo omejujemo njihov dostop in dejanja.
Glede na trenutno stanje raziskav usklajenosti, nadzornih sistemov in varnosti internetne infrastrukture menimo, da je odgovorno prelomne modele učiti brez neposrednega dostopa do interneta. Po incidentu Hugging Face smo temeljito preoblikovali notranje raziskovalne sisteme, da modele omejujemo z uporabo:
peskovnikov, ki omejujejo pravice modela
navideznih računalnikov, ki procese dodatno izolirajo od gostiteljskega računalnika
omrežnih in oblačnih varnostnih meja, ki celotno gručo ločijo od interneta
Sistem nenehno preizkušamo z napadi: skupine naših najzmogljivejših modelov poskušajo dostopati do interneta, prebiti varnostne meje ali komunicirati z agenti, od katerih bi morale biti izolirane. Tako preverjamo, ali omejitve zdržijo zmogljivosti modelov, ki naj bi jih omejevale.
Kot dodatno obrambno plast spremljamo vsa izvajanja prelomnih modelov, da zaznamo morebitno izogibanje nespremenljivim varnostnim pravilom. Če zaznamo, da je model dostopal do interneta, nemudoma obvestimo varnostne ekipe in samodejno začasno ustavimo proces.
Spremljanje je ključna varovalka, kadar omejevanje odpove. V nedavnem poročilu o neusklajenosti smo razkrili, da so nadzorni sistemi zaznali notranji raziskovalni model, ki je izkoristil napačno konfiguracijo DNS(odpre se v novem oknu) za omejen dostop do interneta. Od 20. septembra do 1. oktobra smo začasno ustavili učenje in ocenjevanje najzmogljivejših modelov, medtem ko smo preiskovali in odpravljali varnostno vrzel.
Za hitro in zanesljivo ukrepanje smo razvili Control Room, osrednji sistem, ki spremlja raziskovalne procese in ustavi nadaljnje generiranje izhodov modela v 35 sekundah po prejemu navodila za ustavitev opravila. Ti ukrepi se izvajajo neposredno v infrastrukturi za izvajanje modelov, zato niso odvisni od tega, ali ima vsak raziskovalni proces lasten mehanizem zaustavitve. Pri raziskovalnih procesih s prelomnimi modeli ustavijo generiranje izhodov tudi, če Control Room ni več dosegljiv.
Simulirano iskanje šibkih točk v nadzorovanem okolju in spremljanje se dopolnjujeta. Ne moremo jamčiti, da je peskovnik neprebojen, vendar nam simulirano iskanje šibkih točk v nadzorovanem okolju pomaga oceniti, koliko truda bi model potreboval za pobeg. Več truda ko model potrebuje, več priložnosti imajo nadzorni sistemi, da ga zaznajo in ustavijo.
Stroge varnostne in nadzorne ukrepe v raziskovalni fazi zahtevamo iz več razlogov:
Ocenjevanje modelov še poteka. Nekateri še niso zaključili varnostnega učenja, revizij usklajenosti in pregledov, potrebnih za javno objavo.
Okolja za prelomne raziskave lahko povečajo tveganja. Nekatere raziskovalne naloge zahtevajo ambicioznejše postavitve, v katerih je model vztrajnejši ali zmogljivejši kot običajno pri zunanji uporabi (za rešitev Navier–Stokesovega problema je bila denimo potrebna skupina 10.000 agentov).
Učenje poteka v velikem obsegu z manj neposrednega človeškega nadzora. Za razliko od običajne seje z orodjem Codex naši učni procesi vključujejo veliko dejanj modelov, ne da bi človek spremljal vsako interakcijo.
Pred širšo objavo zaposleni preidejo z raziskovalne uporabe v peskovniku na notranjo uporabo prelomnih modelov zunaj peskovnika, denimo tako, da jim model omogočimo v ChatGPT. Tako bolje razumemo, kako se modeli vedejo v praksi(odpre se v novem oknu), in lažje sprejemamo odločitve o uvedbi.
V tej fazi modelu omogočimo dostop do širšega interneta, našega okolja Slack, zbirke kode in notranje infrastrukture. To bistveno spremeni tveganje, saj dejanja modela zdaj neposredno vplivajo na sisteme, s katerimi razvijamo in upravljamo OpenAI. Pri notranji uvedbi se moramo bolj kot na varnostne omejitve opirati na usklajenost modela, sistemske zaščitne ukrepe in spremljanje.
Pred uvedbo zunaj peskovnika mora prelomni model prestati preverjanje usklajenosti in možnosti spremljanja(odpre se v novem oknu). Z naborom ocen usklajenosti preverjamo posamezne oblike neusklajenosti (denimo izogibanje varnostnim in zaščitnim omejitvam) ter širše vedenjske težnje (denimo s ponovnim vzorčenjem notranjih potekov delovanja orodja Codex in preverjanjem neusklajenosti). Več o naših ocenah usklajenosti in možnosti spremljanja najdete v najnovejšem sistemskem dokumentu za GPT‑6 Astra(odpre se v novem oknu).
Po zgledu produkcijskih okolij dodajamo obrambno plast s sistemskimi klasifikatorji, zasnovanimi za zaščito pred škodljivimi posledicami prelomnih modelov, kot sta kibernetska zloraba in razvoj biološkega orožja. Od zaposlenih, ki uporabljajo Codex, praviloma zahtevamo tudi uporabo sistema Auto-Review(odpre se v novem oknu), ki ocenjuje potencialno tvegana dejanja in jih posreduje uporabniku v odločanje.
Med notranjo uvedbo pri vsakem izvajanju prelomnih modelov spremljamo tudi morebitno neusklajeno vedenje. Ker ima model zdaj več pravic ter dostop do notranjih informacij in sistemov, je še posebej pomembno zaznavati tveganja, kot je odtekanje podatkov oziroma pošiljanje občutljivih podatkov nepooblaščenemu prejemniku. Spremljanje nam pomaga tudi raziskovati nove oblike neusklajenosti(odpre se v novem oknu).
Javna uvedba modele izpostavi precej več uporabnikom, nalogam in okoljem, kar poveča obseg in raznovrstnost tveganj. V tej fazi se moramo zaščititi tudi pred morebitnimi zlonamernimi akterji, ki model namerno usmerjajo v povzročanje škode.
Pred javno objavo morajo modeli in sistemski zaščitni ukrepi izpolniti naše varnostne zahteve za zunanjo uvedbo. Ocenjujemo jih z naslednjimi postopki:
Izvajanje širšega nabora ocen usklajenosti in varnosti. Pri prelomnih modelih to vključuje nove kroge prilagodljivega preizkušanja z našimi notranjimi avtomatiziranimi sistemi za simulirano iskanje šibkih točk v nadzorovanem okolju, da bi temeljito preverili robustnost modela. Rezultate ocen zmogljivosti in varnosti objavljamo v sistemskih dokumentih(odpre se v novem oknu).
Najzmogljivejše modele preizkušamo tudi z zunanjimi izvajalci, da temeljito preverimo zaščito pred zlorabo in osnovno usklajenost modelov.
Pregled opozoril spremljanja iz faze notranje uvedbe, s katerim sledimo morebitnim spremembam osnovne usklajenosti temeljnega modela.
Poleg »sinhronih« zaščitnih ukrepov (kot so varnostno učenje modelov in sistemski klasifikatorji) pri zunanjih uvedbah uporabljamo tudi naknadno ukrepanje ob kršitvah in preiskovanje. Te ekipe združujejo obsežno uporabo preiskovalnih agentov s človeškim pregledom, da zaznajo in prepoznajo morebitne akterje groženj. Obravnavajo kibernetske zlorabe, razvoj biološkega orožja, destilacijo in neusklajenost samega modela. Naknadno ukrepanje je še posebej koristno za zbiranje informacij iz več računov, kar omogoča celovitejšo sliko morebitne grožnje.
Programi zaupanja vrednega dostopa, kot sta Daybreak in Rosalind, zagotavljajo dodatno varnostno plast. Pospešujejo delo strokovnjakov za obrambo in legitimnih raziskovalcev, potencialnim napadalcem pa omejujejo dostop.
Ko opazimo odpoved ene od varnostnih plasti, želimo ne glede na dejansko nastalo škodo hitro raziskati vzrok, določiti prednost obravnave ter odpoved javno razkriti, če je to mogoče in primerno. Po našem pravilniku o poročanju o neusklajenosti lahko vsak zaposleni predlaga incident za javno razkritje. Te prijave raziščemo. Če se mnenja o javnem razkritju razlikujejo, odločitev predamo naši svetovalni skupini za varnost. Poleg prijav zaposlenih tudi sami dejavno iščemo incidente neusklajenosti, da jih lahko obravnavamo in delimo ugotovitve.
Naša poročila o neusklajenosti si lahko ogledate tukaj(odpre se v novem oknu).
To delo je odvisno od raziskovalnega napredka in doslednega izvajanja postopkov: pravilne nastavitve nadzornih ukrepov, preizkušanja njihovega medsebojnega delovanja in odločnega odziva ob odpovedi. Napačno nastavljena omrežna storitev ali neuspešna samodejna ustavitev lahko ogrozi sicer močno zaščito.
Z novimi zmogljivostmi modelov bomo morali še naprej preverjati predpostavke, na katerih temeljijo naši zaščitni ukrepi, in jih po potrebi izboljševati. Spoznanja iz raziskav, notranje uporabe in javnih uvedb morajo usmerjati učenje, ocenjevanje in uvajanje prihodnjih modelov.
Ugotovitve bomo še naprej delili prek sistemskih dokumentov, poročil o incidentih, poročil o tveganjih(odpre se v novem oknu) notranje uvedbe in zunanjih ocen, da bodo drugi lahko kritično presojali naš pristop, vključno z njegovimi omejitvami. Kadar dokazi ne bodo zadostili našim varnostnim merilom, bomo znova začasno ustavili učenje ali odložili objavo, dokler zahteve ne bodo izpolnjene.
Določanje varnostnih standardov
Uravnavanje razvoja modelov v dobi zmogljivosti, kritičnih za kibernetsko varnost — Kako smo upočasnili učenje prelomnih modelov, hkrati pa okrepili omejevanje, razširili spremljanje in zahtevali trdnejše dokaze o usklajenosti.
Na poti do utemeljitev varnosti pri učenju prelomne UI — Začetne smernice za dokazno podprte varnostne utemeljitve, ki zajemajo tehnične zaščitne ukrepe, operativne prakse in preiskovanje neusklajenosti.
Prednostne naloge in načela za učinkovite neodvisne presoje — Naš predlog neodvisnega preverjanja utemeljitev varnosti, zaščitnih ukrepov, ocen in vedenja modelov.
Obdobni povzetek ocen katastrofalnih tveganj pri notranji uporabi(odpre se v novem oknu) — Naše javno poročilo za junij–september 2026 opisuje notranje uvedbe prelomnih modelov, ocenjena tveganja ter spremembe zaščitnih ukrepov in upravljanja.
Opredeljevanje in ocenjevanje usklajenega vedenja
Posodobljene specifikacije modela za zmogljivejšo in koristnejšo UI — Kako smo specifikacije modela posodobili na podlagi petih temeljnih vrednot, ki usmerjajo presojo in vedenje modelov ter spoštovanje človeškega nadzora.
Razlike v varnosti agentov med ocenjevanjem in produkcijo ter vloga zavedanja ocenjevanja(odpre se v novem oknu) — Študija razlik med rezultati varnostnih ocen in vedenjem v produkciji, vključno z vplivom modelove razlage ciljev ocenjevanja na uspešnost.
Onkraj g-mean²: dopolnilne metrike možnosti spremljanja(odpre se v novem oknu) — Nove metrike za primerjavo možnosti spremljanja in ocenjevanje preostalega tveganja v simuliranih sistemih, kjer nadzorni sistemi zavračajo izhode modelov.
Sistemski dokument za GPT‑6 Astra(odpre se v novem oknu) — Podrobne ocene zmogljivosti, varnosti, usklajenosti in možnosti spremljanja modela Astra ter zaščitni ukrepi in omejitve ob njegovi uvedbi.
Omejevanje modelov in izboljševanje zaščitnih ukrepov
Zaščita našega okolja za učenje prelomnih modelov — Kako smo okrepili izolacijo, zgradili raziskovalna okolja brez internetne povezave in z najzmogljivejšimi modeli preizkusili meje omejevanja.
Učenje klasifikatorjev aktivacij za varnost in usklajenost(odpre se v novem oknu) — Kako klasifikatorji z notranjimi aktivacijami modelov zaznavajo potencialno škodljivo vedenje ter prekinjajo odgovore ali klice orodij.
Samodejno pregledovanje dejanj agentov brez sočasnega človeškega nadzora(odpre se v novem oknu) — Kako ločen pregledovalni agent ocenjuje dejanja, ki presegajo meje peskovnika, ter programerskim agentom omogoča samostojno delo ob blokiranju potencialno škodljivih ali nepooblaščenih dejanj.
GPT‑Red: s samoizboljševanjem do večje robustnosti — Kako s samostojno igro učimo avtomatizirane sisteme za preizkušanje z napadi, da odkrivajo ranljivosti in povečujejo odpornost modelov proti vstavljanju zlonamernih pozivov.
Control Room — Kako spremljamo procese v raziskovalni infrastrukturi in hitro ustavimo generiranje izhodov modelov, ko varnostna ali zaščitna tveganja zahtevajo ukrepanje.
Odzivanje na incidente in razkrivanje
Kako zaznavamo neusklajenost prelomnih modelov — Naš nadzorni sistem združuje sonde aktivacij, pregled z modeli, avtomatizirano preiskovanje in človeški odziv za zaznavanje in preiskovanje zaskrbljujočega vedenja.
Incident Hugging Face in pot naprej — Naše ugotovitve o incidentu Hugging Face in spremembe, ki jih je sprožil na področjih varnosti, spremljanja in usklajenosti.
Agent je z uporabo DNS dostopal do zunanjega klepetalnega robota(odpre se v novem oknu) — Kako je raziskovalni model zaradi nezadostnega filtriranja DNS obšel internetne omejitve, kako smo to zaznali in katere nadzorne ukrepe smo nato dodali.
Prekinitev usklajene kampanje destilacije modelov — Kako smo preiskali in prekinili poskuse pridobivanja zaščitenega sklepanja modelov z ukrepanjem proti računom, tehničnimi ukrepi in usklajevanjem s partnerji.
Naš okvir za poročanje o neusklajenosti modelov — Naš postopek spremljanja, preiskovanja in razkrivanja zaskrbljujočega vedenja modelov, tudi kadar vzroki ali pomen ostajajo nejasni.
Poročila in obvestila o neusklajenosti(odpre se v novem oknu) — Zbirka razkritih incidentov in obvestil, ki prikazujejo nastanek neusklajenosti ter uspehe in odpovedi zaščitnih ukrepov.
Raziskovalni napredek in uporaba
Pospeševanje raziskav: pogled v OpenAI — Prvi dokazi o tem, kako programerski agenti spreminjajo raziskave v OpenAI: njihova vse širša uporaba, vse zahtevnejše naloge in vpliv na eksperimentiranje.
O Navier–Stokesovem milenijskem problemu — Matematični dokaz, ki ga je ustvaril notranji sistem UI, s formalizacijo v jeziku Lean, ponazarja zmogljivosti obsežnih raziskovalnih uvedb.
Daybreak — Naš program kibernetske varnosti preverjenim strokovnjakom za obrambo zagotavlja napredne zmogljivosti UI, varnostna orodja in podporo za odkrivanje ranljivosti ter krepitev obrambe.
Predstavljamo GPT‑Rosalind za raziskave v vedah o življenju — Specializiran model za biologijo, odkrivanje zdravil in translacijsko medicino, ki je upravičenim organizacijam na voljo prek programa zaupanja vrednega dostopa.






