Priešakinio DI rizikos valdymas: nuo mokymo iki diegimo
2026 m. lapkričio 18 d. · Sauga
Priešakinių modelių gebėjimai sparčiai auga, o mūsų gebėjimas juos suprasti, suderinti ir apsaugoti turi augti dar sparčiau. Reguliuojame modelių kūrimo ir išleidimo tempą: prireikus daugiau laiko saugos standartams pasiekti, pristabdome vidinį mokymą(atsidaro naujame lange) arba atidedame tokių modelių kaip „GPT‑6.1 Astra“ išleidimą. Įdiegėme naujus procesus, tokius kaip saugos pagrindimas, ir per visą mokymą reikalaujame tvirtesnių suderinto elgesio įrodymų. Šie reikalavimai lėtina modelių išleidimą, tačiau suteikia daugiau pasitikėjimo, kad galime saugiai judėti pirmyn.
Po liepos mėnesio „Hugging Face“ incidento sustiprinome apsaugos priemones ir suderinimo reikalavimus, taikomus modelių mokymui, testavimui ir diegimui. Šiame įraše paaiškiname, kaip vertiname ir valdome riziką kiekviename etape: nuo griežtai izoliuotos mokymo aplinkos iki jūsų kompiuteryje naudojamo „Codex“. Kiekviename etape vertiname ir modelius, ir apsaugos priemones. Norint pereiti į kitą etapą, būtina saugos peržiūra.
Taikome daugiasluoksnę apsaugą, kuri mažina priklausomybę nuo vienos apsaugos priemonės. Jei vienas sluoksnis nesuveikia, kiti padeda išvengti žalos, apriboti pasekmes arba mus įspėja, kad galėtume įsikišti.
Mūsų apsaugos priemonės suskirstytos į keturis sluoksnius:
Veiksminga stebėsena priklauso nuo modelio stebimumo – nuo to, kaip patikimai stebėsenos sistemos gali aptikti klaidas ar nesaugų elgesį pagal modelio protavimą ir veiksmus. Pavyzdžiui, modelį, kuris minčių grandinėje (CoT) žodžiais išreiškia ketinimą sukčiauti, lengviau stebėti nei tą, kuris šią informaciją nutyli. Stebimumą vertiname mokymo metu ir prieš diegimą, kuriame geresnius jo matavimo metodus(atsidaro naujame lange) ir tiriame, kas jį veikia(atsidaro naujame lange).
„Hugging Face“ incidentas parodė, kodėl ribodami labai pajėgių modelių veiklą neturėtume kliautis vien izoliuota aplinka. Dabar priešakinius modelius stebime daugumoje vidinio ir išorinio naudojimo aplinkų, įskaitant visus vidinio naudojimo atvejus, kai pasitelkiami įrankiai.
Kiekvieno sluoksnio vaidmuo kinta per tris modelių kūrimo ir diegimo etapus:
Tyrimai: mokome, testuojame ir naudojame modelius izoliuotoje aplinkoje.
Diegimas vidiniam naudojimui: „OpenAI“ darbuotojai naudoja modelius praktiniam darbui.
Diegimas išoriniam naudojimui: modeliai tampa prieinami platesniam žmonių ir organizacijų ratui.
Skirtinguose etapuose kliaujamės skirtingais sluoksniais. Mokymo metu, kai suderinimas ne toks užtikrintas, labiau kliaujamės izoliavimu ir stebėsena. Diegiamiems modeliams įgyjant platesnę prieigą, suderinimas ir sistemos lygmens kontrolės priemonės tampa vis svarbesni. Kiekviename etape vertiname, ar apsaugos priemonių visuma yra pakankama atsižvelgiant į modelio gebėjimus ir prieigą. Mūsų išvados gali būti peržiūrimos kartu su Saugos patariamąja grupe, o jų priežiūrą gali vykdyti „OpenAI Foundation“ direktorių valdybos Saugos ir saugumo komitetas.
Tyrimų etape vertiname modelius, kad įgytume daugiau pasitikėjimo jų suderinimu. Kadangi dar negalime visiškai pasikliauti suderinimu kaip apsauga nuo žalos, labai pasikliaujame saugumu ir izoliavimu, kad apribotume modelių prieigą ir veiksmus.
Atsižvelgdami į dabartinę suderinimo tyrimų, stebėsenos sistemų ir interneto infrastruktūros saugumo būklę, manome, kad atsakinga priešakinius modelius mokyti be tiesioginės interneto prieigos. Po „Hugging Face“ incidento iš esmės pertvarkėme vidines tyrimų sistemas, kad ribotume modelių veiklą pasitelkdami:
izoliuotas aplinkas, ribojančias modelio teises
virtualiąsias mašinas, dar labiau atskiriančias vykdomas užduotis nuo pagrindinio kompiuterio
tinklo ir debesijos perimetrus, atskiriančius visą klasterį nuo interneto
Nuolat testuojame šią sistemą spragoms nustatyti: mūsų pajėgiausių modelių komandos bando pasiekti internetą, peržengti saugumo ribas ar susisiekti su agentais, nuo kurių turėtų būti izoliuotos. Taip tikriname, ar izoliavimo priemonės atlaiko modelių, kuriems riboti jos skirtos, gebėjimus.
Papildomai apsaugai stebime visus priešakinių modelių išvedimus, kad aptiktume, ar modelis neapėjo privalomų saugumo sąlygų. Jei stebėsena nustato, kad modelis pasiekė internetą, skubiai įspėjame saugumo komandas ir automatiškai pristabdome užduoties vykdymą.
Kai izoliavimas nesuveikia, stebėsena tampa itin svarbia atsargine apsauga. Neseniai paskelbtoje nesuderinto elgesio ataskaitoje pranešėme, kad stebėsenos sistemos aptiko vidinį tyrimų modelį, pasinaudojusį netinkama DNS konfigūracija(atsidaro naujame lange) ribotai interneto prieigai gauti. Nuo rugsėjo 20 d. iki spalio 1 d. pristabdėme pajėgiausių modelių mokymą ir vertinimą, kol tyrėme incidentą ir šalinome saugumo spragą.
Kad galėtume įsikišti greitai ir patikimai, sukūrėme „Control Room“ – centrinę sistemą, kuri seka tyrimų užduotis ir per 35 sekundes nuo nurodymo sustabdyti užduotį gavimo nutraukia modelio išvesties generavimą. Šios kontrolės priemonės veikia tiesiogiai išvedimo infrastruktūroje, todėl nepriklauso nuo to, ar konkrečioje tyrimų užduotyje įdiegtas atskiras išjungimo mechanizmas. Vykdant priešakinių modelių tyrimų užduotis, jos taip pat sustabdo modelio išvesties generavimą, jei „Control Room“ tampa nepasiekiama.
Testavimas spragoms nustatyti ir stebėsena papildo vienas kitą. Negalime garantuoti, kad izoliuotos aplinkos ribų neįmanoma peržengti, tačiau testavimas spragoms nustatyti padeda įvertinti, kiek pastangų modeliui tam prireiktų. Kuo daugiau pastangų modeliui reikia, tuo daugiau galimybių stebėsenos sistemoms jį aptikti ir sustabdyti.
Tyrimų etape reikalaujame griežtų saugumo ir stebėsenos kontrolės priemonių dėl kelių priežasčių:
Modeliai dar vertinami. Kai kurių modelių saugos mokymas, suderinimo auditai ir peržiūros, būtinos prieš viešą išleidimą, dar nebaigti.
Priešakinių tyrimų sąlygos gali didinti riziką. Kai kurioms tyrimų užduotims reikia platesnio užmojo sistemų, kuriose modelis gali veikti atkakliau ar turėti daugiau gebėjimų nei įprastai išoriniam naudojimui įdiegtas modelis (pavyzdžiui, Navjė–Stokso problemai išspręsti prireikė 10 000 agentų komandos).
Mokymas vyksta dideliu mastu, mažiau tiesiogiai prižiūrint žmonėms. Kitaip nei per įprastą „Codex“ sesiją, mokymo užduotyse modeliai atlieka daugybę veiksmų, žmogui nestebint kiekvienos sąveikos.
Prieš platų išleidimą darbuotojai pereina nuo priešakinių modelių naudojimo izoliuotoje tyrimų aplinkoje prie vidinio naudojimo be tokios izoliacijos, pavyzdžiui, modelis jiems tampa pasiekiamas per „ChatGPT“. Tai padeda geriau suprasti, kaip modeliai elgiasi praktinėmis sąlygomis(atsidaro naujame lange), ir priimti sprendimus dėl diegimo.
Šiame etape suteikiame modeliui platesnę prieigą prie interneto, mūsų „Slack“, programinio kodo ir vidinės infrastruktūros. Tai reikšmingai keičia riziką, nes modelio veiksmai dabar tiesiogiai veikia sistemas, kuriomis kuriame „OpenAI“ ir užtikriname jos veiklą. Įdiegę modelius vidiniam naudojimui, turime labiau kliautis jų suderinimu, sisteminėmis apsaugos priemonėmis ir stebėsena, o ne saugumo kontrolės priemonėmis.
Prieš diegiant priešakinį modelį už izoliuotos aplinkos ribų, būtina patikrinti jo suderinimą ir stebimumą(atsidaro naujame lange). Atliekame suderinimo vertinimų rinkinį: tikriname konkrečius suderinimo trūkumus (pvz., saugos ir saugumo apribojimų apėjimą) ir plačiau matuojame elgesio polinkius (pvz., iš naujo generuojame vidines „Codex“ veiksmų sekas ir tikriname, ar nėra nesuderinto elgesio). Daugiau apie mūsų suderinimo ir stebimumo vertinimus rasite naujausioje „GPT‑6 Astra“ sistemos kortelėje(atsidaro naujame lange).
Kaip ir produkcinėse sistemose, papildomą apsaugos sluoksnį sukuriame sistemos lygmens klasifikatoriais, skirtais apsaugoti nuo priešakinių modelių keliamos žalos, pavyzdžiui, kibernetinio piktnaudžiavimo ir biologinių ginklų kūrimo. Taip pat paprastai reikalaujame, kad „Codex“ naudojantys darbuotojai naudotų automatinę peržiūrą(atsidaro naujame lange), kuri įvertina galimai rizikingus veiksmus ir perduoda juos naudotojui spręsti.
Galiausiai, modelius įdiegę vidiniam naudojimui, kiekvieną priešakinių modelių išvedimą stebime dėl nesuderinto elgesio. Kadangi modelis dabar turi daugiau teisių ir prieigą prie vidinės informacijos bei sistemų, ypač svarbu aptikti tokias grėsmes kaip duomenų išgabenimas ar neskelbtinų duomenų siuntimas neleistinu adresu. Stebėsena taip pat padeda tirti naujas nesuderinto elgesio formas(atsidaro naujame lange).
Viešai prieinamus modelius naudoja gerokai daugiau naudotojų, įvairesnėms užduotims ir skirtingose aplinkose, todėl didėja ir rizikos mastas, ir jos įvairovė. Šiame etape taip pat turime apsisaugoti nuo galimų piktavalių, kurie sąmoningai nurodo modeliui daryti žalą.
Prieš viešą išleidimą modeliai ir sisteminės apsaugos priemonės turi atitikti mūsų saugos reikalavimus, taikomus diegimui išoriniam naudojimui. Juos vertiname šiais būdais:
Atliekame platesnį suderinimo ir saugos vertinimų rinkinį. Priešakiniams modeliams atliekame naujus adaptyviojo testavimo ciklus, pasitelkdami vidines automatizuotas testavimo spragoms nustatyti sistemas, kad patikrintume modelių atsparumą sudėtingomis sąlygomis. Gebėjimų ir saugos vertinimų rezultatus skelbiame savo sistemų kortelėse(atsidaro naujame lange).
Pajėgiausius modelius taip pat testuojame su trečiosiomis šalimis, kad sudėtingomis sąlygomis patikrintume ir apsaugą nuo piktnaudžiavimo, ir esminį modelių suderinimą.
Nagrinėjame vidinio naudojimo etapo stebėsenos įspėjimus, kad sektume bet kokius bazinio modelio esminio suderinimo pokyčius.
Be „sinchroninių“ apsaugos priemonių (pvz., modelių saugos mokymo ir sisteminių klasifikatorių), išoriniam naudojimui įdiegtoms sistemoms taikome ir ne realiuoju laiku vykdomą taisyklių laikymosi kontrolę bei tyrimus. Šios komandos derina dideliu mastu veikiančius tyrimų agentus ir žmonių peržiūrą, kad aptiktų bei nustatytų galimus grėsmių šaltinius: kibernetinį piktnaudžiavimą, biologinių ginklų kūrimą, distiliavimą ir paties modelio nesuderintą elgesį. Ne realiuoju laiku vykdoma kontrolė ypač naudinga renkant informaciją iš skirtingų paskyrų, kad susidarytume išsamesnį galimos grėsmės vaizdą.
Patikimos prieigos programos, tokios kaip „Daybreak“ ir „Rosalind“, suteikia papildomą saugumo sluoksnį ir spartina gynėjų bei teisėtai dirbančių tyrėjų darbą, kartu ribodamos galimų užpuolikų prieigą.
Pastebėję, kad vienas saugos sluoksnis nesuveikė, nesvarbu, ar buvo padaryta žala, siekiame greitai ištirti sutrikimą, nustatyti jo svarbą ir, kai įmanoma bei tikslinga, apie jį paskelbti viešai. Pagal mūsų pranešimo apie nesuderintą elgesį politiką bet kuris darbuotojas gali pasiūlyti incidentą paviešinti. Šie pranešimai ištiriami, o kilus nesutarimui dėl viešinimo, sprendimas perduodamas mūsų Saugos patariamajai grupei. Ne tik remiamės darbuotojų pranešimais, bet ir patys aktyviai ieškome nesuderinto elgesio incidentų, kad galėtume juos spręsti ir dalytis išvadomis.
Mūsų nesuderinto elgesio ataskaitas rasite čia(atsidaro naujame lange).
Šis darbas priklauso ir nuo tyrimų pažangos, ir nuo veiklos drausmės: tinkamo kontrolės priemonių konfigūravimo, jų sąveikos testavimo ir ryžtingo reagavimo joms nesuveikus. Netinkamai sukonfigūruota tinklo paslauga ar nesuveikęs automatinis sustabdymas gali pakirsti kitu atveju stiprią apsaugą.
Modeliams įgyjant naujų gebėjimų, turėsime nuolat tikrinti prielaidas, kuriomis grindžiame apsaugos priemones, ir prireikus jas tobulinti. Tyrimų, vidinio ir viešo naudojimo pamokos turi padėti spręsti, kaip mokysime, vertinsime ir diegsime būsimus modelius.
Toliau dalysimės išvadomis sistemų kortelėse, incidentų ataskaitose, vidinio naudojimo rizikos ataskaitose(atsidaro naujame lange) ir išoriniuose vertinimuose, kad kiti galėtų kritiškai įvertinti mūsų metodus ir jų ribotumą. Jei šių įrodymų nepakaks atitikčiai mūsų saugos reikalavimams pagrįsti, vėl pristabdysime mokymą arba atidėsime išleidimą, kol reikalavimai bus įvykdyti.
Saugos standartų nustatymas
Modelių kūrimo tempo valdymas kibernetiniam saugumui kritinių gebėjimų eroje — Kaip sulėtinome priešakinių modelių mokymą, stiprindami izoliavimą, plėsdami stebėseną ir reikalaudami tvirtesnių suderinimo įrodymų.
Priešakinio DI mokymo saugos pagrindimo link — Pradinės įrodymais grindžiamų saugos argumentų gairės, apimančios technines apsaugos priemones, veiklos praktiką ir nesuderinto elgesio tyrimus.
Veiksmingo trečiųjų šalių vertinimo prioritetai ir principai — Mūsų siūlomas nepriklausomo saugos pagrindimų, apsaugos priemonių, vertinimų ir modelių elgesio tikrinimo metodas.
Periodinė vidinio naudojimo katastrofinės rizikos vertinimų santrauka(atsidaro naujame lange) — Viešoje 2026 m. birželio–rugsėjo ataskaitoje aprašomas priešakinių modelių diegimas vidiniam naudojimui, įvertinta rizika, apsaugos ir valdymo pokyčiai.
Suderinto elgesio apibrėžimas ir vertinimas
Atnaujinta modelio specifikacija pajėgesniam ir naudingesniam DI — Kaip modelio specifikaciją atnaujinome pagal penkias pagrindines vertybes, nukreipiančias modelių sprendimus, elgesį ir pagarbą žmonių priežiūrai.
Agentų elgesio skirtumai saugos vertinimuose ir realiomis sąlygomis bei modelių suvokimo, kad jie yra vertinami, vaidmuo(atsidaro naujame lange) — Saugos vertinimų rezultatų ir elgesio realiomis sąlygomis skirtumų tyrimas, įskaitant tai, kaip modelių supratimas apie vertinimo tikslus veikia rezultatus.
Ne tik g-mean²: papildomi stebimumo rodikliai(atsidaro naujame lange) — Nauji rodikliai stebimumui lyginti ir likutinei rizikai įvertinti imituojamose sistemose, kuriose stebėsenos priemonės atmeta modelio išvestį.
„GPT‑6 Astra“ sistemos kortelė(atsidaro naujame lange) — Išsamūs „Astra“ gebėjimų, saugos, suderinimo ir stebimumo vertinimai, taip pat diegimo apsaugos priemonės ir ribotumai.
Modelių veiklos ribojimas ir apsaugos priemonių tobulinimas
Mūsų priešakinių modelių mokymo aplinkos apsauga — Kaip sustiprinome izoliavimą, sukūrėme nuo interneto atjungtas tyrimų aplinkas ir pajėgiausiais modeliais tikrinome izoliavimo ribas.
Aktyvacijų klasifikatorių mokymas saugai ir suderinimui užtikrinti(atsidaro naujame lange) — Kaip klasifikatoriai naudoja modelių vidines aktyvacijas galimai žalingam elgesiui aptikti ir atsakymams ar įrankių iškvietimams nutraukti.
Automatinė agentų veiksmų peržiūra be sinchroninės žmonių priežiūros(atsidaro naujame lange) — Kaip atskiras peržiūros agentas vertina izoliuotos aplinkos ribas peržengiančius veiksmus, padėdamas programavimo agentams dirbti savarankiškai ir blokuodamas galimai žalingus ar neleistinus veiksmus.
„GPT‑Red“: savęs tobulinimas atsparumui didinti — Kaip mokome automatizuotas testavimo spragoms nustatyti sistemas pasitelkdami žaidimą prieš save, kad jos aptiktų pažeidžiamumus ir didintų modelių atsparumą užklausų injekcijoms.
„Control Room“ — Kaip sekame užduotis tyrimų infrastruktūroje ir greitai sustabdome modelių išvesties generavimą, kai dėl saugos ar saugumo reikia įsikišti.
Reagavimas į incidentus ir jų viešinimas
Kaip aptinkame priešakinių modelių nesuderintą elgesį — Mūsų stebėsenos sistema derina aktyvacijų zondus, modeliais grindžiamą peržiūrą, automatizuotus tyrimus ir žmonių reagavimą, kad aptiktų ir ištirtų nerimą keliantį elgesį.
„Hugging Face“ incidentas ir tolesni žingsniai — Mūsų išvados apie „Hugging Face“ incidentą ir jo paskatinti saugumo, stebėsenos bei suderinimo pokyčiai.
Agentas pasinaudojo DNS, kad pasiektų išorinį pokalbių robotą(atsidaro naujame lange) — Kaip tyrimų modelis apėjo interneto apribojimus dėl nepakankamo DNS filtravimo, kaip tai aptiko stebėsena ir kokios kontrolės priemonės vėliau įdiegtos.
Koordinuotos modelių distiliavimo kampanijos nutraukimas — Kaip tyrėme ir stabdėme bandymus išgauti saugomą modelio protavimą, taikydami paskyrų apribojimus, technines kontrolės priemones ir derindami veiksmus su partneriais.
Mūsų pranešimo apie modelių nesuderintą elgesį sistema — Kaip sekame, tiriame ir viešiname nerimą keliantį modelių elgesį, įskaitant atvejus, kurių priežastys ar reikšmė tebėra neaiškios.
Nesuderinto elgesio ataskaitos ir pranešimai(atsidaro naujame lange) — Mūsų paviešintų incidentų ir pranešimų rinkinys, rodantis, kaip pasireiškia nesuderintas elgesys ir kada apsaugos priemonės suveikia ar nesuveikia.
Tyrimų pažanga ir taikymas
Tyrimų spartinimas: žvilgsnis iš „OpenAI“ vidaus — Pirmieji duomenys apie tai, kaip programavimo agentai keičia „OpenAI“ tyrimus: jų naudojimo plėtrą, vis sudėtingesnes užduotis ir poveikį eksperimentams.
Apie Navjė–Stokso Tūkstantmečio premijos problemą — Vidinės DI sistemos sukurtas matematinis įrodymas su formalizacija „Lean“ kalba, iliustruojantis didelio masto tyrimų sistemų gebėjimus.
„Daybreak“ — Mūsų kibernetinio saugumo programa suteikia patikrintiems gynėjams pažangių DI galimybių, saugumo įrankių ir pagalbą pažeidžiamumams rasti bei apsaugai stiprinti.
Pristatome „GPT‑Rosalind“ gyvybės mokslų tyrimams — Specializuotas biologijos, vaistų paieškos ir transliacinės medicinos modelis, prieinamas reikalavimus atitinkančioms organizacijoms per patikimos prieigos programą.






