OpenAI

Priešakinio DI rizikos valdymas: nuo mokymo iki diegimo

2026 m. lapkričio 18 d. · Sauga

Priešakinių modelių gebėjimai sparčiai auga, o mūsų gebėjimas juos suprasti, suderinti ir apsaugoti turi augti dar sparčiau. Reguliuojame modelių kūrimo ir išleidimo tempą: prireikus daugiau laiko saugos standartams pasiekti, pristabdome vidinį mokymą⁠(atsidaro naujame lange) arba atidedame tokių modelių kaip „GPT‑6.1 Astra“ išleidimą. Įdiegėme naujus procesus, tokius kaip saugos pagrindimas, ir per visą mokymą reikalaujame tvirtesnių suderinto elgesio įrodymų. Šie reikalavimai lėtina modelių išleidimą, tačiau suteikia daugiau pasitikėjimo, kad galime saugiai judėti pirmyn.

Po liepos mėnesio „Hugging Face“ incidento⁠ sustiprinome apsaugos priemones ir suderinimo reikalavimus, taikomus modelių mokymui, testavimui ir diegimui. Šiame įraše paaiškiname, kaip vertiname ir valdome riziką kiekviename etape: nuo griežtai izoliuotos mokymo aplinkos iki jūsų kompiuteryje naudojamo „Codex“. Kiekviename etape vertiname ir modelius, ir apsaugos priemones. Norint pereiti į kitą etapą, būtina saugos peržiūra.

Daugiasluoksnė apsauga per visą modelio gyvavimo ciklą

Taikome daugiasluoksnę apsaugą, kuri mažina priklausomybę nuo vienos apsaugos priemonės. Jei vienas sluoksnis nesuveikia, kiti padeda išvengti žalos, apriboti pasekmes arba mus įspėja, kad galėtume įsikišti.

Mūsų apsaugos priemonės suskirstytos į keturis sluoksnius:

Veiksminga stebėsena priklauso nuo modelio stebimumo – nuo to, kaip patikimai stebėsenos sistemos gali aptikti klaidas ar nesaugų elgesį pagal modelio protavimą ir veiksmus. Pavyzdžiui, modelį, kuris minčių grandinėje (CoT) žodžiais išreiškia ketinimą sukčiauti, lengviau stebėti nei tą, kuris šią informaciją nutyli. Stebimumą vertiname mokymo metu ir prieš diegimą, kuriame geresnius jo matavimo metodus⁠(atsidaro naujame lange) ir tiriame, kas jį veikia⁠(atsidaro naujame lange).

„Hugging Face“ incidentas parodė, kodėl ribodami labai pajėgių modelių veiklą neturėtume kliautis vien izoliuota aplinka. Dabar priešakinius modelius stebime daugumoje vidinio ir išorinio naudojimo aplinkų, įskaitant visus vidinio naudojimo atvejus, kai pasitelkiami įrankiai.

Kiekvieno sluoksnio vaidmuo kinta per tris modelių kūrimo ir diegimo etapus:

  • Tyrimai: mokome, testuojame ir naudojame modelius izoliuotoje aplinkoje.

  • Diegimas vidiniam naudojimui: „OpenAI“ darbuotojai naudoja modelius praktiniam darbui.

  • Diegimas išoriniam naudojimui: modeliai tampa prieinami platesniam žmonių ir organizacijų ratui.

Skirtinguose etapuose kliaujamės skirtingais sluoksniais. Mokymo metu, kai suderinimas ne toks užtikrintas, labiau kliaujamės izoliavimu ir stebėsena. Diegiamiems modeliams įgyjant platesnę prieigą, suderinimas ir sistemos lygmens kontrolės priemonės tampa vis svarbesni. Kiekviename etape vertiname, ar apsaugos priemonių visuma yra pakankama atsižvelgiant į modelio gebėjimus ir prieigą. Mūsų išvados gali būti peržiūrimos kartu su Saugos patariamąja grupe, o jų priežiūrą gali vykdyti „OpenAI Foundation“ direktorių valdybos Saugos ir saugumo komitetas.

Tyrimų metu: riboti modelių veiklą izoliuotoje aplinkoje

Tyrimų etape vertiname modelius, kad įgytume daugiau pasitikėjimo jų suderinimu. Kadangi dar negalime visiškai pasikliauti suderinimu kaip apsauga nuo žalos, labai pasikliaujame saugumu ir izoliavimu, kad apribotume modelių prieigą ir veiksmus.

Atsižvelgdami į dabartinę suderinimo tyrimų, stebėsenos sistemų ir interneto infrastruktūros saugumo būklę, manome, kad atsakinga priešakinius modelius mokyti be tiesioginės interneto prieigos. Po „Hugging Face“ incidento iš esmės pertvarkėme vidines tyrimų sistemas, kad ribotume modelių veiklą pasitelkdami:

  • izoliuotas aplinkas, ribojančias modelio teises

  • virtualiąsias mašinas, dar labiau atskiriančias vykdomas užduotis nuo pagrindinio kompiuterio

  • tinklo ir debesijos perimetrus, atskiriančius visą klasterį nuo interneto

Nuolat testuojame šią sistemą spragoms nustatyti: mūsų pajėgiausių modelių komandos bando pasiekti internetą, peržengti saugumo ribas ar susisiekti su agentais, nuo kurių turėtų būti izoliuotos. Taip tikriname, ar izoliavimo priemonės atlaiko modelių, kuriems riboti jos skirtos, gebėjimus.

Papildomai apsaugai stebime visus priešakinių modelių išvedimus, kad aptiktume, ar modelis neapėjo privalomų saugumo sąlygų. Jei stebėsena nustato, kad modelis pasiekė internetą, skubiai įspėjame saugumo komandas ir automatiškai pristabdome užduoties vykdymą.

Kai izoliavimas nesuveikia, stebėsena tampa itin svarbia atsargine apsauga. Neseniai paskelbtoje nesuderinto elgesio ataskaitoje pranešėme, kad stebėsenos sistemos aptiko vidinį tyrimų modelį, pasinaudojusį netinkama DNS konfigūracija⁠(atsidaro naujame lange) ribotai interneto prieigai gauti. Nuo rugsėjo 20 d. iki spalio 1 d. pristabdėme pajėgiausių modelių mokymą ir vertinimą, kol tyrėme incidentą ir šalinome saugumo spragą.

Kad galėtume įsikišti greitai ir patikimai, sukūrėme „Control Room“⁠ – centrinę sistemą, kuri seka tyrimų užduotis ir per 35 sekundes nuo nurodymo sustabdyti užduotį gavimo nutraukia modelio išvesties generavimą. Šios kontrolės priemonės veikia tiesiogiai išvedimo infrastruktūroje, todėl nepriklauso nuo to, ar konkrečioje tyrimų užduotyje įdiegtas atskiras išjungimo mechanizmas. Vykdant priešakinių modelių tyrimų užduotis, jos taip pat sustabdo modelio išvesties generavimą, jei „Control Room“ tampa nepasiekiama.

Testavimas spragoms nustatyti ir stebėsena papildo vienas kitą. Negalime garantuoti, kad izoliuotos aplinkos ribų neįmanoma peržengti, tačiau testavimas spragoms nustatyti padeda įvertinti, kiek pastangų modeliui tam prireiktų. Kuo daugiau pastangų modeliui reikia, tuo daugiau galimybių stebėsenos sistemoms jį aptikti ir sustabdyti.

Tyrimų etape reikalaujame griežtų saugumo ir stebėsenos kontrolės priemonių dėl kelių priežasčių:

  • Modeliai dar vertinami. Kai kurių modelių saugos mokymas, suderinimo auditai ir peržiūros, būtinos prieš viešą išleidimą, dar nebaigti.

  • Priešakinių tyrimų sąlygos gali didinti riziką. Kai kurioms tyrimų užduotims reikia platesnio užmojo sistemų, kuriose modelis gali veikti atkakliau ar turėti daugiau gebėjimų nei įprastai išoriniam naudojimui įdiegtas modelis (pavyzdžiui, Navjė–Stokso problemai išspręsti prireikė 10 000 agentų komandos).

  • Mokymas vyksta dideliu mastu, mažiau tiesiogiai prižiūrint žmonėms. Kitaip nei per įprastą „Codex“ sesiją, mokymo užduotyse modeliai atlieka daugybę veiksmų, žmogui nestebint kiekvienos sąveikos.

Diegimas vidiniam naudojimui: tikrinti suderinimą, atidžiai stebėti elgesį

Prieš platų išleidimą darbuotojai pereina nuo priešakinių modelių naudojimo izoliuotoje tyrimų aplinkoje prie vidinio naudojimo be tokios izoliacijos, pavyzdžiui, modelis jiems tampa pasiekiamas per „ChatGPT“. Tai padeda geriau suprasti, kaip modeliai elgiasi praktinėmis sąlygomis⁠(atsidaro naujame lange), ir priimti sprendimus dėl diegimo.

Šiame etape suteikiame modeliui platesnę prieigą prie interneto, mūsų „Slack“, programinio kodo ir vidinės infrastruktūros. Tai reikšmingai keičia riziką, nes modelio veiksmai dabar tiesiogiai veikia sistemas, kuriomis kuriame „OpenAI“ ir užtikriname jos veiklą. Įdiegę modelius vidiniam naudojimui, turime labiau kliautis jų suderinimu, sisteminėmis apsaugos priemonėmis ir stebėsena, o ne saugumo kontrolės priemonėmis.

Prieš diegiant priešakinį modelį už izoliuotos aplinkos ribų, būtina patikrinti jo suderinimą ir stebimumą⁠(atsidaro naujame lange). Atliekame suderinimo vertinimų rinkinį: tikriname konkrečius suderinimo trūkumus (pvz., saugos ir saugumo apribojimų apėjimą) ir plačiau matuojame elgesio polinkius (pvz., iš naujo generuojame vidines „Codex“ veiksmų sekas ir tikriname, ar nėra nesuderinto elgesio). Daugiau apie mūsų suderinimo ir stebimumo vertinimus rasite naujausioje „GPT‑6 Astra“ sistemos kortelėje⁠(atsidaro naujame lange).

Kaip ir produkcinėse sistemose, papildomą apsaugos sluoksnį sukuriame sistemos lygmens klasifikatoriais, skirtais apsaugoti nuo priešakinių modelių keliamos žalos, pavyzdžiui, kibernetinio piktnaudžiavimo ir biologinių ginklų kūrimo. Taip pat paprastai reikalaujame, kad „Codex“ naudojantys darbuotojai naudotų automatinę peržiūrą⁠(atsidaro naujame lange), kuri įvertina galimai rizikingus veiksmus ir perduoda juos naudotojui spręsti.

Galiausiai, modelius įdiegę vidiniam naudojimui, kiekvieną priešakinių modelių išvedimą stebime dėl nesuderinto elgesio. Kadangi modelis dabar turi daugiau teisių ir prieigą prie vidinės informacijos bei sistemų, ypač svarbu aptikti tokias grėsmes kaip duomenų išgabenimas ar neskelbtinų duomenų siuntimas neleistinu adresu. Stebėsena taip pat padeda tirti naujas nesuderinto elgesio formas⁠(atsidaro naujame lange).

Diegimas išoriniam naudojimui: apsauga nuo piktnaudžiavimo ir nesuderinto elgesio dideliu mastu

Viešai prieinamus modelius naudoja gerokai daugiau naudotojų, įvairesnėms užduotims ir skirtingose aplinkose, todėl didėja ir rizikos mastas, ir jos įvairovė. Šiame etape taip pat turime apsisaugoti nuo galimų piktavalių, kurie sąmoningai nurodo modeliui daryti žalą.

Prieš viešą išleidimą modeliai ir sisteminės apsaugos priemonės turi atitikti mūsų saugos reikalavimus, taikomus diegimui išoriniam naudojimui. Juos vertiname šiais būdais:

  • Atliekame platesnį suderinimo ir saugos vertinimų rinkinį. Priešakiniams modeliams atliekame naujus adaptyviojo testavimo⁠ ciklus, pasitelkdami vidines automatizuotas testavimo spragoms nustatyti sistemas, kad patikrintume modelių atsparumą sudėtingomis sąlygomis. Gebėjimų ir saugos vertinimų rezultatus skelbiame savo sistemų kortelėse⁠(atsidaro naujame lange).

  • Pajėgiausius modelius taip pat testuojame su trečiosiomis šalimis, kad sudėtingomis sąlygomis patikrintume ir apsaugą nuo piktnaudžiavimo, ir esminį modelių suderinimą.

  • Nagrinėjame vidinio naudojimo etapo stebėsenos įspėjimus, kad sektume bet kokius bazinio modelio esminio suderinimo pokyčius.

Be „sinchroninių“ apsaugos priemonių (pvz., modelių saugos mokymo ir sisteminių klasifikatorių), išoriniam naudojimui įdiegtoms sistemoms taikome ir ne realiuoju laiku vykdomą taisyklių laikymosi kontrolę bei tyrimus. Šios komandos derina dideliu mastu veikiančius tyrimų agentus ir žmonių peržiūrą, kad aptiktų bei nustatytų galimus grėsmių šaltinius: kibernetinį piktnaudžiavimą, biologinių ginklų kūrimą, distiliavimą⁠ ir paties modelio nesuderintą elgesį. Ne realiuoju laiku vykdoma kontrolė ypač naudinga renkant informaciją iš skirtingų paskyrų, kad susidarytume išsamesnį galimos grėsmės vaizdą.

Patikimos prieigos programos, tokios kaip „Daybreak“ ir „Rosalind“⁠, suteikia papildomą saugumo sluoksnį ir spartina gynėjų bei teisėtai dirbančių tyrėjų darbą, kartu ribodamos galimų užpuolikų prieigą.

Reagavimas į incidentus ir jų viešinimas

Pastebėję, kad vienas saugos sluoksnis nesuveikė, nesvarbu, ar buvo padaryta žala, siekiame greitai ištirti sutrikimą, nustatyti jo svarbą ir, kai įmanoma bei tikslinga, apie jį paskelbti viešai. Pagal mūsų pranešimo apie nesuderintą elgesį⁠ politiką bet kuris darbuotojas gali pasiūlyti incidentą paviešinti. Šie pranešimai ištiriami, o kilus nesutarimui dėl viešinimo, sprendimas perduodamas mūsų Saugos patariamajai grupei. Ne tik remiamės darbuotojų pranešimais, bet ir patys aktyviai ieškome nesuderinto elgesio incidentų, kad galėtume juos spręsti ir dalytis išvadomis.

Mūsų nesuderinto elgesio ataskaitas rasite čia⁠(atsidaro naujame lange).

​


​

Šis darbas priklauso ir nuo tyrimų pažangos, ir nuo veiklos drausmės: tinkamo kontrolės priemonių konfigūravimo, jų sąveikos testavimo ir ryžtingo reagavimo joms nesuveikus. Netinkamai sukonfigūruota tinklo paslauga ar nesuveikęs automatinis sustabdymas gali pakirsti kitu atveju stiprią apsaugą.

Modeliams įgyjant naujų gebėjimų, turėsime nuolat tikrinti prielaidas, kuriomis grindžiame apsaugos priemones, ir prireikus jas tobulinti. Tyrimų, vidinio ir viešo naudojimo pamokos turi padėti spręsti, kaip mokysime, vertinsime ir diegsime būsimus modelius.

Toliau dalysimės išvadomis sistemų kortelėse, incidentų ataskaitose, vidinio naudojimo rizikos ataskaitose⁠(atsidaro naujame lange) ir išoriniuose vertinimuose⁠, kad kiti galėtų kritiškai įvertinti mūsų metodus ir jų ribotumą. Jei šių įrodymų nepakaks atitikčiai mūsų saugos reikalavimams pagrįsti, vėl pristabdysime mokymą arba atidėsime išleidimą, kol reikalavimai bus įvykdyti.

Susiję tyrimai ir ištekliai

Saugos standartų nustatymas

Suderinto elgesio apibrėžimas ir vertinimas

Modelių veiklos ribojimas ir apsaugos priemonių tobulinimas

Reagavimas į incidentus ir jų viešinimas

Tyrimų pažanga ir taikymas