Robežšķirtnes MI risku pārvaldība: no apmācības līdz ieviešanai
2026. gada 18. novembris · Drošība
Robežšķirtnes modeļu spējas strauji aug, un mūsu spējai tos izprast, saskaņot un aizsargāt jābūt soli priekšā. Mēs regulējam savu modeļu izstrādes un izlaišanas tempu, tostarp apturot iekšējo apmācību(atveras jaunā logā) vai atliekot tādu modeļu kā GPT‑6.1 Astra izlaišanu, kad drošības standartu izpildei vajadzīgs vairāk laika. Esam ieviesuši jaunus procesus, piemēram, drošības pamatojumus, un visā apmācības gaitā pieprasām pārliecinošākus saskaņotas uzvedības pierādījumus. Šīs prasības palēnina modeļu izlaišanu, bet dod lielāku pārliecību, ka varam droši virzīties uz priekšu.
Kopš Hugging Face incidenta jūlijā esam pastiprinājuši aizsargmehānismus un saskaņotības prasības modeļu apmācībai, testēšanai un ieviešanai. Šajā rakstā skaidrots, kā vērtējam un pārvaldām risku katrā posmā — no stingri izolētām apmācības vidēm līdz Codex, ko izmantojat savā datorā. Katrā posmā vērtējam gan modeļus, gan aizsargmehānismus, un pirms pārejas uz nākamo posmu ir obligāta drošības pārbaude.
Izmantojam daudzslāņu aizsardzību, kuras vairāki slāņi mazina atkarību no viena aizsargmehānisma. Ja viens slānis pieviļ, citi palīdz novērst kaitējumu, ierobežot sekas vai brīdina mūs, lai varam iejaukties.
Mūsu aizsardzību veido četri slāņi:
Efektīva uzraudzība ir atkarīga no modeļa uzraugāmības — cik uzticami uzraudzības sistēmas var atklāt kļūdas vai nedrošu uzvedību modeļa spriestspējas izpausmēs un darbībās. Piemēram, modeli, kas savā domu ķēdē (CoT) vārdos pauž nodomu krāpties, ir vieglāk uzraudzīt nekā tādu, kas šo informāciju neiekļauj. Uzraugāmību vērtējam apmācības laikā un pirms ieviešanas, izstrādājam labākas tās mērīšanas metodes(atveras jaunā logā) un pētām, kas to ietekmē(atveras jaunā logā).
Hugging Face incidents parādīja, kāpēc ļoti spējīgu modeļu ierobežošanai nedrīkst paļauties tikai uz smilškastēm. Tagad uzraugām robežšķirtnes modeļus lielākajā daļā iekšējā un ārējā lietojuma vides, tostarp visos iekšējās ieviešanas gadījumos, kuros tiek izmantoti rīki.
Katra slāņa loma mainās trīs modeļu izstrādes un ieviešanas posmos:
Pētniecība: apmācām, testējam un izmantojam modeļus smilškastes vidēs.
Iekšējā ieviešana: OpenAI darbinieki izmanto modeļus praktiskā darbā.
Ārējā ieviešana: modeļi kļūst pieejami plašākam cilvēku un organizāciju lokam.
Dažādos posmos paļaujamies uz dažādiem slāņiem. Apmācības laikā, kad saskaņotība ir mazāk droša, vairāk paļaujamies uz smilškastēm un uzraudzību. Kad ieviešanas gaitā modeļi iegūst plašāku piekļuvi, arvien svarīgāka kļūst saskaņotība un sistēmas līmeņa kontroles pasākumi. Katrā posmā vērtējam, vai aizsardzības pasākumi kopumā ir pietiekami modeļa spējām un piekļuves līmenim. Mūsu secinājumus var izskatīt kopā ar Drošības konsultatīvo grupu, un to uzraudzību var veikt OpenAI Foundation direktoru padomes Drošības un aizsardzības komiteja.
Pētniecības posmā izvērtējam modeļus, lai gūtu pārliecību par to saskaņotības īpašībām. Tā kā kaitējuma novēršanā vēl nevaram pilnībā paļauties uz saskaņotību, lielā mērā izmantojam drošības pasākumus un smilškastes, lai ierobežotu modeļu piekļuvi un darbības.
Ņemot vērā pašreizējo saskaņotības pētniecības, uzraudzības sistēmu un interneta infrastruktūras drošības stāvokli, uzskatām, ka atbildīga pieeja ir robežšķirtnes modeļus apmācīt bez tiešas piekļuves internetam. Pēc Hugging Face incidenta mēs būtiski pārstrukturējām iekšējās pētniecības sistēmas, lai modeļus ierobežotu, izmantojot:
smilškastes, kas ierobežo modeļa tiesības
virtuālās mašīnas, kas vēl vairāk izolē darba slodzi no pamatā esošā datora
tīkla un mākoņa perimetrus, kas visu klasteri atdala no interneta
Pastāvīgi pārbaudām šo sistēmu ar imitētiem uzbrukumiem: mūsu spēcīgāko modeļu komandas mēģina piekļūt internetam, pārvarēt drošības robežas vai sazināties ar aģentiem, no kuriem tām jābūt izolētām. Tas palīdz pārbaudīt, vai izolācija iztur to modeļu spējas, kurus tai paredzēts ierobežot.
Kā papildu aizsardzības slāni uzraugām visu robežšķirtnes modeļu inferenci, lai atklātu mūsu drošības invariantu apiešanu. Ja uzraudzība atklāj, ka modelis ir piekļuvis internetam, nosūtām steidzamu brīdinājumu drošības komandām un automātiski apturam darba slodzi.
Uzraudzība nodrošina būtisku papildu aizsardzību, kad izolācija pieviļ. Nesenā ziņojumā par nesaskaņotību atklājām, ka uzraudzības sistēmas konstatēja, ka iekšējs pētniecības modelis izmanto kļūdainu DNS konfigurāciju(atveras jaunā logā), lai iegūtu ierobežotu piekļuvi internetam. No 20. septembra līdz 1. oktobrim apturējām spējīgāko modeļu apmācību un izvērtēšanu, kamēr veicām izmeklēšanu un novērsām drošības nepilnību.
Lai iejaukšanās būtu ātra un uzticama, izveidojām Control Room — centrālu sistēmu, kas izseko pētniecības darba slodzes un pārtrauc modeļa izvadi 35 sekunžu laikā pēc norādījuma apturēt uzdevumu. Šie kontroles pasākumi darbojas tieši inferences infrastruktūrā, tāpēc tie nav atkarīgi no tā, vai katrai pētniecības darba slodzei ir savs apturēšanas mehānisms. Robežšķirtnes modeļu pētniecības darba slodzēm tie pārtrauc modeļa izvadi arī tad, ja Control Room kļūst nepieejama.
Imitēti uzbrukumi un uzraudzība darbojas kopā. Nevaram garantēt, ka smilškaste ir necaursitama, taču imitēti uzbrukumi palīdz novērtēt, cik daudz pūļu modelim vajadzētu, lai no tās izkļūtu. Jo vairāk pūļu modelim nepieciešams, jo vairāk iespēju uzraudzības sistēmām to atklāt un apturēt.
Pētniecības posmā pieprasām stingrus drošības un uzraudzības pasākumus vairāku iemeslu dēļ:
Modeļu izvērtēšana vēl turpinās. Dažiem modeļiem vēl nav pabeigta drošības apmācība, saskaņotības auditi un pārbaudes, kas nepieciešamas publiskai izlaišanai.
Robežšķirtnes pētniecības apstākļi var palielināt riskus. Dažiem pētniecības uzdevumiem vajadzīgas vērienīgākas sistēmas, kurās modelis ir neatlaidīgāks vai spējīgāks nekā parasti ārējā lietojumā (piemēram, Navjē–Stoksa problēmas atrisināšanai bija vajadzīga 10 000 aģentu komanda).
Apmācība notiek plašā mērogā ar mazāku tiešu cilvēku uzraudzību. Atšķirībā no parastas Codex sesijas mūsu apmācības procesi ietver daudz modeļa darbību, un cilvēks neseko katrai mijiedarbībai.
Pirms plašas izlaišanas darbinieki pāriet no robežšķirtnes modeļu izmantošanas pētniecībā smilškastē uz iekšēju lietošanu ārpus smilškastes, piemēram, modelis darbiniekiem kļūst pieejams ChatGPT. Tas ļauj labāk izprast, kā modeļi uzvedas praktiskā lietojumā(atveras jaunā logā), un palīdz pieņemt lēmumus par ieviešanu.
Šajā posmā modelim piešķiram plašāku piekļuvi internetam, mūsu Slack, pirmkoda bāzei un iekšējai infrastruktūrai. Tas būtiski maina risku, jo modeļa darbības tagad tieši ietekmē sistēmas, ko izmantojam OpenAI attīstībai un darbības nodrošināšanai. Iekšējās ieviešanas laikā vairāk jāpaļaujas uz modeļa saskaņotību, sistēmas aizsargmehānismiem un uzraudzību, nevis drošības kontroles pasākumiem.
Pirms robežšķirtnes modeli var ieviest ārpus smilškastes, tam jāiztur saskaņotības un uzraugāmības pārbaudes(atveras jaunā logā). Mūsu saskaņotības novērtējumu kopums pārbauda gan konkrētus saskaņotības trūkumus (piemēram, drošības un aizsardzības ierobežojumu apiešanu), gan vispārīgas uzvedības tendences (piemēram, atkārtoti atlasot iekšējās Codex darbību trajektorijas un pārbaudot nesaskaņotību). Plašāk par mūsu saskaņotības un uzraugāmības novērtējumiem var lasīt jaunākajā GPT‑6 Astra sistēmas kartē(atveras jaunā logā).
Līdzīgi kā produkcijas vidē, pievienojam vēl vienu aizsardzības slāni — sistēmas līmeņa klasifikatorus, kas paredzēti aizsardzībai pret robežšķirtnes kaitējumu, piemēram, ļaunprātīgām kiberdarbībām un bioloģisko ieroču izstrādi. Arī darbiniekiem, kuri izmanto Codex, parasti pieprasām lietot Auto-Review(atveras jaunā logā), kas izvērtē potenciāli riskantas darbības un nodod tās lietotāja izskatīšanai.
Visbeidzot, iekšējās ieviešanas laikā uzraugām katru robežšķirtnes modeļu inferenci, lai atklātu nesaskaņotu uzvedību. Tā kā modelim tagad ir paplašinātas tiesības un piekļuve iekšējai informācijai un sistēmām, īpaši svarīgi kļūst atklāt tādus riskus kā datu eksfiltrācija jeb sensitīvu datu nosūtīšana uz neatļautu galamērķi. Uzraudzība palīdz arī izpētīt jaunas nesaskaņotības formas(atveras jaunā logā).
Pēc publiskas ieviešanas modeļi saskaras ar daudz vairāk lietotājiem, uzdevumiem un vidēm, palielinot gan risku mērogu, gan daudzveidību. Šajā posmā jāaizsargājas arī pret iespējamiem ļaundariem, kas apzināti liek modelim radīt kaitējumu.
Pirms publiskas izlaišanas modeļiem un sistēmas aizsargmehānismiem jāatbilst mūsu ārējās ieviešanas drošības prasībām. Tos izvērtējam šādi:
Veicam plašāku saskaņotības un drošības novērtējumu kopumu. Robežšķirtnes modeļiem tas ietver jaunas adaptīvās testēšanas kārtas ar mūsu iekšējām automatizēto imitēto uzbrukumu sistēmām, lai pārbaudītu modeļa noturību ekstremālos apstākļos. Spēju un drošības novērtējumu rezultātus publicējam mūsu sistēmas kartēs(atveras jaunā logā).
Spējīgāko modeļu testēšanā iesaistām arī trešās puses, lai ekstremālos apstākļos pārbaudītu gan aizsargmehānismus pret ļaunprātīgu izmantošanu, gan modeļu pamatā esošo saskaņotību.
Izskatām iekšējās ieviešanas posma uzraudzības brīdinājumus, lai izsekotu izmaiņām pamatmodeļa saskaņotībā.
Papildus mūsu “sinhronajiem” aizsargmehānismiem (piemēram, modeļa drošības apmācībai un sistēmas klasifikatoriem) ārējā ieviešanā izmantojam arī noteikumu izpildes pasākumus un izmeklēšanu ārpus reāllaika. Šīs komandas apvieno plašā mērogā strādājošus izmeklēšanas aģentus ar cilvēku pārbaudēm, lai atklātu un identificētu iespējamos draudu avotus: ļaunprātīgas kiberdarbības, bioloģisko ieroču izstrādi, destilāciju un paša modeļa nesaskaņotību. Noteikumu izpildes pasākumi ārpus reāllaika ir īpaši noderīgi informācijas apkopošanai no vairākiem kontiem, lai iegūtu pilnīgāku priekšstatu par iespējamo apdraudējumu.
Piekļuves programmas uzticamiem lietotājiem, piemēram, Daybreak un Rosalind, nodrošina vēl vienu drošības slāni un paātrina aizstāvju un likumīgu pētnieku darbu, vienlaikus ierobežojot iespējamo uzbrucēju piekļuvi.
Pamanot kļūmi kādā no drošības slāņiem, neatkarīgi no tā, vai kaitējums tiešām radies, vēlamies to ātri izmeklēt, noteikt prioritāti un, ja iespējams un lietderīgi, publiskot informāciju par to. Saskaņā ar mūsu nesaskaņotības ziņošanas politiku ikviens darbinieks var ierosināt incidenta publiskošanu. Šos ziņojumus izmeklē, un, ja rodas domstarpības par to publiskošanu, lēmumu nodod mūsu Drošības konsultatīvajai grupai. Mēs ne tikai paļaujamies uz darbinieku ziņojumiem, bet arī aktīvi meklējam nesaskaņotības incidentus, lai tos novērstu un dalītos secinājumos.
Mūsu ziņojumi par nesaskaņotību pieejami šeit(atveras jaunā logā).
Šis darbs ir atkarīgs gan no pētniecības progresa, gan no darbības disciplīnas: pareizas kontroles pasākumu konfigurēšanas, to mijiedarbības testēšanas un izlēmīgas rīcības kļūmju gadījumā. Kļūdaini konfigurēts tīkla pakalpojums vai nenostrādājusi automātiskā apturēšana var vājināt citādi spēcīgu aizsardzību.
Modeļiem iegūstot jaunas spējas, mums būs jāturpina apšaubīt aizsargmehānismu pamatā esošos pieņēmumus un vajadzības gadījumā šie mehānismi jāuzlabo. Pētniecībā, iekšējā lietošanā un publiskā ieviešanā gūtajām mācībām jāvirza nākamo modeļu apmācība, izvērtēšana un ieviešana.
Turpināsim dalīties secinājumos sistēmas kartēs, incidentu ziņojumos, iekšējās ieviešanas risku ziņojumos(atveras jaunā logā) un ārējos novērtējumos, lai citi varētu rūpīgi pārbaudīt mūsu pieeju un tās ierobežojumus. Ja šie pierādījumi neatbildīs mūsu drošības standartiem, atkal apturēsim apmācību vai atliksim izlaišanu, līdz prasības būs izpildītas.
Drošības standartu noteikšana
Modeļu izstrādes tempa regulēšana kiberdrošībai kritisku spēju laikmetā — Kā palēninājām robežšķirtnes modeļu apmācību, vienlaikus stiprinot izolāciju, paplašinot uzraudzību un pieprasot pārliecinošākus saskaņotības pierādījumus.
Ceļā uz robežšķirtnes MI apmācības drošības pamatojumiem — Sākotnējās vadlīnijas pierādījumos balstītiem drošības argumentiem, kas aptver tehniskos aizsargmehānismus, darbības praksi un nesaskaņotības izmeklēšanu.
Prioritātes un principi efektīviem trešo pušu novērtējumiem — Mūsu ierosinātā pieeja neatkarīgai drošības pamatojumu, aizsargmehānismu, novērtējumu un modeļu uzvedības pārbaudei.
Periodisks kopsavilkums par iekšējās lietošanas katastrofālu risku novērtējumiem(atveras jaunā logā) — Mūsu publiskais ziņojums par 2026. gada jūniju–septembri apraksta robežšķirtnes modeļu iekšējo ieviešanu, novērtētos riskus un izmaiņas aizsargmehānismos un pārvaldībā.
Saskaņotas uzvedības definēšana un izvērtēšana
Atjaunināta modeļa specifikācija spējīgākam un noderīgākam MI — Kā atjauninājām modeļa specifikāciju, balstoties uz piecām pamatvērtībām, lai virzītu modeļu spriedumus, uzvedību un cilvēku uzraudzības ievērošanu.
Aģentu drošības atšķirības novērtēšanā un produkcijas vidē un novērtēšanas apzināšanās loma(atveras jaunā logā) — Pētījums par atšķirībām starp drošības novērtējumu rezultātiem un uzvedību produkcijas vidē, tostarp par to, kā modeļu vērtēšanas mērķu interpretācija ietekmē sniegumu.
Ārpus g-mean²: papildu uzraugāmības rādītāji(atveras jaunā logā) — Jauni rādītāji uzraugāmības salīdzināšanai un atlikušā riska aplēsēm simulētās sistēmās, kur uzraudzības sistēmas noraida modeļu izvadi.
GPT‑6 Astra sistēmas karte(atveras jaunā logā) — Detalizēti Astra spēju, drošības, saskaņotības un uzraugāmības novērtējumi, kā arī ieviešanas aizsargmehānismi un ierobežojumi.
Modeļu ierobežošana un aizsargmehānismu uzlabošana
Mūsu robežšķirtnes modeļu apmācības vides aizsardzība — Kā stiprinājām izolāciju, izveidojām bezsaistes pētniecības vides un izmantojām spēcīgākos modeļus izolācijas robežu pārbaudei.
Aktivāciju klasifikatoru apmācība drošībai un saskaņotībai(atveras jaunā logā) — Kā klasifikatori izmanto modeļu iekšējās aktivācijas, lai atklātu potenciāli kaitīgu uzvedību un pārtrauktu atbildes vai rīku izsaukumus.
Aģentu darbību automātiska pārbaude bez sinhronas cilvēka uzraudzības(atveras jaunā logā) — Kā atsevišķs pārbaudes aģents vērtē darbības, kas šķērso smilškastes robežas, palīdzot programmēšanas aģentiem strādāt autonomi un bloķējot potenciāli kaitīgas vai neatļautas darbības.
GPT‑Red: pašpilnveide noturības stiprināšanai — Kā apmācām automatizētas imitētu uzbrukumu sistēmas spēlē pret sevi, lai atklātu ievainojamības un uzlabotu modeļu noturību pret uzvedņu injekcijām.
Control Room — Kā izsekojam darba slodzes pētniecības infrastruktūrā un ātri apturam modeļu izvadi, kad drošības vai aizsardzības apsvērumi prasa iejaukšanos.
Reaģēšana uz incidentiem un informācijas publiskošana
Kā atklājam robežšķirtnes modeļu nesaskaņotību — Mūsu uzraudzības sistēma apvieno aktivāciju zondes, modeļu veiktas pārbaudes, automatizētu izmeklēšanu un cilvēku rīcību, lai atklātu un izmeklētu satraucošu uzvedību.
Hugging Face incidents un turpmākais ceļš — Mūsu secinājumi par Hugging Face incidentu un tā rosinātās izmaiņas drošībā, uzraudzībā un saskaņotībā.
Aģents izmantoja DNS, lai piekļūtu ārējam tērzēšanas robotam(atveras jaunā logā) — Kā pētniecības modelis apgāja interneta ierobežojumus nepietiekamas DNS filtrēšanas dēļ, kā uzraudzība to atklāja un kādi kontroles pasākumi tika pievienoti.
Koordinētas modeļu destilācijas kampaņas apturēšana — Kā izmeklējām un apturējām mēģinājumus iegūt aizsargātas modeļa spriestspējas izpausmes, piemērojot kontu ierobežojumus, tehniskos kontroles pasākumus un sadarbojoties ar partneriem.
Mūsu ietvars ziņošanai par modeļu nesaskaņotību — Mūsu process satraucošas modeļu uzvedības izsekošanai, izmeklēšanai un publiskošanai, tostarp gadījumos, kuru cēloņi vai nozīme vēl nav skaidri.
Ziņojumi un paziņojumi par nesaskaņotību(atveras jaunā logā) — Publiskoto incidentu un paziņojumu apkopojums, kas parāda, kā rodas nesaskaņotība un kuros gadījumos aizsargmehānismi darbojas vai pieviļ.
Pētniecības progress un lietojums
Pētniecības paātrināšana: skats no OpenAI iekšienes — Pirmās liecības par to, kā programmēšanas aģenti maina pētniecību OpenAI, tostarp to arvien plašāka izmantošana, sarežģītāki uzdevumi un ietekme uz eksperimentiem.
Par Navjē–Stoksa Tūkstošgades balvas problēmu — Iekšējas MI sistēmas radīts matemātisks pierādījums ar formalizāciju Lean valodā, kas ilustrē plaša mēroga pētniecības ieviesumu spējas.
Daybreak — Mūsu kiberdrošības programma nodrošina pārbaudītiem aizstāvjiem progresīvas MI spējas, drošības rīkus un atbalstu ievainojamību meklēšanai un aizsardzības stiprināšanai.
Iepazīstinām ar GPT‑Rosalind dzīvības zinātņu pētniecībai — Specializēts modelis bioloģijai, zāļu atklāšanai un translācijas medicīnai, kas atbilstošām organizācijām pieejams uzticamas piekļuves programmā.






