OpenAI

Robežšķirtnes MI risku pārvaldība: no apmācības līdz ieviešanai

2026. gada 18. novembris · Drošība

Robežšķirtnes modeļu spējas strauji aug, un mūsu spējai tos izprast, saskaņot un aizsargāt jābūt soli priekšā. Mēs regulējam savu modeļu izstrādes un izlaišanas tempu, tostarp apturot iekšējo apmācību⁠(atveras jaunā logā) vai atliekot tādu modeļu kā GPT‑6.1 Astra izlaišanu, kad drošības standartu izpildei vajadzīgs vairāk laika. Esam ieviesuši jaunus procesus, piemēram, drošības pamatojumus, un visā apmācības gaitā pieprasām pārliecinošākus saskaņotas uzvedības pierādījumus. Šīs prasības palēnina modeļu izlaišanu, bet dod lielāku pārliecību, ka varam droši virzīties uz priekšu.

Kopš Hugging Face incidenta⁠ jūlijā esam pastiprinājuši aizsargmehānismus un saskaņotības prasības modeļu apmācībai, testēšanai un ieviešanai. Šajā rakstā skaidrots, kā vērtējam un pārvaldām risku katrā posmā — no stingri izolētām apmācības vidēm līdz Codex, ko izmantojat savā datorā. Katrā posmā vērtējam gan modeļus, gan aizsargmehānismus, un pirms pārejas uz nākamo posmu ir obligāta drošības pārbaude.

Daudzslāņu aizsardzība visā modeļa dzīves ciklā

Izmantojam daudzslāņu aizsardzību, kuras vairāki slāņi mazina atkarību no viena aizsargmehānisma. Ja viens slānis pieviļ, citi palīdz novērst kaitējumu, ierobežot sekas vai brīdina mūs, lai varam iejaukties.

Mūsu aizsardzību veido četri slāņi:

Efektīva uzraudzība ir atkarīga no modeļa uzraugāmības — cik uzticami uzraudzības sistēmas var atklāt kļūdas vai nedrošu uzvedību modeļa spriestspējas izpausmēs un darbībās. Piemēram, modeli, kas savā domu ķēdē (CoT) vārdos pauž nodomu krāpties, ir vieglāk uzraudzīt nekā tādu, kas šo informāciju neiekļauj. Uzraugāmību vērtējam apmācības laikā un pirms ieviešanas, izstrādājam labākas tās mērīšanas metodes⁠(atveras jaunā logā) un pētām, kas to ietekmē⁠(atveras jaunā logā).

Hugging Face incidents parādīja, kāpēc ļoti spējīgu modeļu ierobežošanai nedrīkst paļauties tikai uz smilškastēm. Tagad uzraugām robežšķirtnes modeļus lielākajā daļā iekšējā un ārējā lietojuma vides, tostarp visos iekšējās ieviešanas gadījumos, kuros tiek izmantoti rīki.

Katra slāņa loma mainās trīs modeļu izstrādes un ieviešanas posmos:

  • Pētniecība: apmācām, testējam un izmantojam modeļus smilškastes vidēs.

  • Iekšējā ieviešana: OpenAI darbinieki izmanto modeļus praktiskā darbā.

  • Ārējā ieviešana: modeļi kļūst pieejami plašākam cilvēku un organizāciju lokam.

Dažādos posmos paļaujamies uz dažādiem slāņiem. Apmācības laikā, kad saskaņotība ir mazāk droša, vairāk paļaujamies uz smilškastēm un uzraudzību. Kad ieviešanas gaitā modeļi iegūst plašāku piekļuvi, arvien svarīgāka kļūst saskaņotība un sistēmas līmeņa kontroles pasākumi. Katrā posmā vērtējam, vai aizsardzības pasākumi kopumā ir pietiekami modeļa spējām un piekļuves līmenim. Mūsu secinājumus var izskatīt kopā ar Drošības konsultatīvo grupu, un to uzraudzību var veikt OpenAI Foundation direktoru padomes Drošības un aizsardzības komiteja.

Pētniecības laikā: ierobežot modeļus smilškastes vidēs

Pētniecības posmā izvērtējam modeļus, lai gūtu pārliecību par to saskaņotības īpašībām. Tā kā kaitējuma novēršanā vēl nevaram pilnībā paļauties uz saskaņotību, lielā mērā izmantojam drošības pasākumus un smilškastes, lai ierobežotu modeļu piekļuvi un darbības.

Ņemot vērā pašreizējo saskaņotības pētniecības, uzraudzības sistēmu un interneta infrastruktūras drošības stāvokli, uzskatām, ka atbildīga pieeja ir robežšķirtnes modeļus apmācīt bez tiešas piekļuves internetam. Pēc Hugging Face incidenta mēs būtiski pārstrukturējām iekšējās pētniecības sistēmas, lai modeļus ierobežotu, izmantojot:

  • smilškastes, kas ierobežo modeļa tiesības

  • virtuālās mašīnas, kas vēl vairāk izolē darba slodzi no pamatā esošā datora

  • tīkla un mākoņa perimetrus, kas visu klasteri atdala no interneta

Pastāvīgi pārbaudām šo sistēmu ar imitētiem uzbrukumiem: mūsu spēcīgāko modeļu komandas mēģina piekļūt internetam, pārvarēt drošības robežas vai sazināties ar aģentiem, no kuriem tām jābūt izolētām. Tas palīdz pārbaudīt, vai izolācija iztur to modeļu spējas, kurus tai paredzēts ierobežot.

Kā papildu aizsardzības slāni uzraugām visu robežšķirtnes modeļu inferenci, lai atklātu mūsu drošības invariantu apiešanu. Ja uzraudzība atklāj, ka modelis ir piekļuvis internetam, nosūtām steidzamu brīdinājumu drošības komandām un automātiski apturam darba slodzi.

Uzraudzība nodrošina būtisku papildu aizsardzību, kad izolācija pieviļ. Nesenā ziņojumā par nesaskaņotību atklājām, ka uzraudzības sistēmas konstatēja, ka iekšējs pētniecības modelis izmanto kļūdainu DNS konfigurāciju⁠(atveras jaunā logā), lai iegūtu ierobežotu piekļuvi internetam. No 20. septembra līdz 1. oktobrim apturējām spējīgāko modeļu apmācību un izvērtēšanu, kamēr veicām izmeklēšanu un novērsām drošības nepilnību.

Lai iejaukšanās būtu ātra un uzticama, izveidojām Control Room⁠ — centrālu sistēmu, kas izseko pētniecības darba slodzes un pārtrauc modeļa izvadi 35 sekunžu laikā pēc norādījuma apturēt uzdevumu. Šie kontroles pasākumi darbojas tieši inferences infrastruktūrā, tāpēc tie nav atkarīgi no tā, vai katrai pētniecības darba slodzei ir savs apturēšanas mehānisms. Robežšķirtnes modeļu pētniecības darba slodzēm tie pārtrauc modeļa izvadi arī tad, ja Control Room kļūst nepieejama.

Imitēti uzbrukumi un uzraudzība darbojas kopā. Nevaram garantēt, ka smilškaste ir necaursitama, taču imitēti uzbrukumi palīdz novērtēt, cik daudz pūļu modelim vajadzētu, lai no tās izkļūtu. Jo vairāk pūļu modelim nepieciešams, jo vairāk iespēju uzraudzības sistēmām to atklāt un apturēt.

Pētniecības posmā pieprasām stingrus drošības un uzraudzības pasākumus vairāku iemeslu dēļ:

  • Modeļu izvērtēšana vēl turpinās. Dažiem modeļiem vēl nav pabeigta drošības apmācība, saskaņotības auditi un pārbaudes, kas nepieciešamas publiskai izlaišanai.

  • Robežšķirtnes pētniecības apstākļi var palielināt riskus. Dažiem pētniecības uzdevumiem vajadzīgas vērienīgākas sistēmas, kurās modelis ir neatlaidīgāks vai spējīgāks nekā parasti ārējā lietojumā (piemēram, Navjē–Stoksa problēmas atrisināšanai bija vajadzīga 10 000 aģentu komanda).

  • Apmācība notiek plašā mērogā ar mazāku tiešu cilvēku uzraudzību. Atšķirībā no parastas Codex sesijas mūsu apmācības procesi ietver daudz modeļa darbību, un cilvēks neseko katrai mijiedarbībai.

Iekšējā ieviešana: pārbaudīt saskaņotību, rūpīgi uzraudzīt uzvedību

Pirms plašas izlaišanas darbinieki pāriet no robežšķirtnes modeļu izmantošanas pētniecībā smilškastē uz iekšēju lietošanu ārpus smilškastes, piemēram, modelis darbiniekiem kļūst pieejams ChatGPT. Tas ļauj labāk izprast, kā modeļi uzvedas praktiskā lietojumā⁠(atveras jaunā logā), un palīdz pieņemt lēmumus par ieviešanu.

Šajā posmā modelim piešķiram plašāku piekļuvi internetam, mūsu Slack, pirmkoda bāzei un iekšējai infrastruktūrai. Tas būtiski maina risku, jo modeļa darbības tagad tieši ietekmē sistēmas, ko izmantojam OpenAI attīstībai un darbības nodrošināšanai. Iekšējās ieviešanas laikā vairāk jāpaļaujas uz modeļa saskaņotību, sistēmas aizsargmehānismiem un uzraudzību, nevis drošības kontroles pasākumiem.

Pirms robežšķirtnes modeli var ieviest ārpus smilškastes, tam jāiztur saskaņotības un uzraugāmības pārbaudes⁠(atveras jaunā logā). Mūsu saskaņotības novērtējumu kopums pārbauda gan konkrētus saskaņotības trūkumus (piemēram, drošības un aizsardzības ierobežojumu apiešanu), gan vispārīgas uzvedības tendences (piemēram, atkārtoti atlasot iekšējās Codex darbību trajektorijas un pārbaudot nesaskaņotību). Plašāk par mūsu saskaņotības un uzraugāmības novērtējumiem var lasīt jaunākajā GPT‑6 Astra sistēmas kartē⁠(atveras jaunā logā).

Līdzīgi kā produkcijas vidē, pievienojam vēl vienu aizsardzības slāni — sistēmas līmeņa klasifikatorus, kas paredzēti aizsardzībai pret robežšķirtnes kaitējumu, piemēram, ļaunprātīgām kiberdarbībām un bioloģisko ieroču izstrādi. Arī darbiniekiem, kuri izmanto Codex, parasti pieprasām lietot Auto-Review⁠(atveras jaunā logā), kas izvērtē potenciāli riskantas darbības un nodod tās lietotāja izskatīšanai.

Visbeidzot, iekšējās ieviešanas laikā uzraugām katru robežšķirtnes modeļu inferenci, lai atklātu nesaskaņotu uzvedību. Tā kā modelim tagad ir paplašinātas tiesības un piekļuve iekšējai informācijai un sistēmām, īpaši svarīgi kļūst atklāt tādus riskus kā datu eksfiltrācija jeb sensitīvu datu nosūtīšana uz neatļautu galamērķi. Uzraudzība palīdz arī izpētīt jaunas nesaskaņotības formas⁠(atveras jaunā logā).

Ārējā ieviešana: plaša mēroga aizsardzība pret ļaunprātīgu izmantošanu un nesaskaņotību

Pēc publiskas ieviešanas modeļi saskaras ar daudz vairāk lietotājiem, uzdevumiem un vidēm, palielinot gan risku mērogu, gan daudzveidību. Šajā posmā jāaizsargājas arī pret iespējamiem ļaundariem, kas apzināti liek modelim radīt kaitējumu.

Pirms publiskas izlaišanas modeļiem un sistēmas aizsargmehānismiem jāatbilst mūsu ārējās ieviešanas drošības prasībām. Tos izvērtējam šādi:

  • Veicam plašāku saskaņotības un drošības novērtējumu kopumu. Robežšķirtnes modeļiem tas ietver jaunas adaptīvās testēšanas⁠ kārtas ar mūsu iekšējām automatizēto imitēto uzbrukumu sistēmām, lai pārbaudītu modeļa noturību ekstremālos apstākļos. Spēju un drošības novērtējumu rezultātus publicējam mūsu sistēmas kartēs⁠(atveras jaunā logā).

  • Spējīgāko modeļu testēšanā iesaistām arī trešās puses, lai ekstremālos apstākļos pārbaudītu gan aizsargmehānismus pret ļaunprātīgu izmantošanu, gan modeļu pamatā esošo saskaņotību.

  • Izskatām iekšējās ieviešanas posma uzraudzības brīdinājumus, lai izsekotu izmaiņām pamatmodeļa saskaņotībā.

Papildus mūsu “sinhronajiem” aizsargmehānismiem (piemēram, modeļa drošības apmācībai un sistēmas klasifikatoriem) ārējā ieviešanā izmantojam arī noteikumu izpildes pasākumus un izmeklēšanu ārpus reāllaika. Šīs komandas apvieno plašā mērogā strādājošus izmeklēšanas aģentus ar cilvēku pārbaudēm, lai atklātu un identificētu iespējamos draudu avotus: ļaunprātīgas kiberdarbības, bioloģisko ieroču izstrādi, destilāciju⁠ un paša modeļa nesaskaņotību. Noteikumu izpildes pasākumi ārpus reāllaika ir īpaši noderīgi informācijas apkopošanai no vairākiem kontiem, lai iegūtu pilnīgāku priekšstatu par iespējamo apdraudējumu.

Piekļuves programmas uzticamiem lietotājiem, piemēram, Daybreak un Rosalind⁠, nodrošina vēl vienu drošības slāni un paātrina aizstāvju un likumīgu pētnieku darbu, vienlaikus ierobežojot iespējamo uzbrucēju piekļuvi.

Reaģēšana uz incidentiem un informācijas publiskošana

Pamanot kļūmi kādā no drošības slāņiem, neatkarīgi no tā, vai kaitējums tiešām radies, vēlamies to ātri izmeklēt, noteikt prioritāti un, ja iespējams un lietderīgi, publiskot informāciju par to. Saskaņā ar mūsu nesaskaņotības ziņošanas⁠ politiku ikviens darbinieks var ierosināt incidenta publiskošanu. Šos ziņojumus izmeklē, un, ja rodas domstarpības par to publiskošanu, lēmumu nodod mūsu Drošības konsultatīvajai grupai. Mēs ne tikai paļaujamies uz darbinieku ziņojumiem, bet arī aktīvi meklējam nesaskaņotības incidentus, lai tos novērstu un dalītos secinājumos.

Mūsu ziņojumi par nesaskaņotību pieejami šeit⁠(atveras jaunā logā).

​


​

Šis darbs ir atkarīgs gan no pētniecības progresa, gan no darbības disciplīnas: pareizas kontroles pasākumu konfigurēšanas, to mijiedarbības testēšanas un izlēmīgas rīcības kļūmju gadījumā. Kļūdaini konfigurēts tīkla pakalpojums vai nenostrādājusi automātiskā apturēšana var vājināt citādi spēcīgu aizsardzību.

Modeļiem iegūstot jaunas spējas, mums būs jāturpina apšaubīt aizsargmehānismu pamatā esošos pieņēmumus un vajadzības gadījumā šie mehānismi jāuzlabo. Pētniecībā, iekšējā lietošanā un publiskā ieviešanā gūtajām mācībām jāvirza nākamo modeļu apmācība, izvērtēšana un ieviešana.

Turpināsim dalīties secinājumos sistēmas kartēs, incidentu ziņojumos, iekšējās ieviešanas risku ziņojumos⁠(atveras jaunā logā) un ārējos novērtējumos⁠, lai citi varētu rūpīgi pārbaudīt mūsu pieeju un tās ierobežojumus. Ja šie pierādījumi neatbildīs mūsu drošības standartiem, atkal apturēsim apmācību vai atliksim izlaišanu, līdz prasības būs izpildītas.

Saistītie pētījumi un resursi

Drošības standartu noteikšana

Saskaņotas uzvedības definēšana un izvērtēšana

Modeļu ierobežošana un aizsargmehānismu uzlabošana

Reaģēšana uz incidentiem un informācijas publiskošana

Pētniecības progress un lietojums