OpenAI

Tipptasemel AI riskide ohjamine: treeningust kasutuselevõtuni

18. november 2026 · Ohutus

Tipptasemel mudelite võimekus kasvab üha kiiremini ning meie suutlikkus neid mõista, eesmärkidega kooskõlla viia ja turvata peab püsima sellest ees. Reguleerime mudelite arendamise ja väljalaske tempot, sealhulgas peatame sisemise treenimise⁠(avaneb uues aknas) või lükkame edasi selliste mudelite nagu GPT‑6.1 Astra väljalaske, kui vajame ohutusnõuete täitmiseks rohkem aega. Oleme kasutusele võtnud uued protsessid, näiteks ohutuspõhjenduste koostamise, ning nõuame kogu treenimise vältel tugevamaid tõendeid eesmärkidega kooskõlas käitumise kohta. Need nõuded aeglustavad mudelite väljalaskmist, kuid annavad meile suurema kindluse ohutult edasi liikuda.

Pärast juulis toimunud Hugging Face’i intsidenti⁠ oleme karmistanud mudelite treenimise, testimise ja kasutuselevõtu kaitsemeetmeid ning eesmärkidega kooskõla nõudeid. Selles postituses selgitame, kuidas hindame ja ohjame riske igas etapis, alates rangelt isoleeritud treeningukeskkondadest kuni sinu arvutis kasutatava Codexini. Hindame igas etapis nii mudeleid kui ka kaitsemeetmeid ning järgmisse etappi liikumine eeldab ohutusülevaatust.

Süvakaitse kogu mudeli elutsükli vältel

Kasutame süvakaitset: mitut kaitsekihti, mis vähendavad sõltuvust ühestainsast kaitsemeetmest. Kui üks kiht alt veab, aitavad teised kahju vältida, tagajärgi piirata või meid hoiatada, et saaksime sekkuda.

Meie kaitse jaguneb neljaks kihiks:

Tõhus seire sõltub mudeli jälgitavusest – sellest, kui usaldusväärselt suudavad seiresüsteemid mudeli arutlusest ja tegevustest vigu või ohtlikku käitumist tuvastada. Näiteks on mudel, mis sõnastab oma mõttekäigus (CoT) kavatsuse petta, paremini jälgitav kui mudel, mis selle teabe välja jätab. Hindame jälgitavust treenimise ajal ja enne kasutuselevõttu, arendame paremaid meetodeid selle mõõtmiseks⁠(avaneb uues aknas) ning uurime, mis seda mõjutab⁠(avaneb uues aknas).

Hugging Face’i intsident näitas, miks ei tohiks väga võimekate mudelite ohjamisel tugineda üksnes liivakastidele. Nüüd jälgime tipptasemel mudeleid enamikus sise- ja väliskasutuse keskkondades, sealhulgas kõigil sisemistel kasutusjuhtudel, kus rakendatakse tööriistu.

Iga kihi roll muutub mudeli arendamise ja kasutuselevõtu kolmes etapis:

  • Teadustöö: treenime, testime ja kasutame mudeleid liivakastides.

  • Sisemine kasutuselevõtt: OpenAI töötajad kasutavad mudeleid praktilises töös.

  • Väline kasutuselevõtt: mudelid muutuvad inimestele ja organisatsioonidele laiemalt kättesaadavaks.

Eri etappides toetume eri kihtidele. Treenimise ajal, kui kooskõla eesmärkidega on vähem kindel, toetume rohkem liivakastidele ja seirele. Kui mudelid saavad kasutuselevõtu käigus laiema juurdepääsu, muutuvad eesmärkidega kooskõla ja süsteemitasandi kontrollimeetmed üha olulisemaks. Igas etapis hindame, kas kaitsemeetmed on koos piisavad, arvestades mudeli võimekust ja juurdepääsu. Meie otsused võidakse läbi vaadata koos Ohutuse nõuanderühmaga ning nende üle võib järelevalvet teha OpenAI Foundationi juhatuse Ohutuse ja turvalisuse komitee.

Teadustöö ajal: mudelite hoidmine liivakastides

Teadustöö etapis hindame mudeleid, et saada kindlust nende kooskõlas eesmärkidega. Kuna me ei saa kahju vältimiseks veel täielikult sellele kooskõlale tugineda, toetume suuresti turvameetmetele ja liivakastidele, et piirata mudelite juurdepääsu ja tegevusi.

Arvestades eesmärkidega kooskõla uuringute, seiresüsteemide ja internetitaristu turvalisuse praegust taset, peame vastutustundlikuks treenida tipptasemel mudeleid ilma vahetu internetiühenduseta. Pärast Hugging Face’i intsidenti korraldasime oma sisemised uurimissüsteemid põhjalikult ümber, et mudeleid ohjata järgmiste vahenditega:

  • liivakastid, mis piiravad mudeli õigusi

  • virtuaalmasinad, mis isoleerivad töökoormuse täiendavalt alusarvutist

  • võrgu- ja pilveperimeetrid, mis eraldavad kogu klastri internetist

Lööktestime seda süsteemi pidevalt: meie võimekaimate mudelite meeskonnad püüavad pääseda internetti, ületada turvapiire või suhelda agentidega, kellest nad peaksid olema isoleeritud. See aitab kontrollida, kas isolatsioon peab vastu nende mudelite võimekusele, mida see piirama peab.

Täiendava kaitsekihina jälgime tipptasemel mudelite kõiki järeldustoiminguid, et tuvastada meie turvainvariantidest möödahiilimist. Kui seire tuvastab, et mudel on pääsenud internetti, saadame turvameeskondadele häireteate ja peatame töö automaatselt.

Seire on hädavajalik varukaitse juhuks, kui isolatsioon ei pea. Hiljutises eesmärkidest kõrvalekaldumise aruandes kirjeldasime, kuidas seiresüsteemid tuvastasid sisemise uurimismudeli, mis kasutas ära DNS-i seadistusviga⁠(avaneb uues aknas), et saada piiratud juurdepääs internetile. Peatasime oma võimekaimate mudelite treenimise ja hindamise 20. septembrist 1. oktoobrini, kuni juhtumit uurisime ja turvaaugu kõrvaldasime.

Kiire ja usaldusväärse sekkumise tagamiseks lõime Control Roomi⁠ – keskse süsteemi, mis jälgib uurimistöid ja peatab mudeli edasise väljundi 35 sekundi jooksul pärast töö peatamise käsu saamist. Neid kontrollimeetmeid jõustatakse otse järeldustaristus, mistõttu ei sõltu need sellest, kas igal uurimistööl on oma seiskamismehhanism. Tipptasemel mudelite uurimistöödes peatavad need mudeli väljundi ka siis, kui Control Room pole enam kättesaadav.

Lööktestimine ja seire täiendavad teineteist. Me ei saa tagada, et liivakast on läbimatu, kuid lööktestimine aitab hinnata, kui palju vaeva peaks mudel sellest väljumiseks nägema. Mida rohkem vaeva mudel peab nägema, seda rohkem on seiresüsteemidel võimalusi seda tuvastada ja peatada.

Nõuame teadustöö etapis rangeid turva- ja seiremeetmeid mitmel põhjusel:

  • Mudelite hindamine alles käib. Mõni mudel pole veel läbinud avalikuks väljalaskeks vajalikku ohutustreeningut, eesmärkidega kooskõla auditit ega ülevaatust.

  • Tipptasemel teadustöö keskkonnad võivad riske võimendada. Teatud uurimisülesanded nõuavad ambitsioonikamaid lahendusi, mis muudavad mudeli järjekindlamaks või võimekamaks kui tavapärasel välisel kasutamisel (näiteks Navier’–Stokesi probleemi lahendamiseks oli vaja 10 000 agendist koosnevat meeskonda).

  • Mahukas treenimine toimub väiksema vahetu inimjärelevalve all. Erinevalt tavalisest Codexi seansist hõlmavad meie treeningutööd suurt hulka mudeli tegevusi, ilma et inimene jälgiks iga suhtlust.

Sisemine kasutuselevõtt: eesmärkidega kooskõla testimine ja käitumise hoolikas jälgimine

Enne laialdast väljalaset lähevad töötajad liivakastis tehtavalt teadustöölt üle tipptasemel mudelite sisemisele kasutamisele väljaspool liivakasti, näiteks tehakse mudel töötajatele kättesaadavaks ChatGPT‑s. See aitab meil paremini mõista, kuidas mudelid praktilistes olukordades käituvad⁠(avaneb uues aknas), ning teha kasutuselevõtuotsuseid.

Selles etapis anname mudelile laiema juurdepääsu internetile, meie Slackile, koodibaasile ja sisemisele taristule. See muudab riskitaset oluliselt, sest mudeli tegevus mõjutab nüüd otseselt süsteeme, mille abil me OpenAI-d arendame ja töös hoiame. Sisemise kasutuselevõtu ajal peame turvapiirangute asemel rohkem tuginema mudeli kooskõlale eesmärkidega, süsteemi kaitsemeetmetele ja seirele.

Enne kui tipptasemel mudeli saab väljaspool liivakasti kasutusele võtta, peab see läbima eesmärkidega kooskõla ja jälgitavuse testid⁠(avaneb uues aknas). Meie kooskõlahindamised kontrollivad nii konkreetseid eesmärkidest kõrvalekaldumise viise (näiteks ohutus- ja turvapiirangutest möödahiilimist) kui ka üldisemaid käitumiskalduvusi (näiteks sisemiste Codexi tegevusjadade uuesti valimisse võtmise ja kõrvalekallete kontrollimisega). Meie kooskõla- ja jälgitavushindamiste kohta saab lähemalt lugeda uusimast GPT‑6 Astra süsteemikaardist⁠(avaneb uues aknas).

Nagu tootmiskeskkonnas, lisame siingi kaitsekihi süsteemitasandi klassifikaatoritega, mis on loodud kaitsma tipptasemel mudelitega seotud ohtude, näiteks küberkuritarvituste ja biorelvade loomise eest. Üldjuhul nõuame ka, et Codexit kasutavad töötajad rakendaksid Auto-Review’d⁠(avaneb uues aknas), mis hindab potentsiaalselt riskantseid tegevusi ja suunab need kasutajale otsustamiseks tagasi.

Lisaks jälgime sisemise kasutuselevõtu ajal tipptasemel mudelite iga järeldustoimingut, et tuvastada eesmärkidest kõrvalekalduvat käitumist. Kuna mudelil on nüüd laiendatud õigused ning juurdepääs siseteabele ja -süsteemidele, on eriti tähtis tuvastada selliseid riske nagu andmete väljaviimine ehk tundlike andmete saatmine lubamatusse sihtkohta. Seire aitab meil uurida ka uusi eesmärkidest kõrvalekaldumise vorme⁠(avaneb uues aknas).

Väline kasutuselevõtt: ulatuslik kaitse väärkasutuse ja eesmärkidest kõrvalekaldumise eest

Avalikul kasutuselevõtul puutuvad mudelid kokku palju rohkemate kasutajate, ülesannete ja keskkondadega, mistõttu kasvavad nii riskide ulatus kui ka mitmekesisus. Selles etapis peame kaitsma ka potentsiaalsete pahatahtlike osaliste eest, kes suunavad mudelit teadlikult kahju tekitama.

Enne avalikku väljalaset peavad mudelid ja süsteemi kaitsemeetmed vastama meie välise kasutuselevõtu ohutusnõuetele. Hindamiseks teeme järgmist:

  • Viime läbi ulatuslikumad kooskõla- ja ohutushindamised. Tipptasemel mudelite puhul hõlmab see uusi kohanduva testimise⁠ voore meie sisemiste automatiseeritud lööktestimise agentidega, et mudeli vastupidavus proovile panna. Avaldame võimekuse ja ohutuse hindamise tulemused oma süsteemikaartides⁠(avaneb uues aknas).

  • Kõige võimekamaid mudeleid testime ka koos kolmandate osapooltega, et panna proovile nii väärkasutuse vastased kaitsemeetmed kui ka mudelite sisuline kooskõla eesmärkidega.

  • Uurime sisemise kasutuselevõtu ajal tekkinud seirehoiatusi, et jälgida alusmudeli eesmärkidega kooskõlas toimunud muutusi.

Lisaks „sünkroonsetele“ kaitsemeetmetele (näiteks mudeli ohutustreening ja süsteemiklassifikaatorid) rakendame välisel kasutuselevõtul ka reaalajavälist jõustamist ja uurimist. Need meeskonnad ühendavad ulatusliku uurimisagentide töö inimeste tehtava ülevaatusega, et tuvastada võimalikke ohustajaid ja ohte: küberkuritarvitusi, biorelvade loomist, destilleerimist⁠ ning mudeli enda kõrvalekaldeid eesmärkidest. Reaalajaväline jõustamine on eriti kasulik kontodeülese teabe kogumiseks, et saada võimalikust ohust terviklikum pilt.

Usalduspõhise juurdepääsu programmid, näiteks Daybreak ja Rosalind⁠, lisavad veel ühe turvakihi ning kiirendavad kaitsjate ja õiguspäraste teadlaste tööd, piirates samal ajal võimalike ründajate juurdepääsu.

Intsidentidele reageerimine ja nende avalikustamine

Kui märkame mõne ohutuskihi tõrget, tahame seda kiiresti uurida, hinnata selle tõsidust ning võimaluse ja vajaduse korral avalikustada, olenemata sellest, kas kahju tegelikult tekkis. Meie eesmärkidest kõrvalekaldumisest teatamise⁠ korra järgi võib iga töötaja esitada intsidendi avalikustamiseks. Neid teateid uuritakse ning kui avalikustamise vajalikkuses tekib erimeelsusi, suunatakse otsus meie Ohutuse nõuanderühmale. Lisaks töötajate teadetele otsime ise aktiivselt eesmärkidest kõrvalekaldumise juhtumeid, et nendega tegeleda ja järeldusi jagada.

Meie eesmärkidest kõrvalekaldumise aruanded leiab siit⁠(avaneb uues aknas).

​


​

See töö sõltub nii teaduse edusammudest kui ka töödistsipliinist: kontrollimeetmete õigest seadistamisest, nende koostoime testimisest ja otsustavast reageerimisest tõrgete korral. Valesti seadistatud võrguteenus või automaatse peatamise tõrge võib muidu tugevad kaitsemeetmed kasutuks muuta.

Mudelite uute võimete lisandudes peame kaitsemeetmete aluseks olevaid eeldusi pidevalt proovile panema ja meetmeid vajaduse korral täiustama. Teadustööst, sisemisest kasutusest ja avalikust kasutuselevõtust saadud õppetunnid peavad suunama järgmiste mudelite treenimist, hindamist ja kasutuselevõttu.

Jagame ka edaspidi tulemusi süsteemikaartides, intsidendiaruannetes, sisemise kasutuselevõtu riskiaruannetes⁠(avaneb uues aknas) ja välishindamistes⁠, et teised saaksid meie lähenemist ja selle piiranguid põhjalikult kontrollida. Kui tõendid ei vasta meie ohutusnõuetele, peatame taas treenimise või lükkame väljalaske edasi, kuni nõuded on täidetud.

Seotud uuringud ja materjalid

Ohutusnõuete kehtestamine

Eesmärkidega kooskõlas käitumise määratlemine ja hindamine

Mudelite isoleerimine ja kaitsemeetmete täiustamine

Intsidentidele reageerimine ja nende avalikustamine

Teaduse edusammud ja rakendused

  • Teadustöö kiirenemine: vaade OpenAI seest – Esimesed tõendid sellest, kuidas programmeerimisagendid muudavad OpenAI teadustööd: nende kasvav kasutus, üha keerukamad ülesanded ja mõju katsetamisele.

  • Navier’–Stokesi aastatuhande auhinna probleemist – Sisemise AI-süsteemi loodud matemaatiline tõestus koos Leani formaliseeringuga, mis näitlikustab suuremahuliste teadusrakenduste võimekust.

  • Daybreak – Meie küberturbeprogramm pakub kontrollitud kaitsjatele täiustatud AI-võimeid, turvatööriistu ja tuge haavatavuste leidmiseks ning kaitse tugevdamiseks.

  • Tutvustame eluteaduste uurimiseks loodud GPT‑Rosalindi⁠ – Bioloogiale, ravimiarendusele ja siirdemeditsiinile spetsialiseerunud mudel, mis on nõuetele vastavatele organisatsioonidele kättesaadav usalduspõhise juurdepääsu programmi kaudu.