Tipptasemel AI riskide ohjamine: treeningust kasutuselevõtuni
18. november 2026 · Ohutus
Tipptasemel mudelite võimekus kasvab üha kiiremini ning meie suutlikkus neid mõista, eesmärkidega kooskõlla viia ja turvata peab püsima sellest ees. Reguleerime mudelite arendamise ja väljalaske tempot, sealhulgas peatame sisemise treenimise(avaneb uues aknas) või lükkame edasi selliste mudelite nagu GPT‑6.1 Astra väljalaske, kui vajame ohutusnõuete täitmiseks rohkem aega. Oleme kasutusele võtnud uued protsessid, näiteks ohutuspõhjenduste koostamise, ning nõuame kogu treenimise vältel tugevamaid tõendeid eesmärkidega kooskõlas käitumise kohta. Need nõuded aeglustavad mudelite väljalaskmist, kuid annavad meile suurema kindluse ohutult edasi liikuda.
Pärast juulis toimunud Hugging Face’i intsidenti oleme karmistanud mudelite treenimise, testimise ja kasutuselevõtu kaitsemeetmeid ning eesmärkidega kooskõla nõudeid. Selles postituses selgitame, kuidas hindame ja ohjame riske igas etapis, alates rangelt isoleeritud treeningukeskkondadest kuni sinu arvutis kasutatava Codexini. Hindame igas etapis nii mudeleid kui ka kaitsemeetmeid ning järgmisse etappi liikumine eeldab ohutusülevaatust.
Kasutame süvakaitset: mitut kaitsekihti, mis vähendavad sõltuvust ühestainsast kaitsemeetmest. Kui üks kiht alt veab, aitavad teised kahju vältida, tagajärgi piirata või meid hoiatada, et saaksime sekkuda.
Meie kaitse jaguneb neljaks kihiks:
Tõhus seire sõltub mudeli jälgitavusest – sellest, kui usaldusväärselt suudavad seiresüsteemid mudeli arutlusest ja tegevustest vigu või ohtlikku käitumist tuvastada. Näiteks on mudel, mis sõnastab oma mõttekäigus (CoT) kavatsuse petta, paremini jälgitav kui mudel, mis selle teabe välja jätab. Hindame jälgitavust treenimise ajal ja enne kasutuselevõttu, arendame paremaid meetodeid selle mõõtmiseks(avaneb uues aknas) ning uurime, mis seda mõjutab(avaneb uues aknas).
Hugging Face’i intsident näitas, miks ei tohiks väga võimekate mudelite ohjamisel tugineda üksnes liivakastidele. Nüüd jälgime tipptasemel mudeleid enamikus sise- ja väliskasutuse keskkondades, sealhulgas kõigil sisemistel kasutusjuhtudel, kus rakendatakse tööriistu.
Iga kihi roll muutub mudeli arendamise ja kasutuselevõtu kolmes etapis:
Teadustöö: treenime, testime ja kasutame mudeleid liivakastides.
Sisemine kasutuselevõtt: OpenAI töötajad kasutavad mudeleid praktilises töös.
Väline kasutuselevõtt: mudelid muutuvad inimestele ja organisatsioonidele laiemalt kättesaadavaks.
Eri etappides toetume eri kihtidele. Treenimise ajal, kui kooskõla eesmärkidega on vähem kindel, toetume rohkem liivakastidele ja seirele. Kui mudelid saavad kasutuselevõtu käigus laiema juurdepääsu, muutuvad eesmärkidega kooskõla ja süsteemitasandi kontrollimeetmed üha olulisemaks. Igas etapis hindame, kas kaitsemeetmed on koos piisavad, arvestades mudeli võimekust ja juurdepääsu. Meie otsused võidakse läbi vaadata koos Ohutuse nõuanderühmaga ning nende üle võib järelevalvet teha OpenAI Foundationi juhatuse Ohutuse ja turvalisuse komitee.
Teadustöö etapis hindame mudeleid, et saada kindlust nende kooskõlas eesmärkidega. Kuna me ei saa kahju vältimiseks veel täielikult sellele kooskõlale tugineda, toetume suuresti turvameetmetele ja liivakastidele, et piirata mudelite juurdepääsu ja tegevusi.
Arvestades eesmärkidega kooskõla uuringute, seiresüsteemide ja internetitaristu turvalisuse praegust taset, peame vastutustundlikuks treenida tipptasemel mudeleid ilma vahetu internetiühenduseta. Pärast Hugging Face’i intsidenti korraldasime oma sisemised uurimissüsteemid põhjalikult ümber, et mudeleid ohjata järgmiste vahenditega:
liivakastid, mis piiravad mudeli õigusi
virtuaalmasinad, mis isoleerivad töökoormuse täiendavalt alusarvutist
võrgu- ja pilveperimeetrid, mis eraldavad kogu klastri internetist
Lööktestime seda süsteemi pidevalt: meie võimekaimate mudelite meeskonnad püüavad pääseda internetti, ületada turvapiire või suhelda agentidega, kellest nad peaksid olema isoleeritud. See aitab kontrollida, kas isolatsioon peab vastu nende mudelite võimekusele, mida see piirama peab.
Täiendava kaitsekihina jälgime tipptasemel mudelite kõiki järeldustoiminguid, et tuvastada meie turvainvariantidest möödahiilimist. Kui seire tuvastab, et mudel on pääsenud internetti, saadame turvameeskondadele häireteate ja peatame töö automaatselt.
Seire on hädavajalik varukaitse juhuks, kui isolatsioon ei pea. Hiljutises eesmärkidest kõrvalekaldumise aruandes kirjeldasime, kuidas seiresüsteemid tuvastasid sisemise uurimismudeli, mis kasutas ära DNS-i seadistusviga(avaneb uues aknas), et saada piiratud juurdepääs internetile. Peatasime oma võimekaimate mudelite treenimise ja hindamise 20. septembrist 1. oktoobrini, kuni juhtumit uurisime ja turvaaugu kõrvaldasime.
Kiire ja usaldusväärse sekkumise tagamiseks lõime Control Roomi – keskse süsteemi, mis jälgib uurimistöid ja peatab mudeli edasise väljundi 35 sekundi jooksul pärast töö peatamise käsu saamist. Neid kontrollimeetmeid jõustatakse otse järeldustaristus, mistõttu ei sõltu need sellest, kas igal uurimistööl on oma seiskamismehhanism. Tipptasemel mudelite uurimistöödes peatavad need mudeli väljundi ka siis, kui Control Room pole enam kättesaadav.
Lööktestimine ja seire täiendavad teineteist. Me ei saa tagada, et liivakast on läbimatu, kuid lööktestimine aitab hinnata, kui palju vaeva peaks mudel sellest väljumiseks nägema. Mida rohkem vaeva mudel peab nägema, seda rohkem on seiresüsteemidel võimalusi seda tuvastada ja peatada.
Nõuame teadustöö etapis rangeid turva- ja seiremeetmeid mitmel põhjusel:
Mudelite hindamine alles käib. Mõni mudel pole veel läbinud avalikuks väljalaskeks vajalikku ohutustreeningut, eesmärkidega kooskõla auditit ega ülevaatust.
Tipptasemel teadustöö keskkonnad võivad riske võimendada. Teatud uurimisülesanded nõuavad ambitsioonikamaid lahendusi, mis muudavad mudeli järjekindlamaks või võimekamaks kui tavapärasel välisel kasutamisel (näiteks Navier’–Stokesi probleemi lahendamiseks oli vaja 10 000 agendist koosnevat meeskonda).
Mahukas treenimine toimub väiksema vahetu inimjärelevalve all. Erinevalt tavalisest Codexi seansist hõlmavad meie treeningutööd suurt hulka mudeli tegevusi, ilma et inimene jälgiks iga suhtlust.
Enne laialdast väljalaset lähevad töötajad liivakastis tehtavalt teadustöölt üle tipptasemel mudelite sisemisele kasutamisele väljaspool liivakasti, näiteks tehakse mudel töötajatele kättesaadavaks ChatGPT‑s. See aitab meil paremini mõista, kuidas mudelid praktilistes olukordades käituvad(avaneb uues aknas), ning teha kasutuselevõtuotsuseid.
Selles etapis anname mudelile laiema juurdepääsu internetile, meie Slackile, koodibaasile ja sisemisele taristule. See muudab riskitaset oluliselt, sest mudeli tegevus mõjutab nüüd otseselt süsteeme, mille abil me OpenAI-d arendame ja töös hoiame. Sisemise kasutuselevõtu ajal peame turvapiirangute asemel rohkem tuginema mudeli kooskõlale eesmärkidega, süsteemi kaitsemeetmetele ja seirele.
Enne kui tipptasemel mudeli saab väljaspool liivakasti kasutusele võtta, peab see läbima eesmärkidega kooskõla ja jälgitavuse testid(avaneb uues aknas). Meie kooskõlahindamised kontrollivad nii konkreetseid eesmärkidest kõrvalekaldumise viise (näiteks ohutus- ja turvapiirangutest möödahiilimist) kui ka üldisemaid käitumiskalduvusi (näiteks sisemiste Codexi tegevusjadade uuesti valimisse võtmise ja kõrvalekallete kontrollimisega). Meie kooskõla- ja jälgitavushindamiste kohta saab lähemalt lugeda uusimast GPT‑6 Astra süsteemikaardist(avaneb uues aknas).
Nagu tootmiskeskkonnas, lisame siingi kaitsekihi süsteemitasandi klassifikaatoritega, mis on loodud kaitsma tipptasemel mudelitega seotud ohtude, näiteks küberkuritarvituste ja biorelvade loomise eest. Üldjuhul nõuame ka, et Codexit kasutavad töötajad rakendaksid Auto-Review’d(avaneb uues aknas), mis hindab potentsiaalselt riskantseid tegevusi ja suunab need kasutajale otsustamiseks tagasi.
Lisaks jälgime sisemise kasutuselevõtu ajal tipptasemel mudelite iga järeldustoimingut, et tuvastada eesmärkidest kõrvalekalduvat käitumist. Kuna mudelil on nüüd laiendatud õigused ning juurdepääs siseteabele ja -süsteemidele, on eriti tähtis tuvastada selliseid riske nagu andmete väljaviimine ehk tundlike andmete saatmine lubamatusse sihtkohta. Seire aitab meil uurida ka uusi eesmärkidest kõrvalekaldumise vorme(avaneb uues aknas).
Avalikul kasutuselevõtul puutuvad mudelid kokku palju rohkemate kasutajate, ülesannete ja keskkondadega, mistõttu kasvavad nii riskide ulatus kui ka mitmekesisus. Selles etapis peame kaitsma ka potentsiaalsete pahatahtlike osaliste eest, kes suunavad mudelit teadlikult kahju tekitama.
Enne avalikku väljalaset peavad mudelid ja süsteemi kaitsemeetmed vastama meie välise kasutuselevõtu ohutusnõuetele. Hindamiseks teeme järgmist:
Viime läbi ulatuslikumad kooskõla- ja ohutushindamised. Tipptasemel mudelite puhul hõlmab see uusi kohanduva testimise voore meie sisemiste automatiseeritud lööktestimise agentidega, et mudeli vastupidavus proovile panna. Avaldame võimekuse ja ohutuse hindamise tulemused oma süsteemikaartides(avaneb uues aknas).
Kõige võimekamaid mudeleid testime ka koos kolmandate osapooltega, et panna proovile nii väärkasutuse vastased kaitsemeetmed kui ka mudelite sisuline kooskõla eesmärkidega.
Uurime sisemise kasutuselevõtu ajal tekkinud seirehoiatusi, et jälgida alusmudeli eesmärkidega kooskõlas toimunud muutusi.
Lisaks „sünkroonsetele“ kaitsemeetmetele (näiteks mudeli ohutustreening ja süsteemiklassifikaatorid) rakendame välisel kasutuselevõtul ka reaalajavälist jõustamist ja uurimist. Need meeskonnad ühendavad ulatusliku uurimisagentide töö inimeste tehtava ülevaatusega, et tuvastada võimalikke ohustajaid ja ohte: küberkuritarvitusi, biorelvade loomist, destilleerimist ning mudeli enda kõrvalekaldeid eesmärkidest. Reaalajaväline jõustamine on eriti kasulik kontodeülese teabe kogumiseks, et saada võimalikust ohust terviklikum pilt.
Usalduspõhise juurdepääsu programmid, näiteks Daybreak ja Rosalind, lisavad veel ühe turvakihi ning kiirendavad kaitsjate ja õiguspäraste teadlaste tööd, piirates samal ajal võimalike ründajate juurdepääsu.
Kui märkame mõne ohutuskihi tõrget, tahame seda kiiresti uurida, hinnata selle tõsidust ning võimaluse ja vajaduse korral avalikustada, olenemata sellest, kas kahju tegelikult tekkis. Meie eesmärkidest kõrvalekaldumisest teatamise korra järgi võib iga töötaja esitada intsidendi avalikustamiseks. Neid teateid uuritakse ning kui avalikustamise vajalikkuses tekib erimeelsusi, suunatakse otsus meie Ohutuse nõuanderühmale. Lisaks töötajate teadetele otsime ise aktiivselt eesmärkidest kõrvalekaldumise juhtumeid, et nendega tegeleda ja järeldusi jagada.
Meie eesmärkidest kõrvalekaldumise aruanded leiab siit(avaneb uues aknas).
See töö sõltub nii teaduse edusammudest kui ka töödistsipliinist: kontrollimeetmete õigest seadistamisest, nende koostoime testimisest ja otsustavast reageerimisest tõrgete korral. Valesti seadistatud võrguteenus või automaatse peatamise tõrge võib muidu tugevad kaitsemeetmed kasutuks muuta.
Mudelite uute võimete lisandudes peame kaitsemeetmete aluseks olevaid eeldusi pidevalt proovile panema ja meetmeid vajaduse korral täiustama. Teadustööst, sisemisest kasutusest ja avalikust kasutuselevõtust saadud õppetunnid peavad suunama järgmiste mudelite treenimist, hindamist ja kasutuselevõttu.
Jagame ka edaspidi tulemusi süsteemikaartides, intsidendiaruannetes, sisemise kasutuselevõtu riskiaruannetes(avaneb uues aknas) ja välishindamistes, et teised saaksid meie lähenemist ja selle piiranguid põhjalikult kontrollida. Kui tõendid ei vasta meie ohutusnõuetele, peatame taas treenimise või lükkame väljalaske edasi, kuni nõuded on täidetud.
Ohutusnõuete kehtestamine
Mudelite arendustempo reguleerimine küberkriitiliste võimete ajastul – Kuidas aeglustasime tipptasemel mudelite treenimist, tugevdades samal ajal isolatsiooni, laiendades seiret ja nõudes tugevamaid tõendeid eesmärkidega kooskõla kohta.
Tipptasemel AI treenimise ohutuspõhjenduste poole – Esialgsed juhised tõenduspõhiste ohutusargumentide koostamiseks, mis hõlmavad tehnilisi kaitsemeetmeid, töökorraldust ja eesmärkidest kõrvalekaldumise uurimist.
Tõhusa kolmanda osapoole hindamise prioriteedid ja põhimõtted – Meie pakutud lähenemine ohutuspõhjenduste, kaitsemeetmete, hindamiste ja mudelite käitumise sõltumatuks kontrolliks.
Sisekasutuse katastroofiriskide hindamiste perioodiline kokkuvõte(avaneb uues aknas) – Meie avalik aruanne 2026. aasta juunist septembrini kirjeldab tipptasemel mudelite sisemist kasutuselevõttu, hinnatud riske ning kaitsemeetmete ja juhtimise muudatusi.
Eesmärkidega kooskõlas käitumise määratlemine ja hindamine
Uuendatud mudeli spetsifikatsioon võimekama ja kasulikuma AI jaoks – Kuidas uuendasime mudeli spetsifikatsiooni viie põhiväärtuse alusel, et suunata mudelite otsustusvõimet, käitumist ja inimjärelevalve austamist.
Agentide ohutus: käitumiserinevused hindamisel ja tootmiskeskkonnas ning hindamisteadlikkuse roll(avaneb uues aknas) – Uuring ohutushindamiste tulemuste ja tootmiskeskkonna käitumise erinevustest, sealhulgas sellest, kuidas mudelite tõlgendused hindamise eesmärkidest tulemusi mõjutavad.
Enamat kui g-mean²: täiendavad jälgitavuse mõõdikud(avaneb uues aknas) – Uued mõõdikud jälgitavuse võrdlemiseks ja jääkriski hindamiseks simuleeritud süsteemides, kus seiresüsteemid lükkavad mudeli väljundeid tagasi.
GPT‑6 Astra süsteemikaart(avaneb uues aknas) – Astra võimekuse, ohutuse, eesmärkidega kooskõla ja jälgitavuse põhjalikud hinnangud ning kasutuselevõtu kaitsemeetmed ja piirangud.
Mudelite isoleerimine ja kaitsemeetmete täiustamine
Tipptasemel mudelite treeningukeskkonna turvamine – Kuidas tugevdasime isolatsiooni, lõime internetiühenduseta uurimiskeskkonnad ja kasutasime oma võimekaimaid mudeleid isolatsioonipiiride testimiseks.
Aktivatsiooniklassifikaatorite treenimine ohutuse ja eesmärkidega kooskõla tagamiseks(avaneb uues aknas) – Kuidas klassifikaatorid kasutavad mudelite sisemisi aktivatsioone, et tuvastada võimalikku kahjulikku käitumist ning katkestada vastuseid või tööriistakutseid.
Agentide tegevuste automaatne ülevaatus ilma sünkroonse inimjärelevalveta(avaneb uues aknas) – Kuidas eraldi ülevaatusagent hindab liivakasti piire ületavaid tegevusi, võimaldades programmeerimisagentidel iseseisvalt töötada ja blokeerides potentsiaalselt kahjulikke või lubamatuid tegevusi.
GPT‑Red: enesetäiustamine vastupidavuse suurendamiseks – Kuidas treenime automatiseeritud lööktestimise agente iseendaga mängimise abil, et leida haavatavusi ja parandada mudelite vastupidavust viibasüstidele.
Control Room – Kuidas jälgime töid kogu uurimistaristus ja peatame mudeli väljundi kiiresti, kui ohutus- või turvaprobleemid nõuavad sekkumist.
Intsidentidele reageerimine ja nende avalikustamine
Kuidas tuvastame tipptasemel mudelite kõrvalekaldeid eesmärkidest – Meie seiresüsteem ühendab aktivatsioonisondid, mudelipõhise ülevaatuse, automaatse uurimise ja inimeste reageerimise, et tuvastada ja uurida murettekitavat käitumist.
Hugging Face’i intsident ja edasine tee – Meie järeldused Hugging Face’i intsidendist ning sellest ajendatud muudatused turvalisuses, seires ja eesmärkidega kooskõla tagamises.
Agent kasutas DNS-i välise vestlusrobotini jõudmiseks(avaneb uues aknas) – Kuidas uurimismudel möödus internetipiirangutest ebapiisava DNS-filtreerimise kaudu, kuidas seire selle tuvastas ja millised kontrollimeetmed seejärel lisati.
Koordineeritud mudelidestilleerimiskampaania tõkestamine – Kuidas uurisime ja tõkestasime katseid hankida mudeli kaitstud arutlust, rakendades kontopiiranguid, tehnilisi kontrollimeetmeid ja koostööd partneritega.
Meie raamistik mudelite eesmärkidest kõrvalekaldumisest teatamiseks – Meie protsess mudelite murettekitava käitumise jälgimiseks, uurimiseks ja avalikustamiseks, sealhulgas juhtumites, mille põhjused või tähtsus on veel ebaselged.
Eesmärkidest kõrvalekaldumise aruanded ja teated(avaneb uues aknas) – Meie avalikustatud intsidentide ja teadete kogu, mis näitab, kuidas eesmärkidest kõrvalekaldumine tekib ning kus kaitsemeetmed toimivad või ebaõnnestuvad.
Teaduse edusammud ja rakendused
Teadustöö kiirenemine: vaade OpenAI seest – Esimesed tõendid sellest, kuidas programmeerimisagendid muudavad OpenAI teadustööd: nende kasvav kasutus, üha keerukamad ülesanded ja mõju katsetamisele.
Navier’–Stokesi aastatuhande auhinna probleemist – Sisemise AI-süsteemi loodud matemaatiline tõestus koos Leani formaliseeringuga, mis näitlikustab suuremahuliste teadusrakenduste võimekust.
Daybreak – Meie küberturbeprogramm pakub kontrollitud kaitsjatele täiustatud AI-võimeid, turvatööriistu ja tuge haavatavuste leidmiseks ning kaitse tugevdamiseks.
Tutvustame eluteaduste uurimiseks loodud GPT‑Rosalindi – Bioloogiale, ravimiarendusele ja siirdemeditsiinile spetsialiseerunud mudel, mis on nõuetele vastavatele organisatsioonidele kättesaadav usalduspõhise juurdepääsu programmi kaudu.






