Áhættustýring háþróaðrar gervigreindar: Frá þjálfun til notkunar
18. nóvember 2026 · Öryggi
Geta háþróaðra líkana eykst hratt og hæfni okkar til að skilja þau, samræma og tryggja öryggi þeirra verður að vera skrefi á undan. Við stýrum hraða þróunar og útgáfu líkana okkar, meðal annars með því að gera hlé á innri þjálfun(opnast í nýjum glugga) eða fresta útgáfu líkana á borð við GPT‑6.1 Astra þegar við þurfum meiri tíma til að uppfylla öryggiskröfur okkar. Við höfum innleitt ný ferli, svo sem rökstudda öryggisgreiningu, og krefjumst sterkari gagna um samræmda hegðun allan þjálfunartímann. Þessar kröfur hægja á útgáfu líkana en veita okkur aukna vissu um að óhætt sé að halda áfram.
Frá Hugging Face-atvikinu í júlí höfum við styrkt varnir og hert samræmingarkröfur við þjálfun, prófun og innleiðingu líkana. Í þessari færslu útskýrum við hvernig við metum og stýrum áhættu á hverju stigi, frá vel einangruðu þjálfunarumhverfi til Codex sem þú notar á tölvunni þinni. Við metum bæði líkön og varnir á hverju stigi og krefjumst öryggisyfirferðar áður en haldið er áfram á næsta stig.
Við notum marglaga varnir sem draga úr því hversu háð við erum einstökum verndarráðstöfunum. Ef eitt lag bregst hjálpa önnur til við að koma í veg fyrir skaða, takmarka afleiðingar eða láta okkur vita svo við getum gripið inn í.
Við skipuleggjum varnir okkar í fjórum lögum:
Árangursríkt eftirlit veltur á eftirlitshæfni líkans – hversu áreiðanlega eftirlitskerfi geta greint mistök eða óörugga hegðun út frá rökum og aðgerðum líkansins. Til dæmis er auðveldara að hafa eftirlit með líkani sem orðar áform sín um að svindla í hugsanakeðju sinni (CoT) en líkani sem sleppir þeim upplýsingum. Við metum eftirlitshæfni við þjálfun og áður en líkön eru tekin í notkun, þróum betri aðferðir til að mæla hana(opnast í nýjum glugga) og rannsökum hvað hefur áhrif á hana(opnast í nýjum glugga).
Hugging Face-atvikið sýndi hvers vegna við ættum ekki að treysta á einangrun eina og sér til að halda mjög öflugum líkönum í skefjum. Við fylgjumst nú með háþróuðum líkönum í flestum tilvikum innri og ytri notkunar, þar á meðal við alla innri notkun með verkfærum.
Hlutverk hvers lags breytist á þremur stigum þróunar og innleiðingar líkana:
Rannsóknir: Við þjálfum, prófum og notum líkön í einangruðu umhverfi.
Innri notkun: Starfsfólk OpenAI notar líkön við raunveruleg verkefni.
Ytri notkun: Líkön verða aðgengileg breiðari hópi fólks og stofnana.
Við treystum á mismunandi lög á ólíkum stigum. Við þjálfun, þegar meiri óvissa ríkir um samræmingu, reiðum við okkur meira á einangrun og eftirlit. Eftir því sem líkön fá víðtækari aðgang í notkun verða samræming og hömlur á kerfisstigi sífellt mikilvægari. Á hverju stigi metum við hvort samanlagðar varnir nægi miðað við getu og aðgang líkansins. Ákvarðanir okkar kunna að vera yfirfarnar með Öryggisráðgjafarhópi okkar og lúta eftirliti Öryggisnefndarinnar í stjórn OpenAI Foundation.
Á rannsóknarstiginu metum við líkön til að öðlast vissu um samræmingu þeirra. Þar sem við getum enn ekki treyst fyllilega á samræmingu til að koma í veg fyrir skaða reiðum við okkur að miklu leyti á öryggi og einangrun til að takmarka aðgang og athafnafrelsi líkananna.
Miðað við núverandi stöðu samræmingarrannsókna, eftirlitskerfa og öryggis internetinnviða teljum við ábyrgt að þjálfa háþróuð líkön án virkrar nettengingar. Eftir Hugging Face-atvikið endurskipulögðum við verulega innri rannsóknarkerfi okkar til að halda líkönum í skefjum með:
einangruðu umhverfi sem takmarkar heimildir líkansins
sýndarvélum sem einangra keyrsluna enn frekar frá undirliggjandi tölvu
jaðarvörnum nets og skýs sem aftengja allan klasann frá internetinu
Við prófum kerfið stöðugt með árásarprófunum þar sem hópar öflugustu líkana okkar reyna að tengjast internetinu, komast út fyrir öryggismörk eða eiga samskipti við fulltrúa sem þau eiga að vera einangruð frá. Þetta hjálpar okkur að prófa hvort einangrunin standist getu þeirra líkana sem henni er ætlað að takmarka.
Sem viðbótarvörn fylgjumst við með öllum keyrslum háþróaðra líkana til að greina hvort þau hafi farið fram hjá ófrávíkjanlegum öryggisskilyrðum okkar. Ef eftirlitið greinir að líkanið hafi tengst internetinu köllum við öryggisteymin út og gerum sjálfkrafa hlé á keyrslunni.
Eftirlit er mikilvæg varavörn þegar einangrun bregst. Í nýlegri skýrslu um ósamræmi greindum við frá því að eftirlitskerfi hefðu greint innra rannsóknarlíkan nýta sér ranga DNS-stillingu(opnast í nýjum glugga) til að fá takmarkaðan netaðgang. Við gerðum hlé á þjálfun og mati öflugustu líkana okkar frá 20. september til 1. október á meðan við rannsökuðum málið og lokuðum öryggisglufunni.
Til að tryggja skjót og áreiðanleg inngrip byggðum við Control Room, miðlægt kerfi sem fylgist með rannsóknarkeyrslum og stöðvar frekari úttaksmyndun líkana innan 35 sekúndna frá fyrirmælum um að stöðva verk. Þessum hömlum er framfylgt beint í keyrsluinnviðunum. Þær eru því ekki háðar því að hvert rannsóknarverkefni innleiði eigin stöðvunarbúnað. Við rannsóknarkeyrslur háþróaðra líkana stöðva þær einnig úttaksmyndun ef Control Room verður óaðgengilegt.
Rauðteymi og eftirlit vinna saman. Við getum ekki tryggt að einangrað umhverfi sé óbrjótandi, en rauðteymi hjálpar okkur að meta hversu mikla fyrirhöfn líkan þyrfti til að sleppa út úr því. Því meiri fyrirhöfn sem líkanið þarf að leggja á sig, þeim mun fleiri tækifæri hafa eftirlitskerfin til að greina það og stöðva.
Við krefjumst öflugra öryggis- og eftirlitsráðstafana á rannsóknarstiginu af nokkrum ástæðum:
Enn er verið að meta líkönin. Sum hafa ekki enn lokið þeirri öryggisþjálfun, samræmingarúttekt og yfirferð sem þarf áður en þau verða aðgengileg almenningi.
Aðstæður við háþróaðar rannsóknir geta aukið áhættu. Sum rannsóknarverkefni krefjast metnaðarfyllri uppsetningar sem gerir líkanið þrautseigara eða öflugra en almennt gerist við notkun utan fyrirtækisins (til dæmis þurfti hóp 10.000 fulltrúa til að leysa Navier–Stokes-verkefnið).
Þjálfun fer fram í stórum stíl með minna beinu eftirliti fólks. Ólíkt hefðbundinni Codex-lotu fela þjálfunarverkefni okkar í sér fjölda aðgerða líkana án þess að manneskja fylgist með hverjum samskiptum.
Áður en líkön verða almennt aðgengileg færa starfsmenn sig frá rannsóknum í einangruðu umhverfi yfir í innri notkun háþróaðra líkana utan einangraðs umhverfis, til dæmis með því að gera líkanið aðgengilegt starfsfólki í ChatGPT. Þetta veitir okkur betri skilning á því hvernig líkönin hegða sér í raunverulegum aðstæðum(opnast í nýjum glugga) og styður ákvarðanir um að taka þau í notkun.
Á þessu stigi veitum við líkaninu víðtækari aðgang að internetinu, Slack-svæðinu okkar, kóðasafni og innri innviðum. Þetta breytir áhættunni verulega, því aðgerðir líkansins hafa nú bein áhrif á kerfin sem við notum til að byggja upp og reka OpenAI. Við innri notkun þurfum við að treysta meira á samræmingu líkana, kerfisvarnir og eftirlit en á öryggishömlur.
Áður en hægt er að nota háþróað líkan utan einangraða umhverfisins þarf að prófa samræmingu þess og eftirlitshæfni(opnast í nýjum glugga). Við notum safn samræmingarprófana sem leita bæði að tilteknum samræmingarbrestum (svo sem að líkan fari fram hjá öryggistakmörkunum) og mæla almennar tilhneigingar þess (til dæmis með endurúrtaki úr innri aðgerðaframsvindu Codex og leit að ósamræmi). Nánar er fjallað um mat okkar á samræmingu og eftirlitshæfni í nýjasta kerfiskorti GPT‑6 Astra(opnast í nýjum glugga).
Líkt og í rekstrarumhverfi okkar bætum við við varnarlagi með flokkurum á kerfisstigi sem eiga að vernda gegn skaða af háþróaðri tækni, svo sem netmisnotkun og þróun lífvopna. Við krefjumst einnig almennt þess að starfsfólk sem notar Codex noti sjálfvirka yfirferð(opnast í nýjum glugga), sem metur hugsanlega áhættusamar aðgerðir og vísar þeim aftur til notandans.
Að lokum fylgjumst við með hegðun sem samræmist ekki markmiðum okkar í hverri keyrslu háþróaðra líkana við innri notkun. Þar sem líkanið hefur nú víðtækari heimildir og aðgang að innri upplýsingum og kerfum er sérstaklega mikilvægt að greina áhættu á borð við gagnastuld eða sendingu viðkvæmra gagna til óheimils viðtakanda. Eftirlit hjálpar okkur einnig að rannsaka nýjar birtingarmyndir ósamræmis(opnast í nýjum glugga).
Þegar líkön verða aðgengileg almenningi mæta þau mun fleiri notendum, verkefnum og aðstæðum. Það eykur bæði umfang áhættu og fjölbreytni hennar. Á þessu stigi þurfum við líka að verjast mögulegum illgjörnum aðilum sem vísvitandi beina líkaninu að skaðlegum verkum.
Áður en líkön verða aðgengileg almenningi verða þau og kerfisvarnirnar að uppfylla öryggiskröfur okkar um ytri notkun. Við metum þau með því að:
Framkvæma umfangsmeira mat á samræmingu og öryggi. Fyrir háþróuð líkön okkar felur þetta í sér nýjar umferðir aðlögunarprófana með innri sjálfvirkum rauðteymum okkar til að reyna á þol líkananna. Við birtum niðurstöður getu- og öryggismats okkar í kerfiskortum(opnast í nýjum glugga) okkar.
Öflugustu líkönin prófum við einnig með utanaðkomandi aðilum til að reyna á bæði varnir okkar gegn misnotkun og undirliggjandi samræmingu líkananna.
Skoða viðvaranir úr eftirliti við innri notkun til að fylgjast með breytingum á undirliggjandi samræmingu grunnlíkansins.
Auk „samtímaverndarráðstafana“ okkar (svo sem öryggisþjálfunar líkana og kerfisflokkara) beitum við einnig regluvörslu og rannsóknum eftir á við ytri notkun. Þessi teymi sameina rannsóknir sjálfvirkra fulltrúa í stórum stíl og yfirferð fólks til að greina mögulega ógnvalda. Þau skoða netmisnotkun, þróun lífvopna, þekkingareimingu og ósamræmi í líkaninu sjálfu. Regluvarsla eftir á nýtist sérstaklega vel við að safna upplýsingum þvert á reikninga til að fá heildstæðari mynd af mögulegri ógn.
Aðgangsáætlanir fyrir trausta aðila, svo sem Daybreak og Rosalind, bæta við öryggislagi og hraða starfi varnaraðila og rannsakenda í lögmætum verkefnum, um leið og aðgangur mögulegra árásaraðila er takmarkaður.
Þegar við verðum vör við brest í einu öryggislaga okkar viljum við rannsaka hann fljótt, meta alvarleika hans og upplýsa um hann opinberlega ef það er hægt og viðeigandi, hvort sem skaði varð eða ekki. Samkvæmt stefnu okkar um tilkynningar um ósamræmi getur hver starfsmaður bent á atvik sem ástæða er til að greina opinberlega frá. Tilkynningarnar eru rannsakaðar og ef ágreiningur er um hvort birta eigi þær opinberlega er ákvörðuninni vísað til Öryggisráðgjafarhóps okkar. Auk þess að reiða okkur á tilkynningar starfsfólks leitum við markvisst að ósamræmisatvikum svo við getum brugðist við þeim og miðlað niðurstöðum.
Skýrslur okkar um ósamræmi má sjá hér(opnast í nýjum glugga).
Þetta starf byggist bæði á framförum í rannsóknum og öguðum rekstri: að stilla varnir rétt, prófa samspil þeirra og bregðast af festu við þegar þær bregðast. Rangt stillt netþjónusta eða sjálfvirk stöðvun sem bregst getur grafið undan annars öflugum vörnum.
Eftir því sem líkön öðlast nýja getu þurfum við áfram að véfengja forsendurnar að baki vörnum okkar og bæta þær eftir þörfum. Lærdómur af rannsóknum, innri notkun og almennri notkun verður að móta hvernig við þjálfum, metum og tökum næstu líkön í notkun.
Við munum áfram miðla niðurstöðum í kerfiskortum, atvikaskýrslum, áhættuskýrslum(opnast í nýjum glugga) um innri notkun og ytra mati svo aðrir geti rýnt í nálgun okkar, þar á meðal takmarkanir hennar. Þegar gögnin nægja ekki til að sýna fram á að öryggiskröfur okkar séu uppfylltar munum við aftur gera hlé á þjálfun eða fresta útgáfu þar til kröfunum er mætt.
Setning öryggisviðmiða
Að stýra hraða líkanaþróunar þegar geta þeirra verður afgerandi fyrir netöryggi — Hvernig við hægðum á þjálfun háþróaðra líkana, styrktum einangrun, víkkuðum eftirlit og kröfðumst sterkari gagna um samræmingu.
Í átt að rökstuddri öryggisgreiningu fyrir þjálfun háþróaðrar gervigreindar — Fyrstu leiðbeiningar um gagnastudd öryggisrök sem ná yfir tæknilegar varnir, verklag í rekstri og rannsóknir á ósamræmi.
Forgangsatriði og meginreglur fyrir árangursríkt mat þriðju aðila — Tillaga okkar að óháðri rýni á rökstuddum öryggisgreiningum, vörnum, mati og hegðun líkana.
Regluleg samantekt á mati á hamfaraáhættu vegna innri notkunar(opnast í nýjum glugga) — Opinber skýrsla okkar fyrir júní–september 2026 lýsir innri notkun háþróaðra líkana, mati á áhættu þeirra og breytingum á vörnum og stjórnarháttum.
Skilgreining og mat á samræmdri hegðun
Uppfærð líkanslýsing fyrir öflugri og gagnlegri Ai — Hvernig við uppfærðum líkanslýsinguna út frá fimm grunngildum sem leiðbeina dómgreind og hegðun líkana og virðingu þeirra fyrir eftirliti fólks.
Munur á öryggishegðun fulltrúa í mati og rekstri og hlutverk vitundar um mat(opnast í nýjum glugga) — Rannsókn á muninum á niðurstöðum öryggismats og hegðun í rekstri, þar á meðal hvernig túlkun líkana á markmiðum mats hefur áhrif á frammistöðu.
Handan g-mean²: Viðbótarmælikvarðar á eftirlitshæfni(opnast í nýjum glugga) — Nýir mælikvarðar til að bera saman eftirlitshæfni og meta eftirstæða áhættu í hermdum kerfum þar sem eftirlitskerfi hafna úttaki líkana.
Kerfiskort GPT‑6 Astra(opnast í nýjum glugga) — Ítarlegt mat á getu, öryggi, samræmingu og eftirlitshæfni Astra, ásamt vörnum við notkun þess og takmörkunum.
Einangrun líkana og bættar varnir
Öryggi í þjálfunarumhverfi háþróaðra líkana okkar — Hvernig við styrktum einangrun, byggðum rannsóknarumhverfi án nettengingar og notuðum öflugustu líkön okkar til að prófa mörk einangrunarinnar.
Þjálfun virkniflokkara fyrir öryggi og samræmingu(opnast í nýjum glugga) — Hvernig flokkarar nota innri virkni líkana til að greina hugsanlega skaðlega hegðun og stöðva svör eða verkfæraköll.
Sjálfvirk yfirferð aðgerða fulltrúa án samtímaeftirlits fólks(opnast í nýjum glugga) — Hvernig sérstakur yfirferðarfulltrúi metur aðgerðir sem fara út fyrir einangrað umhverfi, svo forritunarfulltrúar geti unnið sjálfstætt á meðan hugsanlega skaðlegar eða óheimilar aðgerðir eru stöðvaðar.
GPT‑Red: Sjálfsumbætur til að auka þol — Hvernig við þjálfum sjálfvirk rauðteymi með sjálfleik til að finna veikleika og auka þol líkana gegn innspýtingu kvaðninga.
Control Room — Hvernig við fylgjumst með keyrslum í rannsóknarinnviðum okkar og stöðvum úttaksmyndun líkana hratt þegar öryggisáhyggjur krefjast inngrips.
Viðbrögð við atvikum og upplýsingagjöf
Hvernig við greinum ósamræmi í háþróuðum líkönum — Eftirlitskerfi okkar sameinar virkninema, yfirferð með líkönum, sjálfvirka rannsókn og viðbrögð fólks til að greina og rannsaka varhugaverða hegðun.
Hugging Face-atvikið og framhaldið — Niðurstöður okkar úr Hugging Face-atvikinu og þær breytingar sem það leiddi til á öryggi, eftirliti og samræmingu.
Fulltrúi notaði DNS til að ná sambandi við ytra spjallmenni(opnast í nýjum glugga) — Hvernig rannsóknarlíkan fór fram hjá nettakmörkunum vegna ófullnægjandi DNS-síunar, hvernig eftirlit greindi það og hvaða vörnum var bætt við í kjölfarið.
Samstilltar tilraunir til þekkingareimingar líkana stöðvaðar — Hvernig við rannsökuðum og stöðvuðum tilraunir til að ná vernduðum rökum líkana með aðgerðum gegn reikningum, tæknilegum hömlum og samvinnu við samstarfsaðila.
Rammi okkar um tilkynningar um ósamræmi líkana — Ferli okkar við að skrá, rannsaka og upplýsa um varhugaverða hegðun líkana, þar á meðal tilvik þar sem orsakir eða mikilvægi eru enn óljós.
Skýrslur og tilkynningar um ósamræmi(opnast í nýjum glugga) — Safn okkar af birtum atvikum og tilkynningum sem sýna hvernig ósamræmi kemur fram og hvar varnir virka eða bregðast.
Framfarir í rannsóknum og hagnýting
Hraðari rannsóknir: Sýn innan úr OpenAI — Fyrstu vísbendingar um hvernig forritunarfulltrúar breyta rannsóknum innan OpenAI, þar á meðal aukin notkun þeirra, sífellt flóknari verkefni og áhrif á tilraunastarf.
Um Navier–Stokes-þúsaldarverðlaunaverkefnið — Stærðfræðileg sönnun sem innra Ai-kerfi bjó til, ásamt formlegri framsetningu í Lean, sem sýnir getu rannsóknarkerfa í stórum stíl.
Daybreak — Netöryggisáætlun okkar veitir yfirförnum varnaraðilum háþróaða Ai-getu, öryggisverkfæri og stuðning til að finna veikleika og styrkja varnir.
GPT‑Rosalind kynnt til rannsókna í lífvísindum — Sérhæft líkan fyrir líffræði, lyfjaleit og yfirfærslulæknisfræði, aðgengilegt stofnunum sem uppfylla skilyrði í gegnum aðgangsáætlun fyrir trausta aðila.






