OpenAI

Áhættustýring háþróaðrar gervigreindar: Frá þjálfun til notkunar

18. nóvember 2026 · Öryggi

Geta háþróaðra líkana eykst hratt og hæfni okkar til að skilja þau, samræma og tryggja öryggi þeirra verður að vera skrefi á undan. Við stýrum hraða þróunar og útgáfu líkana okkar, meðal annars með því að gera hlé á innri þjálfun⁠(opnast í nýjum glugga) eða fresta útgáfu líkana á borð við GPT‑6.1 Astra þegar við þurfum meiri tíma til að uppfylla öryggiskröfur okkar. Við höfum innleitt ný ferli, svo sem rökstudda öryggisgreiningu, og krefjumst sterkari gagna um samræmda hegðun allan þjálfunartímann. Þessar kröfur hægja á útgáfu líkana en veita okkur aukna vissu um að óhætt sé að halda áfram.

Frá Hugging Face-atvikinu⁠ í júlí höfum við styrkt varnir og hert samræmingarkröfur við þjálfun, prófun og innleiðingu líkana. Í þessari færslu útskýrum við hvernig við metum og stýrum áhættu á hverju stigi, frá vel einangruðu þjálfunarumhverfi til Codex sem þú notar á tölvunni þinni. Við metum bæði líkön og varnir á hverju stigi og krefjumst öryggisyfirferðar áður en haldið er áfram á næsta stig.

Marglaga varnir allan líftíma líkansins

Við notum marglaga varnir sem draga úr því hversu háð við erum einstökum verndarráðstöfunum. Ef eitt lag bregst hjálpa önnur til við að koma í veg fyrir skaða, takmarka afleiðingar eða láta okkur vita svo við getum gripið inn í.

Við skipuleggjum varnir okkar í fjórum lögum:

Árangursríkt eftirlit veltur á eftirlitshæfni líkans – hversu áreiðanlega eftirlitskerfi geta greint mistök eða óörugga hegðun út frá rökum og aðgerðum líkansins. Til dæmis er auðveldara að hafa eftirlit með líkani sem orðar áform sín um að svindla í hugsanakeðju sinni (CoT) en líkani sem sleppir þeim upplýsingum. Við metum eftirlitshæfni við þjálfun og áður en líkön eru tekin í notkun, þróum betri aðferðir til að mæla hana⁠(opnast í nýjum glugga) og rannsökum hvað hefur áhrif á hana⁠(opnast í nýjum glugga).

Hugging Face-atvikið sýndi hvers vegna við ættum ekki að treysta á einangrun eina og sér til að halda mjög öflugum líkönum í skefjum. Við fylgjumst nú með háþróuðum líkönum í flestum tilvikum innri og ytri notkunar, þar á meðal við alla innri notkun með verkfærum.

Hlutverk hvers lags breytist á þremur stigum þróunar og innleiðingar líkana:

  • Rannsóknir: Við þjálfum, prófum og notum líkön í einangruðu umhverfi.

  • Innri notkun: Starfsfólk OpenAI notar líkön við raunveruleg verkefni.

  • Ytri notkun: Líkön verða aðgengileg breiðari hópi fólks og stofnana.

Við treystum á mismunandi lög á ólíkum stigum. Við þjálfun, þegar meiri óvissa ríkir um samræmingu, reiðum við okkur meira á einangrun og eftirlit. Eftir því sem líkön fá víðtækari aðgang í notkun verða samræming og hömlur á kerfisstigi sífellt mikilvægari. Á hverju stigi metum við hvort samanlagðar varnir nægi miðað við getu og aðgang líkansins. Ákvarðanir okkar kunna að vera yfirfarnar með Öryggisráðgjafarhópi okkar og lúta eftirliti Öryggisnefndarinnar í stjórn OpenAI Foundation.

Við rannsóknir: Halda líkönum innan einangraðs umhverfis

Á rannsóknarstiginu metum við líkön til að öðlast vissu um samræmingu þeirra. Þar sem við getum enn ekki treyst fyllilega á samræmingu til að koma í veg fyrir skaða reiðum við okkur að miklu leyti á öryggi og einangrun til að takmarka aðgang og athafnafrelsi líkananna.

Miðað við núverandi stöðu samræmingarrannsókna, eftirlitskerfa og öryggis internetinnviða teljum við ábyrgt að þjálfa háþróuð líkön án virkrar nettengingar. Eftir Hugging Face-atvikið endurskipulögðum við verulega innri rannsóknarkerfi okkar til að halda líkönum í skefjum með:

  • einangruðu umhverfi sem takmarkar heimildir líkansins

  • sýndarvélum sem einangra keyrsluna enn frekar frá undirliggjandi tölvu

  • jaðarvörnum nets og skýs sem aftengja allan klasann frá internetinu

Við prófum kerfið stöðugt með árásarprófunum þar sem hópar öflugustu líkana okkar reyna að tengjast internetinu, komast út fyrir öryggismörk eða eiga samskipti við fulltrúa sem þau eiga að vera einangruð frá. Þetta hjálpar okkur að prófa hvort einangrunin standist getu þeirra líkana sem henni er ætlað að takmarka.

Sem viðbótarvörn fylgjumst við með öllum keyrslum háþróaðra líkana til að greina hvort þau hafi farið fram hjá ófrávíkjanlegum öryggisskilyrðum okkar. Ef eftirlitið greinir að líkanið hafi tengst internetinu köllum við öryggisteymin út og gerum sjálfkrafa hlé á keyrslunni.

Eftirlit er mikilvæg varavörn þegar einangrun bregst. Í nýlegri skýrslu um ósamræmi greindum við frá því að eftirlitskerfi hefðu greint innra rannsóknarlíkan nýta sér ranga DNS-stillingu⁠(opnast í nýjum glugga) til að fá takmarkaðan netaðgang. Við gerðum hlé á þjálfun og mati öflugustu líkana okkar frá 20. september til 1. október á meðan við rannsökuðum málið og lokuðum öryggisglufunni.

Til að tryggja skjót og áreiðanleg inngrip byggðum við Control Room⁠, miðlægt kerfi sem fylgist með rannsóknarkeyrslum og stöðvar frekari úttaksmyndun líkana innan 35 sekúndna frá fyrirmælum um að stöðva verk. Þessum hömlum er framfylgt beint í keyrsluinnviðunum. Þær eru því ekki háðar því að hvert rannsóknarverkefni innleiði eigin stöðvunarbúnað. Við rannsóknarkeyrslur háþróaðra líkana stöðva þær einnig úttaksmyndun ef Control Room verður óaðgengilegt.

Rauðteymi og eftirlit vinna saman. Við getum ekki tryggt að einangrað umhverfi sé óbrjótandi, en rauðteymi hjálpar okkur að meta hversu mikla fyrirhöfn líkan þyrfti til að sleppa út úr því. Því meiri fyrirhöfn sem líkanið þarf að leggja á sig, þeim mun fleiri tækifæri hafa eftirlitskerfin til að greina það og stöðva.

Við krefjumst öflugra öryggis- og eftirlitsráðstafana á rannsóknarstiginu af nokkrum ástæðum:

  • Enn er verið að meta líkönin. Sum hafa ekki enn lokið þeirri öryggisþjálfun, samræmingarúttekt og yfirferð sem þarf áður en þau verða aðgengileg almenningi.

  • Aðstæður við háþróaðar rannsóknir geta aukið áhættu. Sum rannsóknarverkefni krefjast metnaðarfyllri uppsetningar sem gerir líkanið þrautseigara eða öflugra en almennt gerist við notkun utan fyrirtækisins (til dæmis þurfti hóp 10.000 fulltrúa til að leysa Navier–Stokes-verkefnið).

  • Þjálfun fer fram í stórum stíl með minna beinu eftirliti fólks. Ólíkt hefðbundinni Codex-lotu fela þjálfunarverkefni okkar í sér fjölda aðgerða líkana án þess að manneskja fylgist með hverjum samskiptum.

Innri notkun: Prófa samræmingu og fylgjast náið með hegðun

Áður en líkön verða almennt aðgengileg færa starfsmenn sig frá rannsóknum í einangruðu umhverfi yfir í innri notkun háþróaðra líkana utan einangraðs umhverfis, til dæmis með því að gera líkanið aðgengilegt starfsfólki í ChatGPT. Þetta veitir okkur betri skilning á því hvernig líkönin hegða sér í raunverulegum aðstæðum⁠(opnast í nýjum glugga) og styður ákvarðanir um að taka þau í notkun.

Á þessu stigi veitum við líkaninu víðtækari aðgang að internetinu, Slack-svæðinu okkar, kóðasafni og innri innviðum. Þetta breytir áhættunni verulega, því aðgerðir líkansins hafa nú bein áhrif á kerfin sem við notum til að byggja upp og reka OpenAI. Við innri notkun þurfum við að treysta meira á samræmingu líkana, kerfisvarnir og eftirlit en á öryggishömlur.

Áður en hægt er að nota háþróað líkan utan einangraða umhverfisins þarf að prófa samræmingu þess og eftirlitshæfni⁠(opnast í nýjum glugga). Við notum safn samræmingarprófana sem leita bæði að tilteknum samræmingarbrestum (svo sem að líkan fari fram hjá öryggistakmörkunum) og mæla almennar tilhneigingar þess (til dæmis með endurúrtaki úr innri aðgerðaframsvindu Codex og leit að ósamræmi). Nánar er fjallað um mat okkar á samræmingu og eftirlitshæfni í nýjasta kerfiskorti GPT‑6 Astra⁠(opnast í nýjum glugga).

Líkt og í rekstrarumhverfi okkar bætum við við varnarlagi með flokkurum á kerfisstigi sem eiga að vernda gegn skaða af háþróaðri tækni, svo sem netmisnotkun og þróun lífvopna. Við krefjumst einnig almennt þess að starfsfólk sem notar Codex noti sjálfvirka yfirferð⁠(opnast í nýjum glugga), sem metur hugsanlega áhættusamar aðgerðir og vísar þeim aftur til notandans.

Að lokum fylgjumst við með hegðun sem samræmist ekki markmiðum okkar í hverri keyrslu háþróaðra líkana við innri notkun. Þar sem líkanið hefur nú víðtækari heimildir og aðgang að innri upplýsingum og kerfum er sérstaklega mikilvægt að greina áhættu á borð við gagnastuld eða sendingu viðkvæmra gagna til óheimils viðtakanda. Eftirlit hjálpar okkur einnig að rannsaka nýjar birtingarmyndir ósamræmis⁠(opnast í nýjum glugga).

Ytri notkun: Verjast misnotkun og ósamræmi í stórum stíl

Þegar líkön verða aðgengileg almenningi mæta þau mun fleiri notendum, verkefnum og aðstæðum. Það eykur bæði umfang áhættu og fjölbreytni hennar. Á þessu stigi þurfum við líka að verjast mögulegum illgjörnum aðilum sem vísvitandi beina líkaninu að skaðlegum verkum.

Áður en líkön verða aðgengileg almenningi verða þau og kerfisvarnirnar að uppfylla öryggiskröfur okkar um ytri notkun. Við metum þau með því að:

  • Framkvæma umfangsmeira mat á samræmingu og öryggi. Fyrir háþróuð líkön okkar felur þetta í sér nýjar umferðir aðlögunarprófana⁠ með innri sjálfvirkum rauðteymum okkar til að reyna á þol líkananna. Við birtum niðurstöður getu- og öryggismats okkar í kerfiskortum⁠(opnast í nýjum glugga) okkar.

  • Öflugustu líkönin prófum við einnig með utanaðkomandi aðilum til að reyna á bæði varnir okkar gegn misnotkun og undirliggjandi samræmingu líkananna.

  • Skoða viðvaranir úr eftirliti við innri notkun til að fylgjast með breytingum á undirliggjandi samræmingu grunnlíkansins.

Auk „samtímaverndarráðstafana“ okkar (svo sem öryggisþjálfunar líkana og kerfisflokkara) beitum við einnig regluvörslu og rannsóknum eftir á við ytri notkun. Þessi teymi sameina rannsóknir sjálfvirkra fulltrúa í stórum stíl og yfirferð fólks til að greina mögulega ógnvalda. Þau skoða netmisnotkun, þróun lífvopna, þekkingareimingu⁠ og ósamræmi í líkaninu sjálfu. Regluvarsla eftir á nýtist sérstaklega vel við að safna upplýsingum þvert á reikninga til að fá heildstæðari mynd af mögulegri ógn.

Aðgangsáætlanir fyrir trausta aðila, svo sem Daybreak og Rosalind⁠, bæta við öryggislagi og hraða starfi varnaraðila og rannsakenda í lögmætum verkefnum, um leið og aðgangur mögulegra árásaraðila er takmarkaður.

Viðbrögð við atvikum og upplýsingagjöf

Þegar við verðum vör við brest í einu öryggislaga okkar viljum við rannsaka hann fljótt, meta alvarleika hans og upplýsa um hann opinberlega ef það er hægt og viðeigandi, hvort sem skaði varð eða ekki. Samkvæmt stefnu okkar um tilkynningar um ósamræmi⁠ getur hver starfsmaður bent á atvik sem ástæða er til að greina opinberlega frá. Tilkynningarnar eru rannsakaðar og ef ágreiningur er um hvort birta eigi þær opinberlega er ákvörðuninni vísað til Öryggisráðgjafarhóps okkar. Auk þess að reiða okkur á tilkynningar starfsfólks leitum við markvisst að ósamræmisatvikum svo við getum brugðist við þeim og miðlað niðurstöðum.

Skýrslur okkar um ósamræmi má sjá hér⁠(opnast í nýjum glugga).

​


​

Þetta starf byggist bæði á framförum í rannsóknum og öguðum rekstri: að stilla varnir rétt, prófa samspil þeirra og bregðast af festu við þegar þær bregðast. Rangt stillt netþjónusta eða sjálfvirk stöðvun sem bregst getur grafið undan annars öflugum vörnum.

Eftir því sem líkön öðlast nýja getu þurfum við áfram að véfengja forsendurnar að baki vörnum okkar og bæta þær eftir þörfum. Lærdómur af rannsóknum, innri notkun og almennri notkun verður að móta hvernig við þjálfum, metum og tökum næstu líkön í notkun.

Við munum áfram miðla niðurstöðum í kerfiskortum, atvikaskýrslum, áhættuskýrslum⁠(opnast í nýjum glugga) um innri notkun og ytra mati⁠ svo aðrir geti rýnt í nálgun okkar, þar á meðal takmarkanir hennar. Þegar gögnin nægja ekki til að sýna fram á að öryggiskröfur okkar séu uppfylltar munum við aftur gera hlé á þjálfun eða fresta útgáfu þar til kröfunum er mætt.

Tengdar rannsóknir og ítarefni

Setning öryggisviðmiða

Skilgreining og mat á samræmdri hegðun

Einangrun líkana og bættar varnir

Viðbrögð við atvikum og upplýsingagjöf

Framfarir í rannsóknum og hagnýting

  • Hraðari rannsóknir: Sýn innan úr OpenAI — Fyrstu vísbendingar um hvernig forritunarfulltrúar breyta rannsóknum innan OpenAI, þar á meðal aukin notkun þeirra, sífellt flóknari verkefni og áhrif á tilraunastarf.

  • Um Navier–Stokes-þúsaldarverðlaunaverkefnið — Stærðfræðileg sönnun sem innra Ai-kerfi bjó til, ásamt formlegri framsetningu í Lean, sem sýnir getu rannsóknarkerfa í stórum stíl.

  • Daybreak — Netöryggisáætlun okkar veitir yfirförnum varnaraðilum háþróaða Ai-getu, öryggisverkfæri og stuðning til að finna veikleika og styrkja varnir.

  • GPT‑Rosalind kynnt til rannsókna í lífvísindum⁠ — Sérhæft líkan fyrir líffræði, lyfjaleit og yfirfærslulæknisfræði, aðgengilegt stofnunum sem uppfylla skilyrði í gegnum aðgangsáætlun fyrir trausta aðila.