OpenAI

Ġestjoni tar-riskju tal-IA avvanzata: mit-taħriġ sal-użu

18 ta’ Novembru 2026 · Sikurezza

Il-kapaċitajiet tal-mudelli avvanzati qed jiżdiedu b’ritmu mgħaġġel, u l-kapaċità tagħna li nifhmuhom, nallinjawhom u niżgurawhom trid tibqa’ pass ’il quddiem. Qed nikkontrollaw ir-ritmu tal-iżvilupp u t-tnedija tal-mudelli tagħna, fosthom billi nissospendu t-taħriġ intern⁠(jinfetaħ f’tieqa ġdida) jew inżommu lura mudelli bħal GPT‑6.1 Astra meta neħtieġu aktar żmien biex nilħqu l-istandards tas-sikurezza tagħna. Daħħalna proċessi ġodda bħal argumentazzjonijiet tas-sikurezza u nirrikjedu evidenza aktar soda ta’ mġiba allinjata matul it-taħriġ kollu. Dawn ir-rekwiżiti jnaqqsu r-ritmu tat-tnedija tal-mudelli, iżda jagħtuna aktar fiduċja biex nimxu ’l quddiem b’mod sikur.

Mill-inċident ta’ Hugging Face⁠ f’Lulju, saħħaħna s-salvagwardji u r-rekwiżiti tal-allinjament għat-taħriġ, l-ittestjar u l-użu tal-mudelli. Din il-kitba tispjega kif nevalwaw u niġġestixxu r-riskju f’kull stadju, minn ambjenti ta’ taħriġ iżolati ħafna sa Codex li tuża fuq il-kompjuter tiegħek. Nevalwaw kemm il-mudelli kif ukoll is-salvagwardji f’kull stadju, u nirrikjedu reviżjoni tas-sikurezza qabel ma ngħaddu għall-istadju li jmiss.

Difiża b’diversi saffi tul iċ-ċiklu tal-ħajja tal-mudell

Nużaw difiża b’diversi saffi ta’ protezzjoni li jnaqqsu d-dipendenza fuq kwalunkwe salvagwardja waħda. Jekk saff wieħed ifalli, l-oħrajn jgħinu biex jevitaw il-ħsara, jillimitaw il-konsegwenzi jew iwissuna biex nintervjenu.

Norganizzaw il-protezzjonijiet tagħna f’erba’ saffi:

Monitoraġġ effettiv jiddependi fuq kemm il-mudell jista’ jiġi mmonitorjat — kemm is-sistemi ta’ monitoraġġ jistgħu jsibu b’mod affidabbli żbalji jew imġiba mhux sikura fir-raġunament u l-azzjonijiet tiegħu. Pereżempju, mudell li jesprimi l-intenzjoni tiegħu li jqarraq fil-katina tal-ħsieb (CoT) tiegħu jista’ jiġi mmonitorjat aħjar minn wieħed li jħalli barra din l-informazzjoni. Nevalwaw kemm il-mudell jista’ jiġi mmonitorjat waqt it-taħriġ u qabel l-użu, niżviluppaw metodi aħjar biex inkejlu⁠(jinfetaħ f’tieqa ġdida) dan, u nistudjaw x’jaffettwah⁠(jinfetaħ f’tieqa ġdida).

L-inċident ta’ Hugging Face wera għaliex m’għandniex niddependu biss fuq ambjenti iżolati biex inżommu taħt kontroll mudelli b’kapaċitajiet għoljin. Issa nimmonitorjaw il-mudelli avvanzati fil-biċċa l-kbira tal-ambjenti ta’ użu intern u estern, inkluż kull użu intern li jinvolvi għodod.

Ir-rwol ta’ kull saff jinbidel matul tliet stadji tal-iżvilupp u l-użu tal-mudelli:

  • Riċerka: Inħarrġu, nittestjaw u nużaw mudelli f’ambjenti iżolati.

  • Użu intern: L-impjegati ta’ OpenAI jużaw mudelli għal xogħol prattiku.

  • Użu estern: Il-mudelli jsiru disponibbli b’mod usa’ għall-individwi u l-organizzazzjonijiet.

Niddependu fuq saffi differenti fi stadji differenti. Waqt it-taħriġ, meta l-allinjament ikun inqas ċert, niddependu aktar fuq l-iżolament u l-monitoraġġ. Hekk kif il-mudelli jingħataw aċċess usa’ waqt l-użu, l-allinjament u l-kontrolli fil-livell tas-sistema jsiru dejjem aktar importanti. F’kull stadju, nevalwaw jekk il-protezzjonijiet flimkien humiex biżżejjed għall-kapaċitajiet u l-aċċess tal-mudell. Id-determinazzjonijiet tagħna jistgħu jiġu riveduti mal-Grupp Konsultattiv dwar is-Sigurtà tagħna u sorveljati mill-Kumitat tas-Sikurezza u s-Sigurtà tal-Bord tad-Diretturi ta’ OpenAI Foundation.

Waqt ir-riċerka: żomm il-mudelli f’ambjenti iżolati

Fil-fażi tar-riċerka, nevalwaw il-mudelli biex niksbu fiduċja fil-karatteristiċi tal-allinjament tagħhom. Billi għadna ma nistgħux niddependu għal kollox fuq l-allinjament biex nevitaw il-ħsara, niddependu ħafna fuq is-sigurtà u l-iżolament biex nillimitaw x’jistgħu jaċċessaw u jagħmlu.

Fid-dawl tal-istat attwali tar-riċerka dwar l-allinjament, tas-sistemi ta’ monitoraġġ u tas-sigurtà tal-infrastruttura tal-internet, nemmnu li l-approċċ responsabbli huwa li nħarrġu l-mudelli avvanzati mingħajr aċċess dirett għall-internet. Wara l-inċident ta’ Hugging Face, irristrutturajna b’mod sostanzjali s-sistemi interni tar-riċerka tagħna biex inżommu l-mudelli taħt kontroll permezz ta’:

  • ambjenti iżolati li jillimitaw il-privileġġi tal-mudell

  • magni virtwali li jiżolaw aktar il-proċessi mill-kompjuter sottostanti

  • perimetri tan-network u tal-cloud li jaqtgħu r-raggruppament kollu mill-internet

Nittestjaw kontinwament din is-sistema b’attakki simulati: timijiet tal-aktar mudelli b’saħħithom tagħna jippruvaw jaċċessaw l-internet direttament, jaħarbu mill-konfini tas-sigurtà jew jikkomunikaw ma’ aġenti li suppost huma iżolati minnhom. Dan jgħinna nittestjaw jekk il-konteniment jiflaħx għall-kapaċitajiet tal-mudelli li hu maħsub biex jillimita.

Bħala saff ieħor ta’ difiża, nimmonitorjaw kull inferenza tal-mudelli avvanzati biex insibu jekk il-mudell kisirx il-kundizzjonijiet fissi tas-sigurtà tagħna. Jekk il-monitoraġġ jinduna li l-mudell aċċessa l-internet, nibagħtu twissija urġenti lit-timijiet tas-sigurtà tagħna u nissospendu l-proċess awtomatikament.

Il-monitoraġġ jipprovdi protezzjoni ta’ riżerva kruċjali meta l-konteniment ifalli. F’rapport reċenti dwar nuqqas ta’ allinjament, qsamna kif is-sistemi ta’ monitoraġġ sabu mudell intern tar-riċerka jisfrutta konfigurazzjoni ħażina tad-DNS⁠(jinfetaħ f’tieqa ġdida) biex jikseb aċċess limitat għall-internet. Issospendejna t-taħriġ u l-evalwazzjoni tal-aktar mudelli kapaċi tagħna mill-20 ta’ Settembru sal-1 ta’ Ottubru waqt li investigajna u rimedjajna n-nuqqas fis-sigurtà.

Biex l-interventi jkunu rapidi u affidabbli, bnejna Control Room⁠, sistema ċentrali li ssegwi l-proċessi tar-riċerka u twaqqaf kull output ieħor tal-mudell fi żmien 35 sekonda minn meta tirċievi struzzjoni biex twaqqaf kompitu. Dawn il-kontrolli jiġu infurzati direttament fl-infrastruttura tal-inferenza, u għalhekk ma jiddependux fuq mekkaniżmu ta’ waqfien separat f’kull proċess tar-riċerka. Għall-proċessi tar-riċerka b’mudelli avvanzati, iwaqqfu wkoll l-output tal-mudell jekk Control Room ma tibqax disponibbli.

Ir-red teaming u l-monitoraġġ jaħdmu flimkien. Ma nistgħux niggarantixxu li ambjent iżolat huwa impenetrabbli, iżda r-red teaming jgħinna nevalwaw kemm mudell ikollu jagħmel sforz biex jaħrab minnu. Aktar ma l-mudell ikollu bżonn jagħmel sforz, aktar ikun hemm opportunità biex is-sistemi ta’ monitoraġġ jindunaw bih u jwaqqfuh.

Nirrikjedu kontrolli sodi ta’ sigurtà u monitoraġġ fl-istadju tar-riċerka għal diversi raġunijiet:

  • Il-mudelli għadhom qed jiġu evalwati. Xi wħud għadhom ma lestewx it-taħriġ fis-sikurezza, l-awditi tal-allinjament u r-reviżjonijiet meħtieġa qabel it-tnedija pubblika.

  • L-ambjenti tar-riċerka l-aktar avvanzata jistgħu jżidu r-riskji. Ċerti kompiti ta’ riċerka jeħtieġu konfigurazzjonijiet aktar ambizzjużi, li jagħmlu l-mudell aktar persistenti jew kapaċi milli s-soltu jkun waqt l-użu estern (pereżempju, kien meħtieġ tim ta’ 10,000 aġent biex isolvi l-problema ta’ Navier Stokes).

  • It-taħriġ isir fuq skala kbira b’inqas superviżjoni umana diretta. B’differenza minn sessjoni tipika ta’ Codex, il-proċessi tat-taħriġ tagħna jinvolvu għadd kbir ta’ azzjonijiet tal-mudelli mingħajr persuna ssegwi kull interazzjoni.

Użu intern: ittestja l-allinjament, immonitorja l-imġiba mill-qrib

Qabel it-tnedija usa’, l-impjegati jgħaddu mill-użu ta’ mudelli avvanzati għar-riċerka f’ambjenti iżolati għall-użu intern mingħajr iżolament, pereżempju billi l-mudell isir aċċessibbli għall-impjegati f’ChatGPT. Dan jgħinna nifhmu aħjar kif il-mudelli jaġixxu f’sitwazzjonijiet prattiċi⁠(jinfetaħ f’tieqa ġdida), u jiggwida d-deċiżjonijiet dwar l-użu tagħhom.

F’din il-fażi, nagħtu lill-mudell aċċess usa’ għall-internet, għal Slack tagħna, għall-bażi tal-kodiċi tagħna u għall-infrastruttura interna. Din hija bidla sinifikanti fir-riskju, għax l-azzjonijiet tal-mudell issa jaffettwaw direttament is-sistemi li nużaw biex nibnu u nħaddmu OpenAI. Waqt l-użu intern, irridu niddependu aktar fuq l-allinjament tal-mudell, is-salvagwardji tas-sistema u l-monitoraġġ milli fuq il-kontrolli tas-sigurtà.

Qabel ma mudell avvanzat ikun jista’ jintuża barra l-ambjent iżolat, irid jgħaddi minn testijiet tal-allinjament u ta’ kemm jista’ jiġi mmonitorjat⁠(jinfetaħ f’tieqa ġdida). Għandna ġabra ta’ evalwazzjonijiet tal-allinjament li jittestjaw kemm nuqqasijiet speċifiċi fl-allinjament (bħal meta jinqabżu r-restrizzjonijiet tas-sikurezza u s-sigurtà), kif ukoll tendenzi usa’ (bħal meta nerġgħu nieħdu kampjuni tal-perkorsi interni ta’ Codex u niċċekkjaw għal nuqqas ta’ allinjament). Tista’ ssib aktar dwar l-evalwazzjonijiet tagħna tal-allinjament u ta’ kemm il-mudell jista’ jiġi mmonitorjat fl-aħħar kard tas-sistema ta’ GPT‑6 Astra⁠(jinfetaħ f’tieqa ġdida).

Bħal fil-konfigurazzjonijiet tal-produzzjoni tagħna, inżidu saff ieħor ta’ difiża permezz ta’ klassifikaturi fil-livell tas-sistema, imfassla biex jipproteġu kontra ħsara minn kapaċitajiet avvanzati bħall-abbuż ċibernetiku u l-iżvilupp ta’ armi bijoloġiċi. Ġeneralment nirrikjedu wkoll Auto-Review⁠(jinfetaħ f’tieqa ġdida) għall-impjegati li jużaw Codex: din tevalwa azzjonijiet potenzjalment riskjużi u tirreferihom lura lill-utent.

Fl-aħħar nett, waqt l-użu intern nimmonitorjaw kull inferenza tal-mudelli avvanzati għal imġiba mhux allinjata. Billi l-mudell issa għandu aktar privileġġi u aċċess għal informazzjoni u sistemi interni, isir partikolarment importanti li jinstabu riskji bħall-esfiltrazzjoni tad-data, jiġifieri t-trażmissjoni ta’ data sensittiva lejn destinazzjoni mhux awtorizzata. Il-monitoraġġ jgħinna wkoll ninvestigaw forom ġodda ta’ nuqqas ta’ allinjament⁠(jinfetaħ f’tieqa ġdida).

Użu estern: protezzjoni fuq skala kbira kontra l-użu ħażin u n-nuqqas ta’ allinjament

L-użu pubbliku jesponi l-mudelli għal ferm aktar utenti, kompiti u ambjenti, u jżid kemm l-iskala kif ukoll il-varjetà tar-riskji. F’dan l-istadju, irridu wkoll nipproteġu kontra atturi potenzjalment malizzjużi li intenzjonalment jordnaw lill-mudell jagħmel ħsara.

Qabel it-tnedija pubblika, il-mudelli u s-salvagwardji tas-sistema jridu jissodisfaw ir-rekwiżiti tas-sikurezza tagħna għall-użu estern. Nevalwawhom billi:

  • Inwettqu ġabra usa’ ta’ evalwazzjonijiet tal-allinjament u tas-sikurezza. Għall-mudelli avvanzati tagħna, dan jinkludi rawnds ġodda ta’ ttestjar adattiv⁠ bis-sistemi interni awtomatizzati tagħna ta’ red teaming biex nittestjaw ir-robustezza tal-mudell taħt pressjoni. Nippubblikaw ir-riżultati tal-evalwazzjonijiet tal-kapaċitajiet u tas-sikurezza fil-kards tas-sistema⁠(jinfetaħ f’tieqa ġdida) tagħna.

  • Għall-aktar mudelli kapaċi tagħna, inwettqu wkoll testijiet ma’ partijiet terzi biex nittestjaw taħt pressjoni kemm is-salvagwardji kontra l-użu ħażin kif ukoll l-allinjament sottostanti tal-mudelli.

  • Neżaminaw it-twissijiet tal-monitoraġġ mill-istadju tal-użu intern biex insegwu kwalunkwe bidla fl-allinjament sottostanti tal-mudell bażi.

Minbarra s-salvagwardji “sinkroniċi” tagħna (bħat-taħriġ tas-sikurezza tal-mudelli u l-klassifikaturi tas-sistema), għall-użu estern nużaw ukoll infurzar u investigazzjoni li jsiru barra l-ħin reali. Dawn it-timijiet jgħaqqdu aġenti investigaturi fuq skala kbira ma’ reviżjoni umana biex isibu u jidentifikaw sorsi ta’ theddid potenzjali, mill-abbuż ċibernetiku, l-iżvilupp ta’ armi bijoloġiċi u d-distillazzjoni⁠ sa nuqqas ta’ allinjament fil-mudell innifsu. L-infurzar barra l-ħin reali huwa partikolarment utli biex tinġabar informazzjoni minn kontijiet differenti ħalli tinbena stampa aktar sħiħa ta’ theddida potenzjali.

Programmi ta’ aċċess fdat, bħal Daybreak u Rosalind⁠, iżidu saff ieħor ta’ sigurtà u jgħinu lid-difensuri u lir-riċerkaturi leġittimi javvanzaw aktar malajr, filwaqt li jillimitaw l-aċċess ta’ attakkanti potenzjali.

Rispons għall-inċidenti u żvelar

Meta ninnutaw falliment f’wieħed mis-saffi tas-sikurezza tagħna, kemm jekk tkun seħħet ħsara kif ukoll jekk le, irridu ninvestigawh malajr, niddeterminaw il-prijorità tiegħu u, fejn possibbli u xieraq, niżvelawh esternament. Skont il-politika tagħna dwar ir-rappurtar ta’ nuqqas ta’ allinjament⁠, kull impjegat jista’ jindika inċident għal żvelar pubbliku. Dawn ir-rapporti jiġu investigati u, jekk ikun hemm nuqqas ta’ qbil dwar jekk għandhomx jiġu żvelati esternament, id-deċiżjoni titressaq quddiem il-Grupp Konsultattiv dwar is-Sigurtà tagħna. Minbarra li niddependu fuq ir-rapporti tal-impjegati, infittxu b’mod proattiv inċidenti ta’ nuqqas ta’ allinjament biex nindirizzawhom u naqsmu s-sejbiet.

Tista’ tara r-rapporti tagħna dwar in-nuqqas ta’ allinjament hawn⁠(jinfetaħ f’tieqa ġdida).

​


​

Dan ix-xogħol jiddependi kemm fuq il-progress fir-riċerka kif ukoll fuq id-dixxiplina operattiva: konfigurazzjoni korretta tal-kontrolli, testijiet tal-interazzjoni bejniethom u rispons deċiżiv meta jfallu. Servizz tan-network ikkonfigurat ħażin jew waqfien awtomatiku li jfalli jista’ jdgħajjef protezzjonijiet li altrimenti jkunu sodi.

Hekk kif il-mudelli jiksbu kapaċitajiet ġodda, irridu nkomplu nqiegħdu fid-dubju l-preżunzjonijiet wara s-salvagwardji tagħna u ntejbu dawn tal-aħħar fejn meħtieġ. It-tagħlim mir-riċerka, mill-użu intern u mill-użu pubbliku jrid jiggwida kif inħarrġu, nevalwaw u nniedu l-mudelli li jmiss.

Se nkomplu naqsmu s-sejbiet permezz ta’ kards tas-sistema, rapporti tal-inċidenti, rapporti tar-riskju⁠(jinfetaħ f’tieqa ġdida) tal-użu intern u evalwazzjonijiet esterni⁠, biex oħrajn ikunu jistgħu jiskrutinizzaw l-approċċ tagħna, inklużi l-limitazzjonijiet tiegħu. Meta dik l-evidenza ma tilħaqx l-istandard tas-sikurezza tagħna, nerġgħu nissospendu t-taħriġ jew inżommu lura t-tnedija sakemm jintlaħqu dawk ir-rekwiżiti.

Riċerka u riżorsi relatati

L-istabbiliment ta’ standards tas-sikurezza

Id-definizzjoni u l-evalwazzjoni ta’ mġiba allinjata

Il-konteniment tal-mudelli u t-titjib tas-salvagwardji

Rispons għall-inċidenti u żvelar

Progress fir-riċerka u applikazzjonijiet