OpenAI

Menaxhimi i rrezikut të IA-së avangardë: nga trajnimi te përdorimi

18 nëntor 2026 · Siguria

Aftësitë e modeleve avangardë po përparojnë me shpejtësi dhe aftësia jonë për t’i kuptuar, për t’i përputhur me synimet dhe për t’i siguruar duhet të qëndrojë përpara tyre. Po rregullojmë ritmin e zhvillimit dhe publikimit të modeleve tona, edhe duke pezulluar trajnimin e brendshëm⁠(hapet në një dritare të re) ose shtyrë publikimin e modeleve si GPT‑6.1 Astra, kur na duhet më shumë kohë për të përmbushur standardet tona të sigurisë. Kemi futur procese të reja, si dosjet e argumentimit të sigurisë, dhe kërkojmë prova më të forta të sjelljes në përputhje me synimet gjatë gjithë trajnimit. Këto kërkesa e ngadalësojnë ritmin e publikimit të modeleve, por na japin më shumë besim për të ecur përpara në mënyrë të sigurt.

Që nga incidenti me Hugging Face⁠ në korrik, kemi forcuar masat mbrojtëse dhe kërkesat e përputhjes për trajnimin, testimin dhe vënien në përdorim të modeleve. Ky artikull shpjegon si e vlerësojmë dhe menaxhojmë rrezikun në çdo fazë, nga mjediset shumë të izoluara të trajnimit deri te Codex që përdor në kompjuterin tënd. Në çdo fazë vlerësojmë modelet dhe masat mbrojtëse, duke kërkuar një shqyrtim sigurie për të kaluar në fazën tjetër.

Mbrojtje me shumë shtresa gjatë gjithë ciklit të jetës së modelit

Përdorim mbrojtje me shumë shtresa, që ulin varësinë nga cilado masë e vetme mbrojtëse. Nëse një shtresë dështon, të tjerat ndihmojnë të parandalohet dëmi, të kufizohen pasojat ose të njoftohemi që të ndërhyjmë.

Mbrojtjen tonë e organizojmë në katër shtresa:

Monitorimi efektiv varet nga monitorueshmëria e modelit: sa me besueshmëri mund të zbulojnë monitoruesit gabime ose sjellje të pasigurta nga arsyetimi dhe veprimet e modelit. Për shembull, një model që e shpreh synimin për të mashtruar në zinxhirin e tij të mendimit (CoT) është më i monitorueshëm se një që e lë jashtë këtë informacion. E vlerësojmë monitorueshmërinë gjatë trajnimit dhe para vënies në përdorim, zhvillojmë metoda më të mira për matjen⁠(hapet në një dritare të re) e saj dhe studiojmë çfarë ndikon tek ajo⁠(hapet në një dritare të re).

Incidenti me Hugging Face tregoi pse nuk duhet të mbështetemi vetëm tek izolimi për të mbajtur nën kontroll modelet shumë të afta. Tani i monitorojmë modelet avangardë në shumicën e mjediseve të përdorimit të brendshëm dhe të jashtëm, përfshirë të gjitha përdorimet e brendshme me mjete.

Roli i secilës shtresë ndryshon në tri fazat e zhvillimit dhe vënies në përdorim të modelit:

  • Kërkimi: I trajnojmë, testojmë dhe përdorim modelet në mjedise të izoluara.

  • Përdorimi i brendshëm: Punonjësit e OpenAI i përdorin modelet për punë praktike.

  • Përdorimi i jashtëm: Modelet bëhen të disponueshme për një rreth më të gjerë njerëzish dhe organizatash.

Në faza të ndryshme, mbështetemi në shtresa të ndryshme. Gjatë trajnimit, kur përputhja është më pak e sigurt, mbështetemi më shumë tek izolimi dhe monitorimi. Ndërsa modelet marrin qasje më të gjerë gjatë përdorimit, përputhja dhe kontrollet në nivel sistemi bëhen gjithnjë e më të rëndësishme. Në çdo fazë, vlerësojmë nëse masat e kombinuara mbrojtëse mjaftojnë për aftësitë dhe qasjen e modelit. Vendimet tona mund të shqyrtohen me Grupin Këshillimor për Sigurinë dhe të mbikëqyren nga Komiteti i Sigurisë dhe i Mbrojtjes i Bordit të Drejtorëve të OpenAI Foundation.

Gjatë kërkimit: mbajtja e modeleve në mjedise të izoluara

Gjatë fazës kërkimore, i vlerësojmë modelet për të fituar besim te përputhja e tyre me synimet. Meqë ende nuk mund të mbështetemi plotësisht te përputhja për të parandaluar dëmet, mbështetemi fort te siguria dhe izolimi për të kufizuar qasjen dhe veprimet e tyre.

Duke pasur parasysh gjendjen aktuale të kërkimit për përputhjen, sistemeve të monitorimit dhe sigurisë së infrastrukturës së internetit, besojmë se qasja e përgjegjshme është trajnimi i modeleve avangardë pa lidhje aktive me internetin. Pas incidentit me Hugging Face, i ristrukturuam ndjeshëm sistemet tona të brendshme kërkimore për t’i mbajtur modelet nën kontroll, duke përdorur:

  • mjedise të izoluara që kufizojnë privilegjet e modelit

  • makina virtuale për ta izoluar më tej ngarkesën e punës nga kompjuteri bazë

  • perimetra rrjeti dhe reje kompjuterike që e shkëpusin të gjithë grupin e kompjuterëve nga interneti

Kryejmë vazhdimisht simulim sulmesh ndaj këtij sistemi: ekipe të modeleve tona më të forta përpiqen të lidhen me internetin, të dalin nga kufijtë e sigurisë ose të komunikojnë me agjentë nga të cilët duhet të jenë të izoluar. Kjo na ndihmon të testojmë nëse izolimi u qëndron aftësive të modeleve që synon të kufizojë.

Si shtresë shtesë mbrojtjeje, monitorojmë çdo ekzekutim të modeleve avangardë për të zbuluar nëse modeli ka anashkaluar kushtet tona të pandryshueshme të sigurisë. Nëse monitorimi zbulon se modeli është lidhur me internetin, njoftojmë urgjentisht ekipet tona të sigurisë dhe e pezullojmë automatikisht procesin.

Monitorimi ofron një mbrojtje rezervë vendimtare kur izolimi dështon. Në një raport të fundit për mospërputhjet, treguam se monitoruesit zbuluan një model të brendshëm kërkimor që shfrytëzonte një konfigurim të gabuar DNS⁠(hapet në një dritare të re) për të siguruar qasje të kufizuar në internet. Pezulluam trajnimin dhe vlerësimin e modeleve tona më të afta nga 20 shtatori deri më 1 tetor, ndërsa hetonim dhe mbyllnim boshllëkun e sigurisë.

Për ndërhyrje të shpejta dhe të besueshme, ndërtuam Control Room⁠, një sistem qendror që ndjek proceset kërkimore dhe ndalon gjenerimin e mëtejshëm nga modeli brenda 35 sekondave nga marrja e udhëzimit për ndalimin e një procesi. Këto kontrolle zbatohen drejtpërdrejt në infrastrukturën e ekzekutimit të modelit, ndaj nuk varen nga zbatimi i një mekanizmi të veçantë ndalimi për çdo proces kërkimor. Për proceset kërkimore me modele avangardë, ato e ndalojnë gjenerimin e modelit edhe nëse Control Room bëhet i padisponueshëm.

Simulimi i sulmeve dhe monitorimi punojnë së bashku. Nuk mund të garantojmë se një mjedis i izoluar është i padepërtueshëm, por simulimi i sulmeve na ndihmon të vlerësojmë sa përpjekje do t’i duheshin një modeli për të dalë prej tij. Sa më shumë përpjekje i duhen modelit, aq më shumë mundësi kanë monitoruesit ta zbulojnë dhe ta ndalojnë.

Kërkojmë kontrolle të forta sigurie dhe monitorimi në fazën kërkimore për disa arsye:

  • Modelet janë ende në vlerësim. Disa nuk kanë përfunduar ende trajnimin për sigurinë, auditimet e përputhjes dhe shqyrtimet e nevojshme për publikim.

  • Mjediset e kërkimit avangardë mund t’i shtojnë rreziqet. Disa detyra kërkimore kërkojnë konfigurime më ambicioze, duke e bërë modelin më këmbëngulës ose më të aftë sesa zakonisht në përdorim të jashtëm (për shembull, u desh një ekip prej 10 000 agjentësh për të zgjidhur problemin Navier–Stokes).

  • Trajnimi kryhet në shkallë të gjerë, me më pak mbikëqyrje të drejtpërdrejtë njerëzore. Ndryshe nga një seancë tipike në Codex, proceset tona të trajnimit përfshijnë shumë veprime të modelit, pa një person që ndjek çdo ndërveprim.

Përdorimi i brendshëm: testimi i përputhjes dhe monitorimi i kujdesshëm i sjelljes

Para publikimit të gjerë, punonjësit kalojnë nga përdorimi kërkimor i modeleve avangardë në mjedise të izoluara te përdorimi i brendshëm pa izolim, p.sh. duke u dhënë punonjësve qasje te modeli në ChatGPT. Kjo na ndihmon të kuptojmë më mirë se si sillen modelet në kushte praktike⁠(hapet në një dritare të re) dhe orienton vendimet për vënien e tyre në përdorim.

Gjatë kësaj faze, i japim modelit qasje më të gjerë në internet, në Slack-un tonë, në bazën tonë të kodit dhe në infrastrukturën e brendshme. Kjo e ndryshon ndjeshëm rrezikun, pasi veprimet e modelit tani ndikojnë drejtpërdrejt në sistemet që përdorim për të zhvilluar dhe drejtuar OpenAI. Gjatë përdorimit të brendshëm, duhet të mbështetemi më shumë te përputhja e modelit, masat mbrojtëse të sistemit dhe monitorimi sesa te kontrollet e sigurisë.

Para se një model avangardë të përdoret jashtë mjedisit të izoluar, duhet të kalojë testet e përputhjes dhe të monitorueshmërisë⁠(hapet në një dritare të re). Kemi një grup vlerësimesh të përputhjes, që testojnë si forma të veçanta dështimi (p.sh. anashkalimin e kufizimeve të sigurisë dhe mbrojtjes), ashtu edhe prirjet e përgjithshme (p.sh. rimarrjen e mostrave nga rrjedhat e brendshme të veprimeve në Codex dhe kontrollin për mospërputhje). Më shumë për vlerësimet tona të përputhjes dhe monitorueshmërisë mund të lexosh në kartën më të fundit të sistemit GPT‑6 Astra⁠(hapet në një dritare të re).

Duke ndjekur konfigurimet tona të prodhimit, shtojmë një shtresë mbrojtjeje me klasifikues në nivel sistemi, të krijuar për të mbrojtur nga dëme që mundëson IA-ja avangardë, si abuzimi kibernetik dhe krijimi i armëve biologjike. Gjithashtu, zakonisht u kërkojmë punonjësve që përdorin Codex të përdorin Auto-Review⁠(hapet në një dritare të re), që vlerëson veprimet potencialisht të rrezikshme dhe ia kalon përdoruesit për vendim.

Së fundi, gjatë përdorimit të brendshëm monitorojmë çdo ekzekutim të modeleve avangardë për sjellje që nuk përputhen me synimet. Meqë modeli tani ka privilegje më të gjera dhe qasje në informacione e sisteme të brendshme, bëhet veçanërisht i rëndësishëm zbulimi i rreziqeve si nxjerrja e paautorizuar e të dhënave, pra dërgimi i të dhënave sensitive në një destinacion të paautorizuar. Monitorimi na ndihmon gjithashtu të hetojmë forma të reja mospërputhjeje⁠(hapet në një dritare të re).

Përdorimi i jashtëm: mbrojtje nga keqpërdorimi dhe mospërputhja në shkallë të gjerë

Vënia në përdorim publik i ekspozon modelet ndaj shumë më tepër përdoruesve, detyrave dhe mjediseve, duke rritur si shkallën, ashtu edhe larminë e rreziqeve. Në këtë fazë, duhet të mbrohemi edhe nga aktorë potencialisht keqdashës që e drejtojnë qëllimisht modelin të shkaktojë dëm.

Para publikimit, modelet dhe masat mbrojtëse të sistemit duhet të përmbushin kërkesat tona të sigurisë për përdorim të jashtëm. I vlerësojmë përmes:

  • Kryerjes së një grupi më të gjerë vlerësimesh të përputhjes dhe sigurisë. Për modelet tona avangardë, kjo përfshin raunde të reja testimi përshtatës⁠ me sistemet tona të brendshme të automatizuara për simulim sulmesh, për të vënë në provë qëndrueshmërinë e modelit. Rezultatet e vlerësimeve të aftësive dhe sigurisë i publikojmë në kartat tona të sistemit⁠(hapet në një dritare të re).

  • Për modelet tona më të afta, kryejmë edhe testime me palë të treta për të vënë në provë si masat kundër keqpërdorimit, ashtu edhe përputhjen themelore të modeleve.

  • Shqyrtimit të sinjalizimeve të monitorimit nga faza e përdorimit të brendshëm për të ndjekur çdo ndryshim në përputhjen themelore të modelit bazë.

Përveç masave tona mbrojtëse “sinkrone” (si trajnimi i modelit për sigurinë dhe klasifikuesit e sistemit), për përdorimin e jashtëm kryejmë edhe hetime dhe zbatojmë masa jashtë kohës reale. Këto ekipe kombinojnë agjentë hetues në shkallë të gjerë me shqyrtimin njerëzor për të zbuluar e identifikuar aktorë potencialisht kërcënues në raste abuzimi kibernetik, krijimi armësh biologjike dhe distilimi⁠, si dhe mospërputhje të vetë modelit. Zbatimi i masave jashtë kohës reale është veçanërisht i dobishëm për të mbledhur informacion nga llogari të ndryshme dhe për të krijuar një pamje më të plotë të një kërcënimi të mundshëm.

Programet e qasjes së besuar, si Daybreak dhe Rosalind⁠, shtojnë një shtresë sigurie dhe përshpejtojnë punën e mbrojtësve dhe studiuesve legjitimë, duke kufizuar qasjen e sulmuesve të mundshëm.

Reagimi ndaj incidenteve dhe publikimi i tyre

Kur vërejmë një dështim në një nga shtresat tona të sigurisë, pavarësisht nëse ka shkaktuar dëm, synojmë ta hetojmë shpejt, t’i përcaktojmë përparësinë dhe, kur është e mundur dhe e përshtatshme, ta bëjmë publik. Sipas politikës sonë të raportimit të mospërputhjeve⁠, çdo punonjës mund të propozojë publikimin e një incidenti. Këto raporte hetohen dhe, nëse ka mosmarrëveshje për publikimin e tyre, vendimi i kalohet Grupit tonë Këshillimor për Sigurinë. Përveç raporteve të punonjësve, kërkojmë në mënyrë proaktive incidente mospërputhjeje, që t’i trajtojmë dhe t’i ndajmë gjetjet.

Raportet tona të mospërputhjeve mund t’i shohësh këtu⁠(hapet në një dritare të re).

​


​

Kjo punë varet si nga përparimi kërkimor, ashtu edhe nga disiplina operacionale: konfigurimi i saktë i kontrolleve, testimi i ndërveprimit të tyre dhe reagimi i vendosur kur dështojnë. Një shërbim rrjeti i konfiguruar gabim ose një ndalim automatik që dështon mund të cenojë masa mbrojtëse përndryshe të forta.

Ndërsa modelet fitojnë aftësi të reja, duhet të vazhdojmë të vëmë në provë supozimet ku mbështeten masat tona mbrojtëse dhe t’i përmirësojmë kur nevojitet. Mësimet nga kërkimi, përdorimi i brendshëm dhe ai publik duhet të orientojnë trajnimin, vlerësimin dhe vënien në përdorim të modeleve të ardhshme.

Do të vazhdojmë t’i ndajmë gjetjet përmes kartave të sistemit, raporteve të incidenteve, raporteve të rrezikut⁠(hapet në një dritare të re) nga përdorimi i brendshëm dhe vlerësimeve të jashtme⁠, që të tjerët ta shqyrtojnë imtësisht qasjen tonë, përfshirë kufizimet e saj. Kur provat nuk arrijnë pragun tonë të sigurisë, do ta pezullojmë sërish trajnimin ose do ta shtyjmë publikimin derisa të përmbushen kërkesat.

Kërkime dhe burime të ngjashme

Vendosja e standardeve të sigurisë

Përcaktimi dhe vlerësimi i sjelljes në përputhje me synimet

Mbajtja e modeleve nën kontroll dhe përmirësimi i masave mbrojtëse

Reagimi ndaj incidenteve dhe publikimi i tyre

Përparimi kërkimor dhe zbatimet