Gjatë javëve të fundit, dy zhvillime kanë nxjerrë në pah rreziqet në rritje që lidhen me sistemet gjithnjë e më të afta të IA-së: incidenti OpenAI-Hugging Face dhe, veçmas, provat paraprake se një nga modelet tona të ardhshme, Astra, mund të arrijë pragun e aftësisë kritike të sigurisë kibernetike sipas Preparedness Framework. Së bashku, këto zhvillime dhe përparimi i shpejtë në kërkimin tonë të brendshëm e kanë bërë më urgjente punën tonë për të përforcuar masat mbrojtëse të monitorimit, përafrimit dhe kontrollit në të gjitha fazat e procesit të trajnimit.
Ndërsa modelet bëhen më të afta, rriten edhe rreziqet që lidhen me zhvillimin dhe testimin e tyre të brendshëm. Standardet tona për monitorimin, përafrimin dhe sigurinë duhet t'u paraprijnë këtyre rreziqeve. Donim të merrnim kohën e nevojshme për t'i përmbushur këto standarde, ndaj e ngadalësuam përkohësisht ritmin e shkallëzimit. Kjo përfshiu një ndërprerje dyjavore të trajnimit përforcues (RL) për modelet tona më të fundit të destinuara për vënie në përdorim, ndërsa përforcuam më tej mjediset tona kërkimore, i testuam ato me ekipe sulmuese dhe zgjeruam mbulimin e sistemeve tona të monitorimit. Trajnimi ynë më i madh i planifikuar me RL për një model avangardë mbetet pezull, ndërsa kryejmë trajnime dhe vlerësime në shkallë më të vogël për të shqyrtuar sjelljen e modelit, për të vërtetuar masat tona mbrojtëse dhe për të siguruar më shumë prova të përafrimit përpara se të vazhdojmë.
Përafrimi—puna për t'i bërë sistemet e IA-së të sillen siç synohet dhe t'i përgjigjen mbikëqyrjes njerëzore—ka qenë prej kohësh në themel të programit tonë kërkimor. Tani kërkojmë prova më të forta të sjelljes së përafruar gjatë gjithë trajnimit, duke u mbështetur në kërkimet dhe vlerësimet që tashmë po zhvillohen. Mbajtja e sistemeve gjithnjë e më të afta në përputhje me synimet është një sfidë që duhet ta trajtojë e gjithë fusha. Sinjalet që po shohim nga përparimi i modeleve të ardhshme tregojnë qartë se na duhet një qasje më e gjerë—që mbështetet te Preparedness Framework aktual dhe shkon përtej tij.
Mendojmë se është e rëndësishme të jemi transparentë për mënyrën se si po ndryshon qasja jonë. Më poshtë përshkruajmë ndryshimet që kemi bërë tashmë në proceset dhe infrastrukturën tonë kërkimore, si dhe punën që vijon ende.
Qasja jonë për zhvillimin e modeleve më të afta mbështetet në tri masa mbrojtëse që përforcojnë njëra-tjetrën:
- Monitorimi, i cili zbulon sjellje shqetësuese dhe na mundëson të reagojmë ndaj tyre.
- Përafrimi, i cili zvogëlon gjasat e veprimeve të dëmshme ose të paautorizuara.
- Masat e sigurisë, të cilat kufizojnë se ku mund të kenë akses ose çfarë mund të ndikojnë sistemet e IA-së.
Presim që së shpejti modelet të kryejnë pjesën më të madhe të punës së sigurisë, përfshirë mbrojtjen kundër modeleve të tjera. Kjo do t'u mundësojë të tri masave mbrojtëse të shkallëzohen krahas aftësive të modelit, gjë që e konsiderojmë thelbësore.
Këto masa mbrojtëse i zbatojmë gjatë kërkimit dhe vënies në përdorim, duke i përshtatur me aftësitë, mjedisin operativ dhe nivelin e rrezikut të secilit model.
Ndërsa modelet avangardë fitojnë aftësi më të fuqishme të sigurisë kibernetike, po rrisim standardet e sigurisë për mjediset ku i trajnojmë dhe i vlerësojmë. Përmbushja e këtyre standardeve ka kërkuar punë të konsiderueshme inxhinierike dhe i ka sjellë kërkimit avangardë kosto të mëdha e vonesa. Menjëherë pas incidentit OpenAI-Hugging Face*, pezulluam inferencën e modeleve avangardë në grupimet kërkimore për proceset që mund të ekzekutonin kod ose të përdornin mjete me akses në internet. Rivendosëm mjaft shpejt një mënyrë më të kufizuar dhe më të sigurt për ekzekutimin e kodit, pastaj shqyrtuam veçmas çdo ngarkesë pune për të përcaktuar nëse mund të rifillonte në mënyrë të sigurt. Disa ngarkesa kërkimore rifilluan nën këto kontrolle të reja, ndërsa të tjerat kërkonin ndryshime shtesë.
Gjatë javëve pasuese, kemi përcaktuar dhe kemi nisur zbatimin e kërkesave më të rrepta të sigurisë për ngarkesat kërkimore avangardë. Për shembull:
- Izolimi i ngarkesave të punës: Tani kërkojmë izolim më të fortë ("sandbox") për ngarkesat që ekzekutojnë kod të krijuar nga modelet ose kod tjetër të pabesueshëm. Kjo vlen edhe për softuerët që mund të cenohen gjatë përpunimit të rezultateve të modeleve.
- Izolimi i rrjetit: Kemi zbatuar më shumë kontrolle për të izoluar nga interneti ngarkesat me rrezik më të lartë dhe ato të pabesueshme. Këto kontrolle i kemi projektuar në mënyrë që cenimi i një ngarkese pune ose shërbimi mbështetës të mos mjaftojë vetvetiu për të mundësuar akses të paautorizuar në internet ose në rrjete të tjera të brendshme.
- Testimi i vazhdueshëm i sigurisë: Kemi rikonfiguruar mjedisin tonë për të hequr shërbimet e përbashkëta që mund të jenë të cenueshme, për të zvogëluar privilegjet e përhershme dhe për të përmirësuar kufijtë e sigurisë dhe të besimit. Po përmirësojmë gjithashtu aftësinë tonë për të mbledhur dhe monitoruar regjistrat e sigurisë. Së fundi, po investojmë në automatizim duke përdorur modelet tona për t'i testuar vazhdimisht këta kufij ndaj sulmeve të simuluara.
Së bashku, këto kontrolle ofrojnë mbrojtje në thellësi dhe ndihmojnë në mbrojtjen e mjedisit tonë kërkimor nga sulmet. Sot kërkojmë nivelin më të rreptë të masave mbrojtëse të sigurisë për ngarkesat e punës që përfshijnë Astra-n ose modelet kibernetike, pasi kemi përcaktuar se modelet Astra mund të kenë një nivel kritik aftësish kibernetike. Këto masa mbrojtëse vlejnë edhe për të gjitha ngarkesat e tjera të punës që lidhen me fushën kibernetike.
Ndonëse disa trajnime dhe vlerësime të Astra-s i përmbushin këto kërkesa, një numër i konsiderueshëm ngarkesash pune mbeten pezull derisa të migrohen plotësisht dhe të përmirësohen për të përmbushur standardin e ri të sigurisë. Po u japim përparësi ngarkesave të punës për sigurinë dhe përafrimin, që të migrohen të parat në këto mjedise të reja.
Monitorimi ka qenë prej kohësh pjesë e rëndësishme e procesit tonë të zhvillimit të modeleve, përfshirë monitorimin e agjentëve të brendshëm të kodimit dhe të seancave afatgjata. Përpjekjet tona të monitorimit përqendroheshin veçanërisht te vëniet e brendshme në përdorim të modeleve avangardë dhe te proceset avangardë të trajnimit me RL, të cilat i konsideronim ngarkesat me rrezikun më të lartë, sepse mund të ndërthurin aftësi të përparuara të modeleve me akses në mjete, sisteme të ndjeshme dhe rrjete të brendshme ose të jashtme. Ato nuk zbatoheshin për të gjitha proceset e inferencës dhe trajnimit që përdornin mjete. E kemi rishikuar dhe zgjeruar qasjen tonë me konfigurimin e ri të monitorimit.
Ky konfigurim i ri monitorimi ka disa faza. Ai nis me klasifikues aktivizimi (detektorë që shqyrtojnë aktivitetin e brendshëm të modelit), të cilët veprojnë në çdo token të kampionuar dhe ua kalojnë shqetësimet e mundshme hetuesve të automatizuar gjithnjë e më të sofistikuar dhe me fuqi të lartë përllogaritëse. Këto sisteme shqyrtojnë veprimet e mjeteve, arsyetimin e disponueshëm dhe të gjithë rrjedhën e aktivitetit për akses të paautorizuar, vjedhje të dhënash, sjellje shkatërruese dhe përpjekje për të anashkaluar masat mbrojtëse. Synojmë të lëshojmë një sinjalizim brenda 30 minutave pasi sistemi ynë i monitorimit të zbulojë aktivitet shqetësues. Nëse sistemi i monitorimit identifikon një shkelje të mundshme të një kufiri kritik sigurie, ai gjeneron një sinjalizim të përparësisë më të lartë. Në zbatimin tonë aktual, njoftohen ekipet e mbrojtjes, sigurisë dhe kërkimit. Nëse brenda 30 minutave nuk mund të përcaktojnë përfundimisht se sinjalizimi është pozitiv i rremë, këto ekipe duhet ta pezullojnë aktivitetin.
Ky monitorim kërkohet për të gjitha trajnimet dhe vlerësimet me RL që përfshijnë mjete për modelet me aftësitë e Sol-it ose më të larta. Pasi përcaktuam më 7 gusht se Astra mund të ketë aftësi kritike kibernetike, shtuam një kërkesë tjetër monitorimi për çdo inferencë të Astra-s me mjete (jo vetëm për trajnimet dhe vlerësimet me RL).
Këto masa mbrojtëse kërkojnë fuqi të konsiderueshme përllogaritëse. Sipas vlerësimeve tona aktuale, kostoja shtesë e monitorimit është afërsisht 20% e fuqisë përllogaritëse të inferencës që monitorohet, ndonëse kostoja ndryshon ndjeshëm ndërmjet ngarkesave të trajnimit dhe vlerësimit. Do të ndajmë më shumë hollësi për këtë sistem në një artikull të ardhshëm në blog.
Kërkimi mbi përafrimin është thelbësor për misionin tonë. Misioni ynë është të sigurojmë që inteligjenca e përgjithshme artificiale t'i sjellë dobi gjithë njerëzimit. Ndërsa modelet fitojnë aftësi të përparuara, si aftësia për të kryer sulme kibernetike, dhe veprojnë në mjedise më komplekse, sjelljet e papërafruara si manipulimi i sistemit të shpërblimit (gjetja e mënyrave për të marrë shpërblime të larta gjatë trajnimit pa arritur realisht rezultatin e synuar), mashtrimi ose aksesi i paautorizuar do të krijojnë rrezik gjithnjë e më serioz.
Për proceset e RL-së në modelet më të afta, tani po zbatojmë teknikat tona kryesore të përafrimit në më shumë faza të procesit të trajnimit. Kjo përfshin përmirësimin e modeleve të shpërblimit për të zbuluar dhe frenuar më mirë sjelljet e pasigurta në detyra dhe mjedise të ndryshme; trajnimin e modeleve që të jenë më të sinqerta për veprimet, aftësitë dhe kufizimet e tyre; si dhe zvogëlimin e sjelljeve që shfrytëzojnë dobësitë e shpërblimeve, vlerësuesve, mjeteve ose mbikëqyrjes. Po zgjerojmë gjithashtu mbulimin e trajnimit për sjelljet që mund të shkaktojnë dëm kur modelet ndërveprojnë me sisteme ose burime të jashtme.
Po vazhdojmë të investojmë fuqishëm në kërkimin mbi përafrimin, të zgjerojmë mbulimin e vlerësimeve dhe të përdorim njohuritë e fituara për të orientuar trajnimin dhe masat mbrojtëse. Planifikojmë të ndajmë së shpejti shumë më tepër rreth kërkimit tonë mbi përafrimin, përfshirë atë që po mësojmë për sjelljen e modeleve dhe çdo sfidë të re që zbulojmë.
Do ta zhvillojmë Preparedness Framework për t'i bashkuar këto masa mbrojtëse gjatë trajnimit dhe vënies në përdorim, si dhe për të pasqyruar më mirë aftësitë e modeleve të ardhshme dhe mjediset ku ato veprojnë. Zhvillimi i metodave që mund të shkallëzohen krahas këtyre aftësive do të kërkojë investim të vazhdueshëm në sigurinë e ndihmuar nga modelet, monitorim më të efektshëm dhe përparim të mëtejshëm në kërkimin mbi përafrimin. Synojmë të përfshijmë organizata të jashtme dhe të ndajmë më shumë nga ajo që mësojmë ndërsa qasja jonë zhvillohet.
Aftësitë e modeleve avangardë po përparojnë me shpejtësi. Aftësia jonë për t'i kuptuar, përafruar dhe siguruar duhet t'i paraprijë këtij përparimi.
*Në javët e ardhshme do të publikojmë një raport teknik mbi mësimet e nxjerra.
