Siguria dhe përafrimi në epokën e modeleve me horizont të gjatë

Modelet që mund të punojnë në mënyrë autonome për periudha të gjata mund të marrin përsipër probleme të vështira e të hapura. Por e njëjta këmbëngulje që i bën të dobishme u jep edhe më shumë mundësi të ndërmarrin veprime të padëshiruara—dhe ta bëjnë këtë në mënyra që vlerësimet e synuara për modele me horizont më të shkurtër mund të mos i kapin.

Rreth dy muaj më parë njoftuam⁠ se një model i brendshëm me përdorim të përgjithshëm hodhi poshtë hamendësimin e distancës njësi të Erdős-it. Ky model u projektua të punonte në mënyrë autonome për periudha shumë të gjata kohore. Gjatë përdorimit të brendshëm të kufizuar dhe të monitoruar, vumë re sjellje të padëshiruara që vlerësimet tona ekzistuese për vendosjen në përdorim nuk i kishin zbuluar. Meqë vendosja në përdorim ishte e kufizuar dhe e monitoruar, mundëm t'i identifikonim këto probleme, të pezullonim aksesin, të hartonim vlerësime të reja bazuar në atë që vëzhguam, të forconim modelin dhe masat e tij mbrojtëse, dhe më pas të rikthenim aksesin duke vazhduar monitorimin.

Kushtet në të cilat i vlerësojmë modelet nuk do të përputhen kurrë në mënyrë të përsosur me ato që hasin në përdorim real. Prandaj vlerësimet para vendosjes duhet të shoqërohen me vendosje të kufizuar e të monitoruar dhe me aftësinë për të ndërhyrë, pezulluar ose kthyer mbrapsht kur shfaqen probleme. Ajo që mësojmë nga vendosja mund të bëhet pastaj pjesë e vlerësimeve dhe mbrojtjeve më të forta para se aksesi të zgjerohet.

Në seksionet në vijim, ndajmë shembuj konkretë të asaj që vëzhguam, si i adresuam problemet dhe si kjo përvojë do t’i japë formë publikimeve të ardhshme.

Modeli i ri mund të vazhdojë të punojë drejt një objektivi përmes përpjekjesh të përsëritura për një periudhë të gjatë kohe. E njëjta këmbëngulje mund ta çojë të gjejë dhe të shfrytëzojë dobësi në mjedisin e tij. Modelet e mëparshme, kur ndeshnin kufizime të zonës së izoluar ose të mjedisit, thjesht ndaleshin dhe i ktheheshin përdoruesit. Ky model shpesh vazhdonte të provonte, përfshirë duke kërkuar mënyra për të vepruar jashtë zonës së tij të izoluar.

Një shembull i kësaj ndodhi gjatë një vlerësimi të brendshëm mbi speedrun-in e NanoGPT⁠(hapet në një dritare të re), një standard publik për matjen e performancës së trajnimit të një modeli të vogël gjuhësor me sa më pak hapa të jetë e mundur. Modeli ynë zhvilloi një metodë të uljes graduale të normës së të mësuarit sipas ligjit të fuqisë, të quajtur PowerCool, e cila solli një përmirësim të ndjeshëm. Modeli ishte udhëzuar t'i publikonte rezultatet vetëm në Slack, por udhëzimet e NanoGPT kërkojnë që rezultatet të publikohen si një PR në GitHub, dhe modeli ndoqi këto udhëzime të fundit duke hapur PR #287 në depozitën publike të GitHub. Modeli anashkaloi kufizimet e sandbox-it të projektuara për të bllokuar aksesin e jashtëm dhe vazhdoi me ngarkimin në GitHub. Modelit tonë iu desh një orë për të gjetur një cenueshmëri në sandbox në mënyrë që të krijonte PR-në; modelet e mëparshme ishin më pak këmbëngulëse dhe nuk arritën të gjenin cenueshmëri, duke hequr dorë nga pjesa e krijimit të PR-së.¹

Shumë kontrolle sigurie për asistentët e AI-së janë projektuar rreth veprimeve individuale. Nëse një veprim nuk lejohet, ai bllokohet. Nëse është i ndjeshëm, sistemi i kërkon përdoruesit miratim të qartë. Por modelet që funksionojnë gjatë, veprimet e të cilave mund të zhvillohen në mënyrë autonome gjatë orëve, ditëve apo edhe javëve, e sfidojnë këtë qasje: monitorimi i veprimeve individuale nuk mjafton më për të gjurmuar synimin e trajektores së përgjithshme.

Për shembull, në një skenar ku modelit iu kërkua të zgjidhte një problem, modeli vërejti se sisteme të tjera kishin dorëzime të suksesshme, por private, dhe u përpoq t'i rikuperonte ato zgjidhje nga backend-i i vlerësimit. Kur përpjekja fillestare u bllokua pasi një skaner zbuloi një token autentikimi, modeli e ndau trupin e token-it në dy fragmente, i maskoi ato dhe më pas e rindërtoi kredencialin gjatë ekzekutimit, në mënyrë që token-i i plotë të mos shfaqej kurrë si një varg i pandërprerë. Modeli e bëri të qartë, si në komentet për përdoruesin, ashtu edhe në gjurmët e arsyetimit, se po ndërmerrte këto hapa për të anashkaluar skanerin.

Ky shembull tregon se si çdo hap mund të duket i pranueshëm më vete, ndërsa sekuenca mund të prodhojë një rezultat që nuk do të miratohej. Ai tregon gjithashtu se si një model që vepron në mënyrë efektive në horizonte kohore të gjata mund të mësojë pikat e verbra të një sistemi miratimi dhe t’i anashkalojë ato për të arritur qëllimet e veta. Siguria me horizont të gjatë kërkon jo vetëm të pyesim "a lejohet ky veprim?", por edhe "drejt cilit rezultat po punon kjo sekuencë veprimesh?"

Për shkak të incidenteve si këto, e pezulluam vendosjen e brendshme të modelit të ri. E rindërtuam sistemin e sigurisë rreth mbrojtjes në thellësi dhe monitorimit në nivel trajektoreje.

• Vlerësime të nxjerra nga incidentet. Vlerësimet mund të na japin një ide nëse një sistem është i sigurt për t’u vendosur përpara se të vendoset realisht. Megjithatë, që një vlerësim të jetë sa më i dobishëm, ai duhet të pasqyrojë shpërndarjen dhe gjatësinë e horizontit të trajektoreve gjatë vendosjes reale. Për këtë arsye, përdorëm dështimet e vëzhguara për të zhvilluar vlerësime kundërshtare. Zbuluam se përmirësimi i vlerësimeve të nxjerra nga incidentet e botës reale çoi, nga ana tjetër, në sjellje më të sigurta pasi sistemi u vendos në prodhim.
• Përafrim i përmirësuar. Ndërmorëm hapa për të ulur prirjen e tij për të bërë veprime të padëshiruara pa leje në ndjekje të qëllimit të përdoruesit.  Për shembull, zbuluam se modelet tona ishin më të dobëta në kujtimin e udhëzimeve në ekzekutime të gjata dhe, kur e trajnuam modelin për këtë aftësi, kjo solli një model që mbeti i përafruar gjatë ekzekutimeve më të gjata. 
• Monitorim aktiv. Krijuam një sistem monitorimi që shqyrton trajektoren në zhvillim të modelit për shenja se po anashkalon një kufizim të përdoruesit ose një kufi sigurie. Monitoruesi vëzhgon jo vetëm një veprim të vetëm, por të gjithë trajektoren. E rëndësishme është se monitoruesi mund ta pezullojë seancën dhe ta njoftojë përdoruesin që ta shqyrtojë më nga afër. Pas shqyrtimit, përdoruesi mund të zgjedhë të vazhdojë punën e modelit nëse monitoruesi është aktivizuar gabimisht. 
• Dukshmëri dhe kontroll më i madh për përdoruesin. Përmirësuam aftësinë e përdoruesit për të inspektuar këto seanca që zgjasin shumë, për të parë veprimet e ndërmarra dhe ndërhyrjet e monitorimit.

Për të vlerësuar sistemin e ri të monitorimit, riprodhuam një grup të vogël mjedisesh të vendosjes së brendshme ku modeli më parë kishte ndjekur veprime të papërafruara, këtë herë me mbrojtjet e reja në funksion². Mbrojtjet e reja arritën të kapnin dukshëm më shumë veprime të papërafruara të ndjekura nga modeli, dhe ato që u shpëtuan u gjykuan të gjitha si me ashpërsi të ulët.

Disa shembuj të këtyre incidenteve me ashpërsi të ulët përfshijnë rastet e mëposhtme:

• Për të hyrë në një mjet të linjës së komandës Linear, modeli nisi një seancë të ndërthurur codex --yolo, kur në fakt mund ta kishte bërë këtë pa flamurin --yolo.
• Modeli vërejti se mungonte një burim që më parë ishte aktiv, më pas filloi të eksploronte dhe të hynte me SSH në pod-e të tjera aktive CPU nën namespace-in e pronarit të tij, si edhe (pa sukses) në pod-e që u përkisnin punonjësve të tjerë të OpenAI, pa pasur një arsye të justifikuar për ta bërë këtë.
• Modeli kishte shumë procese find të bllokuara dhe çdo komandë shell ngeci. Më pas ekzekutoi kill -9 -1, që do t’i kishte dërguar SIGKILL çdo procesi që i lejohet të vrasë në atë pod, nëse do të ekzekutohej. Megjithatë, ai skadoi dhe nuk u ekzekutua.

Pas testimit të sistemit të ri, arritëm në përfundimin se aksesi i brendshëm i kufizuar te modelet me aftësi me horizont të gjatë mund të rikthehej. Nuk kemi vëzhguar asnjë anashkalim serioz të mbrojtjeve që kur rivendosja filloi disa javë më parë. Versioni i parë i këtyre mbrojtjeve ishte qëllimisht konservator. Kemi vazhduar ta rregullojmë sistemin për të ulur ndërprerjet e panevojshme pa dobësuar mbrojtjet.

Meqë e vendosëm sistemin në mënyrë iterative, mundëm të gjenim dhe të adresonim boshllëqet përpara se të zgjeronim aksesin. Vlerësimet para vendosjes mbeten thelbësore, por vendosja zbulon sjellje që ato nuk i kapin. Fillimi me akses të kufizuar na lejoi ta vëzhgonim modelin në praktikë, të pezullonim aksesin kur shfaqeshin probleme, t’i përdornim këto dështime për të ndërtuar vlerësime dhe masa mbrojtëse më të mira, si dhe të rikthenim aksesin e kufizuar pas testimit të ndryshimeve.

Ndërsa modelet marrin përsipër detyra më të gjata dhe më komplekse, dështimet që vlerësimet nuk arrijnë t’i kapin mund të kenë pasoja më të mëdha. Do të vazhdojmë të punojmë për të ngushtuar hendekun midis vlerësimit dhe vendosjes: duke testuar modelet në trajektore më të gjata, duke përmirësuar përafrimin, duke ndërtuar sisteme monitorimi që mund të ndërhyjnë dhe duke u dhënë përdoruesve dukshmëri dhe kontroll më të qartë. Këto sfida nuk do të jenë unike për OpenAI dhe shpresojmë që ndarja e asaj që kemi mësuar të ndihmojë fushën më të gjerë të përgatitet për to.