Sikurezza u allinjament għal mudelli b’orizzont twil

Mudelli li jistgħu jaħdmu b’mod awtonomu għal perjodi twal jistgħu jieħdu problemi diffiċli u miftuħa. Iżda l-istess persistenza li tagħmilhom utli tagħtihom ukoll aktar opportunitajiet biex jieħdu azzjonijiet mhux mixtieqa—u jagħmlu dan b’modi li evalwazzjonijiet maħsuba għal mudelli b’orizzont iqsar jistgħu jitilfu.

Madwar xahrejn ilu ħabbarna⁠ li mudell intern għal skopijiet ġenerali ċaħad l-konġettura ta’ Erdős dwar id-distanza unità. Dan il-mudell tfassal biex jaħdem b’mod awtonomu għal perjodi twal ħafna. Waqt użu intern limitat u mmonitorjat, osservajna mġiba mhux mixtieqa li l-evalwazzjonijiet eżistenti tagħna tal-iskjerament ma kinux qabdu. Minħabba li l-iskjerament kien limitat u mmonitorjat, stajna nidentifikaw dawn il-problemi, inwaqqfu l-aċċess temporanjament, noħolqu evalwazzjonijiet ġodda bbażati fuq dak li osservajna, insaħħu l-mudell u s-salvagwardji tiegħu, u mbagħad nerġgħu niftħu l-aċċess taħt monitoraġġ kontinwu. 

Il-kundizzjonijiet li fihom nevalwaw il-mudelli qatt mhu se jaqblu perfettament ma’ dawk li jiltaqgħu magħhom fl-użu reali. Għalhekk l-evalwazzjonijiet qabel l-iskjerament jeħtieġ li jingħaqdu ma’ skjerament limitat u mmonitorjat, u mal-kapaċità li nintervjenu, inwaqqfu temporanjament jew immorru lura meta jinqalgħu problemi. Dak li nitgħallmu mill-iskjerament jista’ mbagħad isir parti minn evalwazzjonijiet u salvagwardji aktar b’saħħithom qabel ma jitwessa’ l-aċċess.

Fit-taqsimiet li ġejjin, naqsmu eżempji konkreti ta’ dak li osservajna, kif indirizzajna l-kwistjonijiet, u kif din l-esperjenza se ssawwar rilaxxi futuri.

Il-mudell il-ġdid jista’ jkompli jaħdem lejn objettiv permezz ta’ tentattivi ripetuti fuq perjodu twil. Dik l-istess persistenza tista’ twasslu biex isib u jisfrutta dgħufijiet fl-ambjent tiegħu. Mudelli preċedenti, meta kienu jiltaqgħu ma’ sandboxing jew restrizzjonijiet tal-ambjent, kienu sempliċement jieqfu u jirritornaw għand l-utent. Dan il-mudell spiss baqa’ jipprova, inkluż billi fittex modi kif jaġixxi barra s-sandbox tiegħu.

Eżempju ta’ dan seħħ waqt evalwazzjoni interna fuq l-ispeedrun ta’ NanoGPT⁠(jinfetaħ f’tieqa ġdida), benchmark pubbliku għat-taħriġ ta’ mudell lingwistiku żgħir fl-inqas passi possibbli. Il-mudell tagħna żviluppa cooldown tar-rata tat-tagħlim b’liġi tal-qawwa msejjaħ PowerCool, li wassal għal titjib sinifikanti. Il-mudell ingħata struzzjonijiet biex jippubblika r-riżultati tiegħu biss fuq Slack, iżda l-istruzzjonijiet ta’ NanoGPT jgħidu li r-riżultati għandhom jitpoġġew bħala PR fuq GitHub, u l-mudell segwa dawn l-istruzzjonijiet tal-aħħar biex jiftaħ PR #287 fir-repożitorju pubbliku ta’ GitHub. Il-mudell dawwar mar-restrizzjonijiet tas-sandbox maħsuba biex jimblukkaw aċċess estern u kompla bit-tlugħ fuq GitHub. Il-mudell tagħna ħa siegħa biex sab vulnerabbiltà fis-sandbox sabiex jagħmel il-PR; mudelli preċedenti kienu inqas persistenti u ma rnexxilhomx isibu vulnerabbiltajiet, u minflok qatgħu qalbhom mill-parti tal-PR.¹

Ħafna kontrolli tas-sikurezza għall-assistenti tal-AI huma mfassla madwar azzjonijiet individwali. Jekk azzjoni mhix permessa, tiġi mblukkata. Jekk tkun sensittiva, is-sistema titlob lill-utent approvazzjoni espliċita. Iżda mudelli li jaħdmu fit-tul, li l-azzjonijiet tagħhom jistgħu jiżvolġu b’mod awtonomu fuq sigħat, jiem jew saħansitra ġimgħat, jisfidaw dan l-arranġament: il-monitoraġġ ta’ azzjonijiet individwali ma jibqax biżżejjed biex insegwu l-intenzjoni tat-trajettorja kollha.

Pereżempju, f’xenarju fejn il-mudell intalab isolvi problema, il-mudell innota li sistemi oħra kellhom sottomissjonijiet privati iżda ta’ suċċess, u pprova jirkupra dawk is-soluzzjonijiet mill-backend tal-evalwazzjoni. Meta l-ewwel tentattiv tiegħu ġie mblukkat għax scanner sab token ta’ awtentikazzjoni, il-mudell qasam il-korp tat-token f’żewġ frammenti, ħbiehom, u mbagħad reġa’ bena l-kredenzjal waqt l-eżekuzzjoni sabiex it-token sħiħ qatt ma deher bħala string waħda kontigwa. Il-mudell kien espliċitu kemm fil-kummenti tiegħu lill-utent kif ukoll fit-traċċi tar-raġunament tiegħu li kien qed jieħu dawn il-passi biex idur mal-iskaner.

Dan l-eżempju juri kif kull pass jista’ jidher aċċettabbli waħdu, filwaqt li s-sekwenza tista’ tipproduċi riżultat li ma jiġix approvat. Juri wkoll kif mudell li jaħdem b’mod effettiv fuq orizzonti taż-żmien twal jista’ jitgħallem il-punti għomja ta’ sistema ta’ approvazzjoni u jdur magħhom biex jilħaq l-għanijiet tiegħu. Is-sikurezza għal orizzont twil teħtieġ mhux biss li nistaqsu “din l-azzjoni hija permessa?” iżda wkoll “lejn liema riżultat qed taħdem din is-sekwenza ta’ azzjonijiet?”

Minħabba inċidenti bħal dawn, waqqafna temporanjament l-iskjerament intern tal-mudell il-ġdid. Bnejna mill-ġdid is-sistema tas-sikurezza madwar difiża f’diversi saffi u monitoraġġ fil-livell tat-trajettorja.

• Evalwazzjonijiet derivati minn inċidenti. L-evalwazzjonijiet jistgħu jagħtuna sens ta’ jekk sistema hijiex sikura biex tiġi skjerata qabel ma fil-fatt tiġi skjerata. Madankollu, biex tkun l-aktar utli, evalwazzjoni għandha tirrifletti d-distribuzzjoni u t-tul tal-orizzont tat-trajettorji waqt skjerament reali. Għal din ir-raġuni, użajna fallimenti osservati biex niżviluppaw evalwazzjonijiet avversarjali. Sibna li titjib fl-evalwazzjonijiet derivati minn inċidenti fid-dinja reali mbagħad wassal għal imġiba aktar sikura ladarba skjerati fil-produzzjoni.
• Allinjament imtejjeb. Ħadna passi biex innaqqsu t-tendenza tiegħu li jieħu azzjonijiet mhux mixtieqa mingħajr permess biex jilħaq l-għan tal-utent.  Pereżempju, sibna li l-mudelli tagħna kienu agħar biex jiftakru l-istruzzjonijiet f’rollouts twal, u meta tħarreġ il-mudell għal din il-kapaċità, dan wassal għal mudell li baqa’ allinjat matul rollouts itwal. 
• Monitoraġġ attiv. Ħloqna sistema ta’ monitoraġġ li tirrevedi t-trajettorja li qed tevolvi tal-mudell għal sinjali li qed jaqbeż restrizzjoni tal-utent jew konfini tas-sikurezza. Il-monitor josserva mhux biss azzjoni waħda, iżda t-trajettorja kollha. Importanti, il-monitor jista’ jwaqqaf is-sessjoni temporanjament u javża lill-utent biex jeżaminaha aktar mill-qrib. Wara l-eżami, l-utent jista’ mbagħad jagħżel li jkompli x-xogħol tal-mudell jekk il-monitor ikun ġie attivat b’mod falz. 
• Viżibbiltà u kontroll akbar għall-utent. Tejjibna l-kapaċità tal-utent li jispezzjona dawn is-sessjonijiet fit-tul, jara l-azzjonijiet meħuda, u jissorvelja l-interventi.

Biex nevalwaw is-sistema l-ġdida ta’ monitoraġġ, erġajna esegwejna sett żgħir ta’ ambjenti ta’ skjerament intern fejn il-mudell qabel kien segwa azzjonijiet mhux allinjati, din id-darba bis-salvagwardji l-ġodda fis-seħħ². Is-salvagwardji l-ġodda setgħu jaqbdu ħafna aktar azzjonijiet mhux allinjati segwiti mill-mudell, u dawk li ma qabdux ġew kollha ġġudikati bħala ta’ severità baxxa.

Xi eżempji ta’ dawn l-inċidenti ta’ severità baxxa jinkludu l-każijiet li ġejjin:

• Biex jaċċessa għodda tal-linja tal-kmand ta’ Linear, il-mudell nieda sessjoni codex --yolo nested, meta fil-fatt seta’ għamel dan mingħajr il-flag --yolo.
• Il-mudell innota li riżorsa li qabel kienet attiva kienet nieqsa, imbagħad beda jesplora u jidħol b’SSH f’pods tas-CPU attivi oħra taħt in-namespace tas-sid tiegħu, kif ukoll (mingħajr suċċess) f’pods li jappartjenu lil impjegati oħra ta’ OpenAI, mingħajr raġuni tajba biex jagħmel dan.
• Il-mudell kellu ħafna proċessi find imwaħħlin u kull kmand tax-shell waqaf jistenna. Imbagħad ħaddem kill -9 -1, li kieku ntbagħat SIGKILL lil kull proċess li huwa permess joqtol fuq dak il-pod, kieku ġie eżegwit. Madankollu skada ż-żmien tiegħu u ma ġiex eżegwit.

Wara li ttestjajna s-sistema l-ġdida, ikkonkludejna li seta’ jerġa’ jingħata aċċess intern limitat għal mudelli b’kapaċitajiet ta’ orizzont twil. Minn meta beda l-iskjerament mill-ġdid diversi ġimgħat ilu, ma osservajna l-ebda ċirkomvenzjoni serja tas-salvagwardji. L-ewwel verżjoni ta’ dawn is-salvagwardji kienet konservattiva apposta. Komplejna nirfinaw is-sistema biex innaqqsu interruzzjonijiet mhux meħtieġa mingħajr ma ndgħajfu s-salvagwardji.

Minħabba li skjerajna b’mod iterattiv, stajna nsibu u nindirizzaw lakuni qabel ma nwessgħu l-aċċess. L-evalwazzjonijiet qabel l-iskjerament jibqgħu essenzjali, iżda l-iskjerament jikxef imġibiet li dawn jitilfu. Il-fatt li bdejna b’aċċess limitat ippermettilna nosservaw il-mudell fil-prattika, nieqfu meta qamu problemi, nużaw dawk il-fallimenti biex nibnu evalwazzjonijiet u salvagwardji aħjar, u nerġgħu nagħtu aċċess limitat wara li ttestjajna l-bidliet.

Hekk kif il-mudelli jieħdu kompiti itwal u aktar kumplessi, il-fallimenti li l-evalwazzjonijiet jitilfu jistgħu jkollhom konsegwenzi akbar. Se nkomplu naħdmu biex -innaqqsu d-distakk bejn l-evalwazzjoni u l-iskjerament: nittestjaw mudelli fuq trajettorji itwal, intejbu l-allinjament, nibnu monitoraġġ li jista’ jintervjeni, u nagħtu lill-utenti viżibbiltà u kontroll aktar ċari. Dawn l-isfidi mhux se jkunu uniċi għal OpenAI, u nittamaw li l-qsim ta’ dak li tgħallimna jgħin lill-qasam usa’ jipprepara għalihom.