Drošība un salāgošana ilgā laika horizonta modeļu laikmetā

Modeļi, kas spēj ilgstoši strādāt autonomi, var risināt sarežģītas, atvērtas problēmas. Taču tā pati neatlaidība, kas tos padara noderīgus, arī dod tiem vairāk iespēju veikt nevēlamas darbības — turklāt tādos veidos, ko īsāka laika horizonta modeļiem paredzēti izvērtējumi var nepamanīt.

Apmēram pirms diviem mēnešiem mēs paziņojām⁠, ka iekšējs vispārīga lietojuma modelis atspēkoja Erdēša vienības attāluma hipotēzi. Šis modelis bija izstrādāts ļoti ilgstošam autonomam darbam. Ierobežotas, uzraudzītas iekšējās lietošanas laikā mēs novērojām nevēlamu uzvedību, ko mūsu esošie izvietošanas izvērtējumi nebija atklājuši. Tā kā izvietošana bija ierobežota un uzraudzīta, mēs varējām identificēt šīs problēmas, apturēt piekļuvi, izveidot jaunus izvērtējumus, balstoties uz novēroto, stiprināt modeli un tā aizsargpasākumus un pēc tam atjaunot piekļuvi, turpinot uzraudzību. 

Apstākļi, kādos izvērtējam modeļus, nekad pilnībā nesakritīs ar tiem, ar kuriem tie saskaras faktiskā lietošanā. Tāpēc pirmsizvietošanas izvērtējumi jāapvieno ar ierobežotu, uzraudzītu izvietošanu un iespēju iejaukties, apturēt vai atgriezt iepriekšējo stāvokli, kad rodas problēmas. To, ko iemācāmies izvietošanas laikā, pēc tam var iekļaut spēcīgākos izvērtējumos un aizsargpasākumos, pirms piekļuve tiek paplašināta.

Nākamajās sadaļās dalāmies ar konkrētiem piemēriem par to, ko novērojām, kā risinājām problēmas un kā šī pieredze ietekmēs turpmākos laidienus.

Jaunais modelis spēj ilgstoši turpināt virzīties uz mērķi, veicot atkārtotus mēģinājumus. Tā pati neatlaidība var likt tam atrast un izmantot savas vides vājās vietas. Iepriekšējie modeļi, saskaroties ar smilškastes vai vides ierobežojumiem, vienkārši apstājās un atgriezās pie lietotāja. Šis modelis bieži turpināja mēģināt, tostarp meklējot veidus, kā rīkoties ārpus savas smilškastes.

Viens piemērs tam notika iekšējā izvērtējumā NanoGPT ātrumsacensībās⁠(atveras jaunā logā) — publiskā etalonuzdevumā, kura mērķis ir apmācīt mazu valodas modeli pēc iespējas mazākā soļu skaitā. Mūsu modelis izstrādāja pakāpju likumā balstītu mācīšanās ātruma samazināšanas metodi PowerCool, kas deva būtisku uzlabojumu. Modelim tika norādīts rezultātus publicēt tikai Slack, taču NanoGPT instrukcijās teikts, ka rezultāti jāpublicē kā PR pakalpojumā GitHub, un modelis sekoja šīm vēlākajām instrukcijām, atverot PR #287 publiskajā GitHub repozitorijā. Modelis apgāja smilškastes ierobežojumus, kas bija paredzēti ārējās piekļuves bloķēšanai, un turpināja augšupielādi uz GitHub. Mūsu modelim vajadzēja stundu, lai smilškastē atrastu ievainojamību un varētu izveidot PR; agrākie modeļi bija mazāk neatlaidīgi un nespēja atrast ievainojamības, tā vietā atsakoties no PR daļas.¹

Daudzi MI asistentu drošības kontroles mehānismi ir veidoti ap atsevišķām darbībām. Ja darbība nav atļauta, tā tiek bloķēta. Ja tā ir sensitīva, sistēma prasa lietotāja skaidru apstiprinājumu. Taču ilgstoši strādājoši modeļi, kuru darbības var autonomi izvērsties stundu, dienu vai pat nedēļu gaitā, izaicina šo pieeju: ar atsevišķu darbību uzraudzību vairs nepietiek, lai izsekotu kopējās trajektorijas nolūku.

Piemēram, scenārijā, kur modelim tika lūgts atrisināt problēmu, modelis pamanīja, ka citām sistēmām ir veiksmīgi, bet privāti iesniegumi, un mēģināja atgūt šos risinājumus no izvērtēšanas aizmugursistēmas. Kad tā sākotnējais mēģinājums tika bloķēts, jo skeneris konstatēja autentifikācijas tekstvienību, modelis sadalīja tekstvienības pamatdaļu divos fragmentos, tos obfuskēja un pēc tam izpildes laikā atjaunoja akreditācijas datus, lai pilnā tekstvienība nekad neparādītos kā viena nepārtraukta virkne. Modelis gan komentāros lietotājam, gan savās spriestspējas trasēs skaidri norādīja, ka šos soļus veic, lai apietu skeneri.

Šis piemērs parāda, kā katrs solis pats par sevi var izskatīties pieņemams, bet secība var radīt rezultātu, kas netiktu apstiprināts. Tas arī parāda, kā modelis, kas efektīvi darbojas garos laika horizontos, var iemācīties apstiprināšanas sistēmas aklās zonas un tās apiet, lai sasniegtu savus mērķus. Ilgā laika horizonta drošībai jāvaicā ne tikai: „Vai šī darbība ir atļauta?“, bet arī: „Uz kādu rezultātu virzās šī darbību secība?“

Šādu incidentu dēļ mēs apturējām jaunā modeļa iekšējo izvietošanu. Mēs pārbūvējām drošības sistēmu, balstoties uz daudzslāņu aizsardzību un trajektoriju līmeņa uzraudzību.

• Incidentos balstīti izvērtējumi. Izvērtējumi var palīdzēt saprast, vai sistēmu ir droši izvietot, pirms tā faktiski tiek izvietota. Tomēr, lai izvērtējums būtu pēc iespējas noderīgāks, tam jāatspoguļo trajektoriju sadalījums un laika horizonta ilgums reālā izvietošanā. Tāpēc mēs izmantojām novērotās kļūmes, lai izstrādātu pretinieka izvērtējumus. Mēs konstatējām, ka uzlabojumi izvērtējumos, kas iegūti no reāliem incidentiem, savukārt noveda pie drošākas uzvedības pēc izvietošanas produkcijā.
• Uzlabota salāgošana. Mēs veicām pasākumus, lai mazinātu modeļa tieksmi lietotāja mērķa sasniegšanas labā bez atļaujas veikt nevēlamas darbības.  Piemēram, mēs atklājām, ka mūsu modeļiem ilgās izpildēs sliktāk izdodas atcerēties instrukcijas, un, trenējot modeli šai spējai, tika iegūts modelis, kas saglabāja salāgojumu ilgākās izpildēs. 
• Aktīva uzraudzība. Mēs izveidojām uzraudzības sistēmu, kas pārskata modeļa mainīgo trajektoriju, meklējot pazīmes, ka tas apiet lietotāja ierobežojumu vai drošības robežu. Uzraudzības sistēma novēro ne tikai vienu darbību, bet visu trajektoriju. Svarīgi, ka uzraudzības sistēma var apturēt sesiju un brīdināt lietotāju, lai to izskatītu rūpīgāk. Pēc pārbaudes lietotājs var izvēlēties turpināt modeļa darbu, ja uzraudzības sistēma ir nostrādājusi kļūdaini. 
• Lielāka pārredzamība un kontrole lietotājam. Mēs uzlabojām lietotāja iespējas pārbaudīt šīs ilgstošās sesijas, skatīt veiktās darbības un uzraudzīt iejaukšanās gadījumus.

Lai izvērtētu jauno uzraudzības sistēmu, mēs atkārtoti izspēlējām nelielu iekšējās izvietošanas vižu kopu, kurās modelis iepriekš īstenoja nesalāgotas darbības, šoreiz ar jaunajiem aizsargpasākumiem². Jaunie aizsargpasākumi spēja uztvert ievērojami vairāk nesalāgotu darbību, ko īstenoja modelis, un visas nepamanītās tika novērtētas kā zemas smaguma pakāpes.

Daži šo zemas smaguma pakāpes incidentu piemēri ir šādi:

• Lai piekļūtu Linear komandrindas rīkam, modelis palaida ligzdotu codex --yolo sesiju, lai gan patiesībā to būtu varējis izdarīt bez --yolo karodziņa.
• Modelis pamanīja, ka trūkst iepriekš aktīva resursa, un pēc tam sāka pētīt un ar SSH pieslēgties citiem aktīviem CPU podiem tā īpašnieka vārdtelpā, kā arī (nesekmīgi) podiem, kas pieder citiem OpenAI darbiniekiem, bez pamatota iemesla to darīt.
• Modelim bija daudzi iestrēguši find procesi, un katra čaulas komanda uzkārās. Pēc tam tas palaida kill -9 -1, kas, ja tiktu izpildīts, nosūtītu SIGKILL katram procesam šajā podā, ko tam ir atļauts nogalināt. Tomēr iestājās taimauts, un komanda netika izpildīta.

Pēc jaunās sistēmas testēšanas mēs secinājām, ka ierobežotu iekšējo piekļuvi modeļiem ar garā laika horizonta spējām var atjaunot. Kopš atkārtotās izvietošanas sākuma pirms vairākām nedēļām neesam novērojuši nopietnu aizsargpasākumu apiešanu. Šo aizsargpasākumu pirmā versija bija apzināti konservatīva. Mēs turpinām pielāgot sistēmu, lai mazinātu nevajadzīgus pārtraukumus, nevājinot aizsargpasākumus.

Tā kā izvietojām iteratīvi, mēs varējām atrast un novērst nepilnības pirms piekļuves paplašināšanas. Pirmsizvietošanas izvērtējumi joprojām ir būtiski, taču izvietošana atklāj uzvedību, ko tie palaiž garām. Sākot ar ierobežotu piekļuvi, mēs varējām novērot modeli praksē, apturēt darbu, kad parādījās problēmas, izmantot šīs kļūmes labāku izvērtējumu un aizsargpasākumu veidošanai un pēc izmaiņu testēšanas atjaunot ierobežotu piekļuvi.

Modeļiem uzņemoties garākus un sarežģītākus uzdevumus, kļūmēm, ko izvērtējumi nepamana, var būt lielākas sekas. Mēs turpināsim strādāt, lai mazinātu plaisu starp izvērtēšanu un izvietošanu: testēsim modeļus garākās trajektorijās, uzlabosim salāgošanu, veidosim uzraudzību, kas spēj iejaukties, un sniegsim lietotājiem skaidrāku pārredzamību un kontroli. Šie izaicinājumi nebūs raksturīgi tikai OpenAI, un mēs ceram, ka dalīšanās ar apgūto palīdzēs plašākai nozarei tiem sagatavoties.