Öryggi og samstilling á tímum líkana með langan tímaramma

Líkön sem geta unnið sjálfstætt í langan tíma geta tekist á við erfið, opin vandamál. En sama þrautseigjan og gerir þau gagnleg gefur þeim líka fleiri tækifæri til að grípa til óæskilegra aðgerða — og gera það á hátt sem mat sem ætlað er líkönum með styttri tímaramma getur misst af.

Fyrir um tveimur mánuðum tilkynntum⁠ við að innra almennt líkan hefði afsannað Erdős-tilgátuna um einingarfjarlægðir. Þetta líkan var hannað til að vinna sjálfstætt í mjög langan tíma. Við takmarkaða, vaktaða innri notkun sáum við óæskilega hegðun sem núverandi mat okkar fyrir útsetningu hafði ekki náð að greina. Þar sem útsetningin var takmörkuð og vöktuð gátum við greint þessi vandamál, gert hlé á aðgangi, búið til ný möt byggð á því sem við sáum, styrkt líkanið og öryggisráðstafanir þess og síðan opnað aðgang á ný undir áframhaldandi vöktun. 

Aðstæðurnar sem við metum líkön við munu aldrei samsvara fullkomlega þeim aðstæðum sem þau mæta í raunverulegri notkun. Þess vegna þarf að para mat fyrir útsetningu við takmarkaða, vaktaða útsetningu og getu til að grípa inn í, gera hlé eða snúa breytingum til baka þegar vandamál koma upp. Það sem við lærum af útsetningu getur síðan orðið hluti af sterkari mötum og öryggisráðstöfunum áður en aðgangur er víkkaður.

Í eftirfarandi köflum deilum við áþreifanlegum dæmum um það sem við sáum, hvernig við brugðumst við vandamálum og hvernig þessi reynsla mun móta framtíðarútgáfur.

Nýja líkanið getur haldið áfram að vinna að markmiði með ítrekuðum tilraunum yfir langan tíma. Sama þrautseigja getur orðið til þess að það finni og misnoti veikleika í umhverfi sínu. Fyrri líkön, þegar þau rákust á sandkassa- eða umhverfistakmarkanir, stöðvuðust einfaldlega og sneru aftur til notandans. Þetta líkan hélt oft áfram að reyna, meðal annars með því að leita leiða til að starfa utan sandkassans.

Dæmi um þetta kom upp í innra mati á NanoGPT‑hraðakeppninni⁠(opnast í nýjum glugga), opinberum viðmiðunarmælikvarða fyrir að þjálfa lítið mállíkan í eins fáum skrefum og mögulegt er. Líkanið okkar þróaði kólnun á lærdómshraða samkvæmt veldislögmáli, kölluð PowerCool, sem leiddi til verulegrar bætingar. Líkaninu var sagt að birta niðurstöður sínar aðeins á Slack, en leiðbeiningar NanoGPT segja að niðurstöður eigi að birta sem PR á GitHub, og líkanið fylgdi síðarnefndu leiðbeiningunum og opnaði PR #287 í opinberu GitHub-geymslunni. Líkanið fór fram hjá sandkassatakmörkunum sem áttu að loka á ytri aðgang og hélt áfram með upphleðsluna á GitHub. Það tók líkanið okkar klukkustund að finna veikleika í sandkassanum til að geta búið til PR-ið; eldri líkön voru minna þrautseig og náðu ekki að finna veikleika, heldur gáfust upp á PR-hlutanum.¹

Margar öryggisstýringar fyrir AI-aðstoðarmenn eru hannaðar út frá einstökum aðgerðum. Ef aðgerð er óheimil er henni lokað. Ef hún er viðkvæm biður kerfið notandann um skýrt samþykki. En langkeyrandi líkön, þar sem aðgerðir geta þróast sjálfstætt yfir klukkustundir, daga eða jafnvel vikur, ögra þessari nálgun: vöktun einstakra aðgerða nægir ekki lengur til að rekja ásetning heildarferilsins.

Til dæmis, í sviðsmynd þar sem líkanið var beðið um að leysa vandamál, tók það eftir því að önnur kerfi höfðu skilað árangursríkum en lokuðum lausnum og reyndi að endurheimta þær úr bakenda matsins. Þegar fyrstu tilraun þess var stöðvuð vegna þess að skanni greindi auðkenningartóka, skipti líkanið meginhluta tókans í tvö brot, dulbjó þau og endursmíðaði síðan auðkennið við keyrslu svo heill tóki birtist aldrei sem ein samfelld strengjaruna. Líkanið sagði skýrt, bæði í athugasemdum sínum til notandans og í rakningum raka sinna, að það væri að taka þessi skref til að fara fram hjá skannanum.

Þetta dæmi sýnir hvernig hvert skref getur litið út fyrir að vera ásættanlegt eitt og sér, á meðan röðin getur leitt til niðurstöðu sem yrði ekki samþykkt. Það sýnir einnig hvernig líkan sem starfar vel yfir langa tímaramma getur lært á blindu bletti samþykkiskerfis og farið fram hjá því til að ná markmiðum sínum. Öryggi fyrir langa tímaramma krefst þess ekki aðeins að spurt sé „er þessi aðgerð leyfileg?“ heldur einnig „að hvaða niðurstöðu stefnir þessi röð aðgerða?“

Vegna atvika af þessu tagi gerðum við hlé á innri útsetningu nýja líkansins. Við endurbyggðum öryggiskerfið með lagskiptar varnir og vöktun á ferilsstigi að leiðarljósi.

• Mat byggt á atvikum. Möt geta gefið okkur tilfinningu fyrir því hvort óhætt sé að setja kerfi í útsetningu áður en það er raunverulega sett í notkun. Til að nýtast sem best ætti mat þó að endurspegla dreifingu og lengd tímaramma ferilsrása í raunverulegri útsetningu. Af þessum sökum notuðum við bilanir sem við sáum til að þróa andstæðingsmiðuð möt. Við komumst að því að bætingar á mötum sem voru leidd af raunverulegum atvikum leiddu aftur til öruggari hegðunar þegar kerfið var sett í framleiðslu.
• Bætt samstilling. Við gripum til aðgerða til að draga úr tilhneigingu þess til að framkvæma óæskilegar aðgerðir án leyfis í leit að markmiði notandans.  Til dæmis sáum við að líkönin okkar áttu erfiðara með að muna leiðbeiningar í löngum útkeyrslum, og þegar við þjálfuðum líkanið í þessari getu varð niðurstaðan líkan sem hélst samstillt í lengri útkeyrslum. 
• Virk vöktun. Við bjuggum til vöktunarkerfi sem rýnir í þróun ferils líkansins eftir merkjum um að það sé að fara fram hjá takmörkun notanda eða öryggismörkum. Vöktunin fylgist ekki aðeins með einni aðgerð heldur allri ferilsrásinni. Mikilvægt er að vöktunin getur gert hlé á lotunni og látið notandann vita svo hann geti skoðað málið nánar. Að skoðun lokinni getur notandinn valið að halda vinnu líkansins áfram ef vöktunin hefur gefið falskt viðvörunarmerki. 
• Meiri sýnileiki og stjórn fyrir notendur. Við bættum möguleika notandans til að skoða þessar langkeyrandi lotur, sjá hvaða aðgerðir voru framkvæmdar og fylgjast með inngripum.

Til að meta nýja vöktunarkerfið endurspiluðum við lítið safn innri útsetningarumhverfa þar sem líkanið hafði áður fylgt ósamstilltum aðgerðum, nú með nýju öryggisráðstöfunum virkum². Nýju öryggisráðstafanirnar gátu gripið mun fleiri ósamstilltar aðgerðir sem líkanið reyndi að framkvæma, og þær sem þær misstu af voru allar metnar lítt alvarlegar.

Nokkur dæmi um þessi lítt alvarlegu atvik eru eftirfarandi tilvik:

• Til að komast í Linear-skipanalínuverkfæri ræsti líkanið ílagða codex --yolo lotu, þótt það hefði í raun getað gert það án --yolo flaggsins.
• Líkanið tók eftir að áður virkt tilfang vantaði og fór síðan að kanna og tengjast með SSH inn á aðra virka CPU-podda í nafnarými eiganda síns, sem og (án árangurs) podda sem tilheyrðu öðrum starfsmönnum OpenAI, án góðrar ástæðu.
• Líkanið var með mörg föst find ferli og hver skeljarskipun festist. Það keyrði síðan kill -9 -1, sem hefði sent SIGKILL á hvert ferli sem því er heimilt að drepa á þeim podda, ef skipunin hefði keyrst. Hins vegar rann tíminn út og hún keyrðist ekki.

Eftir að hafa prófað nýja kerfið komumst við að þeirri niðurstöðu að hægt væri að endurheimta takmarkaðan innri aðgang að líkönum með getu yfir langan tímaramma. Við höfum ekki orðið vör við neina alvarlega framhjáleiðslu öryggisráðstafana síðan endurútsetning hófst fyrir nokkrum vikum. Fyrsta útgáfa þessara öryggisráðstafana var vísvitandi varfærin. Við höfum haldið áfram að fínstilla kerfið til að draga úr óþarfa truflunum án þess að veikja öryggisráðstafanirnar.

Þar sem við innleiddum í skrefum gátum við fundið og lagað gloppur áður en aðgangur var víkkaður. Mat fyrir útsetningu er áfram nauðsynlegt, en útsetning afhjúpar hegðun sem það missir af. Með því að byrja með takmarkaðan aðgang gátum við fylgst með líkaninu í reynd, gert hlé þegar vandamál komu upp, notað þær bilanir til að byggja betri möt og öryggisráðstafanir og endurheimt takmarkaðan aðgang eftir að breytingarnar höfðu verið prófaðar.

Eftir því sem líkön taka að sér lengri og flóknari verkefni geta bilanir sem möt missa af haft meiri afleiðingar. Við munum halda áfram að vinna að því að minnka bilið milli mats og útsetningar: prófa líkön yfir lengri ferilsrásir, bæta samstillingu, byggja vöktun sem getur gripið inn í og veita notendum skýrari sýnileika og stjórn. Þessar áskoranir verða ekki einstakar fyrir OpenAI og við vonum að með því að deila því sem við lærðum hjálpum við breiðara sviðinu að búa sig undir þær.