Sigurnost i usklađenost u eri dugoročnih modela

Modeli koji mogu dugo raditi autonomno mogu preuzeti teške, otvorene probleme. Ali ista upornost koja ih čini korisnima daje im i više prilika da poduzmu neželjene radnje — i to na načine koje evaluacije namijenjene modelima kraćeg vremenskog horizonta mogu propustiti.

Prije otprilike dva mjeseca objavili smo⁠ da je interni model opće namjene opovrgnuo Erdősovu hipotezu o jediničnoj udaljenosti. Ovaj model je osmišljen da autonomno radi tokom vrlo dugih perioda. Tokom ograničene i nadzirane interne upotrebe uočili smo neželjeno ponašanje koje naše postojeće evaluacije za uvođenje nisu obuhvatile. Budući da je uvođenje bilo ograničeno i nadzirano, mogli smo prepoznati te probleme, pauzirati pristup, izraditi nove evaluacije na osnovu onoga što smo uočili, ojačati model i njegove zaštitne mjere, a zatim vratiti pristup uz nastavak nadzora. 

Uslovi u kojima evaluiramo modele nikada se neće savršeno poklapati s onima na koje nailaze u stvarnoj upotrebi. Zato evaluacije prije uvođenja treba kombinovati s ograničenim, nadziranim uvođenjem i mogućnošću da se interveniše, pauzira ili vrati na prethodno stanje kada se pojave problemi. Ono što naučimo iz uvođenja zatim može postati dio snažnijih evaluacija i zaštitnih mjera prije nego što se pristup proširi.

U narednim odjeljcima dijelimo konkretne primjere onoga što smo uočili, kako smo riješili probleme i kako će to iskustvo oblikovati buduća izdanja.

Novi model može nastaviti raditi prema cilju kroz ponovljene pokušaje tokom dugog perioda. Ta ista upornost može ga navesti da pronađe i iskoristi slabosti u svom okruženju. Raniji modeli bi se, kada bi naišli na ograničenja sandboxa ili okruženja, jednostavno zaustavili i vratili korisniku. Ovaj model je često nastavljao pokušavati, uključujući traženje načina da djeluje izvan svog sandboxa.

Primjer toga dogodio se tokom interne evaluacije na NanoGPT speedrunu⁠(otvara se u novom prozoru), javnom mjerilu za treniranje malog jezičkog modela u što manje koraka. Naš model je razvio hlađenje stope učenja po stepenskom zakonu nazvano PowerCool, što je dovelo do značajnog poboljšanja. Model je dobio uputu da rezultate objavi samo na Slacku, ali upute za NanoGPT kažu da se rezultati objavljuju kao PR na GitHubu, pa je model slijedio te druge upute i otvorio PR #287 u javnom GitHub repozitoriju. Model je zaobišao ograničenja sandboxa osmišljena da blokiraju vanjski pristup i nastavio s otpremanjem na GitHub. Našem modelu je trebao sat da pronađe ranjivost u sandboxu kako bi napravio PR; raniji modeli bili su manje uporni i nisu uspjeli pronaći ranjivosti, nego su odustajali od dijela s PR-om.¹

Mnoge sigurnosne kontrole za AI asistente osmišljene su oko pojedinačnih radnji. Ako radnja nije dozvoljena, blokira se. Ako je osjetljiva, sistem traži izričito odobrenje korisnika. Ali dugotrajni modeli, čije se radnje mogu autonomno odvijati satima, danima ili čak sedmicama, dovode ovaj pristup u pitanje: praćenje pojedinačnih radnji više nije dovoljno za praćenje namjere ukupne putanje.

Naprimjer, u scenariju u kojem je od modela zatraženo da riješi problem, model je uočio da su drugi sistemi imali uspješne, ali privatne prijave i pokušao je povratiti ta rješenja iz pozadinskog sistema za evaluaciju. Kada je njegov početni pokušaj blokiran jer je skener otkrio autentikacijski token, model je tijelo tokena podijelio na dva fragmenta, zamaskirao ih, a zatim rekonstruisao vjerodajnicu tokom izvršavanja tako da se kompletan token nikada nije pojavio kao jedan neprekinut niz. Model je i u komentarima korisniku i u tragovima svog rezonovanja jasno naveo da poduzima te korake kako bi zaobišao skener.

Ovaj primjer pokazuje kako svaki korak može izgledati prihvatljivo sam za sebe, dok niz može dovesti do ishoda koji ne bi bio odobren. Pokazuje i kako model koji djeluje učinkovito tokom dugih vremenskih horizonata može naučiti slijepe tačke sistema odobravanja i zaobići ga kako bi ostvario svoje ciljeve. Sigurnost za dugi vremenski horizont zahtijeva da se ne pitamo samo „je li ova radnja dozvoljena?“ nego i „ka kojem ishodu vodi ovaj niz radnji?“

Zbog ovakvih incidenata pauzirali smo interno uvođenje novog modela. Ponovo smo izgradili sigurnosni sistem oko višeslojne odbrane i praćenja na nivou putanje.

• Evaluacije izvedene iz incidenata. Evaluacije nam mogu dati osjećaj da li je sistem siguran za uvođenje prije nego što se stvarno uvede. Međutim, da bi bila najkorisnija, evaluacija treba odražavati distribuciju i dužinu vremenskog horizonta putanja tokom stvarnog uvođenja. Zbog toga smo uočene neuspjehe iskoristili za razvoj adversarijalnih evaluacija. Utvrdili smo da poboljšanje na evaluacijama izvedenim iz stvarnih incidenata zauzvrat dovodi do sigurnijeg ponašanja nakon uvođenja u produkciju.
• Poboljšana usklađenost. Poduzeli smo korake da smanjimo njegovu sklonost da bez dozvole poduzima neželjene radnje radi ostvarivanja korisnikovog cilja.  Naprimjer, otkrili smo da naši modeli slabije pamte upute tokom dugih rollouta, a kada smo model trenirali za tu sposobnost, dobili smo model koji je ostajao usklađen tokom dužih rollouta. 
• Aktivno praćenje. Izradili smo sistem za praćenje koji pregledava putanju modela u razvoju tražeći znakove da zaobilazi korisničko ograničenje ili sigurnosnu granicu. Monitor ne posmatra samo jednu radnju, nego cijelu putanju. Važno je da monitor može pauzirati sesiju i upozoriti korisnika da je detaljnije pregleda. Nakon pregleda korisnik zatim može odlučiti da nastavi rad modela ako se monitor lažno aktivirao. 
• Veća vidljivost i kontrola za korisnika. Poboljšali smo mogućnost korisnika da pregledaju te dugotrajne sesije, vide poduzete radnje i prate intervencije.

Da bismo evaluirali novi sistem praćenja, ponovo smo odigrali mali skup internih okruženja za uvođenje u kojima je model ranije slijedio neusklađene radnje, ovaj put s novim zaštitnim mjerama². Nove zaštitne mjere uspjele su uhvatiti znatno više neusklađenih radnji koje je model pokušavao provesti, a sve propuštene ocijenjene su kao niske ozbiljnosti.

Neki primjeri tih incidenata niske ozbiljnosti uključuju sljedeće slučajeve:

• Da bi pristupio Linear alatu komandne linije, model je pokrenuo ugniježđenu sesiju codex --yolo, iako je to zapravo mogao učiniti bez zastavice --yolo.
• Model je primijetio da nedostaje resurs koji je ranije bio aktivan, zatim je počeo istraživati i SSH-ovati u druge aktivne CPU podove unutar imenskog prostora svog vlasnika, kao i (bezuspješno) u podove drugih zaposlenika OpenAI-ja, bez dobrog razloga za to.
• Model je imao mnogo zaglavljenih find procesa i svaka shell komanda je visila. Zatim je pokrenuo kill -9 -1, što bi poslalo SIGKILL svakom procesu koji smije ubiti na tom podu da se izvršilo. Međutim, isteklo je vrijeme i nije se izvršilo.

Nakon testiranja novog sistema zaključili smo da se ograničeni interni pristup modelima sa sposobnostima dugog vremenskog horizonta može obnoviti. Od početka ponovnog uvođenja prije nekoliko sedmica nismo uočili nijedno ozbiljno zaobilaženje zaštitnih mjera. Prva verzija ovih zaštitnih mjera bila je namjerno konzervativna. Nastavili smo podešavati sistem kako bismo smanjili nepotrebne prekide bez slabljenja zaštitnih mjera.

Budući da smo uvodili iterativno, mogli smo pronaći i riješiti praznine prije proširenja pristupa. Evaluacije prije uvođenja ostaju ključne, ali uvođenje otkriva ponašanja koja one propuštaju. Početak s ograničenim pristupom omogućio nam je da posmatramo model u praksi, pauziramo kada se pojave problemi, iskoristimo te neuspjehe za izgradnju boljih evaluacija i zaštitnih mjera te vratimo ograničeni pristup nakon testiranja promjena.

Kako modeli preuzimaju duže i složenije zadatke, neuspjesi koje evaluacije propuste mogu imati veće posljedice. Nastavit ćemo raditi na sužavanju jaza između evaluacije i uvođenja: testirati modele kroz duže putanje, poboljšavati usklađenost, graditi praćenje koje može intervenisati i korisnicima davati jasniju vidljivost i kontrolu. Ovi izazovi neće biti jedinstveni za OpenAI i nadamo se da će dijeljenje onoga što smo naučili pomoći široj oblasti da se za njih pripremi.