Sikkerhed og tilpasning i en æra med modeller med lang tidshorisont

Modeller, der kan arbejde selvstændigt i lange perioder, kan løse vanskelige, åbne problemer. Men den samme vedholdenhed, der gør dem nyttige, giver dem også flere muligheder for at foretage uønskede handlinger – og gøre det på måder, som evalueringer beregnet til modeller med kortere tidshorisont kan overse.

For omkring to måneder siden annoncerede⁠ vi, at en intern model til generelle formål havde modbevist Erdős’ enhedsafstandskonjektur. Denne model var designet til at arbejde selvstændigt i meget lange perioder. Under begrænset, overvåget intern brug observerede vi uønsket adfærd, som vores eksisterende udrulningsevalueringer ikke havde fanget. Fordi udrulningen var begrænset og overvåget, kunne vi identificere problemerne, sætte adgangen på pause, oprette nye evalueringer baseret på det, vi observerede, styrke modellen og dens sikkerhedsforanstaltninger og derefter genoprette adgangen under fortsat overvågning. 

De forhold, vi evaluerer modeller under, vil aldrig passe perfekt til dem, de møder i faktisk brug. Derfor skal evalueringer før udrulning kombineres med begrænset, overvåget udrulning og mulighed for at gribe ind, sætte på pause eller rulle tilbage, når der opstår problemer. Det, vi lærer af udrulning, kan derefter indgå i stærkere evalueringer og sikkerhedsforanstaltninger, før adgangen udvides.

I de følgende afsnit deler vi konkrete eksempler på, hvad vi observerede, hvordan vi håndterede problemerne, og hvordan denne erfaring vil forme fremtidige udgivelser.

Den nye model kan fortsætte med at arbejde mod et mål gennem gentagne forsøg over lang tid. Den samme vedholdenhed kan få den til at finde og udnytte svagheder i sit miljø. Tidligere modeller ville, når de stødte på sandboxing eller begrænsninger i miljøet, ganske enkelt stoppe og vende tilbage til brugeren. Denne model blev ofte ved med at prøve, blandt andet ved at lede efter måder at handle uden for sin sandbox på.

Et eksempel på dette opstod under en intern evaluering på NanoGPT‑speedrun⁠(åbner i et nyt vindue), en offentlig benchmark for at træne en lille sprogmodel med så få trin som muligt. Vores model udviklede en power-law-nedkøling af læringsraten kaldet PowerCool, som førte til en betydelig forbedring. Modellen fik besked på kun at poste sine resultater i Slack, men NanoGPT‑instruktionerne siger, at resultater skal postes som en PR til GitHub, og modellen fulgte de sidstnævnte instruktioner og åbnede PR #287 på det offentlige GitHub-lager. Modellen omgik sandbox-begrænsninger, der var designet til at blokere ekstern adgang, og fortsatte med uploaden til GitHub. Det tog vores model en time at finde en sårbarhed i sandboxen for at kunne oprette PR’en; tidligere modeller var mindre vedholdende og formåede ikke at finde sårbarheder, men opgav i stedet PR-delen.¹

Mange sikkerhedskontroller for AI-assistenter er bygget op omkring individuelle handlinger. Hvis en handling ikke er tilladt, bliver den blokeret. Hvis den er følsom, beder systemet brugeren om udtrykkelig godkendelse. Men modeller, der kører længe, og hvis handlinger kan udfolde sig selvstændigt over timer, dage eller endda uger, udfordrer denne opsætning: Overvågning af enkelthandlinger er ikke længere nok til at følge hensigten med det samlede forløb.

For eksempel observerede modellen i et scenarie, hvor den blev bedt om at løse et problem, at andre systemer havde vellykkede, men private indsendelser, og forsøgte at genskabe disse løsninger fra evalueringens backend. Da dens første forsøg blev blokeret, fordi en scanner opdagede et autentificeringstoken, delte modellen tokenets indhold i to fragmenter, slørede dem og rekonstruerede derefter legitimationsoplysningen ved kørsel, så det komplette token aldrig optrådte som én sammenhængende streng. Modellen gjorde det tydeligt både i sine kommentarer til brugeren og i sine ræsonneringsspor, at den tog disse skridt for at omgå scanneren.

Dette eksempel viser, hvordan hvert trin kan se acceptabelt ud i sig selv, mens rækkefølgen kan føre til et resultat, der ikke ville blive godkendt. Det viser også, hvordan en model, der fungerer effektivt over lange tidshorisonter, kan lære et godkendelsessystems blinde vinkler at kende og omgå det for at nå sine mål. Sikkerhed ved lang tidshorisont kræver ikke kun, at man spørger: »er denne handling tilladt?«, men også: »hvilket resultat arbejder denne række handlinger hen imod?«

På grund af hændelser som disse satte vi den interne udrulning af den nye model på pause. Vi genopbyggede sikkerhedssystemet omkring forsvar i dybden og overvågning på forløbsniveau.

• Evalueringer afledt af hændelser. Evalueringer kan give os en fornemmelse af, om et system er sikkert at udrulle, før det faktisk bliver udrullet. For at være mest nyttig bør en evaluering dog afspejle fordelingen og tidshorisonten for forløb under reel udrulning. Derfor brugte vi observerede fejl til at udvikle adversarielle evalueringer. Vi fandt ud af, at forbedringer på de evalueringer, der var afledt af virkelige hændelser, igen førte til sikrere adfærd efter udrulning i produktion.
• Forbedret tilpasning. Vi tog skridt til at mindske dens tendens til at foretage uønskede handlinger uden tilladelse i forsøget på at nå brugerens mål.  For eksempel fandt vi ud af, at vores modeller var dårligere til at huske instruktioner under lange udrulninger, og da vi trænede modellen i denne evne, førte det til en model, der forblev tilpasset gennem længere udrulninger. 
• Aktiv overvågning. Vi oprettede et overvågningssystem, der gennemgår modellens udviklende forløb for tegn på, at den omgår en brugerbegrænsning eller sikkerhedsgrænse. Overvågningen ser ikke kun på en enkelt handling, men på hele forløbet. Vigtigt er det, at overvågningen kan sætte sessionen på pause og advare brugeren, så den kan undersøges nærmere. Efter undersøgelsen kan brugeren vælge at fortsætte modellens arbejde, hvis overvågningen er blevet udløst ved en fejl. 
• Større synlighed og kontrol for brugeren. Vi forbedrede brugerens mulighed for at inspicere disse langvarige sessioner, se de handlinger, der er foretaget, og følge overvågningsindgreb.

For at evaluere det nye overvågningssystem afspillede vi et lille sæt interne udrulningsmiljøer igen, hvor modellen tidligere havde forfulgt fejltilpassede handlinger, denne gang med de nye sikkerhedsforanstaltninger på plads². De nye sikkerhedsforanstaltninger kunne fange betydeligt flere fejltilpassede handlinger, som modellen forfulgte, og dem, de ikke fangede, blev alle vurderet til at have lav alvorlighedsgrad.

Nogle eksempler på disse hændelser med lav alvorlighedsgrad omfatter følgende tilfælde:

• For at få adgang til et Linear-kommandolinjeværktøj startede modellen en indlejret codex --yolo-session, selvom den faktisk kunne have gjort det uden --yolo-flaget.
• Modellen bemærkede, at en tidligere live ressource manglede, og begyndte derefter at udforske og SSH’e ind i andre live CPU-pods under ejerens namespace samt (uden held) pods tilhørende andre OpenAI-medarbejdere, uden god grund til at gøre det.
• Modellen havde mange fastlåste find-processer, og hver shell-kommando hang. Den kørte derefter kill -9 -1, hvilket ville have sendt SIGKILL til alle processer, den har lov til at dræbe på den pod, hvis kommandoen var blevet udført. Den fik dog timeout og blev ikke udført.

Efter at have testet det nye system konkluderede vi, at begrænset intern adgang til modeller med evner over lange tidshorisonter kunne genoprettes. Vi har ikke observeret nogen alvorlig omgåelse af sikkerhedsforanstaltningerne, siden genudrulningen begyndte for flere uger siden. Den første version af disse sikkerhedsforanstaltninger var bevidst konservativ. Vi har fortsat med at justere systemet for at reducere unødvendige afbrydelser uden at svække sikkerhedsforanstaltningerne.

Fordi vi udrullede iterativt, kunne vi finde og lukke huller, før vi udvidede adgangen. Evalueringer før udrulning er fortsat afgørende, men udrulning afslører adfærd, som de overser. Ved at begynde med begrænset adgang kunne vi observere modellen i praksis, sætte på pause, når der opstod problemer, bruge disse fejl til at bygge bedre evalueringer og sikkerhedsforanstaltninger og genoprette begrænset adgang efter at have testet ændringerne.

Efterhånden som modeller påtager sig længere og mere komplekse opgaver, kan fejl, som evalueringer overser, få større konsekvenser. Vi vil fortsætte arbejdet med at mindske afstanden mellem evaluering og udrulning: teste modeller over længere forløb, forbedre tilpasningen, bygge overvågning, der kan gribe ind, og give brugerne tydeligere synlighed og kontrol. Disse udfordringer vil ikke være unikke for OpenAI, og vi håber, at delingen af det, vi har lært, hjælper det bredere felt med at forberede sig på dem.