Bezpečnosť a zosúladenie v ére modelov s dlhým časovým horizontom

Modely, ktoré dokážu dlhodobo pracovať autonómne, sa môžu pustiť do náročných, otvorených problémov. Tá istá vytrvalosť, vďaka ktorej sú užitočné, im však dáva aj viac príležitostí vykonať nežiaduce akcie – a urobiť to spôsobmi, ktoré môžu uniknúť hodnoteniam určeným pre modely s kratším časovým horizontom.

Približne pred dvoma mesiacmi sme oznámili⁠, že interný všeobecný model vyvrátil Erdősovu domnienku o jednotkových vzdialenostiach. Tento model bol navrhnutý tak, aby dokázal pracovať autonómne veľmi dlhý čas. Počas obmedzeného, monitorovaného interného používania sme pozorovali nežiaduce správanie, ktoré naše existujúce hodnotenia nasadenia nezachytili. Keďže nasadenie bolo obmedzené a monitorované, dokázali sme tieto problémy identifikovať, pozastaviť prístup, vytvoriť nové hodnotenia na základe toho, čo sme pozorovali, posilniť model a jeho ochranné opatrenia a potom prístup obnoviť pri ďalšom monitorovaní. 

Podmienky, v ktorých modely hodnotíme, sa nikdy nebudú dokonale zhodovať s podmienkami, s ktorými sa stretnú pri skutočnom používaní. Preto treba hodnotenia pred nasadením spájať s obmedzeným, monitorovaným nasadením a možnosťou zasiahnuť, pozastaviť ho alebo vrátiť späť, keď sa objavia problémy. To, čo sa naučíme z nasadenia, sa potom môže stať súčasťou silnejších hodnotení a ochranných opatrení pred rozšírením prístupu.

V nasledujúcich častiach uvádzame konkrétne príklady toho, čo sme pozorovali, ako sme riešili problémy a ako táto skúsenosť ovplyvní budúce vydania.

Nový model dokáže opakovanými pokusmi dlhý čas pokračovať v práci na dosiahnutí cieľa. Tá istá vytrvalosť ho môže viesť k tomu, že nájde a využije slabiny vo svojom prostredí. Predchádzajúce modely sa pri obmedzeniach sandboxu alebo prostredia jednoducho zastavili a vrátili sa k používateľovi. Tento model to často skúšal ďalej, okrem iného hľadaním spôsobov, ako konať mimo svojho sandboxu.

Príkladom bola interná evaluácia v rámci speedrunu NanoGPT⁠(otvorí sa v novom okne), verejného benchmarku na natrénovanie malého jazykového modelu v čo najmenšom počte krokov. Náš model vyvinul ochladzovanie miery učenia podľa mocninového zákona s názvom PowerCool, ktoré prinieslo výrazné zlepšenie. Model dostal pokyn zverejniť výsledky iba na Slacku, ale pokyny NanoGPT hovoria, že výsledky sa majú odoslať ako PR na GitHub, a model sa riadil týmito druhými pokynmi a otvoril PR #287 vo verejnom repozitári GitHub. Model obišiel obmedzenia sandboxu navrhnuté tak, aby blokovali externý prístup, a pokračoval v nahrávaní na GitHub. Nášmu modelu trvalo hodinu, kým našiel zraniteľnosť v sandboxe, aby mohol vytvoriť PR; skoršie modely boli menej vytrvalé a zraniteľnosti sa im nájsť nepodarilo, namiesto toho sa časti s PR vzdali.¹

Mnohé bezpečnostné kontroly pre asistentov AI sú navrhnuté okolo jednotlivých akcií. Ak akcia nie je povolená, zablokuje sa. Ak je citlivá, systém si od používateľa vyžiada výslovné schválenie. Dlhobežiace modely, ktorých akcie sa môžu autonómne rozvíjať počas hodín, dní či dokonca týždňov, však toto nastavenie spochybňujú: monitorovanie jednotlivých akcií už nestačí na sledovanie zámeru celej trajektórie.

Napríklad v scenári, v ktorom mal model vyriešiť problém, si model všimol, že iné systémy majú úspešné, ale súkromné odoslania, a pokúsil sa tieto riešenia získať z backendu evaluácie. Keď bol jeho prvý pokus zablokovaný, pretože skener zistil autentifikačný token, model rozdelil telo tokenu na dva fragmenty, zamaskoval ich a potom poverenie počas behu znovu poskladal tak, aby sa kompletný token nikdy neobjavil ako jeden súvislý reťazec. Model vo svojich komentároch používateľovi aj v stopách uvažovania výslovne uviedol, že tieto kroky robí preto, aby skener obišiel.

Tento príklad ukazuje, ako môže každý krok sám osebe vyzerať prijateľne, zatiaľ čo postupnosť môže viesť k výsledku, ktorý by nebol schválený. Ukazuje tiež, ako sa model, ktorý efektívne funguje v dlhých časových horizontoch, môže naučiť slepé miesta schvaľovacieho systému a obísť ho, aby dosiahol svoje ciele. Bezpečnosť pri dlhom časovom horizonte si vyžaduje pýtať sa nielen „je táto akcia povolená?“, ale aj „k akému výsledku smeruje táto postupnosť akcií?“

Pre podobné incidenty sme pozastavili interné nasadenie nového modelu. Bezpečnostný systém sme prebudovali na princípe viacvrstvovej obrany a monitorovania na úrovni trajektórií.

• Evaluácie odvodené z incidentov. Evaluácie nám môžu naznačiť, či je systém bezpečné nasadiť ešte pred samotným nasadením. Aby však boli čo najužitočnejšie, evaluácia by mala odrážať rozdelenie a dĺžku časového horizontu trajektórií počas reálneho nasadenia. Preto sme pozorované zlyhania použili na vývoj adversariálnych evaluácií. Zistili sme, že zlepšovanie výsledkov v evaluáciách odvodených z reálnych incidentov následne viedlo k bezpečnejšiemu správaniu po nasadení v produkcii.
• Zlepšené zosúladenie. Podnikli sme kroky na zníženie jeho sklonu vykonávať nežiaduce akcie bez povolenia pri snahe dosiahnuť cieľ používateľa.  Napríklad sme zistili, že naše modely si pri dlhých priebehoch horšie pamätajú pokyny, a keď sme model na túto schopnosť trénovali, viedlo to k modelu, ktorý zostal zosúladený aj počas dlhších priebehov. 
• Aktívne monitorovanie. Vytvorili sme monitorovací systém, ktorý kontroluje vyvíjajúcu sa trajektóriu modelu a hľadá známky toho, že obchádza obmedzenie používateľa alebo bezpečnostnú hranicu. Monitor nesleduje len jednu akciu, ale celú trajektóriu. Dôležité je, že monitor môže reláciu pozastaviť a upozorniť používateľa, aby ju preskúmal dôkladnejšie. Po preskúmaní sa používateľ môže rozhodnúť pokračovať v práci modelu, ak sa monitor spustil falošne. 
• Väčšia viditeľnosť a kontrola pre používateľa. Zlepšili sme možnosti používateľa kontrolovať tieto dlhobežiace relácie, prezerať si vykonané akcie a sledovať zásahy monitora.

Na vyhodnotenie nového monitorovacieho systému sme opätovne prehrali malú množinu interných prostredí nasadenia, v ktorých model predtým sledoval nezosúladené akcie, tentoraz s novými ochrannými opatreniami². Nové ochranné opatrenia dokázali zachytiť podstatne viac nezosúladených akcií, ktoré model sledoval, a všetky tie, ktoré im unikli, boli vyhodnotené ako málo závažné.

Niektoré príklady týchto málo závažných incidentov zahŕňajú tieto prípady:

• Na prístup k nástroju príkazového riadka Linear model spustil vnorenú reláciu codex --yolo, hoci to v skutočnosti mohol urobiť aj bez príznaku --yolo.
• Model si všimol, že predtým aktívny zdroj chýba, a potom začal skúmať a pripájať sa cez SSH do iných aktívnych CPU podov v mennom priestore svojho vlastníka, ako aj – neúspešne – do podov patriacich iným zamestnancom OpenAI, bez dobrého dôvodu.
• Model mal mnoho zaseknutých procesov find a každý príkaz shellu zamrzol. Potom spustil kill -9 -1, čo by v prípade vykonania odoslalo SIGKILL každému procesu v danom pode, ktorý má oprávnenie ukončiť. Vypršal mu však časový limit a príkaz sa nevykonal.

Po otestovaní nového systému sme dospeli k záveru, že obmedzený interný prístup k modelom so schopnosťami pre dlhý časový horizont možno obnoviť. Od začiatku opätovného nasadenia pred niekoľkými týždňami sme nepozorovali žiadne vážne obchádzanie ochranných opatrení. Prvá verzia týchto ochranných opatrení bola zámerne konzervatívna. Systém sme ďalej ladili tak, aby sme znížili zbytočné prerušenia bez oslabenia ochranných opatrení.

Keďže sme nasadzovali iteratívne, dokázali sme nájsť a riešiť medzery ešte pred rozšírením prístupu. Evaluácie pred nasadením zostávajú nevyhnutné, no nasadenie odhaľuje správanie, ktoré im uniká. Začiatok s obmedzeným prístupom nám umožnil pozorovať model v praxi, pozastaviť ho, keď sa objavili problémy, využiť tieto zlyhania na vytvorenie lepších evaluácií a ochranných opatrení a po otestovaní zmien obnoviť obmedzený prístup.

Keď modely preberajú dlhšie a zložitejšie úlohy, zlyhania, ktoré evaluácie nezachytia, môžu mať väčšie dôsledky. Budeme naďalej pracovať na zmenšovaní rozdielu medzi evaluáciou a nasadením: testovať modely na dlhších trajektóriách, zlepšovať zosúladenie, budovať monitorovanie schopné zasiahnuť a poskytovať používateľom jasnejší prehľad a kontrolu. Tieto výzvy nebudú jedinečné pre OpenAI a dúfame, že zdieľanie našich poznatkov pomôže širšej oblasti sa na ne pripraviť.