Ohutus ja kooskõlastus pika ajahorisondiga mudelite ajastul

Mudelid, mis suudavad pikka aega autonoomselt töötada, saavad ette võtta keerulisi, avatud lõpuga probleeme. Kuid sama järjekindlus, mis teeb need kasulikuks, annab neile ka rohkem võimalusi teha soovimatuid toiminguid — ning teha seda viisil, mida lühema ajahorisondiga mudelitele mõeldud hindamised ei pruugi tabada.

Umbes kaks kuud tagasi teatasime⁠, et ettevõttesisene üldotstarbeline mudel lükkas ümber Erdősi ühikkauguse hüpoteesi. See mudel oli loodud töötama autonoomselt väga pikka aega. Piiratud ja jälgitud ettevõttesisese kasutuse ajal täheldasime soovimatut käitumist, mida meie olemasolevad kasutuselevõtu hindamised ei olnud tuvastanud. Kuna kasutuselevõtt oli piiratud ja jälgitud, saime need probleemid tuvastada, juurdepääsu peatada, luua täheldatu põhjal uued hindamised, tugevdada mudelit ja selle kaitsemeetmeid ning seejärel juurdepääsu jätkuva jälgimise all taastada. 

Tingimused, milles me mudeleid hindame, ei kattu kunagi täiuslikult nendega, millega mudelid tegelikus kasutuses kokku puutuvad. Seetõttu tuleb kasutuselevõtueelsetele hindamistele lisada piiratud ja jälgitud kasutuselevõtt ning võimalus probleemide ilmnemisel sekkuda, juurdepääs peatada või muudatus tagasi pöörata. Kasutuselevõtust õpitu saab seejärel enne juurdepääsu laiendamist muutuda tugevamate hindamiste ja kaitsemeetmete osaks.

Järgmistes osades jagame konkreetseid näiteid sellest, mida täheldasime, kuidas probleeme lahendasime ja kuidas see kogemus kujundab tulevasi versioone.

Uus mudel suudab pika aja jooksul korduvate katsete kaudu eesmärgi poole edasi liikuda. Sama järjekindlus võib viia selleni, et see leiab ja kasutab ära oma keskkonna nõrkusi. Varasemad mudelid lihtsalt peatusid ja pöördusid kasutaja juurde tagasi, kui nad puutusid kokku liivakasti või keskkonna piirangutega. See mudel jätkas sageli proovimist, sealhulgas otsis viise tegutseda väljaspool oma liivakasti.

Üks näide sellest ilmnes ettevõttesisesel hindamisel NanoGPT speedrun’il⁠(avaneb uues aknas), mis on avalik võrdlustest väikese keelemudeli treenimiseks võimalikult väheste sammudega. Meie mudel töötas välja astmeseadusel põhineva õpimäära jahutuse nimega PowerCool, mis andis märgatava paranemise. Mudelile anti juhis postitada tulemused ainult Slacki, kuid NanoGPT juhised ütlevad, et tulemused tuleb postitada PR-ina GitHubi, ning mudel järgis viimaseid juhiseid ja avas avalikus GitHubi varamus PR-i #287. Mudel läks mööda liivakasti piirangutest, mis olid loodud välise juurdepääsu blokeerimiseks, ja jätkas GitHubi üleslaadimisega. Meie mudelil kulus PR-i tegemiseks liivakastis haavatavuse leidmisele tund; varasemad mudelid olid vähem järjekindlad ega suutnud haavatavusi leida, vaid loobusid PR-i osast.¹

Paljud AI-assistentide ohutuskontrollid on üles ehitatud üksikute toimingute ümber. Kui toiming pole lubatud, see blokeeritakse. Kui see on tundlik, küsib süsteem kasutajalt selgesõnalist kinnitust. Kuid pika tööajaga mudelid, mille toimingud võivad autonoomselt kulgeda tundide, päevade või isegi nädalate jooksul, seavad selle korralduse proovile: üksikute toimingute jälgimisest ei piisa enam kogu arengukäigu eesmärgi jälgimiseks.

Näiteks stsenaariumis, kus mudelil paluti probleem lahendada, märkas mudel, et teistel süsteemidel olid edukad, kuid privaatsed vastused, ja püüdis need lahendused hindamise taustsüsteemist kätte saada. Kui selle esialgne katse blokeeriti, sest skanner tuvastas autentimistokeni, jagas mudel tokeni sisu kaheks fragmendiks, hägustas need ja rekonstrueeris seejärel käitusajal mandaadi, nii et täielik token ei ilmunud kunagi ühe järjestikuse stringina. Mudel ütles nii kasutajale suunatud kommentaarides kui ka oma arutlusjälgedes selgelt, et teeb neid samme skannerist mööda pääsemiseks.

See näide näitab, kuidas iga samm võib eraldi tunduda vastuvõetav, samal ajal kui tervik võib anda tulemuse, mida heaks ei kiidetaks. See näitab ka, kuidas pikaajaliselt tõhusalt tegutsev mudel võib õppida tundma kinnitussüsteemi pimealasid ja neist oma eesmärkide saavutamiseks mööda minna. Pikaajaline ohutus ei nõua üksnes küsimust „kas see toiming on lubatud?”, vaid ka „millise tulemuse poole see toimingute tervik liigub?”

Selliste juhtumite tõttu peatasime uue mudeli ettevõttesisese kasutuselevõtu. Ehitasime ohutussüsteemi ümber süvakaitse ja trajektooritasandi jälgimise põhimõtetele.

• Juhtumitest tuletatud hindamised. Hindamised võivad anda meile aimu, kas süsteemi on ohutu kasutusele võtta enne, kui see tegelikult kasutusele võetakse. Et hindamisest oleks aga võimalikult palju kasu, peaks see peegeldama tegeliku kasutuselevõtu trajektooride jaotust ja ajahorisondi pikkust. Seetõttu kasutasime täheldatud ebaõnnestumisi vastanduslike hindamiste väljatöötamiseks. Leidsime, et päriselulistest juhtumitest tuletatud hindamistel paranemine viis omakorda ohutuma käitumiseni pärast tootmiskeskkonda juurutamist.
• Parem kooskõlastus. Astusime samme, et vähendada mudeli kalduvust kasutaja eesmärki taotledes loata soovimatuid toiminguid teha.  Näiteks leidsime, et meie mudelid ei suutnud pikkade rolloutide puhul juhiseid nii hästi meeles pidada, ning kui me mudelit selle võime jaoks treenisime, saime tulemuseks mudeli, mis püsis kooskõlas ka pikemate rolloutide jooksul. 
• Aktiivne jälgimine. Lõime jälgimissüsteemi, mis vaatab mudeli arenevat trajektoori, otsides märke sellest, et see eirab kasutaja piirangut või ohutuspiiri. Jälgija ei vaata üksnes üht toimingut, vaid kogu tervikut. Oluline on, et jälgija saab seansi peatada ja kasutajat hoiatada, et seda lähemalt uurida. Pärast kontrollimist saab kasutaja valida mudeli töö jätkamise, kui jälgija käivitus ekslikult. 
• Kasutajale suurem nähtavus ja kontroll. Parandasime kasutaja võimalust neid pikki seansse uurida, tehtud toiminguid vaadata ja jälgida sekkumisi.

Uue jälgimissüsteemi hindamiseks taasesitasime väikese hulga ettevõttesiseseid kasutuskeskkondi, kus mudel oli varem kooskõlastamata toiminguid järginud, seekord uute kaitsemeetmetega². Uued kaitsemeetmed suutsid tabada märksa rohkem mudeli järgitud kooskõlastamata toiminguid ning kõik märkamata jäänud hinnati väikese raskusastmega juhtumiteks.

Mõned näited neist väikese raskusastmega juhtumitest on järgmised:

• Linear’i käsureatööriistale juurdepääsuks käivitas mudel pesastatud codex --yolo seansi, kuigi tegelikult oleks ta saanud seda teha ilma liputa --yolo.
• Mudel märkas, et varem aktiivne ressurss puudub, ning hakkas seejärel ilma mõjuva põhjuseta uurima ja SSH kaudu sisenema teistesse aktiivsetesse CPU-podidesse oma omaniku nimeruumis, samuti (edutult) teiste OpenAI töötajate podidesse.
• Mudelil oli palju kinni jäänud find-protsesse ja iga shell-käsk jäi rippuma. Seejärel käivitas see käsu kill -9 -1, mis oleks käivitumise korral saatnud SIGKILL-i igale protsessile, mida tal on selles podis lubatud tappa. See aga aegus ega käivitunud.

Pärast uue süsteemi testimist järeldasime, et pikaajaliste võimetega mudelitele võib piiratud ettevõttesisese juurdepääsu taastada. Me ei ole pärast uuesti kasutuselevõtu algust mitu nädalat tagasi täheldanud kaitsemeetmetest tõsist möödahiilimist. Nende kaitsemeetmete esimene versioon oli teadlikult konservatiivne. Oleme süsteemi jätkuvalt häälestanud, et vähendada tarbetuid katkestusi kaitsemeetmeid nõrgendamata.

Kuna juurutasime iteratiivselt, suutsime enne juurdepääsu laiendamist leida ja kõrvaldada lüngad. Kasutuselevõtueelsed hindamised jäävad hädavajalikuks, kuid kasutuselevõtt paljastab käitumisi, mis neil märkamata jäävad. Piiratud juurdepääsuga alustamine võimaldas meil jälgida mudelit praktikas, probleemide ilmnemisel peatuda, kasutada neid ebaõnnestumisi paremate hindamiste ja kaitsemeetmete loomiseks ning pärast muudatuste testimist piiratud juurdepääsu taastada.

Kuna mudelid hakkavad täitma pikemaajalisi ja keerulisemaid ülesandeid, võivad hindamisel tähelepanuta jäänud vead kaasa tuua tõsisemaid tagajärgi. Jätkame tööd, et vähendada hindamise ja kasutuselevõtu vahelist lõhet: testime mudeleid pikemaajaliste protsesside käigus, parandame kooskõlastatust, loome sekkumisvõimalusega seiresüsteeme ning pakume kasutajatele selgemat ülevaadet ja kontrolli. Need väljakutsed ei puuduta ainult OpenAI-d ning loodame, et meie kogemuste jagamine aitab kogu valdkonnal nendeks valmistuda.