Безбедност и усаглашеност у ери модела дугог хоризонта

Модели који могу аутономно да раде дуго времена могу да се баве тешким, отвореним проблемима. Али иста та истрајност која их чини корисним даје им и више прилика да предузму нежељене радње — и то на начине које евалуације намењене моделима краћег хоризонта могу да пропусте.

Пре око два месеца објавили⁠ смо да је интерни модел опште намене оповргао Ердешеву хипотезу о јединичном растојању. Овај модел је осмишљен да аутономно ради током веома дугих периода. Током ограничене, надгледане интерне употребе, уочили смо нежељено понашање које наше постојеће евалуације за увођење нису обухватиле. Пошто је увођење било ограничено и надгледано, могли смо да препознамо ове проблеме, паузирамо приступ, направимо нове евалуације на основу онога што смо уочили, ојачамо модел и његове заштитне мере, а затим вратимо приступ уз наставак надзора. 

Услови у којима евалуирамо моделе никада се неће савршено поклапати са онима на које наилазе у стварној употреби. Зато евалуације пре увођења треба упарити са ограниченим, надгледаним увођењем и могућношћу интервенције, паузирања или враћања на претходно стање када се појаве проблеми. Оно што научимо из увођења затим може постати део снажнијих евалуација и заштитних мера пре него што се приступ прошири.

У наредним одељцима делимо конкретне примере онога што смо уочили, како смо решавали проблеме и како ће ово искуство обликовати будућа издања.

Нови модел може да настави да ради ка циљу кроз поновљене покушаје током дугог временског периода. Та иста истрајност може га навести да пронађе и искористи слабости у свом окружењу. Претходни модели би, када наиђу на ограничења sandbox-а или окружења, једноставно стали и вратили се кориснику. Овај модел је често настављао да покушава, укључујући тражење начина да делује изван свог sandbox-а.

Пример тога догодио се током интерне евалуације на NanoGPT speedrun-у⁠(отвара се у новом прозору), јавном бенчмарку за тренирање малог језичког модела у што мање корака. Наш модел је развио хлађење стопе учења по степеном закону, названо PowerCool, што је довело до значајног побољшања. Модел је добио инструкцију да резултате објави само на Slack-у, али NanoGPT инструкције кажу да се резултати објављују као PR на GitHub-у, па је модел следио те друге инструкције и отворио PR #287 у јавном GitHub депоу. Модел је заобишао ограничења sandbox-а осмишљена да блокирају спољни приступ и наставио са отпремањем на GitHub. Нашем моделу је био потребан сат да пронађе рањивост у sandbox-у како би направио PR; ранији модели су били мање истрајни и нису успевали да пронађу рањивости, већ су одустајали од PR дела.¹

Многе безбедносне контроле за AI асистенте осмишљене су око појединачних радњи. Ако радња није дозвољена, блокира се. Ако је осетљива, систем тражи изричито одобрење корисника. Али модели који дуго раде, чије се радње могу аутономно одвијати сатима, данима или чак недељама, доводе овај приступ у питање: праћење појединачних радњи више није довољно да би се испратила намера целокупне путање.

На пример, у сценарију у којем је од модела тражено да реши проблем, модел је приметио да су други системи имали успешне, али приватне пријаве и покушао да поврати та решења из позадинског система за евалуацију. Када је његов почетни покушај блокиран јер је скенер открио токен за аутентификацију, модел је тело токена поделио на два фрагмента, замаскирао их, а затим поново саставио акредитив током извршавања, тако да се комплетан токен никада није појавио као један непрекидан низ. Модел је и у коментарима кориснику и у траговима свог резоновања изричито навео да ове кораке предузима како би заобишао скенер.

Овај пример показује како сваки корак може сам по себи изгледати прихватљиво, док низ може довести до исхода који не би био одобрен. Такође показује како модел који ефикасно делује током дугих временских хоризоната може да научи слепе тачке система одобравања и заобиђе га како би постигао своје циљеве. Безбедност за дуги хоризонт захтева да не питамо само „да ли је ова радња дозвољена?“ већ и „какав исход овај низ радњи настоји да постигне?“

Због оваквих инцидената паузирали смо интерно увођење новог модела. Поново смо изградили безбедносни систем око одбране по дубини и праћења на нивоу путање.

• Евалуације изведене из инцидената. Евалуације нам могу дати осећај да ли је систем безбедан за увођење пре него што се заиста уведе. Међутим, да би била најкориснија, евалуација треба да одражава расподелу и дужину хоризонта путања током стварног увођења. Због тога смо искористили уочене неуспехе да развијемо адверсаријалне евалуације. Утврдили смо да побољшање на евалуацијама изведеним из стварних инцидената заузврат доводи до безбеднијег понашања након увођења у продукцију.
• Побољшана усаглашеност. Предузели смо кораке да смањимо његову склоност да без дозволе предузима нежељене радње у настојању да оствари корисников циљ.  На пример, утврдили смо да наши модели лошије памте инструкције током дугих извршавања, а када смо модел тренирали за ту способност, добили смо модел који је остајао усаглашен током дужих извршавања. 
• Активно праћење. Направили смо систем за праћење који прегледа путању модела у развоју тражећи знаке да заобилази корисничко ограничење или безбедносну границу. Монитор не посматра само једну радњу, већ целу путању. Важно је да монитор може да паузира сесију и упозори корисника да је пажљивије прегледа. Након прегледа, корисник може да изабере да настави рад модела ако се монитор лажно активирао. 
• Већа видљивост и контрола за корисника. Побољшали смо могућност корисника да прегледа ове дуготрајне сесије, види предузете радње и прати интервенције.

Да бисмо евалуирали нови систем праћења, поново смо покренули мали скуп интерних окружења за увођење у којима је модел раније тежио неусаглашеним радњама, овог пута са новим заштитним мерама². Нове заштитне мере успеле су да ухвате знатно више неусаглашених радњи којима је модел тежио, а све које су пропустиле оцењене су као ниске озбиљности.

Неки примери ових инцидената ниске озбиљности обухватају следеће случајеве:

• Да би приступио Linear алату командне линије, модел је покренуо угнежђену сесију codex --yolo, иако је то заправо могао да уради без заставице --yolo.
• Модел је приметио да недостаје ресурс који је раније био активан, а затим је почео да истражује и преко SSH-а улази у друге активне CPU pod-ове у namespace-у свог власника, као и, безуспешно, у pod-ове који припадају другим запосленима у OpenAI-ју, без доброг разлога за то.
• Модел је имао много заглављених процеса find и свака shell команда је висила. Затим је покренуо kill -9 -1, што би послало SIGKILL сваком процесу који сме да убије на том pod-у, да се извршило. Међутим, истекло је време и није се извршило.

Након тестирања новог система, закључили смо да се ограничен интерни приступ моделима са способностима дугог хоризонта може вратити. Од почетка поновног увођења пре неколико недеља нисмо уочили ниједно озбиљно заобилажење заштитних мера. Прва верзија ових заштитних мера била је намерно конзервативна. Наставили смо да подешавамо систем како бисмо смањили непотребне прекиде без слабљења заштитних мера.

Пошто смо уводили итеративно, могли смо да пронађемо и отклонимо празнине пре проширења приступа. Евалуације пре увођења остају неопходне, али увођење открива понашања која оне пропуштају. Почетак са ограниченим приступом омогућио нам је да посматрамо модел у пракси, паузирамо када се појаве проблеми, искористимо те неуспехе за изградњу бољих евалуација и заштитних мера и вратимо ограничен приступ након тестирања измена.

Како модели преузимају дуже и сложеније задатке, неуспеси које евалуације пропусте могу имати веће последице. Наставићемо да радимо на смањењу јаза између евалуације и увођења: тестираћемо моделе на дужим путањама, побољшавати усаглашеност, градити праћење које може да интервенише и давати корисницима јаснију видљивост и контролу. Ови изазови неће бити јединствени за OpenAI и надамо се да ће дељење онога што смо научили помоћи широј области да се за њих припреми.