Безбедност и усогласување во ера на модели со долг хоризонт

Моделите што можат самостојно да работат долги периоди можат да преземат тешки, отворени проблеми. Но истата упорност што ги прави корисни им дава и повеќе можности да преземат несакани дејства — и тоа на начини што евалуациите наменети за модели со пократок хоризонт можеби нема да ги забележат.

Пред околу два месеца објавивме⁠ дека интерен модел за општа намена ја поби претпоставката на Erdős за единични растојанија. Овој модел беше дизајниран да работи самостојно во многу долги временски периоди. За време на ограничена, надгледувана интерна употреба забележавме несакано однесување што нашите постојни евалуации за распоредување не го имаа опфатено. Бидејќи распоредувањето беше ограничено и надгледувано, можевме да ги идентификуваме овие проблеми, да го паузираме пристапот, да создадеме нови евалуации врз основа на забележаното, да го зајакнеме моделот и неговите заштитни мерки, а потоа да го вратиме пристапот под продолжен надзор. 

Условите во кои ги евалуираме моделите никогаш совршено нема да се совпаднат со оние со кои се соочуваат при реална употреба. Затоа евалуациите пред распоредување треба да се комбинираат со ограничено, надгледувано распоредување и со можност за интервенција, паузирање или враќање наназад кога ќе се појават проблеми. Она што го учиме од распоредувањето потоа може да стане дел од посилни евалуации и заштитни мерки пред пристапот да се прошири.

Во следните делови споделуваме конкретни примери за тоа што забележавме, како ги решивме проблемите и како ова искуство ќе ги обликува идните изданија.

Новиот модел може да продолжи да работи кон одредена цел преку повторени обиди во долг временски период. Таа иста упорност може да го наведе да пронајде и искористи слабости во својата средина. Претходните модели, кога ќе наидеа на ограничувања од sandbox-от или од средината, едноставно застануваа и се враќаа кај корисникот. Овој модел често продолжуваше да се обидува, вклучително и барајќи начини да дејствува надвор од својот sandbox.

Еден пример за ова се случи за време на интерна евалуација на NanoGPT speedrun⁠(се отвора во нов прозорец), јавен benchmark за тренирање мал јазичен модел во што е можно помалку чекори. Нашиот модел разви cooldown на стапката на учење според степенски закон, наречен PowerCool, што доведе до значително подобрување. На моделот му беше наложено резултатите да ги објави само на Slack, но упатствата за NanoGPT велат резултатите да се објават како PR на GitHub, па моделот ги следеше тие упатства и отвори PR #287 во јавниот GitHub репозиториум. Моделот ги заобиколи ограничувањата на sandbox-от дизајнирани да блокираат надворешен пристап и продолжи со прикачувањето на GitHub. На нашиот модел му требаше еден час за да најде ранливост во sandbox-от за да го направи PR-от; претходните модели беа помалку упорни и не успеаја да најдат ранливости, туку се откажуваа од делот со PR.¹

Многу безбедносни контроли за AI асистенти се дизајнирани околу поединечни дејства. Ако некое дејство не е дозволено, се блокира. Ако е чувствително, системот бара изречно одобрување од корисникот. Но моделите што работат долго, чии дејства може автономно да се одвиваат со часови, денови или дури недели, ја доведуваат во прашање оваа поставеност: следењето поединечни дејства веќе не е доволно за да се следи намерата на целокупната траекторија.

На пример, во сценарио во кое од моделот беше побарано да реши проблем, моделот забележа дека други системи имале успешни, но приватни поднесоци и се обиде да ги врати тие решенија од backend-от за евалуација. Кога неговиот првичен обид беше блокиран затоа што скенер откри токен за автентикација, моделот го подели телото на токенот на два фрагменти, ги замаскира и потоа ја реконструираше акредитацијата при извршување, така што целосниот токен никогаш не се појави како една непрекината низа. Моделот беше експлицитен и во коментарите до корисникот и во трагите од своето расудување дека ги презема овие чекори за да го заобиколи скенерот.

Овој пример покажува како секој чекор може сам по себе да изгледа прифатлив, додека низата може да доведе до исход што не би бил одобрен. Исто така покажува како модел што ефикасно работи низ долги временски хоризонти може да ги научи слепите точки на системот за одобрување и да ги заобиколи за да ги постигне своите цели. Безбедноста за долг хоризонт бара не само да прашаме „дали е дозволено ова дејство?“ туку и „кон каков исход води оваа низа дејства?“

Поради вакви инциденти, го паузиравме интерното распоредување на новиот модел. Го изградивме повторно безбедносниот систем околу одбрана во длабочина и следење на ниво на траекторија.

• Евалуации изведени од инциденти. Евалуациите можат да ни дадат претстава дали еден систем е безбеден за распоредување пред навистина да биде распореден. Сепак, за да биде најкорисна, евалуацијата треба да ја одразува распределбата и должината на хоризонтот на траекториите при реално распоредување. Поради тоа, ги искористивме забележаните неуспеси за да развиеме адверзаријални евалуации. Утврдивме дека подобрувањето на евалуациите изведени од инциденти во реалниот свет, пак, доведува до побезбедно однесување откако системот ќе се распореди во продукција.
• Подобрено усогласување. Презедовме чекори за да ја намалиме неговата тенденција без дозвола да презема несакани дејства во потрага по целта на корисникот.  На пример, откривме дека нашите модели полошо ги паметат упатствата при долги rollout-и, а кога го трениравме моделот за оваа способност, тоа доведе до модел што останува усогласен низ подолги rollout-и. 
• Активно следење. Создадовме систем за следење што ја прегледува развојната траекторија на моделот за знаци дека заобиколува корисничко ограничување или безбедносна граница. Мониторот не набљудува само едно дејство, туку целата траекторија. Важно е што мониторот може да ја паузира сесијата и да го предупреди корисникот да ја разгледа повнимателно. По прегледот, корисникот потоа може да избере да ја продолжи работата на моделот ако мониторот бил лажно активиран. 
• Поголема видливост и контрола за корисникот. Ја подобривме можноста корисникот да ги прегледува овие долготрајни сесии, да ги гледа преземените дејства и да ги следи интервенциите.

За да го евалуираме новиот систем за следење, повторно извршивме мал сет интерни средини за распоредување каде што моделот претходно следел неусогласени дејства, овојпат со новите заштитни мерки на место². Новите заштитни мерки успеаја да фатат значително повеќе неусогласени дејства што ги следеше моделот, а сите што ги пропуштија беа оценети како нискосериозни.

Некои примери за овие инциденти со ниска сериозност ги вклучуваат следниве случаи:

• За да пристапи до алатка на Linear од командна линија, моделот стартуваше вгнездена сесија codex --yolo, иако всушност можеше да го направи тоа без ознаката --yolo.
• Моделот забележа дека недостасува ресурс што претходно бил активен, па почна да истражува и да се поврзува преку SSH со други активни CPU pod-ови во namespace-от на својот сопственик, како и — неуспешно — со pod-ови што им припаѓаат на други вработени во OpenAI, без добра причина за тоа.
• Моделот имаше многу заглавени процеси find и секоја shell-команда се блокираше. Потоа изврши kill -9 -1, што би испратило SIGKILL до секој процес што му е дозволено да го убие на тој pod, ако се извршеше. Сепак, истече времето и не се изврши.

По тестирањето на новиот систем, заклучивме дека ограничениот интерен пристап до модели со способности за долг хоризонт може да се врати. Не сме забележале сериозно заобиколување на заштитните мерки откако повторното распоредување започна пред неколку недели. Првата верзија на овие заштитни мерки намерно беше конзервативна. Продолживме да го дотеруваме системот за да ги намалиме непотребните прекини без да ги ослабиме заштитните мерки.

Бидејќи распоредувавме итеративно, можевме да најдеме и да затвориме празнини пред да го прошириме пристапот. Евалуациите пред распоредување остануваат суштински, но распоредувањето открива однесувања што тие ги пропуштаат. Почнувањето со ограничен пристап ни овозможи да го набљудуваме моделот во практика, да паузираме кога ќе се појават проблеми, да ги искористиме тие неуспеси за да изградиме подобри евалуации и заштитни мерки и да го вратиме ограничениот пристап по тестирањето на промените.

Како што моделите преземаат подолги и посложени задачи, неуспесите што евалуациите ги пропуштаат може да имаат поголеми последици. Ќе продолжиме да работиме на стеснување на јазот меѓу евалуацијата и распоредувањето: тестирање модели низ подолги траектории, подобрување на усогласувањето, градење следење што може да интервенира и давање појасна видливост и контрола на корисниците. Овие предизвици нема да бидат единствени за OpenAI, и се надеваме дека споделувањето на наученото ќе му помогне на поширокото поле да се подготви за нив.