Темпо развоја модела у доба критичних сајбер-способности

Током протеклих неколико недеља, два догађаја су указала на све веће ризике повезане са све способнијим системима вештачке интелигенције: инцидент OpenAI-Hugging Face и, засебно, прелиминарни докази да би један од наших предстојећих модела, Astra, могао да достигне праг критичне способности у области сајбер-безбедности према нашем Оквиру спремности. Ови догађаји, заједно са брзим напретком наших интерних истраживања, учинили су још хитнијим наш рад на јачању заштитних мера за надзор, усклађивање и ограничавање у свим фазама процеса обуке.

Како модели постају способнији, расту и ризици повезани с њиховим интерним развојем и тестирањем. Наши стандарди надзора, усклађивања и безбедности морају бити корак испред тих ризика. Желели смо да издвојимо време потребно за испуњавање тих стандарда, па смо привремено успорили повећање обима рада. То је обухватило двонедељну паузу у обуци подстицајним учењем (RL) наших најновијих модела намењених примени, док смо додатно ојачавали и тестирали истраживачка окружења симулираним нападима и проширивали обухват система за надзор. Наш највећи планирани циклус граничног подстицајног учења и даље је на чекању док спроводимо обуку и процене мањег обима како бисмо оценили понашање модела, потврдили делотворност заштитних мера и прикупили више доказа о усклађености пре него што наставимо.

Усклађивање – рад на томе да се системи вештачке интелигенције понашају у складу с намером и реагују на људски надзор – одавно је у средишту нашег истраживачког програма. Сада захтевамо чвршће доказе о усклађеном понашању током целокупне обуке, надовезујући се на истраживања и процене који су већ у току. Одржавање усклађености све способнијих система изазов је којим ће морати да се позабави цела област. Показатељи напретка предстојећих модела јасно нам говоре да је потребан шири приступ – онај који се ослања на постојећи Оквир спремности, али иде и даље од њега.

Сматрамо да је важно да будемо отворени у вези с тим како се наш приступ мења. У наставку описујемо промене које смо већ увели у истраживачке процесе и инфраструктуру, као и рад који је још у току.

Наш приступ развоју способнијих модела почива на три заштитне мере које се међусобно допуњују:

1. Надзор, који открива забрињавајуће понашање и омогућава нам да реагујемо на њега.
2. Усклађивање, које смањује вероватноћу штетних или неовлашћених радњи.
3. Безбедносне мере, које ограничавају чему системи вештачке интелигенције могу да приступе или на шта могу да утичу.

Очекујемо да ће модели ускоро обављати већину безбедносних послова, укључујући одбрану од других модела. То ће омогућити да се све три заштитне мере развијају упоредо са способностима модела, што сматрамо пресудним.

Ове заштитне мере примењујемо и у истраживању и у примени, прилагођавајући их способностима, радном окружењу и нивоу ризика сваког модела.

Како гранични модели стичу напредније способности у области сајбер-безбедности, подижемо безбедносне стандарде за окружења у којима их обучавамо и процењујемо. Испуњавање ових стандарда захтевало је значајан инжењерски рад и донело велике трошкове и кашњења у истраживању граничних модела. Одмах након инцидента OpenAI-Hugging Face*, паузирали смо инференцију граничних модела у истраживачким кластерима за процесе који су могли да извршавају кôд или користе алатке с приступом интернету. Прилично брзо смо поново успоставили ограниченији и безбеднији начин извршавања кода, а затим смо појединачно прегледали свако радно оптерећење да бисмо утврдили да ли може безбедно да се настави. Нека истраживачка радна оптерећења настављена су уз ове нове контроле, док су друга захтевала додатне измене.

Током наредних недеља дефинисали смо строже безбедносне захтеве за истраживачка радна оптерећења граничних модела и почели да их примењујемо. На пример:

• Изолација радних оптерећења: Сада захтевамо строжу изолацију (у даљем тексту: заштићена окружења) за радна оптерећења која извршавају кôд који је генерисао модел или други непоуздани кôд. То важи и за софтвер који би могао бити компромитован током обраде излазних података модела.
• Мрежна изолација: Увели смо више контрола за изоловање ризичнијих и непоузданих радних оптерећења од интернета. Ове контроле смо осмислили тако да компромитовање једног радног оптерећења или помоћне услуге само по себи не омогући неовлашћени приступ интернету или другим интерним мрежама.
• Континуирано безбедносно тестирање: Реконфигурисали смо окружење како бисмо уклонили потенцијално рањиве дељене услуге, смањили трајне привилегије и побољшали границе безбедности и поверења. Такође побољшавамо могућност прикупљања и надзора безбедносних евиденција. На крају, улажемо у аутоматизацију која помоћу наших модела непрекидно испитује ове границе симулираним нападима.

Ове контроле заједно пружају вишеслојну одбрану и помажу у заштити нашег истраживачког окружења од напада. Данас захтевамо најстрожи ниво безбедносних мера за радна оптерећења која укључују модел Astra или сајбер-моделе, јер смо утврдили да модели Astra могу имати критичан ниво сајбер-способности. Ове заштитне мере важе и за сва друга радна оптерећења повезана са сајбер-безбедношћу.

Иако неке обуке и процене модела Astra испуњавају те захтеве, велики број радних оптерећења остаје паузиран док се у потпуности не пресели и унапреди како би испунио нови безбедносни стандард. При миграцији у ова нова окружења предност дајемо радним оптерећењима за безбедност и усклађивање.

Надзор је одавно важан део нашег процеса развоја модела, укључујући надзор интерних агената за програмирање и дуготрајне сесије. Наш надзор је био посебно усмерен на интерне примене граничних модела и циклусе њихове обуке подстицајним учењем, које смо сматрали најризичнијим радним оптерећењима јер могу да споје напредне способности модела с приступом алаткама, осетљивим системима и интерним или спољним мрежама. Нису примењивани на све процесе инференције и обуке који користе алатке. Ревидирали смо и проширили свој приступ новом поставком надзора.

Ова нова поставка надзора има више фаза. Почиње класификаторима активација – детекторима који испитују интерну активност модела – који се покрећу при сваком узоркованом токену и прослеђују потенцијалне проблеме све напреднијим аутоматизованим истражитељима који захтевају све више рачунарских ресурса. Ти системи испитују радње извршене алатима, доступно резоновање и целокупан ток активности како би открили неовлашћени приступ, крађу података, деструктивно понашање и покушаје заобилажења заштитних мера. Циљ нам је да издамо упозорење у року од 30 минута од тренутка када наш систем за надзор открије забрињавајућу активност. Ако систем за надзор утврди вероватно кршење критичне безбедносне границе, генерише упозорење највишег приоритета. У тренутној примени, тимови за сигурност, безбедност и истраживање добијају хитно обавештење. Ако у року од 30 минута не могу поуздано да утврде да је означени случај лажно позитиван, од тих тимова се очекује да паузирају активност.

Овај надзор је обавезан за све обуке и процене подстицајним учењем које укључују алате за моделе способности Sol или више. Када смо 7. августа утврдили да Astra може имати критичне сајбер-способности, увели смо додатни захтев за надзор свих инференција модела Astra уз коришћење алата, а не само обуке и процена подстицајним учењем.

Ове заштитне мере захтевају значајне рачунарске ресурсе. Према нашим тренутним проценама, додатни рачунарски трошак надзора износи око 20% надгледаног рачунарског оптерећења инференције, мада се знатно разликује између радних оптерећења обуке и процене. Више појединости о овом систему објавићемо у предстојећем тексту на блогу.

Истраживање усклађивања има средишње место у нашој мисији. Наша мисија је да обезбедимо да општа вештачка интелигенција користи целом човечанству. Како модели стичу напредне способности, попут извођења сајбер-напада, и делују у сложенијим окружењима, неусклађена понашања као што су манипулисање награђивањем – проналажење начина да се током обуке добију високе награде без стварног остварења намераваног исхода – обмањивање или неовлашћени приступ ствараће све озбиљније ризике.

За циклусе подстицајног учења на најспособнијим моделима сада примењујемо основне технике усклађивања у више фаза процеса обуке. То обухвата унапређење модела награђивања ради бољег откривања и обесхрабривања небезбедног понашања у различитим задацима и окружењима; обучавање модела да искреније представљају своје радње, способности и ограничења; и смањивање понашања која искоришћавају слабости у наградама, оцењивачима, алаткама или надзору. Такође проширујемо обухват обуке за понашања која би могла да изазову штету када модели ступају у интеракцију са спољним системима или ресурсима.

Настављамо да снажно улажемо у истраживање усклађивања, проширујемо обухват процена и користимо стечена сазнања за усмеравање обуке и заштитних мера. Планирамо да ускоро објавимо знатно више о истраживању усклађивања, укључујући оно што сазнајемо о понашању модела и све нове изазове које откријемо.

Развијаћемо наш Оквир спремности како бисмо ове заштитне мере објединили у свим фазама обуке и примене и боље обухватили способности будућих модела и окружења у којима раде. Развој метода које могу да прате раст тих способности захтеваће континуирано улагање у безбедност уз помоћ модела, делотворнији надзор и даљи напредак у истраживању усклађивања. Намеравамо да укључимо спољне организације и делимо више стечених сазнања како се наш приступ буде развијао.

Способности граничних модела убрзано напредују. Наша способност да их разумемо, ускладимо и обезбедимо мора остати корак испред.

*У наредним недељама објавићемо технички извештај о стеченим сазнањима.