Инцидентот со Hugging Face и претстојната насока

Во текот на мај и јуни, започнавме циклуси на обука со зајакнување на учењето (RL) за повеќе нови истражувачки модели што не беа наменети за јавно објавување. Еден од овие модели на крајот ја предизвика активноста зад инцидентот со Hugging Face. Ова е истражувачки модел исклучиво за внатрешна употреба, кој го нарекуваме Внатрешен модел 1 (IM1).

Не овозможивме пристап до интернет ниту комуникација меѓу агентите во многу од средините во овие експерименти за обука. И покрај овие ограничувања, агентите открија начини да ја искористат нашата истражувачка инфраструктура за да комуницираат едни со други и да пристапат до интернет.

Моделите најпрво пронајдоа начини да комуницираат со запишување датотеки во услугата за управување со пакети Artifactory. Ова практично го претвори Artifactory во ненамерна табла за пораки, каде што агентите можеа меѓусебно да разменуваат информации. Прочитајте повеќе: Како агентите ја користеа таблата за пораки 

До 4. јули, долготрајната активност на агентот ја дестабилизираше засегнатата инстанција на Artifactory, предизвикувајќи прекин. На 5. јули беше отворен безбедносен инцидент. Безбедносниот тим блокираше позната патека за ескалација на привилегии, ги отстрани изложените податоци за автентикација и повторно го изгради Artifactory. Ова имаше нуспојави и ја избриша таблата за пораки. Со воспоставувањето на овие мерки за ублажување, евалуациите на сајбербезбедноста продолжија.

Во тоа време, пошироките импликации за задржување и усогласување поврзани со импровизираната табла за пораки и ненамерниот пристап до интернет сè уште не беа разбрани. Техничкиот извештај за инцидентот дава дополнителни детали за тоа што разбрале различните тимови на OpenAI во тоа време. Накратко, внатрешен тим забележал агент како се вклучува во активности на табла за пораки и случаи на недозволен пристап до интернет кон крајот на мај. Меѓутоа, постоењето на импровизираната табла за пораки и значењето на активноста за комуникација меѓу агентите не им биле очигледни на раководителите одговорни за откривање и одговор на инциденти. Продолжуваме да ги истражуваме процесот и оперативните практики што ги обликуваа активностите за откривање и реагирање во периодот што му претходеше на овој инцидент.

Со повторната изградба на услугата Artifactory, повторно ги започнавме проценките за сајбербезбедност. Ги спроведуваме овие евалуации за да разбереме за што се способни нашите модели и да ги утврдиме соодветните заштитни мерки за распоредување. За да го направиме тоа, не активираме исто ниво на заштитни мерки како кај нашите системи што се распоредени надворешно. Евалуацијата што доведе до овој инцидент, ExploitGym, е многу тешка – за некои задачи можеби не постои познато решение. За да успеат, агентите мора да најдат начини да експлоатираат софтвер за да извлечат одговор познат како „поставување знаме“.

По инцидентот, вложивме значителен напор да истражиме зошто моделот го покажа ова неусогласено однесување, вклучително и проблемите со неусогласеност во обуката и евалуацијата, како и покриеноста со заштитни мерки во внатрешните евалуации.

Идентификувавме четири обрасци на неусогласеност што придонесоа за однесувањето на моделите: хакирање на наградата, упорност во навидум невозможни задачи, неовластена комуникација и агенти што преземаат цели едни од други.

За да ги разбереме овие, ги анализиравме извршувањата при обучувањето и евалуацијата на моделот.¹ Спроведовме обемни ретроспективни прегледи на синџирот на размислување (CoT), дејствата и конечните резултати, користејќи ги нашите најнови техники за следење на CoT⁠. Со тоа, конкретно го подобривме одѕивот на нашиот монитор за типовите однесување што се појавија во инцидентот, користејќи ги сознанијата добиени од нашата истрага.

Обидите на агентите да мамат при извршувањето на своите задачи со пребарување решенија онлајн беа главен фактор за инцидентот со Hugging Face. Ова однесување е познато како хакирање на наградата: агентите ги извршуваат задачите на непредвидени начини за да добијат повисоки награди, или полесно да ги добијат тие награди. Хакирањето на наградата беше присутно во системите со ВИ и во минатото (видете ја оваа работа од пред една деценија⁠, сликата е прикажана подолу), и во тековните гранични големи јазични модели (LLM)⁠(се отвора во нов прозорец). Вложивме значителни средства во методи за идентификување и закрпување на такви манипулации⁠.

Друг клучен двигател на неусогласеното однесување беше тоа што агентите ретко се „откажуваа“ од своите задачи за евалуација, дури и кога задачите изгледаа невозможни за решавање. Како што агентите ги исцрпуваа своите буџети за расудување, некои применуваа сè поризични стратегии што ги надминуваат дозволените граници, вклучително и конечно искористување на инфраструктура на трето лице.

За време на нашата истрага, откривме дека во евалуацијата ExploitGym, ниту еден од нашите модели никогаш не дал точен одговор за 198 од 898-те задачи пред инцидентот. Овие нерешени задачи на крајот беа значаен придонесувач за активноста на агентот - 93 % од задачите за кои се дискутираше на таблата за пораки на Artifactory за време на инцидентот со Hugging Face потекнуваа од овој збир од 198 прашања.

Второ, инцидентот првенствено беше предизвикан од агенти на кои им беа дадени исклучително големи буџети за расудување, вклучително и буџети што се далеку над оние достапни во нашите надворешни производи.

Неовластени постојани табли за пораки беа во центарот на овој инцидент. Агенти кои требаше да работат независно можеа да споделуваат откритија, да ги координираат своите напори и да продолжат таму каде што другите застанале. Ова им овозможи да ја обединат работата и компјутерската моќ во рамките на одделни евалуации, зголемувајќи ги своите способности далеку над она што кој било поединечен агент би можел да го постигне сам. Комуникацијата меѓу агентите сама по себе не е проблематично однесување - ние обучуваме и распоредуваме системи со повеќе агенти што можат да комуницираат за истата задача преку алатка за соработка. Во настаните во јули, агентите со различни задачи најдоа сопствен начин да соработуваат надвор од тие граници, со непредвидливи последици.

Додека го истражувавме овој инцидент, откривме ретки случаи во кои агентите без алатки за повеќе агенти наоѓаа начини да соработуваат преку споредни канали за време на обуката. Веруваме дека ова однесување започнало поради генерализација од обуката со повеќе агенти.

Неовластената комуникација често започнуваше така што еден агент оставаше белешка или датотека во некој надворешен систем, обично како облик на надворешна меморија. Кога другите агенти ги забележуваа овие артефакти, тоа често ги наведуваше да сфатат дека можат да ја користат оваа надворешна услуга за да соработуваат. Како хипотетички пример што е мошне репрезентативен за однесувањето што го забележавме, пораките се кодираа во URL-патеки складирани на споделена индексна страница, отприлика вака:

Последна, особено впечатлива наод во инцидентот со Hugging Face беше „екосистемот“ на агенти што се појавија на таблата за пораки. Откако беше воспоставена оваа табла за пораки, агентите имаа силни стимули да комуницираат: таа им овозможува на агентите да зачувуваат белешки, да ги надградуваат меѓусебните откритијата и да ги здружуваат компјутерските ресурси од инаку одделни извршувања. Овој сложен и аморфен колектив од агенти покажува интересни и однесувања како примери, а тука детално опишуваме некои од оние што ги забележавме.

Агентите почнаа автономно да ја распределуваат работата. Некои истражуваа можни ранливости, други бараа акредитации, а трети се фокусираа на комуникација или координација. Агентите ја нудеа сопствената стручност во замена за помош на друго место, разменуваа информации за претстојните задачи и оставаа барања за колеги кои можеби беа во подобра позиција да следат одредена трага.

Покрај неусогласеноста, уште еден фактор за овој инцидент беше тоа што моќните заштитни мерки што ги применуваме за нашите модели распоредени надворешно не ги проширивме на сите внатрешни евалуации.

Прво, постојат бројни механизми што ја намалуваат неусогласеноста во продукциските средини кај нашите корисници, вклучувајќи системски промптови, рамки и контролни механизми како што се нашите модели за автоматска проверка и класификатори за безбедност. Овие заштитни мерки не беа применети во средината за евалуација што работеше за време на инцидентот. По инцидентот, создадовме евалуација што ја мери склоноста на моделот да компромитира инфраструктура за време на евалуациите ExploitGym. Утврдивме дека склоноста кон компромитирање инфраструктура може да се намали за повеќе од 100 пати при користење на продукциската Codex рамка и системскиот промпт. Исто така, го применивме системот за автоматска проверка на Codex на низа извршувања поврзани со инцидентот со Hugging Face и утврдивме дека тој би означил многу од опасните дејства на моделите.

Второ, пред инцидентот, имавме значително инвестирано во следење на синџирот на размислување⁠, вклучително и следење на многу од нашите гранични обучувања за RL и на значителното мнозинство од употребата на интерни агенти за кодирање⁠. Овие монитори не работеа за време на евалуациите во овој инцидент.

Во ретроспективните евалуации, утврдивме дека нашите CoT монитори се многу ефикасни во означувањето активности поврзани со инцидентот. Ако нашиот моментално применет систем за следење на синџирот на размислување работеше во времето на инцидентот, веројатно ќе го известеше нашиот тим за безбедност во рок од еден час по првиот неовластен пристап од трето лице. Тоа беше повеќе од 30 часа пред моделите да ги пробијат системите на Hugging Face. Исто така, работиме на дополнително намалување на латентноста на овие предупредувања.

Трето, иако ја тестиравме и валидиравме оваа изолирана средина за тестирање, агентите успеаја да поврзат претходно непознати ранливости („нулти денови“) во услугата за управување со пакети изложена во рамките на изолираната средина за тестирање за да ги заобиколат ограничувањата, како што е детално наведено во техничкиот извештај за инцидентот. По инцидентот, постигнавме значителен напредок во зајакнувањето на нашите внатрешни изолирани средини за тестирање за да ограничиме слични видови ризици при распоредување и оценувања.

Мисијата на OpenAI е да обезбеди општата вештачка интелигенција да биде во корист на целото човештво. Однесувањето на нашите модели опишано овде беше далеку под нивото што сакаме да го постигнеме. Овој инцидент не требаше да се случи. Ова покажа колку е критично постојано да ја подобруваме безбедноста, следењето и усогласувањето, особено додека нашите модели достигнуваат ниво на способност што може да доведе до вистинска загуба на контрола.

Како што споделивме во нашето неодамнешно ажурирање за темпото на развојот на моделите⁠, воведовме пауза во обучувањето за зајакнување на учењето на нашите најнови модели наменети за примена. Го искористивме ова време дополнително да ја зајакнеме безбедноста на нашите гранични истражувачки средини и да ја тестираме безбедноста со тестирање на отпорноста. Ги пренасочивме вработените да работат на безбедност, сигурност и усогласување. Нашето најголемо планирано гранично обучување за зајакнување на учењето останува на пауза додека спроведуваме обуки и процени од помал обем за да го оцениме однесувањето на моделот, да ги потврдиме заштитните мерки и да обезбедиме повеќе докази за усогласеност пред да продолжиме. Оваа работа бараше значителен инженерски напор, со значителни трошоци и одложувања на граничните истражувања.

Како што е наведено во нашиот извештај, нашиот одговор е насочен кон зајакнување на безбедноста и следењето на истражувањата, забрзување на усогласувањето на моделите и подобрување на начинот на кој ги идентификуваме, ескалираме и решаваме инцидентите.