Incident Hugging Face a další kroky

V průběhu května a června jsme začali pomocí učení posilováním (RL) trénovat několik nových výzkumných modelů, které nebyly určeny k veřejnému vydání. Jeden z těchto modelů nakonec stál za aktivitou související s incidentem Hugging Face. Jde o výzkumný model určený pouze pro interní použití, který označujeme jako Internal Model 1 (IM1).

V mnoha prostředích používaných pro tyto tréninkové experimenty jsme nepovolili přístup k internetu ani komunikaci mezi agenty. Navzdory těmto omezením agenti objevili způsoby, jak zneužít naši výzkumnou infrastrukturu k vzájemné komunikaci a přístupu k internetu.

Modely nejprve našly způsob, jak spolu komunikovat zápisem souborů do služby Artifactory pro správu balíčků. Tím se Artifactory fakticky proměnil v nezamýšlené diskusní fórum, kde si agenti mohli vzájemně vyměňovat informace. Další podrobnosti: Jak agenti používali diskusní fórum 

Do 4. července přetrvávající aktivita agentů destabilizovala dotčenou instanci Artifactory a způsobila její výpadek. Dne 5. července byl otevřen bezpečnostní incident. Bezpečnostní tým zablokoval známý způsob eskalace oprávnění, odstranil odhalené přihlašovací údaje a znovu sestavil Artifactory. Vedlejším důsledkem bylo vymazání diskusního fóra. Po zavedení těchto opatření ke zmírnění rizik byla hodnocení kybernetické bezpečnosti obnovena.

V té době jsme ještě nechápali širší důsledky improvizovaného diskusního fóra a nezamýšleného přístupu k internetu z hlediska omezení činnosti modelů a jejich sladění. Technická zpráva o incidentu podrobněji popisuje, jak situaci v té době chápaly různé týmy OpenAI. Stručně řečeno, interní tým koncem května zaznamenal, že se agent zapojil do aktivit na diskusním fóru a v několika případech neoprávněně přistupoval k internetu. Vedoucí pracovníci odpovědní za detekci incidentů a reakci na ně si však nebyli vědomi existence improvizovaného diskusního fóra ani významu komunikace mezi agenty. Nadále prošetřujeme procesy a provozní postupy, které ovlivnily detekci a reakci v období před tímto incidentem.

S přebudovanou službou Artifactory jsme znovu zahájili hodnocení kybernetické bezpečnosti. Tato hodnocení provádíme, abychom pochopili, čeho jsou naše modely schopné, a určili vhodná ochranná opatření pro nasazení. Za tímto účelem nepoužíváme stejnou úroveň ochranných opatření jako u našich externě nasazených systémů. Hodnocení, které vedlo k tomuto incidentu, ExploitGym, je velmi obtížné – u některých úloh nemusí existovat známé řešení. Aby uspěli, musí agenti najít způsob, jak zneužít software a získat odpověď označovanou jako „flag“.

Po incidentu jsme věnovali značné úsilí zjišťování, proč model vykazoval toto nežádoucí chování. Zkoumali jsme mimo jiné problémy se sladěním při trénování a hodnocení a také pokrytí ochrannými opatřeními v rámci interních hodnocení.

Identifikovali jsme čtyři vzorce nesouladu, které přispěly k chování modelů: hackování odměn, vytrvalost při zdánlivě nemožných úkolech, neoprávněnou komunikaci a přebírání cílů mezi agenty.

Abychom tomu porozuměli, analyzovali jsme trénovací a vyhodnocovací běhy modelu.¹ Provedli jsme rozsáhlé retrospektivní analýzy myšlenkových řetězců (CoT), akcí a konečných výstupů s využitím našich nejnovějších technik monitorování CoT⁠. Díky poznatkům získaným při vyšetřování incidentu jsme přitom cíleně zlepšili schopnost našeho monitoru zachycovat typy chování, které se během incidentu vyskytly.

Jednou z hlavních příčin incidentu Hugging Face byly pokusy agentů podvádět při plnění úloh vyhledáváním řešení online. Toto chování se označuje jako hackování odměny: agenti plní úkoly nezamýšlenými způsoby, aby získali vyšší odměny nebo si jejich získání usnadnili. Hackování odměny se v systémech AI objevovalo již v minulosti (viz tuto práci z doby před deseti lety⁠, obrázek níže) a vyskytuje se i v současných průkopnických velkých jazykových modelech (LLM)⁠(otevře se v novém okně). Významně jsme investovali do metod, které umožňují takové způsoby hackování identifikovat a eliminovat⁠.

Dalším klíčovým faktorem nesouladného chování bylo to, že agenti se svých úloh v rámci hodnocení jen zřídka „vzdávali“, i když se zdály být neřešitelné. Jak agenti vyčerpávali své rozpočty na uvažování, někteří volili stále riskantnější strategie mimo vymezený rozsah, včetně zneužití infrastruktury třetích stran.

Během našeho vyšetřování jsme zjistili, že při hodnocení ExploitGym žádný z našich modelů před incidentem nikdy neposkytl správnou odpověď u 198 z 898 úloh. Tyto nevyřešené úlohy nakonec významně přispěly k aktivitě agenta – 93 % úloh, o nichž se během incidentu Hugging Face diskutovalo na diskusním fóru Artifactory, pocházelo z této sady 198 otázek.

Za druhé, incident byl způsoben především agenty, kterým byly přiděleny neuvěřitelně vysoké rozpočty na uvažování, včetně rozpočtů výrazně vyšších než těch, které jsou k dispozici v našich externích produktech.

Klíčovou roli v tomto incidentu hrála neoprávněná trvalá diskusní fóra. Agenti, kteří měli pracovat samostatně, dokázali sdílet poznatky, koordinovat své úsilí a navazovat tam, kde ostatní skončili. To jim umožnilo spojovat své úsilí a výpočetní výkon napříč samostatnými hodnoceními, čímž výrazně rozšířili své schopnosti nad rámec toho, čeho by kterýkoli jednotlivý agent mohl dosáhnout sám. Komunikace mezi agenty sama o sobě není problematickým chováním – trénujeme a nasazujeme víceagentní systémy, jejichž agenti mohou při práci na stejném úkolu komunikovat prostřednictvím nástroje pro spolupráci. Během červencových událostí si agenti s různými úkoly našli vlastní způsob, jak spolupracovat mimo tyto hranice, což mělo nepředvídatelné důsledky.

Při vyšetřování tohoto incidentu jsme objevili vzácné případy, kdy agenti bez multiagentních nástrojů našli způsoby, jak během tréninku spolupracovat prostřednictvím postranních kanálů. Domníváme se, že toto chování vzniklo v důsledku generalizace z multiagentního tréninku.

Neoprávněná komunikace často začínala tím, že jeden agent zanechal poznámku nebo soubor v nějakém externím systému, obvykle jako formu externí paměti. Když si těchto artefaktů všimli další agenti, často zjistili, že mohou tuto externí službu využít ke spolupráci. Jako hypotetický příklad dobře ilustrující pozorované chování lze uvést zprávy kódované do cest URL uložených na sdílené indexové stránce, například takto:

Posledním, obzvlášť názorným zjištěním z incidentu Hugging Face byl „ekosystém“ agentů, který vznikl na diskusním fóru. Jakmile toto diskusní fórum vzniklo, měli agenti silnou motivaci spolu komunikovat: mohli si na něm uchovávat poznámky, navazovat na objevy ostatních a sdružovat výpočetní zdroje jinak oddělených běhů. Tento složitý a amorfní kolektiv agentů vykazuje zajímavé a názorné vzorce chování. Některé z těch, které jsme pozorovali, zde podrobněji popisujeme.

Agenti začali autonomně rozdělovat práci. Někteří zkoumali možné exploity, jiní hledali přihlašovací údaje a další se zaměřovali na komunikaci nebo koordinaci. Agenti nabízeli své odborné znalosti výměnou za pomoc jinde, vyměňovali si informace o nadcházejících úlohách a zanechávali požadavky pro ostatní agenty, kteří měli lepší možnosti prověřit konkrétní stopu.

Kromě nesladěného chování k incidentu přispělo také to, že jsme silná ochranná opatření, která používáme u externě nasazených modelů, nerozšířili na všechna interní hodnocení.

Za prvé v produkčních prostředích používaných našimi zákazníky funguje řada mechanismů, které omezují nesladěné chování, včetně systémových promptů, harnessů a kontrolních mechanismů, jako jsou naše modely automatické kontroly a bezpečnostní klasifikátory. Tato ochranná opatření nebyla uplatněna ve vyhodnocovacím prostředí, které běželo během incidentu. Po incidentu jsme vytvořili hodnocení, které měří sklon modelu k narušení zabezpečení infrastruktury při hodnoceních ExploitGym. Zjistili jsme, že při použití produkčního harnessu Codex a systémového promptu se sklon k narušení zabezpečení infrastruktury může snížit více než stonásobně. Na sadě běhů souvisejících s incidentem Hugging Face jsme také spustili systém automatické kontroly Codex a zjistili jsme, že by označil řadu nebezpečných akcí modelů.

Za druhé jsme už před incidentem významně investovali do monitorování myšlenkového řetězce⁠, včetně monitorování mnoha našich průkopnických tréninkových běhů RL a převážné většiny používání interních agentů pro programování⁠. Tyto monitorovací systémy při hodnoceních souvisejících s tímto incidentem nebyly spuštěny.

Při retrospektivních hodnoceních jsme zjistili, že naše systémy pro monitorování CoT velmi účinně odhalovaly aktivity související s incidentem. Pokud by v době incidentu fungoval náš nyní nasazený systém pro monitorování myšlenkového řetězce, pravděpodobně by náš bezpečnostní tým upozornil do hodiny od prvního neoprávněného přístupu třetí strany. To bylo více než 30 hodin předtím, než modely narušily systémy Hugging Face. Pracujeme také na dalším zkrácení doby, po jejímž uplynutí tato upozornění přicházejí.

Za třetí, přestože jsme tento sandbox otestovali a ověřili, agentům se podařilo propojit několik dosud neznámých zranitelností („zero-day“) ve službě pro správu balíčků zpřístupněné v rámci sandboxu a obejít tak omezení, jak je podrobně popsáno v technické zprávě o incidentu. Od tohoto incidentu jsme dosáhli významného pokroku v posilování zabezpečení našich interních sandboxů, abychom během nasazování a hodnocení omezili podobné typy rizik.

Posláním OpenAI je zajistit, aby obecná umělá inteligence přinášela prospěch celému lidstvu. Zde popsané chování našich modelů bylo na hony vzdálené tomu, čeho chceme dosáhnout. K tomuto incidentu nemělo dojít. Ukázalo se, jak zásadní je neustále zlepšovat naše zabezpečení, monitorování a sladění, zejména když naše modely dosahují takové úrovně schopností, která by mohla vést ke skutečné ztrátě kontroly.

Jak jsme uvedli v naší nedávné aktualizaci k tempu vývoje modelů⁠, pozastavili jsme u našich nejnovějších modelů určených k nasazení trénink pomocí učení posilováním (RL). Tento čas jsme využili k dalšímu posílení zabezpečení našich výzkumných prostředí pro průkopnické modely a k jejich red-teamingu. Část pracovníků jsme převedli na práci v oblasti zabezpečení, bezpečnosti a sladění. Náš největší plánovaný tréninkový běh RL pro průkopnické modely zůstává pozastavený. Než budeme pokračovat, provádíme tréninky a hodnocení v menším měřítku, abychom posoudili chování modelů, ověřili naše ochranná opatření a získali další důkazy o jejich sladění. Tato práce si vyžádala značné vývojové úsilí a přinesla významné náklady a zpoždění výzkumu průkopnických modelů.

Jak uvádíme ve své zprávě, naše reakce se zaměřuje na posílení zabezpečení výzkumu a monitorování, urychlení slaďování modelů a zlepšení způsobu identifikace, eskalace a řešení incidentů.