Přibrždění vývoje modelů v éře kritických kyberschopností

Dvě události z posledních týdnů poukázaly na rostoucí rizika spojená se stále schopnějšími AI systémy: incident OpenAI – Hugging Face a nezávisle na něm předběžné doklady, že jeden z našich připravovaných modelů, Astra, může podle našeho rámce připravenosti dosahovat prahové hodnoty kritických schopností v oblasti kybernetické bezpečnosti. Tyto události spolu s rychlým pokrokem našeho interního výzkumu zvýšily naléhavost naší práce na posílení ochranných opatření pro monitorování, sladění a izolaci ve všech fázích trénování.

S rostoucími schopnostmi modelů se zvyšují také rizika spojená s jejich interním vývojem a testováním. Naše standardy monitorování, sladění a zabezpečení musí mít před těmito riziky náskok. Chtěli jsme si vyhradit čas potřebný ke splnění těchto standardů, a proto jsme dočasně zpomalili tempo škálování. Součástí byla dvoutýdenní přestávka v trénování našich nejnovějších modelů určených k nasazení pomocí učení posilováním (reinforcement learning, RL). Během ní jsme dále posilovali a podrobovali útočnému testování naše výzkumná prostředí a rozšiřovali záběr monitorovacích systémů. Náš největší plánovaný průkopnický trénink pomocí RL jsme pozastavili. Než budeme pokračovat, provedeme trénování a hodnocení v menším měřítku, abychom posoudili chování modelu, ověřili ochranná opatření a ujistili se o sladění na základě většího množství dokladů.

Sladění – tedy úsilí o to, aby se AI systémy chovaly zamýšleným způsobem a reagovaly na lidský dohled – je již dlouho ústředním prvkem našeho výzkumného programu. Nyní v průběhu celého trénování požadujeme přesvědčivější doklady sladěného chování a navazujeme přitom na již probíhající výzkum a hodnocení. Udržet stále schopnější systémy ve sladěném stavu je výzva, kterou bude muset řešit celý obor. Signály, které pozorujeme v souvislosti s pokrokem připravovaných modelů, jasně ukazují, že potřebujeme širší přístup – takový, který vychází ze současného rámce připravenosti a zároveň jej rozšiřuje.

Považujeme za důležité otevřeně informovat o tom, jak se náš přístup mění. Níže popisujeme změny, které jsme již provedli ve svých výzkumných procesech a infrastruktuře, i práci, která stále probíhá.

Náš přístup k vývoji schopnějších modelů stojí na třech vzájemně se podporujících ochranných opatřeních:

1. Monitorování, které odhaluje znepokojivé chování a umožňuje nám na ně reagovat.
2. Sladění, které snižuje pravděpodobnost škodlivých nebo neoprávněných kroků.
3. Bezpečnostní opatření, která omezují, k čemu mohou mít systémy AI přístup a co mohou ovlivnit.

Očekáváme, že modely budou brzy zajišťovat většinu bezpečnostních úloh, včetně obrany proti jiným modelům. Díky tomu bude možné škálovat všechna tři ochranná opatření spolu se schopnostmi modelů, což považujeme za zásadní.

Tato ochranná opatření uplatňujeme ve výzkumu i při nasazení a přizpůsobujeme je schopnostem, provoznímu prostředí a míře rizika jednotlivých modelů.

S tím, jak průkopnické modely získávají pokročilejší schopnosti v oblasti kybernetické bezpečnosti, zpřísňujeme bezpečnostní standardy prostředí, v nichž je trénujeme a hodnotíme. Splnění těchto standardů si vyžádalo rozsáhlé technické práce a přineslo průkopnickému výzkumu značné náklady a zpoždění. Bezprostředně po incidentu OpenAI – Hugging Face* jsme ve výzkumných clusterech pozastavili inferenci průkopnických modelů u běhů, které mohly spouštět kód nebo používat nástroje s přístupem k internetu. Poměrně rychle jsme obnovili omezenější a bezpečnější způsob spouštění kódu. Poté jsme jednotlivě prošli každou pracovní úlohu a určili, zda v ní lze bezpečně pokračovat. Některé výzkumné úlohy byly s těmito novými kontrolními mechanismy obnoveny, jiné vyžadovaly další změny.

V následujících týdnech jsme stanovili přísnější bezpečnostní požadavky na pracovní úlohy průkopnického výzkumu a začali je zavádět. Například:

• Izolace pracovních úloh: U úloh, které spouštějí kód vygenerovaný modelem nebo jiný nedůvěryhodný kód, nyní vyžadujeme důkladnější izolaci („sandboxy“). Platí to i pro software, který by mohl být napaden při zpracování výstupů modelu.
• Izolace sítě: Zavedli jsme více kontrolních mechanismů, které od internetu izolují rizikovější a nedůvěryhodné pracovní úlohy. Tyto mechanismy jsme navrhli tak, aby jediné napadení pracovní úlohy nebo podpůrné služby samo o sobě neumožnilo neoprávněný přístup k internetu ani jiným interním sítím.
• Průběžné bezpečnostní testování: Přenastavili jsme své prostředí, abychom odstranili potenciálně zranitelné sdílené služby, omezili trvalá oprávnění a zlepšili hranice bezpečnosti a důvěry. Zlepšujeme také naši schopnost shromažďovat a monitorovat bezpečnostní protokoly. V neposlední řadě investujeme do automatizace, při níž naše modely nepřetržitě testují tyto hranice proti simulovaným útokům.

Tyto kontrolní mechanismy společně vytvářejí vícevrstvou obranu a pomáhají chránit naše výzkumné prostředí před útoky. V současnosti vyžadujeme nejpřísnější úroveň bezpečnostních opatření pro pracovní úlohy zahrnující model Astra nebo kybernetické modely, protože jsme dospěli k závěru, že modely Astra mohou mít kritickou úroveň kyberbezpečnostních schopností. Tato ochranná opatření se vztahují také na všechny ostatní pracovní úlohy související s kybernetickou bezpečností.

Některé tréninky a hodnocení modelu Astra tyto požadavky splňují, značná část pracovních úloh však zůstává pozastavena, dokud nebude plně převedena a upravena tak, aby odpovídala novému bezpečnostnímu standardu. Dáváme přednost pracovním úlohám zaměřeným na bezpečnost a sladění a do těchto nových prostředí je migrujeme jako první.

Monitorování je již dlouho důležitou součástí našeho procesu vývoje modelů, včetně monitorování interních agentů pro programování a dlouhotrvajících relací. Monitorování jsme zaměřovali zejména na interní nasazení průkopnických modelů a průkopnické tréninky pomocí RL. Považovali jsme je za nejrizikovější pracovní úlohy, protože mohou kombinovat pokročilé schopnosti modelů s přístupem k nástrojům, citlivým systémům a interním či externím sítím. Nevztahovalo se však na všechny inferenční a trénovací běhy využívající nástroje. S novým monitorovacím systémem jsme náš přístup přepracovali a rozšířili.

Nový systém monitorování má několik fází. Začíná klasifikátory aktivací – detektory, které sledují interní aktivitu modelu. Ty pracují u každého vzorkovaného tokenu a případná podezření předávají stále sofistikovanějším automatizovaným vyšetřovacím systémům s vyššími nároky na výpočetní kapacitu. Tyto systémy zkoumají akce nástrojů, dostupné uvažování a úplnou posloupnost aktivit, aby odhalily neoprávněný přístup, krádež dat, destruktivní chování a pokusy o překonání ochranných opatření. Naším cílem je vydat upozornění do 30 minut poté, co monitorovací systém odhalí znepokojivou aktivitu. Pokud monitorovací systém zjistí pravděpodobné narušení kritické bezpečnostní hranice, vygeneruje upozornění s nejvyšší prioritou. V současné implementaci systém upozorní týmy pro bezpečnost, zabezpečení a výzkum. Pokud tyto týmy nedokážou do 30 minut jednoznačně určit, že jde o falešný poplach, očekává se od nich pozastavení dané aktivity.

Toto monitorování je povinné u všech tréninků pomocí RL a hodnocení využívajících nástroje pro modely se schopnostmi na úrovni Sol nebo vyšší. Když jsme 7. srpna zjistili, že Astra může mít kritické kyberbezpečnostní schopnosti, zavedli jsme další požadavek na monitorování všech inferencí modelu Astra využívajících nástroje (nejen tréninků pomocí RL a hodnocení).

Tato ochranná opatření vyžadují značný výpočetní výkon. Podle našich současných odhadů představuje režie monitorování přibližně 20 % výpočetního výkonu sledované inference, náklady se však mezi trénovacími a hodnoticími úlohami výrazně liší. Další podrobnosti o tomto systému zveřejníme v připravovaném příspěvku na blogu.

Výzkum sladění je pro naše poslání zásadní. Naším posláním je zajistit, aby obecná umělá inteligence byla přínosem pro celé lidstvo. S tím, jak modely získávají pokročilé schopnosti, například schopnost provádět kybernetické útoky, a fungují ve složitějších prostředích, budou nesladěné projevy chování, jako je hackování odměn (hledání způsobů, jak při trénování získat vysoké odměny, aniž by bylo skutečně dosaženo zamýšleného výsledku), klamání nebo neoprávněný přístup, představovat stále závažnější riziko.

U tréninků nejschopnějších modelů pomocí RL nyní uplatňujeme naše klíčové techniky sladění ve více fázích trénovacího procesu. Patří sem zdokonalování modelů odměn, aby lépe odhalovaly a potlačovaly nebezpečné chování napříč úlohami a prostředími; trénování modelů k větší upřímnosti ohledně jejich kroků, schopností a omezení; a omezování chování, které zneužívá slabin odměn, hodnoticích systémů, nástrojů nebo dohledu. Rozšiřujeme také trénování zaměřené na projevy chování, které by mohly způsobit škodu při interakci modelů s externími systémy nebo zdroji.

Nadále intenzivně investujeme do výzkumu sladění, rozšiřujeme rozsah hodnocení a získané poznatky využíváme při trénování i návrhu ochranných opatření. V blízké budoucnosti plánujeme zveřejnit podstatně více informací o našem výzkumu sladění, včetně poznatků o chování modelů a všech nových výzvách, které odhalíme.

Náš rámec připravenosti budeme dále rozvíjet tak, aby tato ochranná opatření sjednotil napříč trénováním a nasazením a lépe zohledňoval schopnosti budoucích modelů i prostředí, v nichž budou fungovat. Vývoj metod, které lze škálovat spolu s těmito schopnostmi, bude vyžadovat trvalé investice do zabezpečení s podporou modelů, účinnějšího monitorování a dalšího pokroku ve výzkumu sladění. Máme v úmyslu zapojit externí organizace a sdílet více získaných poznatků s tím, jak se náš přístup bude procházet dalším vývojem.

Schopnosti průkopnických modelů se rychle rozvíjejí. Naše schopnost těmto modelům rozumět, sladit je a zabezpečit si s jejich rozvojem musí udržet náskok.

*V příštích týdnech zveřejníme technickou zprávu o získaných poznatcích.