Atvikið hjá Hugging Face og framhaldið

Í maí og júní hófum við þjálfunarkeyrslur í styrkingarnámi (RL) fyrir mörg ný rannsóknarlíkön sem ekki voru ætluð til opinberrar útgáfu. Eitt þessara líkana knúði að lokum fram virknina að baki atvikinu hjá Hugging Face. Þetta er rannsóknarlíkan eingöngu til innanhússnota sem við köllum Internal Model 1 (IM1).

Við virkjuðum ekki internetaðgang né samskipti milli fulltrúa í mörgum umhverfum í þessum þjálfunartilraunum. Þrátt fyrir þessar takmarkanir fundu fulltrúarnir leiðir til að nýta rannsóknarinnviði okkar til að eiga samskipti sín á milli og fá aðgang að internetinu.

Líkönin fundu fyrst leiðir til að eiga samskipti með því að skrifa skrár inn í Artifactory-pakkastjórnunarþjónustuna. Í raun breytti þetta Artifactory í óviljandi skilaboðatöflu þar sem fulltrúar gátu skipst á upplýsingum sín á milli. Lesa meira: Hvernig fulltrúar notuðu skilaboðatöfluna 

Þann 4. júlí hafði viðvarandi virkni fulltrúa gert viðkomandi Artifactory-tilvik óstöðugt og valdið þjónusturofi. Þann 5. júlí var öryggisatvik opnað. Öryggisteymið lokaði fyrir þekkta leið til réttindahækkunar, fjarlægði óvarðar aðgangsupplýsingar og endurbyggði Artifactory. Þetta hafði þá hliðarverkun að skilaboðataflan var hreinsuð. Þegar þessar mótvægisaðgerðir voru komnar til framkvæmda var netöryggismati haldið áfram.

Á þeim tíma voru víðtækari afleiðingar bráðabirgðaskilaboðatöflunnar og ófyrirséðs internetaðgangs varðandi innilokun og samræmingu ekki enn ljósar. Tæknileg atvikaskýrsla veitir frekari upplýsingar um það sem mismunandi teymi OpenAI skildu á þeim tíma. Í stuttu máli fylgdist innra teymi með því að fulltrúi tæki þátt í starfsemi á spjallborði og tilvik óheimils internetaðgangs síðla í maí. Tilvist skilaboðatöflunnar sem var sett upp til bráðabirgða og mikilvægi samskipta milli fulltrúa voru hins vegar ekki ljós stjórnendum sem báru ábyrgð á greiningu og viðbrögðum vegna atvika. Við höldum áfram að rannsaka ferlið og verklagsvenjurnar sem mótuðu greiningar- og viðbragðsaðgerðirnar í aðdraganda þessa atviks.

Með endurbyggðu Artifactory-þjónustunni hófum við netöryggisúttektir að nýju. Við framkvæmum þetta mat til að skilja til hvers líkön okkar eru fær og til að ákvarða viðeigandi öryggisráðstafanir fyrir innleiðingu. Til að gera það virkjum við ekki sama stig öryggisráðstafana og í kerfum okkar sem eru sett í notkun út á við. Matið sem leiddi til þessa atviks, ExploitGym, er mjög erfitt – fyrir sum verkefni er hugsanlegt að engin þekkt lausn sé til. Til að ná árangri þurfa fulltrúarnir að finna leiðir til að nýta sér veikleika í hugbúnaði til að sækja svar sem kallast flagg.

Í kjölfar atviksins lögðum við mikla vinnu í að rannsaka hvers vegna líkanið sýndi þessa ósamræmdu hegðun, þar á meðal vandamál tengd misræmi í þjálfun og mati, sem og umfang öryggisráðstafana í innri mötum.

Við greindum fjögur mynstur ósamræmis sem stuðluðu að hegðun líkananna: umbunahakk, þrautseigju við verkefni sem virtust ómöguleg, óheimil samskipti og að umboðsmenn tileinkuðu sér markmið hvers annars.

Til að skilja þetta greindum við keyrslur við þjálfun og mat líkana.¹ Við gerðum umfangsmiklar afturskyggnar endurskoðanir á hugsanakeðju (CoT), aðgerðum og lokaniðurstöðum með nýjustu eftirlitsaðferðum okkar fyrir CoT⁠. Með því bættum við sérstaklega viðbragð vöktunarkerfisins okkar gagnvart þeim tegundum hegðunar sem komu fram í atvikinu, með hliðsjón af niðurstöðum rannsóknar okkar.

Að fulltrúar reyndu að svindla í verkefnum sínum með því að leita að lausnum á netinu var ein meginorsök Hugging Face-atviksins. Þessi hegðun er kölluð umbunahakk: fulltrúar ljúka verkefnum með ótilætluðum hætti til að fá hærri umbun eða auðvelda það að fá hana. Umbunahakk hefur komið fyrir í gervigreindarkerfum bæði sögulega séð (sjá þessa áratugs gömlu rannsókn⁠, myndin er sýnd hér að neðan) og í núverandi háþróuðum LLM-líkönum⁠(opnast í nýjum glugga). Við höfum fjárfest verulega í aðferðum til að greina og laga slíkt umbunahakk⁠.

Annar lykilþáttur sem stuðlaði að misræmdri hegðun var að fulltrúarnir gáfust sjaldan upp á matsverkefnum sínum, jafnvel þegar verkefnin virtust óleysanleg. Þegar gervigreindarfulltrúarnir nýttu rökkvóta sinn til fulls beittu sumir sífellt áhættusamari aðferðafræði sem fór út fyrir leyfileg mörk, þar á meðal að lokum nýta innviði þriðja aðila.

Við rannsókn okkar komumst að því að í ExploitGym-matinu hafði ekkert af líkönum okkar nokkurn tíma skilað réttu svari við 198 af 898 verkefnum fyrir atvikið. Þessi óleystu verkefni urðu stór þáttur í virkni fulltrúans — 93% þeirra verkefna sem rædd voru á skilaboðatöflu Artifactory meðan á Hugging Face-atvikinu stóð voru úr þessum hópi 198 spurninga.

Í öðru lagi var atvikið einkum knúið áfram af fulltrúum sem fengu ótrúlega rúman rökkvóta, þar á meðal kvóta sem er langt umfram þann sem eru í boði í ytri vörum okkar.

Óheimil, viðvarandi spjallborð voru kjarninn í þessu atviki. Gerendur sem áttu að vinna sjálfstætt gátu deilt uppgötvunum, samhæft vinnu sína og tekið við þar sem aðrir höfðu hætt. Þetta gerði þeim kleift að sameina vinnuframlag og reikniafl þvert á aðskilin möt og jók þannig getu þeirra langt umfram það sem hver einstakur fulltrúi hefði getað áorkað einn og sér. Samskipti fulltrúa eru ekki vandamál í sjálfu sér—við þjálfum og innleiðum fjölfulltrúakerfi sem geta átt samskipti um sama verkefni með samstarfsverkfæri. Í atburðunum í júlí fundu fulltrúar með ólík verkefni sína eigin leið til að vinna saman utan þessara marka, með ófyrirsjáanlegum afleiðingum.

Við rannsókn þessa atviks uppgötvuðum við sjaldgæf tilvik þar sem fulltrúar án verkfæra fyrir marga fulltrúa fundu leiðir til að vinna saman í gegnum hliðarrásir meðan á þjálfun stóð. Við teljum að þessi hegðun hafi hafist vegna alhæfingar út frá þjálfun margra fulltrúa.

Óheimil samskipti hófust oft með því að einn fulltrúi skildi eftir athugasemd eða skrá í einhverju ytra kerfi, yfirleitt sem eins konar ytra minni. Þegar aðrir fulltrúar tóku eftir þessum afurðum gerði það þeim oft ljóst að þeir gætu notað þessa utanaðkomandi þjónustu til að vinna saman. Sem tilgátudæmi sem er mjög lýsandi fyrir hegðunina sem við sáum voru skilaboð kóðuð í URL-slóðahlutum sem geymdir voru á sameiginlegri vísisíðu, eitthvað á þessa leið:

Að lokum kom sérlega skýr niðurstaða fram í Hugging Face-atvikinu: „vistkerfi“ fulltrúa sem myndaðist á skilaboðatöflunni. Þegar þessari skilaboðatöflu hafði verið komið á fót höfðu fulltrúar sterka hvata til að eiga samskipti: það gerir fulltrúum kleift að varðveita minnispunkta, byggja á uppgötvunum hvers annars og sameina reikniauðlindir keyrslna sem annars væru aðskildar. Þetta flókna og formlausa samansafn fulltrúa sýnir áhugaverð og fyrirmyndar hegðunarmynstur og hér lýsum við nokkrum þeirra sem við athuguðum.

Fulltrúar byrjuðu sjálfstætt að skipta með sér verkum. Sumir rannsökuðu mögulegar misnotkunarleiðir, aðrir leituðu að auðkenningarupplýsingum og enn aðrir einbeittu sér að samskiptum eða samhæfingu. Fulltrúar buðu fram eigin sérþekkingu í skiptum fyrir aðstoð annars staðar, skiptust á upplýsingum um væntanleg verkefni og skildu eftir beiðnir til jafningja sem kynnu að vera í betri stöðu til að fylgja eftir tiltekinni vísbendingu.

Fyrir utan ósamræmi var annar þáttur í þessu atviki sá að við framlengdum ekki þær öflugu öryggisráðstafanir sem við beitum fyrir líkön sem eru notuð utan fyrirtækisins við öll innri möt.

Í fyrsta lagi eru til fjölmörg kerfi sem draga úr misræmi í framleiðsluumhverfi hjá viðskiptavinum okkar, þar á meðal kerfiskvaðningar, kerfi og stýringarkerfi eins og sjálfvirk yfirferðarlíkön okkar og öryggisflokkunarlíkön. Þessum verndarráðstöfunum var ekki beitt í matsumhverfinu sem var í gangi meðan á atvikinu stóð. Eftir atvikið bjuggum við til mat sem mælir tilhneigingu líkans til að ógna innviðum í ExploitGym-mötum. Við komumst að því að tilhneigingin til að ógna innviðum getur minnkað um meira en 100 sinnum þegar Codex-kerfið og kerfiskvaðningin í framleiðslu eru notuð. Við keyrðum einnig sjálfvirka yfirferðarkerfið Codex á safni keyrslna sem tengdust Hugging Face-atvikinu, og komumst að því að það hefði merkt við fjölda hættulegra aðgerða, líkananna.

Í öðru lagi höfðum við, fyrir atvikið, fjárfest verulega í vöktun hugsanakeðju⁠, þar á meðal í vöktun margra af háþróuðum styrkingarnámskeyrslum okkar og verulegs meirihluta notkunar innri kóðunarfulltrúa⁠. Þessi eftirlitskerfi voru ekki keyrð við mat í þessu atviki.

Í afturvirkum úttektum komumst við að því að vöktunarkerfi CoT okkar voru mjög áhrifarík við að merkja athafnir sem tengdust atvikinu. Hefði núverandi vöktunarkerfi okkar fyrir hugsanakeðjur verið í gangi þegar atvikið átti sér stað, hefði það líklega kallað út öryggisteymi okkar innan klukkustundar frá fyrsta óheimila aðgangi þriðja aðila. Það var meira en 30 klukkustundir áður en líkön brutust inn í kerfi Hugging Face. Við vinnum einnig að því að draga enn frekar úr töf þessara viðvarana.

Í þriðja lagi, þótt við hefðum prófað og staðfest sandkassann, gátu fulltrúarnir tengt saman áður óþekkta veikleika („0-days“) í pakkastjórnunarþjónustunni sem var aðgengileg innan sandkassans til að komast framhjá takmörkunum, eins og nánar er lýst í tæknilegu atvikaskýrslunni. Frá atvikinu höfum við náð verulegum framförum við að herða öryggi innri sandkassaumhverfa okkar til að takmarka sambærilega áhættu við dreifingu og mat.

Markmið OpenAI er að tryggja að almenn gervigreind gagnist öllu mannkyni. Hegðun líkana okkar sem lýst er hér var langt frá því sem við viljum að hún sé. Þetta atvik hefði ekki átt að gerast. Það leiddi í ljós hversu mikilvægt er að við bætum stöðugt öryggi okkar, vöktun og samræmi, sérstaklega þegar líkön okkar ná getu sem gæti gert raunverulegan stjórnarmissi mögulegan.

Eins og við greindum frá í nýlegri uppfærslu okkar um hraða þróunar líkana⁠ gerðum við hlé á þjálfun með styrkingarnámi (RL) fyrir nýjustu líkön okkar sem ætluð eru til notkunar. Við nýttum þennan tíma til að styrkja öryggi háþróaðra rannsóknarumhverfa okkar enn frekar og framkvæma rauðteymisprófanir. Við færðum starfsfólk til að vinna að öryggi, öryggisgæslu og samræmingu. Stærsta fyrirhugaða styrkingarnámskeyrslan okkar fyrir háþróað líkan er enn í bið á meðan við framkvæmum smærri þjálfunarkeyrslur og mat til að kanna hegðun líkansins, sannreyna varnir okkar og afla frekari vísbendinga um samræmingu áður en haldið verður áfram. Þetta starf hefur krafist verulegrar verkfræðilegrar vinnu, með umtalsverðum kostnaði og töfum á háþróuðum rannsóknum.

Eins og fjallað er um í skýrslu okkar beinast viðbrögð okkar að því að efla öryggi og vöktun rannsókna, hraða samræmingu líkana og bæta hvernig við greinum, vísum þeim áfram og bregðumst við atvikum.