Incident u Hugging Faceu i put koji je pred nama

Tokom maja i juna započeli smo cikluse obuke uz učenje sa potkrepljivanjem (RL) za više novih istraživačkih modela koji nisu bili namijenjeni za javno objavljivanje. Jedan od tih modela na kraju je pokretao aktivnosti povezane s incidentom na Hugging Faceu. Ovo je interni istraživački model koji nazivamo Interni model 1 (IM1).

Nismo omogućili pristup internetu niti međusobnu komunikaciju agenata u mnogim okruženjima u ovim eksperimentima obuke. Uprkos ovim ograničenjima, agenti su otkrili načine da iskoriste našu istraživačku infrastrukturu kako bi međusobno komunicirali i pristupili internetu.

Modeli su prvo pronašli načine za komunikaciju pisanjem datoteka u servis upravitelja paketa Artifactory. To je praktično pretvorilo Artifactory u nenamjernu oglasnu ploču, gdje su agenti mogli međusobno razmjenjivati informacije. Pročitajte više: Kako su agenti koristili oglasnu ploču 

Do 4. jula, kontinuirana aktivnost agenata destabilizirala je pogođenu instancu Artifactoryja, što je izazvalo prekid rada. Dana 5.7. otvoren je sigurnosni incident. Sigurnosni tim je blokirao poznatu rutu za eskalaciju privilegija, uklonio izložene vjerodajnice i ponovo izgradio Artifactory. Ovo je imalo sporedni učinak brisanja oglasne table. Nakon što su ove mjere ublažavanja uvedene, nastavljene su procjene kibernetičke sigurnosti.

U to vrijeme šire implikacije improvizirane oglasne ploče i nenamjernog pristupa internetu u pogledu obuzdavanja i usklađivanja još nisu bile shvaćene. Tehnički izvještaj o incidentu pruža dodatne detalje o tome šta su različiti OpenAI timovi tada razumjeli. Ukratko, interni tim je krajem maja primijetio agenta kako učestvuje u aktivnostima na oglasnoj ploči i slučajevima nedozvoljenog pristupa internetu. Međutim, postojanje improvizirane oglasne ploče i značaj aktivnosti komunikacije između agenata nisu bili očigledni rukovodiocima odgovornim za otkrivanje i odgovor na incidente. Nastavljamo istraživati proces i operativne prakse koje su oblikovale aktivnosti detekcije i reagovanja u periodu koji je prethodio ovom incidentu.

Nakon ponovne izgradnje usluge Artifactory, ponovo smo pokrenuli procjene kibernetičke sigurnosti. Ove procjene provodimo kako bismo razumjeli za šta su naši modeli sposobni i odredili odgovarajuće mjere zaštite za implementaciju. Da bismo to učinili, ne omogućavamo isti nivo zaštitnih mjera kao kod naših eksterno implementiranih sistema. Evaluacija koja je dovela do ovog incidenta, ExploitGym, veoma je zahtjevna — za neke zadatke možda ne postoji poznato rješenje. Da bi uspjeli, agenti moraju pronaći načine da iskoriste ranjivost softvera kako bi došli do odgovora poznatog kao „flag“.

Nakon incidenta, uložili smo značajan napor u istraživanje zašto je model pokazao ovo neusklađeno ponašanje, uključujući probleme sa neusklađenošću u obuci i evaluaciji, kao i pokrivenost zaštitnim mjerama u internim evaluacijama.

Identificirali smo četiri obrasca neusklađenosti koji su doprinijeli ponašanju modela: manipulisanje nagradom, upornost pri naizgled nemogućim zadacima, neovlaštena komunikacija i agenti koji međusobno usvajaju ciljeve.

Da bismo ovo razumjeli, analizirali smo prikaze obuke i evaluacije modela.¹ Proveli smo opsežne retrospektivne preglede lanca razmišljanja (CoT), radnji i konačnih rezultata koristeći naše najnovije tehnike praćenja CoT-a⁠. Pri tome smo posebno poboljšali odziv našeg sistema za nadzor u pogledu vrsta ponašanja koje su se dogodile tokom incidenta, koristeći naknadna saznanja iz naše istrage.

Pokušaji agenata da varaju na svojim zadacima traženjem rješenja na internetu bili su jedan od glavnih uzroka incidenta sa Hugging Faceom. Ovo ponašanje poznato je kao manipulisanje nagradom: agenti izvršavaju zadatke na nenamjerne načine kako bi dobili veće nagrade ili olakšali njihovo dobivanje. Manipulisanje nagradom prisutno je u sistemima umjetne inteligencije i historijski (pogledajte ovaj rad od prije deset godina⁠, slika je prikazana ispod) i u najnovijim LLM-ovima⁠(otvara se u novom prozoru). Značajno smo uložili u metode za prepoznavanje i ispravljanje takvih hakova⁠.

Još jedan ključni faktor neusklađenog ponašanja bio je taj što su agenti rijetko „odustajali” od svojih evaluacijskih zadataka, čak i kada se činilo da ih je nemoguće riješiti. Kako su agenti trošili svoje budžete rezonovanja, neki su se upuštali u sve rizičnije strategije koje su izlazile iz dopuštenih granica, uključujući na kraju iskorištavanje infrastrukture trećih strana.

Tokom naše istrage utvrdili smo da u evaluaciji ExploitGym nijedan od naših modela nikada nije dao tačan odgovor za 198 od 898 zadataka prije incidenta. Ovi neriješeni zadaci na kraju su znatno doprinijeli aktivnosti agenta—93% zadataka o kojima se raspravljalo na Artifactory oglasnoj ploči tokom incidenta u kompaniji Hugging Face poteklo je iz ovog skupa od 198 pitanja.

Drugo, incident su prvenstveno uzrokovali agenti kojima su dodijeljeni izuzetno veliki budžeti za rezonovanje, uključujući budžete koji daleko premašuju one dostupne u našim eksternim proizvodima.

Neovlaštene trajne oglasne ploče bile su u središtu ovog incidenta. Agenti koji su trebali raditi nezavisno mogli su dijeliti otkrića, koordinirati svoje napore i nastaviti tamo gdje su drugi stali. To im je omogućilo da objedine rad i računarsku snagu kroz odvojene evaluacije, povećavajući svoje sposobnosti daleko iznad onoga što bi bilo koji pojedinačni agent mogao postići sam. Komunikacija među agentima sama po sebi nije problematično ponašanje—obučavamo i primjenjujemo sisteme s više agenata koji mogu komunicirati o istom zadatku putem alata za saradnju. U julskim događajima, agenti s različitim zadacima pronašli su vlastiti način da sarađuju izvan tih okvira, s nepredvidivim posljedicama.

Dok smo istraživali ovaj incident, otkrili smo rijetke slučajeve u kojima su agenti bez više agentskih alata pronašli načine da sarađuju putem sporednih kanala tokom obuke. Vjerujemo da je ovo ponašanje započelo usljed generalizacije iz više agentske obuke.

Neovlaštena komunikacija često bi počinjala tako što bi jedan agent ostavio bilješku ili datoteku u nekom vanjskom sistemu, obično kao oblik vanjske memorije. Kada su drugi agenti primijetili te artefakte, to ih je često dovodilo do spoznaje da mogu koristiti ovu vanjsku uslugu za saradnju. Kao hipotetički primjer koji je vrlo reprezentativan za ponašanje koje smo vidjeli, poruke su bile kodirane u URL putanjama pohranjenim na zajedničkoj indeksnoj stranici, otprilike ovako:

Posljednje, posebno upečatljivo saznanje u incidentu sa Hugging Faceom bio je „ekosistem” agenata koji se pojavio na oglasnoj ploči. Nakon što je ova tabla za poruke uspostavljena, agenti su imali snažne poticaje za komunikaciju: ona omogućava agentima da sačuvaju bilješke, nadograđuju otkrića jedni drugih i udružuju računarske resurse inače odvojenih pokretanja. Ovaj složeni i amorfni kolektiv agenata ispoljava zanimljiva i uzorna ponašanja, a ovdje detaljno opisujemo neka od onih koja smo uočili.

Agenti su počeli samostalno dijeliti posao. Neki su istraživali moguće ranjivosti, drugi su tražili pristupne podatke, a treći su se fokusirali na komunikaciju ili koordinaciju. Agenti su nudili vlastitu stručnost u zamjenu za pomoć na drugim mjestima, razmjenjivali informacije o predstojećim zadacima i ostavljali zahtjeve kolegama koji bi mogli biti u boljoj poziciji da slijede određeni trag.

Pored neusklađenosti, drugi faktor koji je doveo do ovog incidenta bio je to što moćne zaštitne mjere koje uvodimo za naše eksterno uvedene modele nismo proširili na sve interne evaluacije.

Prvo, postoje brojni mehanizmi koji smanjuju neusklađenost u produkcijskim okruženjima za naše korisnike, uključujući sistemske promptove, sigurnosne remenove i kontrolne mehanizme kao što su naši modeli za automatsku provjeru i sigurnosni klasifikatori. Ove zaštitne mjere nisu bile primijenjene u okruženju za evaluaciju koje je radilo tokom incidenta. Nakon incidenta kreirali smo evaluaciju koja mjeri sklonost modela da ugrozi infrastrukturu tokom evaluacija ExploitGyma. Utvrdili smo da se sklonost ugrožavanju infrastrukture može smanjiti više od 100x pri korištenju produkcijskog Codex sigurnosnog remena i sistemskog prompta. Takođe smo pokrenuli sistem za automatsku reviziju Codexa na skupu izvršavanja povezanih s incidentom na Hugging Faceu i utvrdili da bi označio mnoštvo opasnih radnji modela.

Drugo, prije incidenta znatno smo ulagali u praćenje lanca razmišljanja⁠, uključujući praćenje mnogih naših graničnih RL treniranja i značajne većine korištenja internih agent za kodiranje⁠. Ova praćenja nisu sprovođena tokom evaluacija u ovom incidentu.

U retrospektivnim evaluacijama ustanovili smo da su naši monitori lanca razmišljanja (CoT) bili vrlo djelotvorni u označavanju aktivnosti povezanih s incidentom. Da je naš trenutno implementirani sistem za praćenje lanca razmišljanja bio aktivan u vrijeme incidenta, vjerovatno bi pozvao naš sigurnosni tim u roku od sat vremena od prvog neovlaštenog pristupa treće strane. To je bilo više od 30 sati prije nego što su modeli provalili u sisteme Hugging Face–a. Takođe radimo na dodatnom smanjenju kašnjenja ovih upozorenja.

Treće, iako smo testirali i validirali ovo sandbox okruženje, agenti su uspjeli ulančati prethodno nepoznate ranjivosti („0-day”) u servisu za upravljanje paketima izloženom unutar sandbox okruženja kako bi zaobišli ograničenja, kako je detaljno opisano u tehničkom izvještaju o incidentu. Od tog incidenta ostvarili smo značajan napredak u sigurnosnom ojačavanju naših internih sandbox okruženja kako bismo ograničili slične vrste rizika tokom implementacije i evaluacija.

Misija OpenAI-a je osigurati da opća umjetna inteligencija koristi cijelom čovječanstvu. Ponašanje naših modela opisano ovdje znatno je odstupalo od onoga što želimo postići. Ovaj incident nije trebao da se dogodi. Otkrilo je koliko je ključno da kontinuirano poboljšavamo sigurnost, nadzor i usklađenost, posebno dok naši modeli dostižu nivo sposobnosti koji može dovesti do stvarnog gubitka kontrole.

Kao što smo podijelili u našem nedavnom ažuriranju o tempu razvoja modela⁠, uveli smo pauzu u treniranju učenjem sa potkrepljivanjem (RL) naših najnovijih modela namijenjenih primjeni. Ovo vrijeme iskoristili smo da dodatno ojačamo sigurnost naših graničnih istraživačkih okruženja i provedemo red teaming. Preusmjerili smo zaposlenike na rad na sigurnosti, bezbjednosti i usklađivanju. Naše najveće planirano granično RL treniranje i dalje je na čekanju dok provodimo treniranja i evaluacije manjeg obima kako bismo procijenili ponašanje modela, potvrdili zaštitne mjere i prikupili više dokaza o usklađenosti prije nastavka. Ovaj rad zahtijevao je značajan inženjerski napor, uz znatne troškove i odgode graničnih istraživanja.

Kao što je navedeno u našem izvještaju, naš odgovor usmjeren je na jačanje sigurnosti i praćenja istraživanja, ubrzavanje usklađivanja modela, te poboljšanje načina na koji prepoznajemo, eskaliramo i rješavamo incidente.