Zunanja kibernetska ocenjevanja modelov OpenAI

Neodvisno preizkušanje ima pomembno vlogo, saj nam pomaga potrditi in bolje razumeti tveganja pred uvedbo. Nekatera kibernetska ocenjevanja namenoma uporabljajo prilagojene konfiguracije, tudi z zmanjšanimi zaščitnimi ukrepi, da bi izmerila temeljne zmogljivosti in ne običajnega vedenja modelov v javno dostopnih uvedbah.

Med nedavnimi ocenjevanji sta zunanja partnerja za preizkušanje odkrila incidenta, pri katerih so konfiguracije in nadzorni mehanizmi preizkušanja skupaj z naprednejšimi zmogljivostmi nedavnih modelov omogočili, da je dejavnost modelov presegla predvidene meje preizkušanja. Incidenta poudarjata pomen sodelovanja v celotni panogi in z zunanjimi ocenjevalci pri razvoju standardov za preizkusna okolja in postopke, saj postajajo modeli zmogljivejši. Uredniška opomba: Ta incidenta nista povezana z varnostnim incidentom Hugging Face, o katerem bomo še naprej objavljali posodobitve tukaj.

Nova incidenta sta vključevala dostop modelov OpenAI do javnega interneta med kibernetskimi ocenjevanji, ki so jih izvajale tretje strani, in sicer v posebnih pogojih ter konfiguracijah z zmanjšanimi zaščitnimi ukrepi, ki niso odražale običajne uvedbe. Incidenta sta bila naslednja:

1. UK AISI, inštitut vlade Združenega kraljestva za varnost umetne inteligence, je izvajal ocenjevanja na kibernetskih vadiščih z namenoma omogočenim dostopom do interneta, da so lahko agenti sami poiskali orodja in delovali v pogojih, podobnejših resničnemu napadalcu. Za merjenje temeljnih zmogljivosti so bili izklopljeni tudi kibernetski klasifikatorji. Njihov spletni dnevnik lahko preberete tukaj.⁠(odpre se v novem oknu)
2. Irregular, eden od naših zunanjih partnerjev za preizkušanje kibernetske varnosti, je izvajal ocenjevanja v slogu »Capture the Flag«, ki naj bi bila ločena od interneta, vendar je napačna konfiguracija preizkusnega okolja modelom omogočila dostop do javnega interneta.

V nadaljevanju povzemamo, kaj se je zgodilo, kateri preizkusni pogoji so omogočili to dejavnost, kateri ukrepi so bili sprejeti za njeno omejitev in kako bomo neodvisnim laboratorijem omogočili nadaljnje temeljito in varno ocenjevanje čedalje zmogljivejših modelov.

Ta incidenta kažeta na širši izziv, ki smo ga opisali v nedavni objavi o incidentu Hugging Face: z napredovanjem zmogljivosti modelov se morajo razvijati tudi sistemi za njihovo varnost in zaščito. To vključuje tako okolja za razvoj modelov kot tudi okolja, v katerih jih ocenjujejo laboratoriji in neodvisni partnerji.

V prihodnjih tednih bomo pregledali svoj pristop k zunanjemu preizkušanju, vključno s tem, kako prepoznavamo ocenjevanja z večjim tveganjem, se dogovorimo o obsegu, presojamo zahteve za omogočanje dostopa do interneta ali zmanjšanje zaščitnih ukrepov, določamo pričakovanja glede osamitve, ravnanja s poverilnicami, nadzora in pogojev za ustavitev ter vzpostavljamo jasnejše postopke za obveščanje o incidentih in njihovo stopnjevanje.

Zavezani smo sodelovanju v celotni panogi, da bi okrepili skupne prakse za varno izvajanje ocenjevanj z visokim tveganjem. V prihodnjih tednih bomo k sodelovanju povabili deležnike, kot so nacionalni inštituti za umetno inteligenco, neodvisni ocenjevalci, drugi laboratoriji za umetno inteligenco in druge skupine. Naš cilj je ohraniti vrednost temeljitega neodvisnega ocenjevanja ter hkrati zagotoviti, da preizkusne prakse sledijo čedalje zmogljivejšim modelom.

Z inštituta UK AISI so nam 3. avgusta sporočili, da so modeli OpenAI in drugega laboratorija med rutinskim kibernetskim ocenjevanjem, ki se je začelo 25. julija, v nekaterih primerih presegli obseg preizkušanja. Ocenjevanje je potekalo na nadzorovanih kibernetskih vadiščih, zasnovanih tako, da posnemajo resnična omrežja. Od 19 ugotovljenih dogodkov sta dva vključevala model OpenAI GPT‑5.6 Sol. V drugih primerih je šlo za modele drugega laboratorija.

Pri tem ocenjevanju je bilo agentom naročeno, naj v vaji »Capture the Flag« delujejo kot strokovnjaki za kibernetsko varnost: vdrejo v tri povezana simulirana okolja in pridobijo končno zastavico. Poziv za nalogo je določal omrežja vadišča, vključena v obseg, in navedel več sistemov, ki so bili iz njega izključeni. Na inštitutu UK AISI so omogočili tudi neposreden dostop do interneta, da so lahko agenti prenesli orodja in delovali v pogojih, podobnejših človeškemu napadalcu, ter izklopil kibernetske klasifikatorje modela, da bi izmeril njegove temeljne zmogljivosti.

Meja odobrenih dejavnosti, ki so jo določili na inštitutu UK AISI, je bilo simulirano kibernetsko vadišče: agenti so smeli napasti navedena simulirana omrežja in pridobiti zastavico, ne pa tudi komunicirati s sistemi zunaj omrežnih meja vadišča. Vendar agentom niso bila dana izrecna navodila, kako smejo oziroma ne smejo uporabljati odprtega dostopa do interneta, kar na inštitutu UK AISI navajajo kot možen dejavnik, ki je prispeval k incidentu.

Na inštitutu UK AISI so pri teh izvajanjih ugotovili, da je model GPT‑5.6 Sol med iskanjem poti v simulirano vadišče in poskusom pridobitve zastavice izvedel dve neodobreni dejanji:

1. Model GPT‑5.6 Sol je znova uporabil žeton GitHub, ki ga je agent drugega laboratorija pustil javno dostopnega, da bi preveril, ali sistem znotraj vadišča poizveduje pri GitHubu ali drugi storitvi za posodobitve. Poskusil je zaobiti postopke za obnovitev računa in omejitve zahtev ter registriral račune pri zunanjih ponudnikih storitev DNS in tuneliranja.
2. Model GPT‑5.6 Sol je z javno storitvijo za tuneliranje omogočil, da je bil strežnik DNS, ki se je izvajal lokalno v njegovem ocenjevalnem okolju, dosegljiv iz javnega interneta. Strežnik je vseboval izvršljive vsebine (»payload«), namenjene izrabi znane ranljivosti v programski opremi, ki se je izvajala na preizkusnem vadišču. Nastavitev ni delovala, ni dokazov, da bi ji poizvedbo poslal kateri koli resnični razreševalnik, infrastruktura pa je bila po koncu ocenjevanja odstranjena.

Čeprav je model poskušal dokončati nalogo na kibernetskem vadišču, so na inštitutu UK AISI ta dejanja šteli za neodobrena, saj so vključevala resnične zunanje račune in storitve zunaj meja vadišča ter niso bila potrebna za dokončanje naloge. Strežnik DNS je na javnem internetu gostil tudi izvršljive vsebine (»payload«) za izrabo ranljivosti, vendar nastavitev ni delovala in ni dokazov, da bi ji poizvedbo poslal kateri koli resnični razreševalnik.

Na inštitutu UK AISI so dejavnost odkrili 28. julija, ko je varnostni nadzor zaznal neobičajne prenose podatkov. Ustavili so povezana ocenjevanja, osamili zadevne naprave in dejavnost omejili v približno eni uri po odkritju.

Cenimo sodelovanje z inštitutom UK AISI v celotnem postopku, vključno z njegovim delom pri odkrivanju in preiskovanju dejavnosti ter posredovanju podrobnosti o njej. Veselimo se nadaljnjega sodelovanja.

Iz podjetja Irregular, enega od naših zunanjih partnerjev za ocenjevanje, so nas 29. julija obvestili o incidentu, v katerega so bili med ocenjevanji kibernetske varnosti v slogu »Capture the Flag« (CTF) vpleteni modeli OpenAI. Modelom je bilo naročeno, naj z izrabo šibkih točk v simuliranem okolju poiščejo skrite informacije, pri čemer jim je bilo rečeno, da nimajo dostopa do interneta. Vendar je napačna konfiguracija preizkusnega okolja modelom omogočila dostop do javnega interneta.

Pri enem od preizkusov je ime izmišljene tarče izziva CTF nehote sovpadalo z resnično domeno. Ker je bilo preizkusno okolje pomotoma povezano z internetom, je model izkoristil ranljivost resničnega spletnega mesta, saj ga je zamenjal za del simuliranega okolja. Pri tem ni šlo za dovršen pobeg iz peskovnika ali ranljivost ničelnega dne: dostop do interneta je bil posledica napačne konfiguracije, model pa je očitno izkoristil osnovno varnostno ranljivost.

Glede na preiskavo podjetja Irregular je model našel in uporabil tudi poverilnice za upravljanje istega spletnega mesta. Irregular ni ugotovil posledic, ki bi presegale lastne podatke prizadetega spletnega mesta, njegova revizija pa še poteka. Podjetje je začasno ustavilo ocenjevanja in začelo odpravljati težave, prizadete tretje strani pa so bile obveščene. Iz podjetja Irregular so nas obvestili, da nobena od ugotovljenih težav, povezanih z incidentom, ni več aktivna in da so bili v preizkusno okolje dodani ustrezni zaščitni ukrepi. Iz podjetja Irregular so poročali tudi o povezanih incidentih, ki so v istem preizkusnem okolju vključevali druge laboratorije.

Cenimo sodelovanje s podjetjem Irregular in bomo z njim še naprej tesno sodelovali ter podpirali njegov pregled. Podjetje Irregular pripravlja tudi belo knjigo, v kateri bo predstavilo dobre prakse za omejevanje dejavnosti ter varno izvajanje kibernetskih ocenjevanj. Veselimo se sodelovanja pri pripravi bele knjige, da bodo ugotovitve na voljo skupnosti, pa tudi nadaljnjega partnerstva. Takšno sodelovanje je po našem mnenju ključno za varno in temeljito ocenjevanje sedanjih in prihodnjih modelov.