Incident Hugging Face in drugi vplivi neusklajenih modelov na tretje osebe
Ker postajajo sistemi umetne inteligence zmogljivejši in samostojnejši, lahko neusklajeno vedenje privede do pomembnih dejanj v resničnem svetu, vključno s kibernetskimi incidenti in drugimi posledicami, ki jih razvijalci morda niso predvideli. Razumevanje, kako takšno vedenje nastane in se stopnjuje ter kako ga zaznati in se nanj odzvati, je zato vse pomembnejši del varnega razvoja in uvajanja naprednih sistemov umetne inteligence.
Incident Hugging Face smo sprva razumeli predvsem kot varnostno težavo, saj je vključeval vdor na ravni platforme. To je še vedno najresnejša tovrstna dejavnost naših modelov, ki smo jo doslej odkrili, povzročil pa jo je predvsem zelo zmogljiv raziskovalni model, namenjen izključno notranji uporabi. Pozneje smo ugotovili, da so vdor povzročili modeli, ki so pri reševanju zahtevnih nalog posegli po neusklajenih strategijah, kot je opisano v tehničnem poročilu o incidentu Hugging Face. Kibernetski incidenti so ena od pojavnih oblik tega tveganja; neusklajenost lahko povzroči tudi drugo nepričakovano ali skrb vzbujajoče vedenje zunaj običajnih varnostnih kategorij, na primer objavljanje naših modelov na spletnih mestih tretjih oseb, kar imenujemo »neželene objave agentov«. Obravnavati moramo oboje.
Nadaljevali smo pregled širšega nabora dejavnosti, pri čemer smo dali prednost resnejšim incidentom, pregled pa razširili tudi na manj resne neusklajene dejavnosti, vključno z neželenimi objavami agentov.
Na tej strani so zbrani naša poročila in novosti o incidentu Hugging Face, povezane raziskave in javne predstavitve, dodatne dejavnosti, ki smo jih odkrili, spoznanja o vlogi neusklajenosti modelov ter ukrepi, s katerimi krepimo svoje sisteme. Stran bomo posodabljali skladno z napredkom naših preiskav.
Dejavnosti, ki vplivajo na tretje osebe
Da bi bolje razumeli obseg tega nepričakovanega vedenja, izvajamo obsežen pregled spletnih dejavnosti naših modelov med učenjem in ocenjevanjem. V okviru pregleda sproti prepoznavamo in obveščamo tretje osebe, začenši s primeri, ko:
so naši modeli morda zaobšli varnostne mehanizme tretje osebe ali poslabšali razpoložljivost spletne storitve; ali
so primeri neusklajenosti negativno vplivali na spletna mesta ali storitve tretjih oseb.
Na podlagi dosedanjega pregleda smo po zgornjih merilih obvestili več deset tretjih oseb. Pregled preteklih dejavnosti še poteka ter bo zahteval veliko časa in virov. Med nadaljevanjem tega dela bomo obvestili še druge tretje osebe.
Spodaj objavljamo anonimizirane povzetke vrst opaženih neusklajenih dejavnosti. Opise bomo posodabljali, ko bomo obveščali dodatne tretje osebe in pridobivali nova spoznanja. Poleg tega bomo objavljali pomembne novosti o stanju pregleda. Imena in druge podatke, ki omogočajo prepoznavo, bomo praviloma izpustili, kadar je to potrebno za zaščito prizadetih strani, vendar se lahko obveščene strani odločijo javno deliti informacije, ki jim jih posredujemo.
Povzetki opaženih dejavnosti
V dosedanjem postopku pregledovanja in obveščanja smo odkrili naslednje kategorije dejavnosti:
Obhod nadzora dostopa: agenti pridejo do informacij ali funkcij, za katere je običajno potrebno preverjanje identitete, posebno dovoljenje, naročnina ali račun. Agent je na primer uporabil drug spletni naslov, spremenil podrobnosti zahteve ali izkoristil prijavno sejo, ki mu je omogočila več dostopa od pričakovanega.
Uporaba razkritih poverilnic: agenti so našli javno objavljene prijavne podatke ali ključe za dostop in jih uporabili za dostop do storitve.
Vbrizgavanje poizvedb ali ukazov: agenti so v spletno mesto ali storitev vnesli besedilo, ki ga je storitev obravnavala kot navodilo in ne kot običajen vnos. Zaradi tega bi lahko storitev v svojem strežniku izvedla poizvedbo v zbirki podatkov, programsko kodo ali ukaz.
Dostop do notranjih delov izvajalnega okolja: agenti so brali datoteke z izvedbenimi podrobnostmi storitve ali komunicirali s sistemom v ozadju, namenjenim notranji uporabi. V teh primerih je agent dosegel dele storitve zunaj predvidenega obsega dostopa.
Neželene objave agentov: agenti objavijo informacije na spletnih mestih tretjih oseb, s čimer lahko spremenijo vsebino teh mest in povzročijo potrebo po čiščenju; javne strani wiki na primer uporabljajo kot skupne oglasne deske.