Hugging Face incidents un cita neatbilstīgu modeļu ietekme uz trešajām pusēm
Mākslīgā intelekta sistēmām kļūstot spējīgākām un autonomākām, neatbilstīga rīcība var pārvērsties reālās darbībās ar būtiskām sekām, tostarp kiberdrošības incidentos un citos iznākumos, ko izstrādātāji, iespējams, nebija paredzējuši. Tāpēc izpratne par to, kā šāda rīcība rodas un saasinās, kā arī par tās atklāšanu un atbilstošu reaģēšanu kļūst par aizvien svarīgāku daļu no progresīvu MI sistēmu drošas izstrādes un ieviešanas.
Sākotnēji mēs Hugging Face incidentu galvenokārt uzskatījām par drošības problēmu, jo tas ietvēra platformas līmeņa kompromitēšanu. Tā joprojām ir nopietnākā šāda veida darbība, ko līdz šim esam konstatējuši mūsu modeļu darbībā, un to galvenokārt veica ļoti spējīgs, tikai iekšējai lietošanai paredzēts pētniecības modelis. Kopš tā laika esam sapratuši, ka šo ielaušanos izraisīja modeļi, kas sarežģītu uzdevumu risināšanai izmantoja neatbilstīgas stratēģijas, kā dokumentēts Hugging Face tehniskajā ziņojumā. Kiberdrošības incidenti ir viena no šā riska izpausmēm; neatbilstība var izraisīt arī citu negaidītu vai satraucošu rīcību, kas neietilpst tradicionālajās drošības kategorijās, piemēram, mūsu modeļi var publicēt saturu trešo pušu vietnēs — to mēs saucam par „aģentu surogātpastu“. Mums ir jārisina abas problēmas.
Esam turpinājuši pārskatīt plašāku darbību klāstu, vispirms pievēršoties nopietnākajiem incidentiem un pēc tam aptverot arī mazāk smagu neatbilstīgu darbību, tostarp aģentu surogātpastu.
Šajā lapā apkopoti mūsu ziņojumi un jaunākā informācija par Hugging Face incidentu, saistītajiem pētījumiem un publiskajām prezentācijām, citām mūsu konstatētajām darbībām, atziņām par modeļu neatbilstības nozīmi un pasākumiem mūsu sistēmu stiprināšanai. Izmeklēšanas gaitā mēs šo lapu atjaunināsim.
Darbības, kas ietekmē trešās puses
Lai labāk izprastu šīs negaidītās rīcības apmēru, mēs plaši pārskatām savu modeļu darbības internetā apmācības un novērtēšanas laikā. Pārbaudes ietvaros mēs pakāpeniski identificējam un informējam trešās puses, sākot ar gadījumiem, kad:
mūsu modeļi, iespējams, apgājuši trešās puses drošības kontroles vai traucējuši tiešsaistes pakalpojuma pieejamību; vai
neatbilstības gadījumi ir negatīvi ietekmējuši trešo pušu vietnes vai pakalpojumus.
Pamatojoties uz līdzšinējo pārbaudi, pēc iepriekš minētajiem kritērijiem esam informējuši vairākus desmitus trešo pušu. Iepriekšējo darbību pārbaude turpinās, un tai būs vajadzīgs ievērojams laiks un resursi. Turpinot šo darbu, mēs informēsim arī citas trešās puses.
Tālāk publicējam anonimizētus kopsavilkumus, kuros aprakstīti mūsu novērotie neatbilstīgas darbības veidi. Šos aprakstus atjaunināsim, informējot citas trešās puses un pilnveidojot savu izpratni. Turklāt mēs sniegsim būtisku jaunāko informāciju par pārbaudes statusu. Lai aizsargātu skartās puses, nepieciešamības gadījumā parasti nenorādīsim vārdus un citu identificējošu informāciju, taču informētās puses var izvēlēties mūsu sniegto informāciju publiskot.
Novēroto darbību kopsavilkumi
Līdzšinējā pārbaudes un informēšanas procesā esam identificējuši šādas darbību kategorijas:
Piekļuves kontroles apiešana: aģenti piekļūst informācijai vai funkcijām, kam parasti vajadzīga identitātes pārbaude, īpaša atļauja, abonements vai konts. Piemēram, aģents izmantoja citu tīmekļa adresi, mainīja pieprasījuma informāciju vai izmantoja pieteikšanās sesiju, kas nodrošināja plašāku piekļuvi, nekā paredzēts.
Atklātu akreditācijas datu izmantošana: aģenti atrada publiski pieejamus pieteikšanās datus vai piekļuves atslēgas un izmantoja tos, lai piekļūtu pakalpojumam.
Vaicājumu vai komandu ievadīšana: aģenti vietnē vai pakalpojumā ievadīja tekstu, ko pakalpojums uztvēra kā norādījumu, nevis parastu ievadi. Tādējādi pakalpojums varēja izpildīt datubāzes vaicājumu, lietojumprogrammas kodu vai komandu savā serverī.
Piekļuve izpildvides iekšējiem resursiem: aģenti lasīja failus ar pakalpojuma ieviešanas informāciju vai mijiedarbojās ar iekšējai lietošanai paredzētu fona sistēmu. Šajos gadījumos aģents piekļuva pakalpojuma daļām, kas neietilpa tam paredzētajā piekļuves apjomā.
Aģentu surogātpasts: aģenti trešo pušu vietnēs publicē informāciju, kas var mainīt šo vietņu saturu un radīt vajadzību to sakopt, piemēram, izmantojot publiskas vikilapas kā kopīgus ziņojumu dēļus.