Prednostna področja in načela učinkovitih presoj tretjih oseb

Laboratoriji za prelomno umetno inteligenco imajo izjemno odgovornost za varno usposabljanje, vrednotenje in uvajanje modelov. Presoje tretjih oseb so ključne za uravnoteženje te odgovornosti, saj širijo možnosti za prispevanje k varnosti umetne inteligence, obveščajo javnost in zagotavljajo odgovornost laboratorijev glede jasnih in neodvisno podprtih varnostnih trditev.

OpenAI se v okviru svojih prizadevanj, da bi sledil razvoju najnaprednejše tehnologije, zavezuje podpori neodvisnim presojam s poglobljenim dostopom do usposabljanja, vrednotenja in uvedbe. Tak dostop mora presojevalcem omogočiti, da preizkusijo naše predpostavke, odkrijejo tveganja, ki smo jih morda spregledali, in samostojno presodijo učinkovitost naših zaščitnih ukrepov.

Že dolgo sodelujemo s presojevalci kot tretjimi osebami v različnih fazah razvoja in uvajanja modelov. Presoje tretjih oseb smo vključili tudi v prakse našega Okvira pripravljenosti ter podprli organizacije in zakonodajo, ki se zavzemajo za strožji in odgovornejši postopek. Pri teh sodelovanjih smo omogočili poglobljene oblike dostopa, vključno z informacijami o naših tehničnih zaščitnih ukrepih, vpogledom v verigo sklepanja ter doslej nedosegljivim dostopom do zaupnih podatkov in notranjih uvedb za odzivanje na incidente ter simulirano iskanje šibkih točk v nadzorovanem okolju pri nadzornih sistemih. Tu predstavljena prednostna področja in načela se osredotočajo na naše sodelovanje z neodvisnimi presojevalnimi organizacijami iz zasebnega in nepridobitnega sektorja pri tehničnih presojah varnosti. Dopolnjujejo naše sodelovanje z vladami pri preizkušanju in vrednotenju, kjer lahko različne vloge in odgovornosti zahtevajo drugačne pristope.

Za učinkovite presoje so potrebni trdni mehanizmi neodvisnosti, znanstvena strogost, zanesljive varnostne prakse in jasno določene odgovornosti. Laboratoriji morajo omogočiti smiseln nadzor in hkrati varovati občutljive informacije. Za pravilno izvedbo so odgovorni tako laboratoriji kot neodvisni presojevalci, delovati pa morajo v skladu s skupnimi mednarodnimi standardi varnostnih praks. V nadaljevanju predlagamo štiri prednostna področja za poglobljeno presojo ter načela za strogo, varno in neodvisno delo.

Presoje tretjih oseb so najkoristnejše, ko obravnavajo konkretna in pomembna vprašanja: Ali dokazi podpirajo utemeljitev varnosti in varnostne trditve laboratorija? Ali vrednotenja ustrezno preizkušajo tveganja, ki naj bi jih merila? Ali zaščitni ukrepi delujejo v realističnih razmerah?

Tukaj opisane presoje naj bi se izvajale v različnih oblikah glede na obravnavana varnostna vprašanja. Pričakujemo, da bomo vzporedno in v različnih časovnih obdobjih podpirali več presoj, od katerih bodo nekatere trajale več tednov, druge pa več mesecev. Čeprav so presoje tretjih oseb lahko tudi del priprav pred uvedbo in vplivajo na odločitve o uvedbi, je tukaj opisano delo praviloma dolgoročnejše in neodvisno od posameznega izida izdelka, saj se osredotoča na poglobljeno preučevanje določenih varnostnih trditev skozi čas.

Pri vseh prednostnih področjih in načelih omenjamo varnostne trditve in utemeljitve varnosti. S tema izrazoma mislimo naslednje:

Predlagamo štiri prednostna področja za poglobljeno presojo ter načela za strogo, varno in neodvisno delo.

1. Neodvisna presoja utemeljitev varnosti, ki zajema usposabljanje, vrednotenje ter notranjo in zunanjo uvedbo.

   Presoja utemeljitev varnosti zahteva strokovno znanje o usklajenosti, metodah nadzora, kot je spremljanje, kibernetski varnosti, bioloških in kemičnih zlorabah ter simuliranem iskanju šibkih točk v nadzorovanem okolju. Utemeljitve varnosti sestavljajo trditve o usposabljanju, vrednotenju zmogljivosti in zaščitnih ukrepih, ki jih je mogoče presojati skupaj ali ločeno (glejte 2. in 3. prednostno področje spodaj). Različne dele utemeljitev bo verjetno moralo preučiti več presojevalcev, pri čemer se bo vsak oprl na svoje strokovno znanje. Njihove presoje morajo skupaj odgovoriti na vprašanja, kot so:

   1. Ali so dokazi za utemeljitve varnosti usposabljanja, vrednotenja in uvedb zadostno podprti? Ali so bili pri usposabljanju, vrednotenju in uvedbi upoštevani pogoji iz utemeljitve varnosti?

   2. Ali naše utemeljitve varnosti zajemajo najnujnejša tveganja, ugotovljena med presojo? Ali varnostne trditve podpirajo celotno utemeljitev varnosti? Ali obstajajo vrzeli oziroma možnosti za izboljšave?

   3. Ali se uporabljajo učinkovite metode za prepoznavanje in zmanjševanje spodbud pri usposabljanju, ki bi lahko nagrajevale zavajanje, izigravanje sistema nagrajevanja, uničevalna dejanja ali izogibanje omejitvam?

2. Presoja ključnih zaščitnih ukrepov pri notranjih in zunanjih uvedbah

   Naš sklop zaščitnih ukrepov se nenehno razvija, da bi sledil spreminjajočim se zmogljivostim in razmeram. Naši zaščitni ukrepi zajemajo usposabljanje ter notranjo in zunanjo uvedbo. Trenutno vključujejo zaščitne ukrepe na ravni modela, ukrepe za uveljavljanje pravil in varnostne ukrepe ter nadzorne sisteme za odkrivanje neusklajenosti, s čimer zajemajo najrazličnejša tveganja, kot so izguba nadzora ter zlorabe na področjih kibernetskih, bioloških in kemičnih tveganj. S tehničnimi partnerstvi lahko že danes prepoznamo pomanjkljivosti zaščitnih ukrepov, hkrati pa izboljšujemo metode presoje in pospešujemo razvoj standardov. Tako ustvarjamo trdnejšo tehnično podlago za prihodnje javne politike, ki bodo sledile razvoju najnaprednejše tehnologije, zlasti pri notranjih uvedbah, kjer so varnostni standardi še v povojih.

   Neodvisne presoje morajo preveriti, kako dobro ti zaščitni ukrepi delujejo in kje so lahko pomanjkljivi, na primer:

   1. Ali so zaščitni ukrepi pri dostopu po načelu »sive škatle« odporni proti adversarnemu preizkušanju oziroma prebijanju varnostnih mehanizmov in ali ustrezno preprečujejo povečanje zmogljivosti na področjih z visokim tveganjem, kot sta kibernetsko in biološko področje? Ali naše adversarno preizkušanje in simulirano iskanje šibkih točk v nadzorovanem okolju zajemata najpomembnejša tveganja?

   2. Kako agenti pri odobrenem preizkušanju v realističnih pogojih delovanja komunicirajo s kibernetskimi obrambnimi mehanizmi, kot so nadzor dostopa, izvajanje v izoliranem okolju ter sistemi za odkrivanje in odzivanje? Kateri obrambni mehanizmi preprečijo, odkrijejo ali omejijo škodljiva dejanja in kje odpovejo?

   3. Ali imajo naši nadzorni sistemi za odkrivanje neusklajenosti ključne vrzeli, ki bi lahko pri notranjih ali zunanjih uvedbah povzročile izgubo nadzora ali hudo neusklajenost? Kako zanesljivo je spremljanje verige sklepanja kot vir dokazov o varnosti ali usklajenosti ob izboljševanju zmogljivosti modela?

   4. Ali je pri vseh ustreznih postopkih usposabljanja, vrednotenja in uvedbe vzpostavljeno primerno spremljanje, ki ga ni mogoče zlahka onemogočiti?

   5. Ali so zaščitni ukrepi uvedeni sorazmerno z zmogljivostmi?

3. Presoja vrednotenj zmogljivosti, ki zajemajo kategorije tveganj Okvira pripravljenosti (kemična in biološka tveganja, kibernetsko varnost ter samoizboljševanje umetne inteligence), in vrednotenj usklajenosti glede tveganj neusklajenosti

   Naš Okvir pripravljenosti zahteva vrednotenja ključnih področij tveganja na meji zmogljivosti. Ko so pragovi preseženi in vrednotenja dosežejo zgornjo mejo, je pomembno redno posodabljati vrednotenja zmogljivosti na področjih tveganj Okvira pripravljenosti ter vrednotenja usklajenosti, namenjena presoji tveganj hude neusklajenosti, in zagotavljati njihovo pokritost ter kakovost.

   Med pomembnimi vprašanji so:

   1. Ali vrednotenja tveganj Okvira pripravljenosti ustrezno zajemajo opredelitev praga tveganja iz tega okvira? Ali so pragovi za ta vrednotenja določeni pravilno?

   2. Ali se vrednotenja posodobijo, ko modeli dosledno dosegajo najvišje rezultate, in ali novi preizkusi smiselno merijo naprednejše zmogljivosti?

   3. Ali naša vrednotenja usklajenosti ustrezno zajemajo tveganja hude neusklajenosti ter katera pomembna vedenja ali razmere bi lahko spregledala?

4. Neodvisna preiskava kritičnih incidentov neusklajenosti

   Neodvisna preiskava je lahko koristna pri različnih kritičnih incidentih na področju varnosti umetne inteligence. Tu se osredotočamo na neusklajenost modelov, vključno z nepooblaščenim delovanjem ali izogibanjem nadzoru, kar lahko tudi brez namerne zlorabe razkrije pomanjkljivosti metod usklajevanja in zaščitnih ukrepov.

   V določenih okoliščinah, kot pri incidentu OpenAI Hugging Face, je lahko koristno v neodvisne preiskave incidentov neusklajenosti vključiti neodvisno tretjo osebo. Ključno je, da imajo tretje osebe, vključene v preiskavo incidenta, potrebno strokovno znanje, po potrebi tudi s področij kibernetske forenzike, usklajenosti in obsežne analize verig sklepanja, ter osebje in sredstva za pravočasno izvedbo preiskave. Odzivanje na incident lahko zahteva dostop do občutljivih notranjih podatkov in podatkov tretjih oseb, zato so lahko nekatere podrobnosti preobčutljive za objavo ali dostop. Ugotovitve neodvisnih preiskav lahko prispevajo tudi k utemeljitvi varnosti modela, saj zagotavljajo dokaze za presojo trditev o njegovi usklajenosti in učinkovitosti ukrepov za odpravo predhodno opažene neusklajenosti.

   Pri incidentih neusklajenosti dajemo prednost neodvisnim presojam naslednjih vprašanj:

   1. Kakšno vedenje modela ali katere težave z neusklajenostjo so se pojavile med incidentom in kateri so bili glavni dejavniki, ki so k temu prispevali?

   2. Ali bi zaščitni in sanacijski ukrepi učinkovito ublažili podobne incidente v prihodnosti?

• Jasno opredeljene in sporazumno dogovorjene trditve za presojo: Presoje se morajo začeti s sporazumno dogovorjenim obsegom, nato pa je treba jasno opredeliti varnostne trditve in jih registrirati pred začetkom presoje. Tretje osebe in laboratoriji morajo pojasniti, ali gre za trditve, ki jih želi ocenjevano podjetje predložiti v presojo, ali za trditve, ki jih želi presojevalec kot tretja oseba presoditi neodvisno in glede katerih se laboratorij strinja, da bo predmet presoje. Nekatere trditve so lahko zunaj obsega iz več razlogov, med drugim zato, ker tretje osebe ne morejo dostopati do podatkov, presojevalec nima dovolj strokovnega znanja ali pa pri nujni presoji veljajo razumne časovne omejitve. Laboratoriji in presojevalci morajo vzpostaviti postopek za obravnavo pomembnih tveganj, ugotovljenih zunaj prvotnega obsega, vključno z odločitvijo, ali je potrebna nadaljnja preiskava. Iz zaključkov mora biti jasno, kaj je bilo glede na sporazumno dogovorjeni obseg predmet presoje in kaj ne.

• Sorazmeren dostop: Presojevalci morajo imeti, kjer je mogoče, dostop, sorazmeren s presojo dogovorjenih trditev ter skladen s pravnimi in varnostnimi omejitvami ter omejitvami intelektualne lastnine. Kadar neposreden dostop ni praktičen ali mogoč, lahko presojevalci sodelujejo z imenovanim predstavnikom podjetja ali preučijo posredne mehanizme dostopa oziroma mehanizme, ki varujejo zasebnost in osnovne informacije.

• Pregledna metodologija in standardi: Presojevalci morajo pojasniti svoje metode, merila presoje in negotovosti ter se opreti na uveljavljene standarde, kjer so ti na voljo. Kjer standardi še ne obstajajo, morajo jasno utemeljiti uporabljena merila. Poročila morajo razlikovati neposredne ugotovitve od razlage, pojasniti negotovost in jasno navesti, katere zaključke podpirajo dokazi.

• Strokovnost in neodvisnost: Presojevalci morajo izkazati ustrezno tehnično znanje ter prepoznati, razkriti in obravnavati organizacijska in osebna navzkrižja interesov, vključno s finančnimi spodbudami, odnosi z razvijalci in predhodnim sodelovanjem pri ocenjevanem delu. Zaščitni ukrepi morajo preprečevati, da bi poslovni pritiski in dogovori o plačilu vplivali na ugotovitve, ter lahko vključujejo izločitev iz postopka ali ustrezna obdobja prepovedi sodelovanja.

• Varnost in zaupnost: Presojevalci morajo izkazati prakse informacijske varnosti in pravno izvršljive ukrepe za varovanje zaupnosti, ki veljajo za njihovo osebje in so sorazmerni z občutljivostjo sistemov ter informacij, do katerih dostopajo. Ti ukrepi morajo zajemati intelektualno lastnino, občutljive informacije in zapise o presoji. Kadar presojevalci v svojih okoljih ne morejo izpolniti varnostnih zahtev ali so podatki, do katerih dostopajo, posebej občutljivi, je lahko primeren dostop v prostorih podjetja ali prek naprav, ki jih upravlja podjetje.

• Uporabne ugotovitve in čas za odpravo pomanjkljivosti: Presoje morajo opredeliti konkretne vrzeli in laboratorijem zagotoviti dovolj podrobnosti za njihovo odpravo. Kjer je primerno, morajo imeti laboratoriji pred objavo na voljo razumen čas za odpravo težav. Kjer je ustrezno, morajo poročila pojasniti tudi spoznanja za razvijalce agentov, uvajalce in skrbnike obrambe ter podati praktična priporočila za izvedbo.

• Odgovorne prakse objavljanja: Poročila o presoji morajo temeljiti na dokazih in biti čim bolj odprto dostopna, pri čemer je treba varovati občutljive in zaupne informacije. Kadar popolno javno razkritje ni mogoče, lahko odgovornost okrepi zaupno poročanje ustreznim nadzornim organom, kot so organi upravljanja ali upravni odbori podjetij. Za ohranitev ravnovesja med neodvisnostjo in zaupnostjo morajo biti vzpostavljeni načelni ukrepi in pravilniki za zaščito pri redigiranju ter jasna pričakovanja glede povratnih informacij in popravljanja netočnosti. Presojevalci morajo ohraniti uredniško neodvisnost ter hkrati zagotavljati zaupnost in zaščito intelektualne lastnine. Presojevalci morajo sprejeti jasne pravilnike o redigiranju, ki laboratorijem omogočajo zahtevati izločitev občutljivih informacij, presojevalcem pa navesti, kje so bile vsebinske redakcije opravljene in kako so vplivale na poročilo o presoji.

Zavezani smo podpori neodvisnim presojevalcem in oblikovanju jasnejših skupnih mednarodnih standardov za učinkovite presoje tretjih oseb, tako s prihodnjo zakonodajo kot prek zasebnih ustanov upravljanja. Ekosistem neodvisnega vrednotenja se še razvija, mi pa bomo njegovo rast podpirali s sodelovanjem z raznoliko skupnostjo neodvisnih presojevalcev, ki imajo poglobljeno strokovno znanje o vprašanjih varnosti prelomne umetne inteligence. Nobena tretja oseba ne more in ne bi smela celovito obravnavati nujnih vprašanj varnosti prelomne umetne inteligence. Načrtno in premišljeno bomo krepili svoje zmogljivosti ter rastočemu ekosistemu tretjih oseb omogočili uskladitev glede najboljših praks in načel. Z več tretjimi osebami se pogovarjamo o predlogih, ki so skladni z zgoraj navedenimi prednostnimi področji.