Efektīvu trešo pušu novērtējumu prioritātes un principi

Robežšķirtnes MI laboratorijām ir milzīga atbildība par modeļu drošu apmācību, izvērtēšanu un ieviešanu. Trešo pušu novērtējumi ir būtiski šīs atbildības līdzsvarošanai: tie paplašina iespējas sniegt ieguldījumu MI drošumā, informē sabiedrību un nodrošina laboratoriju pārskatatbildību par skaidriem un neatkarīgi pamatotiem drošuma apgalvojumiem.

Īstenojot centienus iet kopsolī ar robežšķirtni, OpenAI ir apņēmies atbalstīt neatkarīgus novērtējumus, nodrošinot plašu piekļuvi visos apmācības, izvērtēšanas un ieviešanas posmos. Šādai piekļuvei jāļauj vērtētājiem apšaubīt mūsu pieņēmumus, identificēt riskus, kurus, iespējams, neesam pamanījuši, un pašiem izdarīt secinājumus par mūsu aizsardzības pasākumu efektivitāti.

Mēs jau ilgstoši sadarbojamies ar trešo pušu vērtētājiem dažādos modeļu izstrādes un ieviešanas procesa posmos. Trešo pušu novērtējumus esam iekļāvuši arī mūsu Sagatavotības satvara praksē un atbalstījuši organizācijas un tiesību aktus, kas iestājas par stingrāku procesu un lielāku pārskatatbildību. Šīs sadarbības gaitā esam nodrošinājuši plašu piekļuvi, tostarp informācijai par mūsu tehniskajiem aizsardzības pasākumiem un redzamai domu ķēdei, kā arī bezprecedenta piekļuvi konfidenciāliem datiem un iekšējām ieviešanas vidēm incidentu novēršanai un uzraudzības sistēmu imitētiem uzbrukumiem. Šeit izklāstītās prioritātes un principi attiecas uz mūsu sadarbību ar privātā un bezpeļņas sektora neatkarīgajām vērtēšanas organizācijām tehniskā drošuma novērtējumu jomā. Tie papildina mūsu sadarbību ar valdībām testēšanas un izvērtēšanas jomā, kur atšķirīgām lomām un pienākumiem var būt vajadzīgas citas pieejas.

Lai šie novērtējumi būtu efektīvi, nepieciešami spēcīgi neatkarības mehānismi, zinātniska stingrība, stabila drošības prakse un skaidri pienākumi. Laboratorijām ir pienākums nodrošināt jēgpilnu pārbaudi, vienlaikus aizsargājot sensitīvu informāciju. Laboratorijas un neatkarīgie vērtētāji kopīgi atbild par pareizu procesa īstenošanu, un tiem jādarbojas saskaņā ar kopīgiem starptautiskiem drošuma un drošības prakses standartiem. Tālāk piedāvājam četras padziļinātas novērtēšanas prioritārās jomas un principus stingram, drošam un neatkarīgam darbam.

Trešo pušu novērtējumi ir visnoderīgākie, ja tajos aplūkoti konkrēti un būtiski jautājumi: vai pierādījumi pamato laboratorijas drošuma pamatojumu un drošuma apgalvojumus? Vai izvērtējumi pienācīgi pārbauda riskus, kuru mērīšanai tie paredzēti? Vai aizsardzības pasākumi darbojas reālistiskos apstākļos?

Šeit aprakstīto novērtējumu forma var atšķirties atkarībā no aplūkojamajiem drošuma jautājumiem. Plānojam vienlaikus un dažādos laika periodos atbalstīt vairākus novērtējumus — daži ilgs vairākas nedēļas, bet citi vairākus mēnešus. Lai gan trešo pušu novērtējumi var būt arī daļa no darba pirms ieviešanas un ietekmēt lēmumus par ieviešanu, šeit aprakstītais darbs parasti ir ilgtermiņa un nav piesaistīts produkta palaišanai — tas vērsts uz konkrētu drošuma apgalvojumu padziļinātu izpēti laika gaitā.

Aprakstot prioritārās jomas un principus, mēs lietojam jēdzienus „drošuma apgalvojumi” un „drošuma pamatojumi”. Ar šiem jēdzieniem saprotam turpmāk minēto.

Mēs piedāvājam četras padziļinātas novērtēšanas prioritārās jomas un principus stingram, drošam un neatkarīgam darbam.

1. Neatkarīga drošuma pamatojumu novērtēšana, aptverot apmācību, izvērtēšanu, iekšēju ieviešanu un ārēju ieviešanu.

   Drošuma pamatojumu novērtēšanai nepieciešama kompetence salāgošanā, kontroles metodēs, piemēram, uzraudzībā, kiberdrošībā, bioloģiskās un ķīmiskās jomas ļaunprātīgas izmantošanas riskos un imitētos uzbrukumos. Drošuma pamatojumi ietver apgalvojumus par apmācību, spēju izvērtējumiem un aizsardzības pasākumiem, kurus var novērtēt kopumā vai pa daļām (skatiet tālāk 2. un 3. prioritāti). Visticamāk, dažādas pamatojumu daļas būs jāpārbauda vairākiem vērtētājiem, katram izmantojot savu kompetenci. Viņu novērtējumiem kopā jāatbild uz šādiem jautājumiem:

   1. Vai pierādījumi par apmācības, izvērtēšanas un ieviešanas drošuma pamatojumiem ir pietiekami pamatoti? Vai apmācības, izvērtēšanas un ieviešanas laikā tika ievēroti drošuma pamatojuma nosacījumi?

   2. Vai mūsu drošuma pamatojumi aptver steidzamākos novērtēšanas gaitā konstatētos riskus? Vai drošuma apgalvojumi pamato vispārējo drošuma pamatojumu? Vai pastāv trūkumi vai uzlabojamas jomas?

   3. Vai tiek izmantotas efektīvas metodes, lai identificētu un mazinātu tādus apmācības stimulus, kas varētu atalgot maldināšanu, atlīdzības sistēmas manipulēšanu, destruktīvas darbības vai ierobežojumu apiešanu?

2. Kritisko aizsardzības pasākumu novērtēšana iekšējā un ārējā ieviešanā

   Mūsu aizsardzības pasākumu kopums pastāvīgi attīstās atbilstoši mainīgajām spējām un videi. Mūsu aizsardzības pasākumi aptver apmācību, iekšēju ieviešanu un ārēju ieviešanu. Pašlaik tie ietver modeļa līmeņa, noteikumu izpildes un drošības aizsardzības pasākumus, kā arī nesalāgotības uzraudzības rīkus, aptverot plašu risku klāstu, piemēram, kontroles zaudēšanu un ļaunprātīgu izmantošanu kiberdrošības, bioloģisko un ķīmisko risku jomā. Tehniskā sadarbība var jau tagad identificēt aizsardzības pasākumu nepilnības, vienlaikus uzlabojot novērtēšanas metodes un paātrinot standartu izstrādi. Tas radītu stabilāku tehnisko pamatu turpmākai publiskajai politikai, lai ietu kopsolī ar robežšķirtni, jo īpaši iekšējas ieviešanas jomā, kur drošuma un drošības standarti vēl tikai veidojas.

   Neatkarīgos novērtējumos jāpārbauda, cik labi šie aizsardzības pasākumi darbojas un kādi varētu būt to trūkumi, piemēram:

   1. Vai, izmantojot „pelēkās kastes” piekļuvi, aizsardzības pasākumi iztur pretinieka testēšanu (ierobežojumu apiešanu) un pietiekami aizsargā pret spēju pieaugumu augsta riska jomās, piemēram, kiberdrošībā un bioloģijā? Vai mūsu pretinieka testēšana un imitētie uzbrukumi aptver svarīgākos riskus?

   2. Kā pilnvarotā testēšanā reālistiskos darbības apstākļos aģenti mijiedarbojas ar kiberaizsardzības līdzekļiem, piemēram, piekļuves kontroli, smilškastes vidi un atklāšanas un reaģēšanas sistēmām? Kuri aizsardzības līdzekļi novērš, atklāj vai ierobežo kaitīgas darbības, un kuros gadījumos tie nedarbojas?

   3. Vai mūsu nesalāgotības uzraudzības rīkiem ir kritiski trūkumi, kas iekšējas vai ārējas ieviešanas gadījumā varētu izraisīt kontroles zaudēšanu vai būtisku nesalāgotību? Cik uzticama, modeļu spējām pilnveidojoties, ir domu ķēdes uzraudzība kā drošuma vai salāgotības pierādījumu avots?

   4. Vai visos attiecīgajos apmācības, izvērtēšanas un ieviešanas procesos ir ieviesta pienācīga uzraudzība, ko nevar viegli atspējot?

   5. Vai aizsardzības pasākumi ir ieviesti atbilstoši spējām?

3. Spēju izvērtējumu novērtēšana, aptverot Sagatavotības riska kategorijas (ķīmiskos un bioloģiskos riskus, kiberdrošību un MI pašpilnveidi), kā arī nesalāgotības risku salāgotības izvērtējumus

   Mūsu Sagatavotības satvars paredz, ka izvērtējumos jānovērtē galvenās robežriska jomas. Kad tiek pārsniegtas robežvērtības un izvērtējumi sasniedz maksimālo rezultātu piesātinājumu, ir svarīgi regulāri atjaunināt izvērtējumus un nodrošināt to aptvērumu un kvalitāti gan Sagatavotības riska jomu spēju, gan būtiskas nesalāgotības risku novērtēšanā.

   Būtiskie jautājumi ir šādi:

   1. Vai Sagatavotības risku izvērtējumi pienācīgi aptver Sagatavotības riska robežvērtības definīciju? Vai šo izvērtējumu robežvērtības ir noteiktas pareizi?

   2. Vai izvērtējumi tiek atjaunināti, kad modeļi pastāvīgi sasniedz visaugstākos rezultātus, un vai jaunie testi jēgpilni mēra attīstītākas spējas?

   3. Vai mūsu salāgotības izvērtējumi pietiekami aptver būtiskas nesalāgotības riskus, un kādas svarīgas darbības vai apstākļus tie varētu neietvert?

4. Neatkarīga kritisku nesalāgotības incidentu izmeklēšana

   Neatkarīga izmeklēšana var būt vērtīga dažādu kritisku MI drošuma incidentu gadījumā. Šeit pievēršamies modeļu nesalāgotībai, tostarp modeļu darbībai bez atļaujas vai izvairīšanās no uzraudzības, kas pat bez tīšas ļaunprātīgas izmantošanas var atklāt salāgošanas metožu un aizsardzības pasākumu nepilnības.

   Atsevišķos gadījumos, piemēram, OpenAI Hugging Face incidentā, var būt lietderīgi neatkarīgai nesalāgotības incidenta izmeklēšanai piesaistīt neatkarīgu trešo pusi. Ir ļoti svarīgi, lai incidenta izmeklēšanā iesaistītajām trešajām pusēm būtu nepieciešamā kompetence, tostarp attiecīgā gadījumā kibertiesu ekspertīzē, salāgošanā un plaša mēroga domu ķēdes analīzē, kā arī pietiekams personāls un resursi savlaicīgai izmeklēšanai. Reaģējot uz incidentu, var būt vajadzīga piekļuve sensitīviem iekšējiem un trešo pušu datiem, tāpēc dažu detaļu publicēšana vai pieejamība var būt ierobežota. Neatkarīgu izmeklēšanu konstatējumi var arī papildināt modeļa drošuma pamatojumu, sniedzot pierādījumus, lai novērtētu apgalvojumus par tā salāgotību un iepriekš konstatētās nesalāgotības novēršanas pasākumu efektivitāti.

   Nesalāgotības incidentu kontekstā par prioritāriem uzskatām neatkarīgus novērtējumus par šādiem jautājumiem:

   1. Kāda modeļa darbība vai nesalāgotības problēmas radās incidenta gaitā, un kādi bija galvenie to veicinošie faktori?

   2. Vai aizsardzības un novēršanas pasākumi nākotnē efektīvi mazinātu līdzīgus incidentus?

• Skaidri noteikts tvērums un savstarpēji saskaņoti izvērtējamie apgalvojumi: novērtējumi jāsāk ar savstarpēji saskaņotu tvērumu, pēc tam skaidri definējot drošuma apgalvojumus un reģistrējot tos pirms novērtēšanas darbību sākuma. Trešajām pusēm un laboratorijām jāprecizē, vai tie ir apgalvojumi, kurus izvērtējamais uzņēmums vēlas iesniegt novērtēšanai, vai arī apgalvojumi, kurus trešās puses vērtētājs plāno izvērtēt neatkarīgi un attiecībā uz kuriem laboratorija piekrīt tikt vērtēta. Daži apgalvojumi var neietilpt tvērumā vairāku iemeslu dēļ, tostarp tāpēc, ka trešajām pusēm nav iespējams piekļūt datiem, vērtētājam trūkst kompetences vai steidzama novērtējuma gadījumā ir pamatoti laika ierobežojumi. Laboratorijām un vērtētājiem jāizveido process, lai izskatītu būtiskus riskus, kas konstatēti ārpus sākotnējā tvēruma, tostarp lemtu, vai nepieciešama turpmāka izmeklēšana. Secinājumos skaidri jānorāda, kas atbilstoši savstarpēji saskaņotajam tvērumam tika un netika izvērtēts.

• Samērīga piekļuve: vērtētājiem iespēju robežās jānodrošina samērīga piekļuve, lai izvērtētu saskaņotos apgalvojumus, ievērojot juridiskos, drošības un intelektuālā īpašuma ierobežojumus. Ja tieša piekļuve nav praktiska vai iespējama, vērtētāji var sadarboties ar uzņēmuma norīkotu pārstāvi vai izmantot netiešus vai privātumu aizsargājošus piekļuves mehānismus, lai aizsargātu pamatā esošo informāciju.

• Pārredzama metodika un standarti: vērtētājiem jāizskaidro savas metodes, vērtēšanas kritēriji un neskaidrības, izmantojot vispāratzītus standartus, ja tādi ir pieejami. Ja standartu vēl nav, vērtētājiem skaidri jāpamato izmantotie kritēriji. Ziņojumos tiešie konstatējumi jānošķir no interpretācijas, jāizskaidro neskaidrības un skaidri jānorāda, kurus secinājumus pierādījumi pamato.

• Kompetence un neatkarība: vērtētājiem jāapliecina atbilstoša tehniskā kompetence, kā arī jāidentificē, jāatklāj un jānovērš organizatoriski un individuāli interešu konflikti, tostarp finansiāli stimuli, attiecības ar izstrādātājiem un iepriekšēja iesaiste vērtējamajā darbā. Aizsardzības pasākumiem jānodrošina, lai komerciāls spiediens un atlīdzības nosacījumi neietekmētu konstatējumus; tie var ietvert atteikšanos no dalības vai piemērotus nepiedalīšanās periodus.

• Drošība un konfidencialitāte: vērtētājiem jāapliecina informācijas drošības prakse un jānodrošina juridiski īstenojama konfidencialitātes aizsardzība, kas aptver viņu personālu un ir samērīga ar sistēmu un pieejamās informācijas sensitivitāti. Šai aizsardzībai jāaptver intelektuālais īpašums, sensitīva informācija un novērtējuma dokumentācija. Ja vērtētāji savā vidē nevar izpildīt drošības prasības vai pieejamie dati ir īpaši sensitīvi, var būt lietderīgi nodrošināt piekļuvi uzņēmuma pārvaldītās ierīcēs vai telpās.

• Praktiski izmantojami konstatējumi un laiks trūkumu novēršanai: novērtējumos jāidentificē konkrēti trūkumi un jāsniedz laboratorijām pietiekami detalizēta informācija to novēršanai. Attiecīgos gadījumos laboratorijām pirms publicēšanas jāatvēl samērīgs laiks problēmu novēršanai. Attiecīgos gadījumos ziņojumos jāizklāsta arī aģentu izstrādātājiem, ieviesējiem un aizstāvjiem gūtās atziņas, sniedzot praktiskus ieviešanas ieteikumus.

• Atbildīga publicēšanas prakse: novērtējuma ziņojumiem jābalstās pierādījumos, un tie jāpublisko pēc iespējas atklāti, vienlaikus aizsargājot sensitīvu un konfidenciālu informāciju. Ja pilnīga publiskošana nav iespējama, pārskatatbildību var veicināt konfidenciāla ziņošana attiecīgajām uzraudzības struktūrām, piemēram, pārvaldības struktūrām vai uzņēmumu valdēm. Lai saglabātu līdzsvaru starp neatkarību un konfidencialitāti, jāievieš principiāli pamatoti informācijas aizklāšanas pasākumi un noteikumi, kā arī skaidras prasības attiecībā uz atsauksmēm un neprecizitāšu labošanu. Vērtētājiem jāsaglabā redakcionālā neatkarība, vienlaikus nodrošinot konfidencialitātes un intelektuālā īpašuma aizsardzību. Vērtētājiem jāpieņem skaidri informācijas aizklāšanas noteikumi, kas ļauj laboratorijām pieprasīt sensitīvas informācijas aizklāšanu, savukārt vērtētāji var norādīt, kur veikti būtiski aizklājumi un kā tie ietekmējuši novērtējuma ziņojumu.

Mēs esam apņēmušies atbalstīt neatkarīgus vērtētājus un veidot skaidrākus, kopīgus starptautiskos standartus efektīviem trešo pušu novērtējumiem — gan ar turpmākiem tiesību aktiem, gan privātām pārvaldības institūcijām. Kamēr neatkarīgās vērtēšanas ekosistēma vēl attīstās, mēs veicināsim tās izaugsmi, atbalstot daudzveidīgu neatkarīgu vērtētāju kopienu ar padziļinātu kompetenci robežšķirtnes drošuma jautājumos un sadarbojoties ar to. Neviena trešā puse viena pati nespēj un tai nevajadzētu visaptveroši risināt steidzamos robežšķirtnes drošuma jautājumus. Mēs rīkosimies pārdomāti un mērķtiecīgi, lai paplašinātu savas spējas un palīdzētu augošajai trešo pušu ekosistēmai vienoties par paraugpraksi un principiem. Mēs apspriežam ar vairākām trešajām pusēm priekšlikumus, kas atbilst iepriekš minētajām prioritārajām jomām.