Prioriteti i načela učinkovitih procjena trećih strana

Laboratoriji za graničnu umjetnu inteligenciju imaju golemu odgovornost za sigurnu obuku, evaluaciju i uvođenje modela u primjenu. Procjene trećih strana ključne su za uravnoteženje te odgovornosti, pružanje više mogućnosti za doprinos sigurnosti umjetne inteligencije, informiranje svijeta i pozivanje laboratorija na odgovornost prema jasnim i neovisno potkrijepljenim tvrdnjama o sigurnosti.

U sklopu naših nastojanja da držimo korak s granicom razvoja, OpenAI se obvezuje podupirati neovisne procjene uz opsežan pristup tijekom obuke, evaluacije i uvođenja u primjenu. Takav pristup treba procjeniteljima omogućiti da preispitaju naše pretpostavke, utvrde rizike koje smo možda previdjeli i donesu vlastite zaključke o učinkovitosti naših zaštitnih mjera.

Već dugo surađujemo s procjeniteljima trećih strana u različitim fazama razvoja modela i njegova uvođenja u primjenu. Procjene trećih strana uključili smo i u svoje prakse povezane s Okvirom pripravnosti te smo podržali organizacije i zakonodavstvo koji zagovaraju stroži i odgovorniji postupak. Tijekom tih suradnji omogućili smo opsežan pristup, uključujući informacije o našim tehničkim zaštitnim mjerama, uvid u lanac razmišljanja te dosad nezabilježenu razinu pristupa povjerljivim podacima i internim primjenama radi odgovora na incidente i red-team testiranja nadzornih sustava. Ovdje predstavljeni prioriteti i načela usmjereni su na našu suradnju s neovisnim organizacijama iz privatnog i neprofitnog sektora koje provode tehničke procjene sigurnosti. Oni nadopunjuju našu suradnju s državnim tijelima na testiranju i evaluaciji, gdje različite uloge i odgovornosti mogu zahtijevati drukčije pristupe.

Za učinkovite procjene potrebni su snažni mehanizmi neovisnosti, znanstvena strogost, pouzdane sigurnosne prakse i jasne odgovornosti. Laboratoriji su dužni omogućiti smislen nadzor uz zaštitu osjetljivih informacija. Laboratoriji i neovisni procjenitelji dijele odgovornost za ispravnu provedbu te trebaju djelovati u skladu sa zajedničkim međunarodnim standardima sigurnosnih praksi. U nastavku predlažemo četiri prioritetna područja za temeljitiju procjenu te načela strogog, sigurnog i neovisnog rada.

Procjene trećih strana najkorisnije su kada se bave konkretnim i važnim pitanjima: podupiru li dokazi sigurnosno obrazloženje i tvrdnje laboratorija o sigurnosti? Ispituju li evaluacije primjereno rizike koje trebaju mjeriti? Djeluju li zaštitne mjere u realnim uvjetima?

Ovdje opisane procjene trebaju poprimiti različite oblike ovisno o sigurnosnim pitanjima koja se ispituju. Očekujemo da ćemo istodobno i tijekom različitih razdoblja podupirati više procjena, od kojih će neke trajati tjednima, a druge nekoliko mjeseci. Iako procjene trećih strana mogu biti dio rada prije uvođenja i utjecati na odluke o njemu, ovdje opisani rad uglavnom je dugoročniji i neovisan o lansiranju te je usmjeren na temeljito, kontinuirano ispitivanje određenih tvrdnji o sigurnosti.

U svim prioritetnim područjima i načelima spominjemo tvrdnje o sigurnosti i sigurnosna obrazloženja. Pod tim pojmovima podrazumijevamo sljedeće:

Predlažemo četiri prioritetna područja za temeljitiju procjenu te načela strogog, sigurnog i neovisnog rada.

1. Neovisna procjena sigurnosnih obrazloženja koja obuhvaća obuku, evaluaciju te internu i vanjsku primjenu.

   Procjena sigurnosnih obrazloženja zahtijeva stručnost u usklađivanju, metodama kontrole poput nadzora, kibernetičkoj sigurnosti, biološkoj i kemijskoj zlouporabi te red-team testiranju. Sigurnosna obrazloženja sastoje se od tvrdnji koje obuhvaćaju obuku, evaluacije sposobnosti i zaštitne mjere, a mogu se procjenjivati u cjelini ili po dijelovima (pogledajte prioritete 2 i 3 u nastavku). Više procjenitelja vjerojatno će morati ispitati različite dijelove obrazloženja, oslanjajući se na svoja područja stručnosti. Njihove procjene zajedno trebaju odgovoriti na pitanja poput sljedećih:

   1. Jesu li potkrijepljeni dokazi za sigurnosna obrazloženja o obuci, evaluaciji i uvođenju u primjenu? Jesu li tijekom obuke, evaluacije i uvođenja u primjenu ispunjeni uvjeti sigurnosnog obrazloženja?

   2. Obuhvaćaju li naša sigurnosna obrazloženja najhitnije rizike utvrđene tijekom procjene? Podupiru li tvrdnje o sigurnosti cjelokupno sigurnosno obrazloženje? Postoje li nedostaci ili područja koja treba poboljšati?

   3. Primjenjuju li se učinkovite metode za utvrđivanje i smanjenje poticaja tijekom obuke koji bi mogli nagrađivati obmanu, iskorištavanje sustava nagrađivanja, destruktivne radnje ili zaobilaženje ograničenja?

2. Procjena ključnih zaštitnih mjera u internoj i vanjskoj primjeni

   Naš skup zaštitnih mjera neprestano se razvija kako bi pratio promjene sposobnosti i okruženja. Naše zaštitne mjere obuhvaćaju obuku te internu i vanjsku primjenu. Trenutačno uključuju zaštitne mjere na razini modela, mjere za provedbu pravila i sigurnosne mjere te sustave za praćenje neusklađenosti, čime pokrivaju razne rizike, poput gubitka kontrole te kibernetičke, biološke i kemijske zlouporabe. Tehnička partnerstva mogu već sada utvrditi slabosti zaštitnih mjera, istodobno poboljšavajući metode procjene i ubrzavajući razvoj standarda. Time se stvara snažnija tehnička osnova za buduće javne politike koje prate granicu razvoja, osobito za internu primjenu, gdje su sigurnosni standardi još u začecima.

   Neovisnim procjenama treba ispitati koliko dobro te zaštitne mjere djeluju i gdje bi mogle zakazati, primjerice:

   1. Uz pristup „sive kutije”, jesu li zaštitne mjere otporne na napadačko testiranje (jailbreakove) i pružaju li dovoljnu zaštitu od povećanja sposobnosti u visokorizičnim područjima, primjerice kibernetičkom i biološkom? Obuhvaćaju li naše napadačko testiranje i red-team testiranje najvažnije rizike?

   2. Kako agenti tijekom odobrenog testiranja u realnim radnim uvjetima stupaju u interakciju s kibernetičkim obranama poput kontrola pristupa, izoliranih okruženja te sustava za otkrivanje prijetnji i odgovor na njih? Koje obrambene mjere sprječavaju, otkrivaju ili ograničavaju štetne radnje i gdje zakazuju?

   3. Imaju li naši sustavi za praćenje neusklađenosti ključne nedostatke koji bi mogli dovesti do gubitka kontrole ili ozbiljne neusklađenosti u internoj ili vanjskoj primjeni? Koliko je praćenje lanca razmišljanja pouzdano kao izvor dokaza o sigurnosti ili usklađenosti dok se sposobnosti modela poboljšavaju?

   4. Je li u svim relevantnim obukama, evaluacijama i primjenama uveden odgovarajući nadzor koji se ne može lako onemogućiti?

   5. Jesu li zaštitne mjere provedene razmjerno sposobnostima?

3. Procjena evaluacija sposobnosti koje obuhvaćaju kategorije rizika iz Okvira pripravnosti (kemijske i biološke rizike, kibernetičku sigurnost i samopoboljšavanje umjetne inteligencije) te evaluacija usklađenosti za rizike od neusklađenosti

   Naš Okvir pripravnosti zahtijeva da se evaluacijama procijene ključna područja graničnog rizika. Kako se pragovi premašuju, a evaluacije dosežu granice korisnosti, važno ih je redovito obnavljati te osigurati obuhvat i kvalitetu evaluacija sposobnosti u područjima rizika iz Okvira pripravnosti, kao i evaluacija usklađenosti kojima se procjenjuju rizici od ozbiljne neusklađenosti.

   Relevantna pitanja uključuju:

   1. Obuhvaćaju li evaluacije rizika iz Okvira pripravnosti primjereno definiciju praga rizika iz tog okvira? Jesu li pragovi za te evaluacije pravilno postavljeni?

   2. Ažuriraju li se evaluacije kada modeli redovito postižu najviše rezultate i mjere li novi testovi smisleno naprednije sposobnosti?

   3. Obuhvaćaju li naše evaluacije usklađenosti primjereno rizike od ozbiljne neusklađenosti te koja bi važna ponašanja ili uvjete mogle propustiti?

4. Neovisna istraga kritičnih incidenata neusklađenosti

   Neovisna istraga može biti vrijedna kod različitih kritičnih incidenata povezanih sa sigurnošću umjetne inteligencije. Ovdje se usredotočujemo na neusklađenost modela, uključujući modele koji djeluju bez odobrenja ili izbjegavaju nadzor, što čak i bez namjerne zlouporabe može otkriti slabosti metoda usklađivanja i zaštitnih mjera.

   U određenim okolnostima, kao u slučaju incidenta OpenAI Hugging Face, može biti korisno angažirati neovisnu treću stranu za neovisne istrage incidenata neusklađenosti. Ključno je da treće strane uključene u istragu incidenta imaju potrebnu stručnost, uključujući, gdje je primjenjivo, stručnost u kibernetičkoj forenzici i usklađivanju, analizi lanca razmišljanja velikih razmjera te dovoljno osoblja i resursa za pravodobnu provedbu istrage. Odgovor na incident može uključivati pristup osjetljivim internim podacima i podacima trećih strana, pa neke pojedinosti mogu biti preosjetljive za objavu ili pristup. Nalazi neovisnih istraga mogu pridonijeti i sigurnosnom obrazloženju modela pružanjem dokaza za procjenu tvrdnji o njegovoj usklađenosti i učinkovitosti mjera poduzetih radi otklanjanja prethodno uočene neusklađenosti.

   U kontekstu incidenata neusklađenosti prednost dajemo neovisnim procjenama sljedećeg:

   1. Koja su se ponašanja modela ili problemi s neusklađenošću pojavili tijekom incidenta i koji su glavni čimbenici koji su im pridonijeli?

   2. Bi li zaštitne mjere i otklanjanje nedostataka učinkovito ublažili slične incidente u budućnosti?

• Jasno određene i uzajamno dogovorene tvrdnje za procjenu: Procjene trebaju započeti uzajamno dogovorenim opsegom, nakon čega se jasno definiraju tvrdnje o sigurnosti koje se unaprijed registriraju prije početka procjene. Treće strane i laboratoriji trebaju razjasniti jesu li to tvrdnje koje procjenjivana tvrtka želi iznijeti na procjenu ili tvrdnje koje neovisno želi procijeniti procjenitelj treće strane, a laboratorij pristaje da se prema njima procjenjuje. Neke tvrdnje mogu biti izvan opsega iz brojnih razloga, uključujući nemogućnost pristupa trećih strana podacima, nedostatnu stručnost procjenitelja ili razumna vremenska ograničenja kada je procjena hitna. Laboratoriji i procjenitelji trebaju uspostaviti postupak za razmatranje značajnih rizika utvrđenih izvan izvornog opsega, uključujući odluku o tome je li potrebna daljnja istraga. U zaključcima treba jasno navesti što je procijenjeno, a što nije, u odnosu na uzajamno dogovoreni opseg.

• Razmjeran pristup: Procjeniteljima, gdje je to moguće, treba omogućiti pristup razmjeran procjeni dogovorenih tvrdnji, unutar pravnih i sigurnosnih ograničenja te ograničenja intelektualnog vlasništva. Kada je izravan pristup nepraktičan ili nemoguć, procjenitelji mogu surađivati s imenovanim predstavnikom tvrtke ili istražiti neizravne mehanizme pristupa odnosno one koji štite privatnost, kako bi zaštitili temeljne informacije.

• Transparentna metodologija i standardi: Procjenitelji trebaju objasniti svoje metode, kriterije procjene i neizvjesnosti te se, gdje postoje, osloniti na utvrđene standarde. Ako standardi još ne postoje, trebaju jasno obrazložiti kriterije koje primjenjuju. Izvješća trebaju razlikovati izravne nalaze od tumačenja, objasniti neizvjesnosti i jasno navesti koje zaključke dokazi podupiru.

• Stručnost i neovisnost: Procjenitelji trebaju dokazati relevantnu tehničku stručnost te utvrditi, objaviti i riješiti organizacijske i osobne sukobe interesa, uključujući financijske poticaje, odnose s razvojnim timovima i prethodno sudjelovanje u radu koji se procjenjuje. Zaštitne mjere trebaju osigurati da komercijalni pritisci i dogovori o naknadama ne utječu na nalaze, a mogu uključivati izuzeće ili primjerena razdoblja isključenja.

• Sigurnost i povjerljivost: Procjenitelji trebaju dokazati primjenu praksi informacijske sigurnosti i provedivih mjera zaštite povjerljivosti koje obuhvaćaju njihovo osoblje, razmjerno osjetljivosti sustava i informacija kojima pristupaju. Te mjere trebaju obuhvaćati intelektualno vlasništvo, osjetljive informacije i zapise o procjeni. Ako procjenitelji ne mogu ispuniti sigurnosne zahtjeve u vlastitim okruženjima ili su podaci kojima pristupaju osobito osjetljivi, može biti primjeren pristup putem uređaja ili u prostorima kojima upravlja tvrtka.

• Primjenjivi nalazi i vrijeme za otklanjanje nedostataka: Procjene trebaju utvrditi konkretne nedostatke i pružiti dovoljno pojedinosti da ih laboratoriji mogu otkloniti. Kada je to primjereno, laboratoriji trebaju prije objave dobiti razuman rok za otklanjanje problema. Kada je relevantno, izvješća trebaju navesti i pouke za razvojne timove agenata, subjekte koji ih uvode u primjenu i stručnjake za obranu, uz praktične preporuke za provedbu.

• Odgovorne prakse objavljivanja: Izvješća o procjeni trebaju se temeljiti na dokazima i dijeliti što otvorenije, uz zaštitu osjetljivih i povjerljivih informacija. Kada potpuna javna objava nije moguća, povjerljivo izvješćivanje odgovarajućih nadzornih tijela, poput upravljačkih tijela ili uprava tvrtki, može pridonijeti odgovornosti. Radi očuvanja ravnoteže između neovisnosti i povjerljivosti trebaju postojati načelne mjere zaštite i pravila za redigiranje te jasna očekivanja o povratnim informacijama i ispravljanju netočnosti. Procjenitelji trebaju zadržati uredničku neovisnost te istodobno osigurati zaštitu povjerljivosti i intelektualnog vlasništva. Procjenitelji trebaju usvojiti jasna pravila redigiranja koja laboratorijima omogućuju da zatraže uklanjanje osjetljivih informacija, dok procjenitelji mogu navesti gdje su provedena značajna redigiranja i kako su utjecala na izvješće o procjeni.

Predani smo podršci neovisnim procjeniteljima i uspostavljanju jasnijih, zajedničkih međunarodnih standarda za učinkovite procjene trećih strana, putem budućih zakona i privatnih institucija upravljanja. Iako se ekosustav neovisnih evaluacija još razvija, pomoći ćemo njegovu rastu podrškom raznolikoj zajednici neovisnih procjenitelja s temeljitim stručnim znanjem o pitanjima sigurnosti graničnih sustava i suradnjom s njima. Nijedna treća strana ne može niti bi trebala sveobuhvatno obuhvatiti hitna pitanja sigurnosti graničnih sustava. Promišljeno i svrhovito povećavat ćemo svoje kapacitete te rastućem ekosustavu trećih strana omogućiti usklađivanje s najboljim praksama i načelima. S više trećih strana razgovaramo o prijedlozima usklađenima s prethodno navedenim prioritetnim područjima.