Priority a zásady účinného hodnotenia tretími stranami

Laboratóriá prelomovej AI nesú obrovskú zodpovednosť za bezpečné trénovanie, hodnotenie a nasadzovanie modelov. Hodnotenia tretími stranami sú nevyhnutné na vyváženie tejto zodpovednosti, rozšírenie možností prispievať k bezpečnosti AI, informovanie sveta a vyžadovanie zodpovednosti laboratórií za jasné a nezávisle podložené bezpečnostné tvrdenia.

V rámci nášho úsilia udržiavať tempo prelomového vývoja sa OpenAI zaväzuje podporovať nezávislé hodnotenia rozsiahlym prístupom k trénovaniu, hodnoteniu aj nasadzovaniu. Tento prístup by mal hodnotiteľom umožniť spochybniť naše predpoklady, identifikovať riziká, ktoré sme mohli prehliadnuť, a dospieť k vlastným záverom o účinnosti našich ochranných opatrení.

S hodnotiteľmi tretích strán už dlho spolupracujeme v rôznych fázach vývoja a nasadzovania modelov. Hodnotenia tretími stranami sme začlenili aj do postupov nášho Rámca pripravenosti a podporili organizácie a právne predpisy, ktoré presadzujú dôslednejší proces s väčšou zodpovednosťou. V rámci tejto spolupráce sme poskytli rozsiahly prístup vrátane informácií o našich technických ochranných opatreniach, prístupu k viditeľnému reťazeniu myšlienok a bezprecedentného prístupu k dôverným údajom a interným nasadeniam na riešenie incidentov a red teaming monitorov. Tu uvedené priority a zásady sa zameriavajú na našu spoluprácu s nezávislými hodnotiacimi organizáciami zo súkromného a neziskového sektora pri hodnotení technickej bezpečnosti. Dopĺňajú našu spoluprácu s vládami pri testovaní a hodnotení, kde si odlišné úlohy a povinnosti môžu vyžadovať iné prístupy.

Účinnosť týchto hodnotení si vyžaduje silné mechanizmy nezávislosti, vedeckú dôslednosť, robustné bezpečnostné postupy a jasné rozdelenie zodpovednosti. Laboratóriá sú povinné umožniť zmysluplnú kontrolu a zároveň chrániť citlivé informácie. Laboratóriá a nezávislí hodnotitelia spoločne zodpovedajú za správny priebeh a mali by sa riadiť spoločnými medzinárodnými normami bezpečnostných postupov. Ďalej navrhujeme štyri prioritné oblasti na dôkladnejšie hodnotenie spolu so zásadami dôslednej, bezpečnej a nezávislej práce.

Hodnotenia tretími stranami sú najužitočnejšie, keď riešia konkrétne a závažné otázky: Podporujú dôkazy bezpečnostné odôvodnenie a bezpečnostné tvrdenia laboratória? Testujú hodnotenia primerane riziká, ktoré majú merať? Fungujú ochranné opatrenia v realistických podmienkach?

Tu opísané hodnotenia majú mať rôzne podoby podľa skúmaných otázok bezpečnosti. Očakávame, že budeme súbežne a počas rôzne dlhých období podporovať viacero hodnotení, pričom niektoré potrvajú týždne a iné niekoľko mesiacov. Hoci hodnotenia tretími stranami môžu byť aj súčasťou príprav pred nasadením a podkladom pre rozhodovanie o nasadení, tu opísaná práca je vo všeobecnosti dlhodobejšia a nezávislá od uvedenia produktu. Zameriava sa na hĺbkové skúmanie konkrétnych bezpečnostných tvrdení v priebehu času.

V našich prioritných oblastiach a zásadách používame pojmy bezpečnostné tvrdenia a bezpečnostné odôvodnenia. Tieto pojmy chápeme takto:

Navrhujeme štyri prioritné oblasti na dôkladnejšie hodnotenie spolu so zásadami dôslednej, bezpečnej a nezávislej práce.

1. Nezávislé hodnotenie bezpečnostných odôvodnení zahŕňajúce trénovanie, hodnotenie, interné nasadenie a externé nasadenie.

   Hodnotenie bezpečnostných odôvodnení si vyžaduje odborné znalosti v oblasti zosúladenia, metód kontroly, ako je monitorovanie, kybernetickej bezpečnosti, biologického a chemického zneužitia a red teamingu. Bezpečnostné odôvodnenia pozostávajú z tvrdení týkajúcich sa napríklad trénovania, hodnotení schopností a ochranných opatrení, ktoré možno posudzovať ako celok alebo po častiach (pozri priority 2 a 3 nižšie). Rôzne časti odôvodnení bude pravdepodobne musieť preskúmať viacero hodnotiteľov podľa ich odbornosti. Ich hodnotenia by mali spoločne zodpovedať napríklad tieto otázky:

   1. Sú dôkazy podporujúce bezpečnostné odôvodnenia trénovania, hodnotenia a nasadení dostatočne podložené? Dodržali sa podmienky bezpečnostného odôvodnenia počas trénovania, hodnotenia a nasadenia?

   2. Pokrývajú naše bezpečnostné odôvodnenia najnaliehavejšie riziká zistené počas hodnotenia? Podporujú bezpečnostné tvrdenia celkové bezpečnostné odôvodnenie? Existujú nejaké nedostatky alebo oblasti na zlepšenie?

   3. Používajú sa účinné metódy na identifikáciu a obmedzenie stimulov pri trénovaní, ktoré by mohli odmeňovať klamanie, obchádzanie systému odmeňovania, deštruktívne konanie alebo obchádzanie obmedzení?

2. Hodnotenie kritických ochranných opatrení pri interných a externých nasadeniach

   Naša sústava ochranných opatrení sa neustále vyvíja podľa meniacich sa schopností a prostredia. Naše ochranné opatrenia zahŕňajú trénovanie, interné nasadenie aj externé nasadenie. V súčasnosti zahŕňajú ochranné opatrenia na úrovni modelu, opatrenia na presadzovanie pravidiel a bezpečnostné opatrenia, ako aj monitory nesúladu. Pokrývajú širokú škálu rizík, napríklad stratu kontroly a zneužitie v kybernetickej, biologickej či chemickej oblasti. Technické partnerstvá môžu už dnes identifikovať slabiny ochranných opatrení a zároveň zlepšovať metódy hodnotenia a urýchľovať tvorbu noriem. Poskytnú tak pevnejší technický základ pre budúce verejné politiky, ktoré budú držať krok s prelomovým vývojom, najmä pri interných nasadeniach, kde sú bezpečnostné normy ešte len v začiatkoch.

   Nezávislé hodnotenia by mali skúmať, ako dobre tieto ochranné opatrenia fungujú a v čom môžu zlyhávať, napríklad:

   1. Sú pri prístupe typu „grey box“ ochranné opatrenia odolné voči adversariálnemu testovaniu (jailbreakom) a poskytujú dostatočnú ochranu pred zvýšením schopností vo vysokorizikových oblastiach, napríklad v kybernetike či biológii? Pokrýva naše adversariálne testovanie a red teaming najdôležitejšie riziká?

   2. Ako agenti pri autorizovanom testovaní v realistických prevádzkových podmienkach interagujú s kybernetickou obranou, napríklad s riadením prístupu, izolovanými prostrediami a systémami detekcie a reakcie? Ktoré obranné mechanizmy zabraňujú škodlivým činnostiam, odhaľujú ich alebo obmedzujú ich dosah a kde zlyhávajú?

   3. Majú naše monitory nesúladu nejaké kritické nedostatky, ktoré by pri interných alebo externých nasadeniach mohli viesť k strate kontroly či závažnému nesúladu? Nakoľko spoľahlivé je monitorovanie reťazenia myšlienok ako zdroj dôkazov o bezpečnosti alebo zosúladení pri zlepšovaní schopností modelov?

   4. Je vo všetkých relevantných procesoch trénovania, hodnotenia a nasadenia zavedené vhodné monitorovanie, ktoré nemožno ľahko vypnúť?

   5. Sú ochranné opatrenia zavedené primerane schopnostiam?

3. Hodnotenie schopností pokrývajúce kategórie rizík Rámca pripravenosti (chemické a biologické riziká, kybernetická bezpečnosť, sebazdokonaľovanie AI) a hodnotenie zosúladenia zamerané na riziká nesúladu

   Náš Rámec pripravenosti vyžaduje hodnotenie kľúčových oblastí hraničného rizika. Po prekročení prahov a dosiahnutí stropu hodnotení je dôležité pravidelne ich aktualizovať a zabezpečovať pokrytie aj kvalitu hodnotení schopností v rizikových oblastiach Rámca pripravenosti a hodnotení zosúladenia zameraných na závažné riziká nesúladu.

   Medzi relevantné otázky patria:

   1. Pokrývajú hodnotenia rizík podľa Rámca pripravenosti primerane definíciu rizikového prahu v tomto rámci? Sú prahy pre tieto hodnotenia nastavené správne?

   2. Aktualizujú sa hodnotenia, keď modely pravidelne dosahujú najvyššie skóre, a merajú nové testy zmysluplne pokročilejšie schopnosti?

   3. Pokrývajú naše hodnotenia zosúladenia primerane riziká závažného nesúladu a ktoré dôležité prejavy správania alebo podmienky môžu prehliadať?

4. Nezávislé vyšetrovanie kritických incidentov nesúladu

   Nezávislé vyšetrovanie môže byť prínosné pri rôznych kritických incidentoch bezpečnosti AI. Tu sa zameriavame na nesúlad modelov vrátane prípadov, keď modely konajú bez oprávnenia alebo sa vyhýbajú dohľadu. Takéto prípady môžu odhaliť slabiny metód zosúladenia a ochranných opatrení aj bez úmyselného zneužitia.

   Za určitých okolností, napríklad pri incidente OpenAI Hugging Face, môže byť prínosné zapojiť nezávislú tretiu stranu do nezávislého vyšetrovania incidentu nesúladu. Je nevyhnutné, aby tretie strany zapojené do vyšetrovania incidentov mali potrebnú odbornosť vrátane príslušných znalostí kybernetickej forenznej analýzy, zosúladenia a rozsiahlej analýzy reťazenia myšlienok, ako aj dostatok pracovníkov a zdrojov na včasné vyšetrovanie. Riešenie incidentu môže zahŕňať prístup k citlivým interným údajom a údajom tretích strán, preto môžu byť niektoré podrobnosti príliš citlivé na zverejnenie alebo sprístupnenie. Zistenia nezávislých vyšetrovaní môžu byť aj podkladom pre bezpečnostné odôvodnenie modelu, pretože poskytujú dôkazy na posúdenie tvrdení o jeho zosúladení a účinnosti opatrení prijatých na nápravu predtým pozorovaného nesúladu.

   Pri incidentoch nesúladu uprednostňujeme nezávislé hodnotenia týchto otázok:

   1. K akému správaniu modelu alebo problémom s nesúladom došlo počas incidentu a ktoré faktory k nim najviac prispeli?

   2. Zmiernia ochranné a nápravné opatrenia účinne podobné incidenty v budúcnosti?

• Jasne vymedzené a vzájomne odsúhlasené tvrdenia na hodnotenie: Hodnotenie by sa malo začať vzájomnou dohodou o rozsahu, po ktorej sa jasne vymedzia bezpečnostné tvrdenia a vopred sa zaregistrujú ešte pred začatím hodnotiacich činností. Tretie strany a laboratóriá by si mali ujasniť, či ide o tvrdenia, ktoré chce hodnotená spoločnosť predložiť na posúdenie, alebo o tvrdenia, ktoré chce hodnotiteľ tretej strany posúdiť nezávisle a laboratórium súhlasí, že bude podľa nich hodnotené. Niektoré tvrdenia môžu byť mimo rozsahu z mnohých dôvodov vrátane nemožnosti sprístupniť údaje tretím stranám, nedostatočnej odbornosti hodnotiteľa alebo primeraných časových obmedzení pri naliehavom hodnotení. Laboratóriá a hodnotitelia by mali zaviesť postup na posudzovanie závažných rizík zistených mimo pôvodného rozsahu vrátane rozhodovania, či si vyžadujú ďalšie skúmanie. Zo záverov by malo byť jasné, čo sa vzhľadom na vzájomne dohodnutý rozsah hodnotilo a čo nie.

• Primeraný prístup: Hodnotitelia by mali mať podľa možností primeraný prístup potrebný na posúdenie dohodnutých tvrdení, a to v medziach právnych, bezpečnostných a duševnoprávnych obmedzení. Ak je priamy prístup nepraktický alebo nemožný, hodnotitelia môžu spolupracovať s určeným zástupcom spoločnosti alebo preskúmať nepriame mechanizmy či mechanizmy zachovávajúce súkromie, aby ochránili podkladové informácie.

• Transparentná metodika a normy: Hodnotitelia by mali vysvetliť svoje metódy, kritériá hodnotenia a neistoty a tam, kde sú dostupné, vychádzať zo zavedených noriem. Ak normy ešte neexistujú, mali by jasne odôvodniť použité kritériá. Správy by mali odlišovať priame zistenia od interpretácie, vysvetľovať neistotu a jasne uvádzať, ktoré závery podporujú dôkazy.

• Odbornosť a nezávislosť: Hodnotitelia by mali preukázať príslušnú technickú odbornosť a identifikovať, zverejniť a riešiť organizačné aj osobné konflikty záujmov vrátane finančných stimulov, vzťahov s vývojármi a predchádzajúceho zapojenia do hodnotenej práce. Ochranné opatrenia by mali zabezpečiť, aby obchodné tlaky a dohody o odmeňovaní neovplyvňovali zistenia, pričom môžu zahŕňať vylúčenie z rozhodovania alebo primerané obdobia neúčasti.

• Bezpečnosť a dôvernosť: Hodnotitelia by mali preukázať postupy informačnej bezpečnosti a vymáhateľné záruky dôvernosti vzťahujúce sa na ich pracovníkov, ktoré zodpovedajú citlivosti sprístupnených systémov a informácií. Tieto záruky by mali chrániť duševné vlastníctvo, citlivé informácie a záznamy z hodnotenia. Ak hodnotitelia nedokážu splniť bezpečnostné požiadavky vo vlastnom prostredí alebo sú sprístupnené údaje mimoriadne citlivé, môže byť vhodný prístup cez zariadenia či priestory spravované spoločnosťou.

• Využiteľné zistenia a čas na nápravu: Hodnotenia by mali identifikovať konkrétne nedostatky a poskytnúť laboratóriám dostatok podrobností na ich odstránenie. Laboratóriá by mali tam, kde je to vhodné, dostať pred zverejnením primeraný čas na nápravu problémov. Ak je to relevantné, správy by mali vysvetliť aj poznatky pre vývojárov, prevádzkovateľov a ochrancov agentov a uviesť praktické odporúčania na ich uplatnenie.

• Zodpovedné postupy zverejňovania: Hodnotiace správy by mali vychádzať z dôkazov a mali by sa zdieľať čo najotvorenejšie pri súčasnej ochrane citlivých a dôverných informácií. Ak úplné zverejnenie nie je možné, zodpovednosť môže podporiť dôverné podávanie správ príslušným orgánom dohľadu, napríklad riadiacim orgánom alebo predstavenstvám spoločností. Na zachovanie rovnováhy medzi nezávislosťou a dôvernosťou by mali byť zavedené zásadové záruky a pravidlá redigovania, ako aj jasné očakávania týkajúce sa spätnej väzby a opravy nepresností. Hodnotitelia by si mali zachovať redakčnú nezávislosť a zároveň zabezpečiť ochranu dôvernosti a duševného vlastníctva. Hodnotitelia by mali prijať jasné pravidlá redigovania, ktoré laboratóriám umožnia žiadať o odstránenie citlivých informácií, pričom hodnotitelia môžu uviesť, kde došlo k podstatným úpravám a aký vplyv mali na hodnotiacu správu.

Zaviazali sme sa podporovať nezávislých hodnotiteľov a vytvárať jasnejšie spoločné medzinárodné normy účinného hodnotenia tretími stranami, a to prostredníctvom budúcich zákonov aj súkromných riadiacich inštitúcií. Hoci sa ekosystém nezávislého hodnotenia stále rozvíja, jeho rast podporíme spoluprácou s rozmanitou komunitou nezávislých hodnotiteľov s rozsiahlymi odbornými znalosťami v oblasti prelomovej bezpečnosti. Žiadna tretia strana nedokáže ani by nemala komplexne pokryť všetky naliehavé otázky prelomovej bezpečnosti. Budeme postupovať uvážene a cielene, aby sme rozšírili svoje kapacity a umožnili rastúcemu ekosystému tretích strán zosúladiť sa v osvedčených postupoch a zásadách. S viacerými tretími stranami rokujeme o návrhoch, ktoré zodpovedajú uvedeným prioritným oblastiam.