Приоритети и принципи за ефективни процени од трети страни
Лабораториите за гранична ВИ имаат огромна одговорност безбедно да ги обучуваат, евалуираат и пуштаат моделите во употреба. Процените од трети страни се клучни за урамнотежување на таа одговорност, создавање повеќе можности за придонес кон безбедноста на ВИ, информирање на јавноста и барање отчетност од лабораториите врз основа на јасни и независно поткрепени тврдења за безбедност.
Како дел од нашите напори да го следиме темпото на граничниот развој, OpenAI е посветена на поддршка на независни процени со широк пристап до обуката, евалуацијата и пуштањето во употреба. Тој пристап треба да им овозможи на проценувачите да ги преиспитаат нашите претпоставки, да утврдат ризици што можеби сме ги пропуштиле и самостојно да заклучат колку се ефективни нашите заштитни мерки.
Долго време соработуваме со проценувачи од трети страни во различни фази од развојот и пуштањето на моделите во употреба. Процените од трети страни ги вклучивме и во нашите практики според Рамката за подготвеност и поддржавме организации и законодавни иницијативи што се залагаат за построг и поотчетен процес. Во текот на овие ангажмани обезбедивме широк пристап, вклучувајќи информации за нашите технички заштитни мерки, пристап до видливиот синџир на размислување и досега невидено ниво на пристап до доверливи податоци и до внатрешното пуштање во употреба за одговор на инциденти и тестирање на отпорноста на мониторите. Овде споделените приоритети и принципи се насочени кон нашата соработка со независни организации од приватниот и непрофитниот сектор што вршат технички процени на безбедноста. Тие ја надополнуваат нашата соработка со владите за тестирање и евалуација, каде што различните улоги и одговорности може да бараат поинакви пристапи.
За овие процени да бидат ефективни, потребни се силни механизми за независност, научна строгост, робусни безбедносни практики и јасни одговорности. Лабораториите имаат одговорност да овозможат суштинско преиспитување, истовремено заштитувајќи ги чувствителните информации. Лабораториите и независните проценувачи ја споделуваат одговорноста ова да се спроведе правилно и треба да работат според заеднички меѓународни стандарди за практиките за безбедност и заштита. Во продолжение предлагаме четири приоритетни области за подлабока процена, заедно со принципи за строга, безбедна и независна работа.
Процените од трети страни се најкорисни кога разгледуваат конкретни и значајни прашања: Дали доказите го поткрепуваат безбедносното образложение и тврдењата за безбедност на лабораторијата? Дали евалуациите соодветно ги тестираат ризиците што треба да ги измерат? Дали заштитните мерки функционираат во реални услови?
Овде опишаните процени треба да имаат различни облици, зависно од безбедносните прашања што се разгледуваат. Очекуваме да поддржиме повеќе паралелни процени во различни временски периоди, од кои некои ќе траат неколку недели, а други неколку месеци. Иако процените од трети страни може да бидат и дел од работата пред пуштањето во употреба и да влијаат врз одлуките за тоа, овде опишаната работа главно е подолгорочна и независна од конкретно лансирање — насочена кон темелно и континуирано испитување одредени тврдења за безбедност.
Во сите наши приоритетни области и принципи се повикуваме на тврдења за безбедност и безбедносни образложенија. Под овие поими го подразбираме следново:
Тврдење за безбедност: Конкретно тврдење за способностите, однесувањето или заштитните мерки на модел или систем, кое е релевантно за неговата безбедност и може да се оцени врз основа на докази. Тврдењето треба да ги наведе ризиците и условите на кои се однесува, како и релевантните претпоставки и ограничувања.
Безбедносно образложение: Структуриран аргумент, поткрепен со докази, кој објаснува зошто ризиците од моделот или системот се соодветно управувани за одредена активност, како што се обука, евалуација или пуштање во употреба. Безбедносното образложение ги поврзува поединечните тврдења за безбедност со доказите што ги поткрепуваат и јасно ги наведува претпоставките, неизвесностите и преостанатите ризици што би можеле да влијаат врз неговите заклучоци.
Предлагаме четири приоритетни области за подлабока процена, заедно со принципи за строга, безбедна и независна работа.
Независна процена на безбедносните образложенија што ги опфаќа обуката, евалуацијата и внатрешното и надворешното пуштање во употреба.
Процената на безбедносните образложенија бара стручност за усогласување, методи за контрола како што е следењето, кибербезбедност, биолошка и хемиска злоупотреба и тестирање на отпорноста. Безбедносните образложенија се состојат од тврдења што ги опфаќаат обуката, евалуациите на способностите и заштитните мерки, а може да се оценуваат во целина или по делови (видете ги приоритетите 2 и 3 подолу). Веројатно ќе биде потребно повеќе проценувачи да разгледаат различни делови од образложенијата, потпирајќи се на сопствената стручност. Нивните заеднички процени треба да одговорат на прашања како што се:
Дали доказите за безбедносните образложенија за обуката, евалуацијата и пуштањето во употреба се поткрепени? Дали условите од безбедносното образложение беа почитувани при обуката, евалуацијата и пуштањето во употреба?
Дали нашите безбедносни образложенија ги опфаќаат најитните ризици утврдени во текот на процената? Дали тврдењата за безбедност го поткрепуваат целокупното безбедносно образложение? Дали има недостатоци или области што може да се подобрат?
Дали се користат ефективни методи за утврдување и намалување на стимулациите во обуката што би можеле да наградуваат измама, хакирање на наградата, деструктивни дејства или заобиколување на ограничувањата?
Процена на критичните заштитни мерки при внатрешно и надворешно пуштање во употреба
Нашиот систем на заштитни мерки постојано се развива за да одговори на променливите способности и околности. Нашите заштитни мерки ги опфаќаат обуката и внатрешното и надворешното пуштање во употреба. Во моментов тие вклучуваат заштитни мерки на ниво на моделот, мерки за спроведување и безбедносни мерки, како и монитори за неусогласеност — покривајќи широк спектар ризици, како што се губење контрола и злоупотреба што создава кибернетички, биолошки и хемиски ризици. Техничките партнерства можат уште сега да ги утврдат слабостите во заштитните мерки, истовремено подобрувајќи ги методите за процена и забрзувајќи го развојот на стандардите. Така се создава посилна техничка основа за идните јавни политики што ќе го следат темпото на граничниот развој — особено за внатрешното пуштање во употреба, каде што стандардите за безбедност и заштита сè уште се во почетна фаза.
Независните процени треба да испитаат колку добро функционираат овие заштитни мерки и каде можеби се недоволни, на пример:
Дали, со пристап од типот „сива кутија“, заштитните мерки се отпорни на противничко тестирање (пробивања) и дали доволно штитат од зголемување на способностите во високоризични домени (на пр., кибернетика и биологија)? Дали нашето противничко тестирање и тестирање на отпорноста ги опфаќаат најважните ризици?
При овластено тестирање во реални работни услови, како агентите комуницираат со кибернетичките одбрани, како што се контролите на пристап, изолираните средини и системите за откривање и одговор? Кои одбранбени мерки ги спречуваат, откриваат или ограничуваат штетните дејства и каде потфрлаат?
Дали нашите монитори за неусогласеност имаат критични недостатоци што би можеле да доведат до губење контрола или сериозна неусогласеност при внатрешното или надворешното пуштање во употреба? Колку е сигурно следењето на синџирот на размислување како извор на докази за безбедноста или усогласувањето додека се подобруваат способностите на моделот?
Дали е воведено соодветно следење при секоја релевантна обука, евалуација и пуштање во употреба, на начин што не може лесно да се оневозможи?
Дали заштитните мерки се спроведени сразмерно со способностите?
Процена на евалуациите на способностите што ги опфаќаат категориите на ризик од Рамката за подготвеност (хемиски и биолошки ризици, кибербезбедност и самоподобрување на ВИ), како и евалуациите на усогласувањето за ризици од неусогласеност
Нашата Рамка за подготвеност бара евалуации за процена на клучните области на ризик од најсовремените модели. Како што се надминуваат праговите и евалуациите го достигнуваат својот максимум, важно е постојано да се обновуваат и да се обезбедат опфатот и квалитетот на евалуациите на способностите во областите на ризик од Рамката за подготвеност, како и на евалуациите на усогласувањето наменети за процена на ризиците од сериозна неусогласеност.
Релевантните прашања вклучуваат:
Дали евалуациите на ризиците од Рамката за подготвеност соодветно ја опфаќаат дефиницијата на прагот на ризик од Рамката за подготвеност? Дали праговите за овие евалуации се правилно поставени?
Дали евалуациите се ажурираат кога моделите постојано ги постигнуваат највисоките резултати и дали новите тестови суштински мерат понапредни способности?
Дали нашите евалуации на усогласувањето соодветно ги опфаќаат ризиците од сериозна неусогласеност и кои важни однесувања или услови би можеле да ги пропуштат?
Независна истрага на критични инциденти на неусогласеност
Независната истрага може да биде корисна за низа критични инциденти поврзани со безбедноста на ВИ. Овде се сосредоточуваме на неусогласеноста на моделите, вклучително и кога моделите дејствуваат неовластено или го избегнуваат надзорот, што може да открие слабости во методите за усогласување и заштитните мерки дури и без намерна злоупотреба.
Во одредени околности, како при инцидентот на OpenAI со Hugging Face, може да биде корисно да се вклучи независна трета страна за независни истраги на инциденти на неусогласеност. Клучно е третите страни вклучени во истрагата на инцидентот да ја имаат потребната стручност, вклучително, каде што е применливо, стручност за кибернетичка форензика и усогласување, анализа на синџирот на размислување во голем обем, како и персонал и ресурси за навремено спроведување на истрагата. Одговорот на инцидент може да опфаќа пристап до чувствителни внатрешни податоци и податоци на трети страни, па затоа објавувањето или пристапот до некои детали може да биде чувствително. Наодите од независните истраги може да придонесат и за безбедносното образложение на моделот, обезбедувајќи докази за процена на тврдењата за неговата усогласеност и ефективноста на мерките преземени за отстранување на претходно забележаната неусогласеност.
Во контекст на инцидентите на неусогласеност, им даваме предност на независните процени на следново:
Какво однесување на моделот или какви проблеми со неусогласеноста се појавиле во текот на инцидентот и кои се главните фактори што придонеле за нив?
Дали заштитните мерки и отстранувањето на недостатоците ефективно би ублажиле слични инциденти во иднина?
Јасно утврден опсег и заеднички договорени тврдења за процена: Процените треба да започнат со заеднички договорен опсег, по што следуваат јасно дефинирани тврдења за безбедност, однапред регистрирани пред почетокот на активностите за процена. Третите страни и лабораториите треба да разјаснат дали станува збор за тврдења што оценуваната компанија сака да ги поднесе на процена или за тврдења што независно сака да ги оцени проценувачот од трета страна, а лабораторијата се согласува да биде оценувана според нив. Некои тврдења може да бидат надвор од опсегот поради многу причини, меѓу кои неможноста третите страни да пристапат до податоците, недоволната стручност на проценувачот или разумните временски ограничувања кога процената е итна. Лабораториите и проценувачите треба да воспостават постапка за разгледување на значајните ризици утврдени надвор од првичниот опсег, вклучително и за одлучување дали е потребна дополнителна истрага. Во заклучоците треба јасно да се наведе што било, а што не било оценето во однос на заеднички договорениот опсег.
Сразмерен пристап: Кога е можно и во рамките на правните, безбедносните и ограничувањата за интелектуална сопственост, проценувачите треба да имаат пристап сразмерен со потребите за оценување на договорените тврдења. Кога директниот пристап е непрактичен или невозможен, проценувачите може да соработуваат со назначен претставник на компанијата или да разгледаат посредни механизми или механизми за пристап што ја зачувуваат приватноста, за да ги заштитат основните информации.
Транспарентна методологија и стандарди: Проценувачите треба да ги објаснат своите методи, критериумите за процена и неизвесностите, потпирајќи се на воспоставени стандарди каде што постојат. Онаму каде што сè уште нема стандарди, тие треба јасно да ги образложат критериумите што ги користат. Извештаите треба да ги разграничат непосредните наоди од толкувањата, да ја објаснат неизвесноста и јасно да наведат кои заклучоци се поткрепени со доказите.
Стручност и независност: Проценувачите треба да покажат релевантна техничка стручност и да ги утврдат, обелоденат и решат организациските и личните судири на интереси, вклучувајќи ги финансиските стимулации, односите со развивачите и претходното учество во работата што се оценува. Заштитните мерки треба да бидат осмислени така што комерцијалните притисоци и договорите за надомест да не влијаат врз наодите, а може да опфаќаат изземање или соодветни периоди на исклучување.
Безбедност и доверливост: Проценувачите треба да покажат дека применуваат практики за информациска безбедност и спроведливи мерки за заштита на доверливоста што го опфаќаат нивниот персонал, сразмерно со чувствителноста на системите и информациите до кои пристапуваат. Овие мерки треба да ги опфаќаат интелектуалната сопственост, чувствителните информации и евиденцијата од процените. Кога проценувачите не можат да ги исполнат безбедносните барања во сопствените средини или кога податоците до кои се пристапува се особено чувствителни, може да биде соодветен пристап преку уреди или простории управувани од компанијата.
Применливи наоди и време за отстранување на недостатоците: Процените треба да утврдат конкретни недостатоци и да обезбедат доволно детали за лабораториите да можат да ги отстранат. Кога е соодветно, лабораториите треба да добијат разумен рок за отстранување на проблемите пред објавувањето. Кога е релевантно, извештаите треба да ги објаснат и поуките за развивачите, операторите и заштитниците на агенти, со практични препораки за спроведување.
Одговорни практики на објавување: Извештаите од процените треба да се темелат на докази и да се споделуваат што е можно поотворено, а притоа да се заштитат чувствителните и доверливите информации. Кога не е можно целосно јавно обелоденување, доверливото известување до соодветните надзорни тела, како што се управните тела или одборите на компаниите, може да придонесе за отчетноста. Треба да се воспостават начелни заштитни мерки и политики за редактирање, како и јасни очекувања за повратните информации и исправката на неточностите, за да се зачува рамнотежата меѓу независноста и доверливоста. Проценувачите треба да ја задржат уредувачката независност, истовремено обезбедувајќи заштита на доверливоста и интелектуалната сопственост. Проценувачите треба да усвојат јасни политики за редактирање што им овозможуваат на лабораториите да побараат отстранување на чувствителни информации, додека проценувачите може да наведат каде се направени суштински редакции и како тие влијаат врз извештајот од процената.
Посветени сме на поддршка на независните проценувачи и воспоставување појасни, заеднички меѓународни стандарди — преку идни закони и приватни институции за управување — за ефективни процени од трети страни. Додека екосистемот за независна евалуација сè уште се развива, ќе го поттикнуваме неговиот раст преку поддршка и соработка со разновидна заедница на независни проценувачи со длабока стручност за прашањата поврзани со безбедноста на граничната ВИ. Ниту една трета страна не може, ниту треба, сеопфатно да ги покрие итните прашања за безбедноста на граничната ВИ. Ќе постапуваме промислено и целисходно за да ги зголемиме нашите капацитети и да му овозможиме на растечкиот екосистем од трети страни да се усогласи околу најдобрите практики и принципи. Разговараме со повеќе трети страни за предлози што се усогласени со горенаведените приоритетни области.
