Към обосновки за безопасност при обучение на авангарден ИИ
Вярваме, че навлизаме в нова ера, в която трябва да се изисква структурирана документация за безопасност, преди да продължи който и да е цикъл на обучение с утвърждение на авангарден модел. В идеалния случай тази документация би достигнала нивото на „обосновки за безопасност“ — изчерпателни, структурирани и основани на доказателства аргументи за риска, каквито се използват в други отрасли, където безопасността е критично важна. Обосновките за безопасност са дългосрочната цел, към която се стремим. Същевременно признаваме колко е трудно те да бъдат толкова строго обосновани за моделите на ИИ, колкото за авиацията или ядрената енергетика, поради новата сложност, която възниква с всяко следващо ниво на способностите на ИИ. Работим по рамка, която да формализира тези практики.
По-долу представяме някои начални насоки, които според нас следва да са част от обосновките за безопасност при обучение на авангарден ИИ. Тези добри практики отразяват наученото досега и очакваме да се развиват, докато усъвършенстваме вътрешните си процеси за внимателна разработка. Споделяме ги сега, за да представим открито настоящите си виждания и да поканим общността да даде обратна връзка. Имайте предвид, че този документ се фокусира върху обучението с утвърждение на авангардни модели. Вътрешното и външното внедряване изискват да се разгледа много по-широк набор от характеристики на съгласуваността.
Обосновките за безопасност следва да обхващат три аспекта на технологичния стек: обучение за съгласуваност, изолиране и наблюдение. Тези защити помагат да се гарантира, че моделът няма да се опитва да предприема несъгласувани действия, а дори да го направи, ще му бъде трудно да преодолее изолацията и наблюдението ще го засече, преди да настъпят вреди.
Съгласуваност на модела: Първата защитна линия следва да е обучението на моделите за съгласуваност, тоест да действат надеждно според намеренията ни. Това може да включва:
Обучителни среди и оценяване: Намалете риска моделите да развият несъгласувано поведение, като предотвратявате положителното подкрепяне на манипулации на механизма за възнаграждение по време на обучението. Това може да включва:
Автоматизирани проверки на наборите от данни: Използвайте Агенти за откриване и поправяне на дефектни среди за обучение с утвърждение, в които несъгласувани последователности от действия могат да получават високо възнаграждение чрез използване на уязвимости, а не чрез желаното поведение. Така се намаляват възможностите за подкрепяне на несъгласуваността по време на обучение.
Ръчни проверки на наборите от данни: Допълнете автоматизирания стрес тест с червен отбор с ръчен преглед и проверки на качеството на наборите от данни, за да откриете дефектни задачи, които неволно могат да подкрепят несъгласувано поведение.
Настройване на оценяващите системи: Настройте ги така, че да санкционират опитите на модела да използва уязвимости или да манипулира средите за обучение с утвърждение по време на обучението.
Анализ на предишни обучителни цикли: Приложете класификатори към записите от предишни експерименти, за да се уверите, че оценяващите системи работят според очакванията.
Измерване на съгласуваността: Провеждайте оценки, които проследяват склонността на модела към несъгласуваност, за да измервате ефективността на обучението за съгласуваност. Това може да включва:
Офлайн оценки на съгласуваността: Провеждайте оценки на съгласуваността по време на обучителните цикли на авангардни модели, за да проверите дали обучението работи според очакванията, и разследвайте всяко съществено влошаване.
Ретроспективно тестване: Тествайте оценките на съгласуваността върху минали инциденти, за да потвърдите, че откриват модели, проявявали несъгласуваност, и че не са прекалено приспособени към конкретни инциденти.
Проследяване на манипулирането на оценките: Следете за осъзнатост за оценяване или метаигра (когато моделите разпознават, че ги тестват), които могат да доведат до промяна в поведението. Например включете наблюдение за тези явления при оценките на съгласуваността и задайте конкретни прагове за блокиране.
Стрес тестове за най-лошия сценарий: Провокирайте най-тежките форми на нежелано поведение и проверете дали поне една оценка би ги открила.
Предотвратяване на обучение върху логическото мислене: Не допускайте автоматизираните оценяващи системи да виждат логическото мислене при обучение с утвърждение, за да не се научат моделите да заобикалят системите за наблюдение на логическото мислене.
Изолиране: Осигурете достатъчно надеждна изолирана среда и защита, за да предотвратите вредни действия, ако моделът стане несъгласуван. Това може да включва:
Многослойна защита на инфраструктурата: Инвестирайте значително в укрепване както на изолираната среда, в която работи моделът, така и на изследователската инфраструктура, която я поддържа. Това осигурява допълнителен защитен слой, ако моделът излезе извън изолираната среда.
Стрес тест с червен отбор за изолацията: Подобрявайте защитата на изолираната среда, изследователската инфраструктура и периметъра чрез многократни стрес тестове с червен отбор. Използвайте междинни версии от обучителни цикли на авангардни модели след анализ на безопасността, за да откривате и отстранявате пропуски. Подлагайте на тестове с червен отбор и всички услуги, с които моделът може да взаимодейства по време на обучение (например интернет кеша).
Комуникация между отделни извадки: Ограничете високоскоростната комуникация между отделни извадки до одобрени канали, като инструменти за работа с множество Агенти. Затворете страничните канали в инфраструктурата, които имат висока пропускателна способност и лесно се откриват от Агенти.
Непроменяеми записи на взаимодействията: За всяко обучение с утвърждение, оценяване и вътрешно внедряване съхранявайте записите на взаимодействията на Агентите в непроменяем вид за разумен срок (например в акаунти за съхранение с еднократен запис). Така се осигурява надеждно разследване на инциденти и се предотвратяват неволни редакции.
Наблюдение: Осигурете система за наблюдение в реално време, която да открива потенциална несъгласуваност, ако моделите започнат да предприемат несъгласувани действия, и бързо да реагира на приоритетни проблеми, преди да възникне сериозен инцидент. Това може да включва:
Гарантиране на възможността за наблюдение: Осигурете запазването на възможността за наблюдение на моделите чрез оценки с ясни прагове за наблюдаемостта и за заобикалянето на наблюдението, така че тревожното поведение да се открива рано.
Висока пълнота на откриване на познати проблеми: Проверете чрез оценка върху отделени тестови данни дали системата за наблюдение открива висок дял от миналите инциденти.
Актуални оценки на системите за наблюдение: Създавайте тестови примери, представителни за изцяло новите рискове при нови обучителни цикли, така че измерванията на пълнотата и точността на откриване да не остаряват.
Бърза реакция: Въведете приоритетни известия, които водят до действие в рамките на определеното SLA — чрез уведомяване на дежурен отговорник или автоматично временно спиране на засегнатия обучителен цикъл, преди моделът да причини вреда. Например при инциденти през деня уведомявайте дежурния по сигурността и отговорника за цикъла, а през нощта спирайте автоматично циклите при непотвърдени известия.
Наред с препоръките за технически защити разработваме и добри оперативни практики за обосновките за безопасност при обучителни цикли на авангарден ИИ. Те могат да включват:
Критични становища (предварителен анализ на възможни провали): След изготвянето на обосновка за безопасност член на друг екип следва да напише критично становище, което да открои потенциални пропуски и да предложи обективна оценка на риска. След това екипът по обучението следва да отговори на повдигнатите въпроси, за да се укрепи обосновката.
Одобрения: Обосновката за безопасност следва да се прегледа от членове на висшето ръководство, всеки от които да може да наложи вето върху обучителния цикъл. Така се осигуряват няколко нива на вътрешен контрол (например ръководителят или вицепрезидентът на изследователското звено, ръководителят по безопасността и главният научен ръководител).
Отчетност: Висшият ръководител, отговарящ за обучителния цикъл (например ръководителят или вицепрезидентът на изследователското звено), следва да носи отговорност за обосновката за безопасност и за реакцията при инциденти, включително при оценяването на работата му. Така и екипите по обучението ще имат стимул да работят за безопасност и съгласуваност.
Временно спиране: При откриване на проблеми, които обезсилват обосновката за безопасност (например нов проблем със сигурността), трябва да има оперативни инструкции, технически механизми за контрол и споразумения за ниво на обслужване (SLA) за временно спиране на всички обхванати обучителни цикли.
Вътрешна прозрачност: Обосновките за безопасност следва да са достъпни за вътрешните надзорни органи (например Комитета по безопасност и сигурност).
Одити: Одиторите следва да получат достатъчен достъп, за да проверят дали твърденията в обосновката за безопасност са валидни и обосновани и да сигнализират за открити пропуски.
Ескалация: Трябва да има ясен процес за ескалиране на проблеми с несъгласуваността, таблица с определени нива на тежест и дежурен отговорник, който да уведомява висшите ръководители (например изпълнителния директор), когато обучителен цикъл достигне определено ниво на тежест.
Технически механизми за контрол: За хората и Агентите трябва да е трудно да стартират обучителни цикли, които не отговарят на изискванията. При отказ защитните функции, като наблюдение и автоматично временно спиране, трябва да блокират работата (например не бива да е възможно да се стартират обучителни цикли без включено подходящо наблюдение или то да се изключва отвътре при обучение с утвърждение, оценяване или вътрешно внедряване).
Възможност за връщане назад: Трябва да е лесно да се установят всички последващи употреби на несъгласуван модел в процеса на обучение (например за генериране на данни или оценяване), така че при необходимост да се отстранят последиците от несъгласуваните му резултати.
Пълнота на остатъчните рискове: Обосновките за безопасност следва да съдържат възможно най-изчерпателен списък на остатъчните рискове, които не са обхванати от действащите мерки за ограничаване, за да се вземат информирани решения за приемане на риска.
Това са настоящите ни препоръки, които са в процес на прилагане в OpenAI. Очакваме практиките ни да продължат да се развиват през следващите седмици.
Разработваме и добри практики за разследване на тежки инциденти с несъгласуваност на ИИ. Лабораториите следва да се стремят да извличат възможно най-много поуки от отделните инциденти (подобно на практиките за разследване(отваря се в нов прозорец) в други отрасли с висок риск), за да могат да предотвратяват подобни случаи в бъдеще. Примери за такива действия са:
Вътрешна прозрачност: Тъй като разследването може да отнеме значително време, вътрешно следва да се предоставя периодична информация за напредъка му (например ежедневни актуализации за текущите разследвания). Трябва да има определени процедури, по които служителите да получават по-широк достъп, включително до необработени записи на взаимодействията и генериране на извадки от несъгласувани модели, ако това е безопасно и има отношение към работата им.
Първопричини за несъгласуваността: Изследователите следва да установят кои процеси в динамиката на обучението са породили несъгласуваното поведение (например чрез целево изключване на компоненти или експерименти с повторно генериране на извадки). Това ще задълбочи научното разбиране за несъгласуваността и ще спомогне за по-доброто ѝ предотвратяване.
Последващ анализ: Трябва да се анализират оперативните практики и организационната култура, за да се изяснят всички причини, допринесли за инцидента — например защо проблемите са възникнали и са останали неоткрити или не са били ескалирани преди него.
Откриване: Трябва да разработим методи за тестване на съгласуваността, способни да откриват склонността към причиняване на инцидента, без да ги оптимизираме итеративно пряко спрямо информацията от него (например записи на взаимодействия или обобщения на инцидента). Оценките, разработени въз основа на инциденти, следва да служат като „регресионни тестове“, за да се гарантира, че бъдещите модели няма да проявяват склонност към несъгласуваност при много сходни случаи.
Публично оповестяване: Резултатите от разследването, последващите анализи и оперативните промени следва да бъдат споделени с обществеността след приключване на разследването. Засегнатите трети страни следва да бъдат уведомени възможно най-скоро.
