Control Room

Колкото по-мощни стават моделите ни и колкото повече нарастват свързаните с тях рискове за безопасността и сигурността, толкова по-важно е да можем да откриваме потенциални проблеми и при нужда бързо да спираме работата им. За тази цел създадохме Control Room.

Control Room е централна система за проследяване на работните натоварвания с модели в цялата ни изследователска инфраструктура и за бързото им спиране при опасения за безопасността или сигурността. Тя е свързана с всички изследователски работни натоварвания, които използват инференция. Сред тях са задачите за генериране на извадки чрез агенти при обучение и оценяване на модели, както и задачите за обработка на данни. Control Room работи съвместно с нашите системи за наблюдение за несъответствие с целите и спира генерирането на резултати от модела до 35 секунди след вземане на решение за спиране или временно прекъсване на задача. Проектирана е да продължава да работи дори при отказ на други системи и да спира генерирането на резултати от модела, ако самата Control Room спре да работи.

Control Room вече е внедрена в цялата ни изследователска инфраструктура, където нуждата от нея е най-голяма. Технологичният ни стек за обслужване на модели за външни потребители поначало е много по-централизиран и вече разполага с добре развити оперативни възможности за бързо изключване на внедрени модели при нужда.

Control Room работи чрез интеграция на няколко системи: работното натоварване, модула за инференция и централизираната услуга Control Room.

• Работното натоварване е изпълняваната задача — например експеримент с обучение с утвърждение, оценяване, генериране на голям обем извадки или обработка на данни. Изискваме всяко изследователско работно натоварване, което извършва инференция чрез агенти, да е свързано с одобрена обосновка за безопасност.

• Модулът за инференция, или просто модулът, е самият модел. Можете да си представите модула като мозъка на модела, който работи директно върху графични процесори. Едно работно натоварване обикновено използва един или повече модели, които може да работят на един или повече различни модули за инференция. Един и същ модул за инференция може да се използва от няколко различни работни натоварвания.

• Услугата Control Room проследява задачите и контролира дали им е разрешено да продължат да генерират резултати чрез модели. Модулите проверяват разрешението в услугата Control Room, преди да изпълнят заявка. Ако дадена задача е спряна, услугата отхвърля заявката и предотвратява генерирането на допълнителни резултати.

Control Room е интегрирана по следния начин:

• При стартиране на нова задача кодът на работното натоварване заявява нов job_id от Control Room.

• Когато работното натоварване трябва да генерира токени чрез модел, то изпраща заявка до модул за инференция, на който работи този модел, като подава job_id. Модулът иска разрешение от Control Room да изпълни заявката, като предава job_id на Control Room.

• Control Room проверява дали задачата е прекратена и ако е така, отхвърля заявката за инференция. Модулът отговаря с отказ на заявката за инференция от работното натоварване, като спира генерирането на допълнителни резултати от модела за тази задача.

Всички наши задачи за обучение с утвърждение на авангардни модели се изпълняват с наблюдаващ модел. Наблюдаващият модел е друг модел, който проверява всичко, което обучаваният модел прави, и подава сигнал, ако открие проблем. Например неотдавнашният ни инцидент, свързан с DNS⁠(отваря се в нов прозорец), беше засечен от наблюдаващ модел.

Control Room и системата ни за наблюдение са интегрирани по следния начин:

• Ако системата за наблюдение открие потенциален проблем, тя може да реши да спре задачата в зависимост от естеството и сериозността му.

• В този случай системата за наблюдение изпраща съобщение до Control Room за спиране на задачата, като подава job_id. Control Room записва, че задачата е прекратена.

• Следващия път, когато задачата с този job_id изпрати заявка за инференция за генериране на още токени от който и да е модел, работещ на който и да е модул, заявката ще бъде отхвърлена и генерирането на допълнителни резултати ще спре.

Максималното време от получаването на инструкция за спиране на задача в Control Room до момента, в който по-нататъшното ѝ изпълнение става невъзможно, е 35 секунди. Забавянето от 35 секунди се дължи на кеширащ слой за разрешенията за инференция, който позволява обслужването на необходимия обем трафик. Работим за намаляване на това време до нула, за да можем да прекратяваме задачите незабавно.

Работните натоварвания, включително експерименти, задачи за оценяване и други, обикновено са под контрола на изследователи или изследователски екипи, които ги изпълняват. Затова кодът на работните натоварвания се променя често и не е най-подходящото място за внедряване на критично важни защитни механизми. По тази причина нашата реализация е проектирана да бъде устойчива на грешки или неизправности в кода на работните натоварвания.

Постигаме това, като внедряваме механизма за прекратяване в слоя за инференция. Кодът на работните натоварвания е изключително разнообразен и децентрализиран. За разлика от него, във всички изследвания на OpenAI се използват съвсем малко на брой пътища за изпълнение на кода за инференция, чието внедряване е много по-централизирано и унифицирано. Така слоят за инференция може да служи като задължителна контролна точка, която ни дава надеждни гаранции, че всяка заявка за инференция към модел в изследователската среда подлежи на проверка за разрешение от Control Room. Освен това непрекъснато извършваме проверки чрез агенти и програмни средства, за да следим дали потребителите не стартират случайно или злонамерено неразрешени реализации на модули за инференция, в които Control Room липсва или е деактивиран.

И накрая, системата ни „блокира при отказ“. Това означава, че интеграцията на Control Room в модулите е конфигурирана така, че ако услугата Control Room спре да работи — поради системна грешка или деактивиране по друга причина, включително злонамерена намеса — всички заявки за инференция се отхвърлят, докато Control Room не възстанови нормалната си работа. Блокирането при отказ вече е внедрено за всички изследователски работни натоварвания с авангардни модели. Внедряването му за останалите изследователски работни натоварвания ще приключи през следващите няколко дни.

Control Room е само част от цялостния ни подход към безопасното обучение и внедряване на авангардни модели. През следващите месеци ще продължим да усъвършенстваме и разширяваме системата, наред с инвестициите ни в наблюдение за поведение, несъответстващо на зададените цели, и за пробиви в сигурността. Ако искате да помогнете в изграждането на системи за безопасно и сигурно разработване и внедряване на AGI, набираме⁠ служители⁠!