Control Room

Що потужнішими стають наші моделі й що більшими — пов’язані з ними ризики для безпеки та захищеності, то важливіше вміти виявляти потенційні проблеми й за потреби швидко зупиняти роботу моделей. Саме для цього ми створили Control Room.

Control Room — це централізована система, яка відстежує робочі навантаження моделей у нашій дослідницькій інфраструктурі та швидко зупиняє їх, коли виникають загрози безпеці чи захищеності. До неї підключено всі дослідницькі робочі навантаження з інференсом, зокрема генерування вибірок за допомогою агентів для навчання й оцінювання моделей, обробку даних тощо. Вона працює разом із нашими системами моніторингу неузгодженості з цілями й припиняє генерування результатів моделлю протягом 35 секунд після рішення втрутитися, щоб зупинити або призупинити завдання. Її створено так, щоб вона продовжувала працювати навіть у разі збоїв інших систем, а якщо сама Control Room вийде з ладу — генерування результатів моделями припиниться.

Control Room уже розгорнуто в нашій дослідницькій інфраструктурі, де потреба в ній найбільша. Наш стек обслуговування моделей для зовнішніх користувачів за своєю природою вже значно централізованіший і має добре налагоджені засоби для швидкого вимкнення розгорнутих моделей за потреби.

Control Room об’єднує кілька систем: робоче навантаження, рушій інференсу та централізований сервіс Control Room.

• Робоче навантаження — це завдання, яке виконується: наприклад, експеримент із навчання з підкріпленням, оцінювання, генерування великої кількості вибірок або обробка даних. Ми вимагаємо, щоб кожне дослідницьке робоче навантаження, яке виконує агентний інференс, було пов’язане із затвердженим обґрунтуванням безпеки.

• Рушій інференсу, або просто рушій, — це сама модель. Рушій можна уявити як мозок моделі, що працює безпосередньо на графічних процесорах. Робоче навантаження зазвичай використовує одну або кілька моделей, які можуть працювати на одному чи кількох різних рушіях інференсу. Один рушій інференсу може обслуговувати кілька різних робочих навантажень.

• Сервіс Control Room відстежує завдання й контролює, чи дозволено їм далі генерувати результати за допомогою моделей. Перш ніж виконати запит, рушії перевіряють дозвіл у сервісі Control Room. Якщо завдання зупинено, сервіс відхиляє запит, унеможливлюючи подальше генерування результатів.

Інтеграція з Control Room працює так:

• Під час запуску нового завдання код робочого навантаження запитує в Control Room новий job_id.

• Щоразу, коли робочому навантаженню потрібно згенерувати токени за допомогою моделі, воно надсилає запит рушію інференсу, на якому працює ця модель, передаючи job_id. Рушій запитує в Control Room дозвіл на виконання цього запиту, передаючи їй job_id.

• Control Room перевіряє, чи зупинено завдання, і якщо так — відхиляє запит на інференс. Рушій відповідає відмовою на запит робочого навантаження щодо інференсу, припиняючи подальше генерування результатів моделлю для цього завдання.

Усі наші завдання з навчання передових моделей із підкріпленням виконуються під наглядом моделі-монітора. Монітор — це інша модель, яка перевіряє всі дії моделі, що навчається, і надсилає сповіщення, якщо виявляє проблему. Наприклад, наш нещодавній інцидент, пов’язаний із DNS⁠(відкривається у новому вікні), виявила саме модель-монітор.

Control Room і наша система моніторингу взаємодіють так:

• Якщо система моніторингу виявляє потенційну проблему, вона може вирішити зупинити завдання — залежно від обставин і серйозності проблеми.

• У такому разі система моніторингу надсилає Control Room повідомлення про зупинку завдання, передаючи job_id. Control Room фіксує, що завдання зупинено.

• Коли завдання із цим job_id наступного разу надішле запит на інференс для генерування нових токенів за допомогою будь-якої моделі на будь-якому рушії, запит буде відхилено, і подальше генерування результатів моделлю припиниться.

Від моменту, коли Control Room отримує команду зупинити завдання, до моменту, коли подальше його виконання стає неможливим, минає щонайбільше 35 секунд. Ця 35-секундна затримка зумовлена шаром кешування дозволів на інференс, потрібним для обробки необхідного обсягу трафіку. Ми працюємо над тим, щоб звести цю затримку до нуля й зупиняти завдання миттєво.

За робочі навантаження, зокрема експерименти, оцінювання тощо, зазвичай відповідають окремі дослідники або дослідницькі команди, які ними й керують. Тому код робочих навантажень часто змінюється, і це не найкраще місце для реалізації критично важливих механізмів безпеки. Саме тому нашу систему спроєктовано так, щоб вона залишалася стійкою до помилок і збоїв у коді робочих навантажень.

Для цього ми реалізували механізм зупинки на рівні інференсу. Код робочих навантажень дуже різноманітний і децентралізований. Натомість у всіх дослідженнях OpenAI використовується лише кілька шляхів виконання коду інференсу, а їх розгортання значно централізованіше й однорідніше. Отже, рівень інференсу може слугувати єдиною контрольною точкою, що дає надійні гарантії: усі запити на інференс моделей у дослідженнях проходять перевірку дозволу в Control Room. Крім того, ми постійно проводимо перевірки за допомогою агентів і програмних засобів, щоб переконатися, що користувачі випадково чи навмисно не запускають несанкціоновані реалізації рушіїв без інтеграції з Control Room або з вимкненою інтеграцією.

Нарешті, наша система працює за принципом «блокування в разі збою». Інтеграцію Control Room у рушіях налаштовано так, що коли сервіс Control Room перестає працювати — через системну помилку, вимкнення з будь-якої іншої причини чи втручання зловмисника — усі запити на інференс відхиляються до відновлення його нормальної роботи. Блокування в разі збою вже впроваджено для всіх дослідницьких робочих навантажень із передовими моделями. Для решти дослідницьких робочих навантажень його впровадження завершиться протягом кількох наступних днів.

Control Room — лише одна складова нашого комплексного підходу до безпечного навчання й розгортання передових моделей. Протягом наступних місяців ми продовжимо зміцнювати й розширювати систему, водночас інвестуючи в моніторинг поведінки, неузгодженої з цілями, та порушень безпеки. Якщо ви хочете допомогти створювати системи для безпечної та захищеної розробки й розгортання AGI, у нас є⁠ вакансії⁠!