OpenAI

Керування ризиками передового ШІ: від навчання до розгортання

18 листопада 2026 року · Безпека

Можливості передових моделей стрімко зростають, а наша здатність розуміти, узгоджувати й захищати їх має випереджати цей розвиток. Ми регулюємо темп розробки й випуску моделей, зокрема призупиняємо внутрішнє навчання⁠(відкривається у новому вікні) або відкладаємо випуск таких моделей, як GPT‑6.1 Astra, коли потрібно більше часу для досягнення наших стандартів безпеки. Ми запровадили нові процеси, як-от обґрунтування безпеки, і вимагаємо переконливіших доказів узгодженої поведінки протягом усього навчання. Ці вимоги сповільнюють випуск моделей, але додають упевненості, що ми можемо безпечно рухатися далі.

Після інциденту з Hugging Face⁠ у липні ми посилили запобіжники й вимоги до узгодженості під час навчання, тестування та розгортання моделей. У цій публікації ми пояснюємо, як оцінюємо ризики й керуємо ними на кожному етапі: від суворо ізольованих навчальних середовищ до Codex, яким ви користуєтеся на своєму комп’ютері. На кожному етапі ми оцінюємо і моделі, і запобіжники, а для переходу до наступного етапу вимагаємо перевірки безпеки.

Багаторівневий захист упродовж життєвого циклу моделі

Ми застосовуємо багаторівневий захист, який зменшує залежність від будь-якого окремого запобіжника. Якщо один рівень не спрацьовує, інші допомагають запобігти шкоді, обмежити наслідки або сповістити нас, щоб ми могли втрутитися.

Наш захист охоплює чотири рівні:

Ефективність моніторингу залежить від придатності моделі до моніторингу — того, наскільки надійно системи моніторингу можуть виявляти помилки чи небезпечну поведінку за міркуваннями й діями моделі. Наприклад, модель, яка прямо висловлює намір обманути у своєму ланцюжку міркувань (CoT), легше контролювати, ніж ту, яка замовчує цю інформацію. Ми оцінюємо придатність до моніторингу під час навчання й перед розгортанням, удосконалюємо методи її вимірювання⁠(відкривається у новому вікні) та досліджуємо, що на неї впливає⁠(відкривається у новому вікні).

Інцидент із Hugging Face показав, чому для стримування потужних моделей не можна покладатися лише на ізоляцію середовища. Тепер ми відстежуємо передові моделі в більшості внутрішніх і зовнішніх середовищ розгортання, зокрема в усіх внутрішніх розгортаннях, де використовуються інструменти.

Роль кожного рівня змінюється на трьох етапах розробки й розгортання моделі:

  • Дослідження: ми навчаємо, тестуємо й використовуємо моделі в ізольованих середовищах.

  • Внутрішнє розгортання: співробітники OpenAI використовують моделі для практичної роботи.

  • Зовнішнє розгортання: моделі стають доступними ширшому колу людей і організацій.

На різних етапах ми покладаємося на різні рівні захисту. Під час навчання, коли впевненості в узгодженості менше, ми більше покладаємося на ізоляцію середовища й моніторинг. Коли під час розгортання моделі отримують ширший доступ, узгодженість і системні засоби контролю стають дедалі важливішими. На кожному етапі ми оцінюємо, чи достатній сукупний захист з огляду на можливості моделі та її доступ. Наші висновки можуть розглядатися за участю Консультативної групи з питань безпеки й під наглядом Комітету із захисту та безпеки ради директорів OpenAI Foundation.

Дослідження: утримання моделей в ізольованих середовищах

На етапі досліджень ми оцінюємо моделі, щоб упевнитися в їхній узгодженості. Оскільки для запобігання шкоді ще не можна цілком покладатися на узгодженість, ми значною мірою використовуємо захист та ізоляцію, щоб обмежити доступ і дії моделей.

З огляду на поточний стан досліджень узгодженості, систем моніторингу й захисту інтернет-інфраструктури ми вважаємо відповідальним підходом навчання передових моделей без прямого доступу до інтернету. Після інциденту з Hugging Face ми суттєво перебудували внутрішні дослідницькі системи, щоб стримувати моделі за допомогою:

  • ізольованих середовищ, які обмежують права моделі

  • віртуальних машин, що додатково ізолюють робочі процеси від базового комп’ютера

  • мережевих і хмарних периметрів, що відокремлюють увесь кластер від інтернету

Ми постійно перевіряємо цю систему на вразливості та ризики: команди наших найпотужніших моделей намагаються вийти в інтернет, подолати захисні межі або зв’язатися з агентами, від яких мають бути ізольовані. Це допомагає перевірити, чи витримує ізоляція протидію моделей, для стримування яких її створено.

Як додатковий рівень захисту ми відстежуємо всі запуски передових моделей, щоб виявити порушення незмінних умов безпеки. Якщо моніторинг виявляє, що модель вийшла в інтернет, ми терміново сповіщаємо команди безпеки й автоматично призупиняємо робочий процес.

Моніторинг — критично важлива підстраховка, коли ізоляція не спрацьовує. У недавньому звіті про неузгодженість ми повідомили, що системи моніторингу виявили, як внутрішня дослідницька модель скористалася помилковим налаштуванням DNS⁠(відкривається у новому вікні), щоб отримати обмежений доступ до інтернету. Ми призупинили навчання й оцінювання найпотужніших моделей із 20 вересня до 1 жовтня, поки проводили розслідування та усували прогалину в захисті.

Для швидкого й надійного втручання ми створили Control Room⁠ — центральну систему, яка відстежує дослідницькі процеси й припиняє генерування моделлю протягом 35 секунд після команди зупинити завдання. Ці засоби контролю діють безпосередньо в інфраструктурі виконання моделей і не залежать від того, чи має кожен дослідницький процес власний механізм зупинки. У дослідницьких процесах із передовими моделями вони також припиняють генерування, якщо Control Room стає недоступною.

Перевірка на вразливості та ризики й моніторинг доповнюють одне одного. Ми не можемо гарантувати непроникність ізольованого середовища, але перевірка на вразливості та ризики допомагає оцінити, скільки зусиль моделі знадобиться для виходу з нього. Що більше зусиль потрібно моделі, то більше можливостей у систем моніторингу виявити й зупинити її.

На етапі досліджень ми вимагаємо надійних засобів захисту й моніторингу з кількох причин:

  • Оцінювання моделей ще триває. Деякі ще не пройшли навчання з безпеки, аудит узгодженості та перевірки, необхідні для публічного випуску.

  • Умови передових досліджень можуть посилювати ризики. Деякі дослідницькі завдання потребують масштабніших конфігурацій, у яких модель діє наполегливіше або має ширші можливості, ніж зазвичай під час зовнішнього розгортання (наприклад, для розв’язання проблеми Нав’є — Стокса знадобилася команда з 10 000 агентів).

  • Масштабне навчання відбувається з меншим безпосереднім наглядом людини. На відміну від звичайного сеансу Codex, наші навчальні процеси передбачають багато дій моделі, і людина не відстежує кожну взаємодію.

Внутрішнє розгортання: перевірка узгодженості й ретельний моніторинг поведінки

До широкого випуску співробітники переходять від дослідницького використання передових моделей в ізольованому середовищі до внутрішнього використання без ізоляції — наприклад, отримують доступ до моделі в ChatGPT. Це допомагає краще зрозуміти, як моделі поводяться на практиці⁠(відкривається у новому вікні), і врахувати це в рішеннях щодо розгортання.

На цьому етапі ми надаємо моделі ширший доступ до інтернету, нашого Slack, кодової бази та внутрішньої інфраструктури. Це суттєво змінює ризики, адже тепер дії моделі безпосередньо впливають на системи, за допомогою яких ми розвиваємо OpenAI та забезпечуємо її роботу. Під час внутрішнього розгортання ми маємо більше покладатися на узгодженість моделі, системні запобіжники й моніторинг, а не на засоби захисту.

Перш ніж розгорнути передову модель поза ізольованим середовищем, потрібно перевірити її узгодженість і придатність до моніторингу⁠(відкривається у новому вікні). Наш набір оцінювань узгодженості охоплює як конкретні типи її порушень (наприклад, обхід обмежень безпеки й захисту), так і загальну схильність до них (наприклад, через повторну вибірку внутрішніх траєкторій Codex і перевірку на неузгодженість). Докладніше про оцінювання узгодженості та придатності до моніторингу можна прочитати в останній картці системи GPT‑6 Astra⁠(відкривається у новому вікні).

Як і в робочих середовищах, ми додаємо ще один рівень захисту — системні класифікатори, покликані запобігати шкоді від передових моделей, зокрема кіберзловживанням і створенню біологічної зброї. Ми також зазвичай вимагаємо, щоб співробітники, які працюють із Codex, використовували Auto-Review⁠(відкривається у новому вікні): цей механізм оцінює потенційно ризиковані дії та передає їх на розгляд користувачеві.

Нарешті, під час внутрішнього розгортання ми перевіряємо кожен запуск передової моделі на неузгоджену поведінку. Оскільки модель тепер має розширені права й доступ до внутрішніх даних і систем, особливо важливо виявляти такі ризики, як викрадення даних або передавання конфіденційної інформації неавторизованому одержувачу. Моніторинг також допомагає нам досліджувати нові форми неузгодженості⁠(відкривається у новому вікні).

Зовнішнє розгортання: масштабний захист від зловживань і неузгодженості

Публічне розгортання відкриває моделям доступ до значно більшої кількості користувачів, завдань і середовищ, збільшуючи масштаб і розмаїття ризиків. На цьому етапі також потрібен захист від потенційних зловмисників, які навмисно спрямовують модель на заподіяння шкоди.

До публічного випуску моделі й системні запобіжники мають відповідати нашим вимогам безпеки для зовнішнього розгортання. Для їх оцінювання ми:

  • Проводимо ширший набір оцінювань узгодженості й безпеки. Для передових моделей це передбачає нові раунди адаптивного тестування⁠ з нашими внутрішніми автоматизованими засобами перевірки на вразливості та ризики, щоб випробувати стійкість моделі в складних умовах. Результати оцінювання можливостей і безпеки ми публікуємо в картках системи⁠(відкривається у новому вікні).

  • До тестування найпотужніших моделей також залучаємо сторонніх фахівців, щоб випробувати як запобіжники проти зловживань, так і базову узгодженість моделей.

  • Аналізуємо сигнали моніторингу з етапу внутрішнього розгортання, щоб відстежувати зміни в узгодженості базової моделі.

Окрім «синхронних» запобіжників (як-от навчання моделі з безпеки та системних класифікаторів), для зовнішніх розгортань ми також застосовуємо перевірки дотримання правил і розслідування поза режимом реального часу. Відповідні команди поєднують масштабовані агентні розслідування з перевіркою людьми, щоб виявляти потенційних зловмисників і загрози: кіберзловживання, створення біологічної зброї, дистиляцію⁠ та неузгоджену поведінку самої моделі. Перевірки поза режимом реального часу особливо корисні для збору інформації з різних облікових записів, щоб скласти повнішу картину потенційної загрози.

Програми довіреного доступу, як-от Daybreak і Rosalind⁠, додають ще один рівень захисту та прискорюють роботу захисників і доброчесних дослідників, обмежуючи доступ потенційним нападникам.

Реагування на інциденти та розкриття інформації

Помітивши збій на одному з рівнів безпеки, ми прагнемо швидко його розслідувати, визначити пріоритет реагування та, якщо це можливо й доцільно, оприлюднити інформацію — незалежно від того, чи було завдано шкоди. За нашою політикою повідомлення про неузгодженість⁠ будь-який співробітник може запропонувати оприлюднити інформацію про інцидент. Такі повідомлення розслідують. Якщо виникають розбіжності щодо оприлюднення, рішення передають на розгляд Консультативній групі з питань безпеки. Окрім повідомлень співробітників, ми також самі активно шукаємо випадки неузгодженості, щоб усувати проблеми й ділитися висновками.

Наші звіти про неузгодженість доступні тут⁠(відкривається у новому вікні).

​


​

Ця робота залежить і від прогресу досліджень, і від операційної дисципліни: правильного налаштування засобів контролю, перевірки їхньої взаємодії та рішучого реагування на збої. Хибне налаштування мережевої служби або збій автоматичної зупинки можуть підірвати навіть надійний захист.

З появою нових можливостей моделей ми маємо й далі перевіряти припущення, на яких ґрунтуються наші запобіжники, та за потреби вдосконалювати їх. Досвід досліджень, внутрішнього використання й публічного розгортання має визначати, як ми навчаємо, оцінюємо та розгортаємо наступні моделі.

Ми й далі ділитимемося висновками в картках системи, звітах про інциденти, звітах про ризики⁠(відкривається у новому вікні) внутрішнього розгортання та зовнішніх оцінюваннях⁠, щоб інші могли критично розглянути наш підхід, зокрема його обмеження. Якщо цих доказів буде недостатньо за нашими стандартами безпеки, ми знову призупинимо навчання або відкладемо випуск, доки вимоги не буде виконано.

Пов’язані дослідження та ресурси

Встановлення стандартів безпеки

Визначення й оцінювання узгодженої поведінки

Стримування моделей і вдосконалення запобіжників

Реагування на інциденти та розкриття інформації

Прогрес досліджень і практичне застосування

  • Прискорення досліджень: погляд зсередини OpenAI — Перші свідчення того, як агенти програмування змінюють дослідження в OpenAI: ширше використання, дедалі складніші завдання та вплив на експерименти.

  • Про задачу тисячоліття Нав’є — Стокса — Математичне доведення, створене внутрішньою системою ШІ й доповнене формалізацією в Lean, демонструє можливості масштабних дослідницьких розгортань.

  • Daybreak — Наша програма кібербезпеки надає перевіреним захисникам передові можливості ШІ, інструменти безпеки та підтримку для пошуку вразливостей і посилення захисту.

  • Представляємо GPT‑Rosalind для досліджень у науках про життя⁠ — Спеціалізована модель для біології, розробки ліків і трансляційної медицини, доступна організаціям, що відповідають вимогам програми довіреного доступу.