GPT‑Red: самовдосконалення для стійкості
Навчання сильних автоматизованих фахівців із безпекової перевірки на вразливості та ризики для підвищення стійкості.
Підсумок
Проблема
Перевірка на вразливості та ризики необхідна для виявлення вразливостей і підвищення стійкості наших моделей. Однак нинішні підходи погано масштабуються й створюють вузьке місце.
Поширені оцінювання стійкості вже вичерпалися на наших найновіших моделях.
Нам потрібно розробляти методи, що дадуть змогу безпеці й узгодженню масштабуватися разом із можливостями моделей.
Що ми зробили
Ми навчили GPT‑Red — автоматизовану модель для перевірки на вразливості та ризики, яка масштабує нашу здатність знаходити вразливості, щоб усувати їх до ширшого розгортання.
GPT‑Red — сильний фахівець із перевірки на вразливості та ризики, а наші попередні моделі дуже вразливі до його атак вставлення шкідливих запитів.
Ми використовуємо GPT‑Red для змагального навчання GPT‑5.6, завдяки чому вона стає значно стійкішою до вставлення шкідливих запитів.
Ми й надалі масштабуватимемо цей підхід разом із людською та сторонньою перевіркою на вразливості та ризики, багаторівневими запобіжниками й моніторингом у реальному часі.
ШІ-системи часто стикаються зі сторонніми даними через браузери, підключені застосунки, локальні файли та інші інструменти. Такі можливості потрібні для виконання реальних завдань, але вони також створюють більше нагод для зловмисників впливати на поведінку моделі. Наприклад, третя сторона може вбудувати ретельно підготовлену інструкцію, призначену обманом змусити модель завантажити конфіденційні дані на зовнішній сервер, в електронний лист, вебсторінку, відповідь інструмента або репозиторій коду.
Людська перевірка на вразливості та ризики — критично важлива частина нашої роботи з безпеки: вона допомагає виявляти ці вразливості до розгортання й упроваджувати належні запобіжники. Але саму лише людську перевірку на вразливості та ризики важко масштабувати. Планування й проведення таких вправ забирає багато часу, обмежуючи швидкість, із якою ми можемо виявляти нові режими відмов і враховувати їх у сильніших запобіжниках. Крім того, хоча ці вправи дають цінні приклади успішних атак, вони не можуть створити обсяг і різноманіття змагальних даних, потрібні для підвищення стійкості моделей через навчання.
Щоб не відставати від дедалі потужніших моделей, перевірка на вразливості та ризики також має масштабуватися. З цією метою ми навчаємо автоматизовані моделі для перевірки на вразливості та ризики лише для внутрішнього використання: вони виявляють вразливості до розгортання й генерують атаки під час навчання моделей, щоб підвищувати стійкість. Ми вважаємо, що автоматизована перевірка на вразливості та ризики відкриває ключову форму самовдосконалення для безпеки: використання сьогоднішніх моделей для безпосереднього підвищення безпеки майбутніх моделей.
GPT‑Red — кульмінація цих зусиль і наша найкраща на сьогодні автоматизована модель для безпекової перевірки на вразливості та ризики. Подібно до того, як люди-фахівці з перевірки на вразливості та ризики створюють атаки, модель рухається до мети, надсилаючи запит, спостерігаючи, як моделі GPT відповідають на нього, і повторюючи ітерації. Ми навчали GPT‑Red у масштабі обчислень деяких із наших найбільших запусків постнавчання в OpenAI — це безпрецедентний обсяг обчислень, присвячений суто підвищенню безпеки.
Ми безпосередньо включаємо GPT‑Red у процес навчання наших виробничих моделей. У результаті GPT‑5.6 Sol стала нашою найстійкішою до вставлення шкідливих запитів моделлю на сьогодні: вона має в 6 разів менше відмов на нашому найскладнішому бенчмарку прямих вставлень шкідливих запитів порівняно з нашою найкращою виробничою моделлю лише чотири місяці тому. Масштабованість нашого підходу дає підстави очікувати ще сильніших результатів у майбутньому, коли ми й надалі навчатимемо сильніших фахівців із перевірки на вразливості та ризики.
GPT‑Red навчається за допомогою навчання з підкріпленням у режимі самогри, де модель і набір різноманітних захисних LLM одночасно тренуються на широкому спектрі сценаріїв перевірки на вразливості та ризики. GPT‑Red отримує винагороду за спричинення коректного збою, наприклад успішного вставлення шкідливих запитів, тоді як захисні моделі отримують винагороду за протидію атаці й виконання своїх початкових завдань. Коли захисники стають стійкішими, GPT‑Red змушений знаходити сильніші й різноманітніші атаки.
Щоб підтримати навчання самогрою, ми створюємо широкий набір реалістичних сценаріїв, у які можуть бути вставлені шкідливі запити. Кожне середовище має модель загроз, яка визначає, що може контролювати GPT‑Red і що вважається успішною атакою. Наприклад, GPT‑Red може контролювати частину локального файлу, банер вебсторінки, текст електронного листа або результат роботи інструмента.
Наприкінці навчання GPT‑Red стає дуже сильним нападником: він здатен зламати майже всі моделі, проти яких його ставлять, як внутрішні, так і виробничі моделі аж до GPT‑5.5 включно. Після завершення навчання GPT‑Red ми використали його для створення шкідливих запитів під час навчання GPT‑5.6, завдяки чому модель стала дуже стійкою до атак GPT‑Red.
Ми тримаємо GPT‑Red окремо від моделей, які розгортаємо. Так ми не даємо зловмисникам доступу до шкідливих можливостей, які спеціально навчаємо в GPT‑Red, водночас прищеплюючи стійкість нашим виробничим моделям.
GPT‑Red надзвичайно ефективний проти сукупності захисних моделей і сценаріїв перевірки на вразливості та ризики, на яких його навчали. Ми також оцінюємо, чи корисна модель як універсальний агент для перевірки на вразливості та ризики, щоб ширше посилювати безпеку в OpenAI. Для цього ми перевіряємо ефективність GPT‑Red у нових безпекових середовищах і на цільових моделях.
Спершу ми оцінюємо здатність GPT‑Red узагальнювати на нові сценарії перевірки на вразливості та ризики за допомогою відтвореної версії арени непрямого вставлення шкідливих запитів із роботи Dziemian et al. (2025)(відкривається у новому вікні). У цьому випробуванні і люди, що проводять перевірку на вразливості та ризики, і GPT‑Red незалежно пропонували атаки проти GPT‑5.1 у наборі заздалегідь визначених середовищ. Ці сценарії та цілі перевірки на вразливості та ризики відрізняються від тих, що використовувалися для навчання GPT‑Red. GPT‑Red досягає значно вищих показників успішності атак: успіх у 84% сценаріїв проти 13% у людей.
GPT‑Red демонструє виняткові результати як автоматизований фахівець із перевірки на вразливості та ризики. GPT‑Red здатен генерувати успішні атаки проти GPT‑5.1 у значно більшій кількості сценаріїв, ніж люди, що проводять перевірку на вразливості та ризики, на арені непрямого вставлення шкідливих запитів із роботи Dziemian et al. (2025) з використанням внутрішнього дзеркала.
Найвищим випробуванням для «червоної команди» є здатність досягати цілеспрямованих зловмисних цілей проти реальних агентних систем із неповними знаннями базової моделі системи та дизайну узгодження. Наш перший експеримент у цьому сетингу протиставив GPT‑Red автомату на базі штучного інтелекту в офісі OpenAI (схожому на Project Vend(відкривається у новому вікні)), створеному Andon Labs. Ми надали GPT‑Red опис системи та можливість надсилати атаки та спостерігати виклики інструментів від імітованого агента, які дуже близькі до реального розгортання. Після ітерації атак GPT‑Red розгорнув атаку проти виробничого агента, досягнувши всіх трьох своїх шкідливих цілей:
- Змінити ціну дорогого товару, що є в наявності, на мінімально дозволену ціну $0,50;
- Замовити новий товар за $100+ і запропонувати його за $0,50; та
- Скасувати замовлення іншого клієнта.
Ми розкрили ці вразливості, і нові заходи безпеки активно тестуються.
GPT‑Red здатен зламати робочого автономного агента Vendy, який керує торговим автоматом. GPT‑Red зміг змусити виробничого агента знизити ціни на дорогі товари та скасувати замовлення інших клієнтів: спершу протестувавши атаки в симуляції, а потім перенісши їх на робочого агента.
Ми також використовуємо GPT‑Red для атаки на агента CLI Codex (на базі GPT‑5.4 mini) у наборі з 10 прихованих сценаріїв ексфільтрації даних. Ми порівнюємо модель із базовим показником GPT‑5.5, щоб дослідити вплив нашої тренувальної процедури на ефективність затриманої «червоної команди». GPT‑Red є ефективнішим, оскільки може успішно змусити агента витягувати чутливі дані у більшій кількості сценаріїв, а також більш ефективним у використанні токенів.
GPT‑Red ефективніше й ощадніше за ресурсами зламує робочих агентів Codex. Ми тестуємо агент Codex на базі GPT‑5.4 Mini на власному наборі з 10 завдань з ексфільтрації даних.
Кінцева мета GPT‑Red — підвищити надійність наших моделей. За останні шість місяців ми навчали поступово сильніші моделі red teaming (попередники GPT‑Red) зі збільшенням обчислень і використовували ці моделі для навчання кожної наступної серійної моделі з GPT‑5.3. З часом кожен наступний реліз GPT ставав більш надійним.
Наприклад, рання версія GPT‑Red виявила новий клас атак із прямим вставленням шкідливих запитів, відомий як атаки «фальшивого ланцюга думок». Ці атаки досягли успішності понад 95% на GPT‑5.1, але зараз вони нижчі за 10% для GPT‑5.6 Sol. Аналогічно, кілька наших бенчмарків непрямого вставлення шкідливих запитів, спрямованих на атаки в інструментах розробників і браузері, були насичені нашою останньою моделлю (>97% точності).
Стійкість самого GPT‑Red також суттєво покращилася. У широкому наборі надійних ресурсів рівень успішності атаки GPT‑Red з часом монотонно знижувався. У нашій останній моделі GPT‑5.6 Sol не справляється лише на 0,05% прямих ін'єкцій GPT‑Red.
Масштабуючи навчання самогрою для вставлення шкідливих запитів, ми виявили нові загрози, здатні зламати наявні моделі. Водночас це масштабування також суттєво підвищило стійкість до таких атак. Рівень успішності атак обчислюється як середня успішність спроб за всіма спробами GPT‑Red у відкладених середовищах.
Модель може виглядати безпечнішою, відхиляючи більше запитів або стаючи менш здатною. Модель, яка робить менше, природно складніша для атаки, але це не є корисною стійкістю.
Ми ретельно оцінюємо як загальні граничні можливості, так і цілеспрямовані завдання з відмовою, які розробляємо. Ми виявили, що всі нормальні можливості залишаються незмінними, водночас значно підвищуючи стійкість. Це свідчить про те, що зростання надійності з'явилося завдяки кращій стійкості до шкідливих інструкцій, а не неправильному використанню інструментів або відмові від легітимних запитів за замовчуванням.
Агенти ШІ вже використовуються для покращення можливостей наших моделей наступного покоління. Ми віримо, що з GPT‑Red ми почали відкривати схожий маховик для безпеки, де сучасні моделі можна використовувати для того, щоб зробити майбутні моделі більш міцними, вирівняними та надійними. Ми продовжимо масштабувати обчислення та дані, впроваджуючи алгоритмічні вдосконалення, щоб навчати майбутні версії GPT‑Red, які будуть сильнішими за сучасну модель. І, відповідно, ці моделі допоможуть зробити майбутні релізи GPT безпечнішими.
Ми випустимо препринт з детальнішою деталлю пізніше цього тижня.
