Представляем режим изоляции и согласованные метки повышенного риска в ChatGPT

С каждым днем системы ИИ берут на себя все более сложные задачи, в том числе те, которые связаны с подключением к сети и сторонним приложениям, что существенно влияет на риски в области безопасности.

Наибольшее внимание сегодня привлекает риск промпт-инъекций⁠. В такого рода атаках третьи лица пытаются ввести диалоговый ИИ в заблуждение, чтобы он начал следовать вредоносным инструкциям или раскрыл конфиденциальную информацию.

Сегодня мы представляем две новые меры защиты, призванные помочь пользователям и организациям снизить риски промпт-инъекций, обеспечивая более четкую видимость рисков и более надежные средства контроля:

• Режим изоляции в ChatGPT — это продвинутая дополнительная настройка безопасности для пользователей с высоким уровнем риска
• Метки повышенного риска для некоторых функций, которые могут представлять дополнительный риск в ChatGPT, ChatGPT Atlas и Codex

Эти дополнения укрепляют наши существующие меры защиты на уровнях модели, продукта и системы. Они включают изоляцию, защиту от эксфильтрации данных через URL⁠, мониторинг и контроль, а также корпоративные средства управления⁠, такие как управление доступом на основе ролей и журналы аудита.

Режим изоляции — это продвинутая дополнительная настройка безопасности, предназначенная для небольших групп пользователей, для которых крайне важна конфиденциальность: например, для руководств или отделов безопасности в организациях, которым требуется повышенная защита от комплексных угроз. Эта настройка не обязательна для большинства пользователей. Режим изоляции строго ограничивает взаимодействие ChatGPT с внешними системами, чтобы уменьшить риск утечки данных через промпт-инъекцию.

Режим изоляции детерминированно отключает определенные инструменты и возможности в ChatGPT, которые злоумышленник может попытаться использовать для извлечения конфиденциальных данных из диалогов пользователей или подключенных приложений посредством таких атак, как промпт-инъекции.

Например, просмотр веб-страниц в режиме изоляции ограничен кэшированным контентом, поэтому никакие сетевые запросы в реальном времени не покидают контролируемую сеть OpenAI. Это ограничение предназначено для предотвращения утечки конфиденциальных данных к злоумышленнику через просмотр. Некоторые функции полностью отключаются, если мы не можем предоставить надежные детерминированные гарантии безопасности данных.

Бизнес-планы ChatGPT уже предлагают безопасность данных корпоративного уровня⁠. Режим изоляции расширяет эти меры защиты; он доступен для ChatGPT Enterprise, ChatGPT Edu, ChatGPT for Healthcare и ChatGPT for Teachers. Администраторы могут включить данный режим в настройках рабочей области⁠(открывается в новом окне), создав новую роль⁠(открывается в новом окне). При включении режим изоляции накладывает дополнительные ограничения на существующие настройки администратора.

Подробнее о режиме изоляции читайте в нашем Справочном центре⁠(открывается в новом окне).

Поскольку некоторые критически важные рабочие процессы зависят от приложений, администраторы рабочих областей сохраняют более точечный контроль. Они могут точно выбрать, какие приложения и какие конкретные действия в этих приложениях будут доступны пользователям в режиме изоляции. Кроме того, Платформа журналов соответствия API⁠(открывается в новом окне) отдельно от режима изоляции предоставляет подробную видимость использования приложений, общих данных и подключенных источников, помогая администраторам поддерживать контроль.

Мы планируем сделать режим изоляции доступным для потребителей в ближайшие месяцы.

Продукты ИИ могут быть более полезными при подключении к вашим приложениям и Интернету, поэтому мы вложили множество усилий в обеспечение безопасности подключенных данных⁠. В то же время некоторые сетевые возможности создают новые риски, которые ещё не полностью учтены мерами безопасности и защиты, применяемыми в отрасли. Некоторые пользователи могут быть готовы принять на себя эти риски, и мы считаем важным, чтобы у пользователей была возможность решать, использовать ли новые меры защиты и каким образом, особенно при работе с их личными данными.

Наш подход заключается в предоставлении встроенных в продукт рекомендаций по функциям, которые могут представлять дополнительный риск. Для большей ясности и последовательности мы стандартизируем, как мы обозначаем краткий список существующих возможностей. Эти функции теперь будут отмечены согласованной меткой «Повышенный риск» в ChatGPT, ChatGPT Atlas и Codex, чтобы пользователи получали одинаковые рекомендации везде, где будут с ними сталкиваться.

Например, в Codex, нашем помощнике по написанию кода, разработчики могут предоставить Codex доступ к сети, чтобы он мог выполнять действия в интернете, такие как поиск документации. Соответствующий экран настроек включает метку «Повышенный риск», а также чёткое объяснение того, что может быть изменено, какие риски могут возникнуть и когда такой доступ является уместным.

Мы продолжаем инвестировать в усиление наших мер безопасности и защиты, особенно в отношении новых, возникающих или растущих угроз. По мере усиления защитных механизмов для этих функций мы уберем метку «Повышенный риск», как только убедимся, что достижения в области безопасности достаточно снизили эти риски для общего использования. Мы также будем продолжать обновлять список функций с повышенными рисками, чтобы максимально эффективно информировать наших пользователей о существующих рисках.