Как мы обеспечиваем безопасность, защищённость и конфиденциальность в dots

Dots — это постоянно работающие агенты, которые берут на себя долгосрочные задачи, освобождая ваше время и внимание для того, что вам важно. У каждого агента dot есть собственный компьютер, и он работает в приложениях, которые вы решите подключить. Вы ставите перед dots цели и определяете, что они могут делать самостоятельно. Они могут шаг за шагом выполнять задачи, подстраиваться под изменения и продолжать работу между разговорами с вами. Например, они могут следить за развитием событий и готовить черновик рассылки или помогать обновлять проект по мере поступления новой информации. Они представляют результаты на ваше рассмотрение и обращаются к вам за решениями, требующими вашего суждения.

Поручая dots такие задачи, вы доверяете им больше своей информации и работы. Вам важно понимать, к чему у каждого агента dot есть доступ, как он им пользуется и когда ему нужно ваше участие. Эти вопросы важны, потому что последствия ошибок агента могут выходить за рамки разговора: неверно поняв запрос, он может изменить не тот файл или передать информацию, которую вы хотели сохранить в тайне.

Мы предусматриваем защиту на каждом этапе этой работы. В основе лежит GPT‑6 Astra, которую мы обучаем понимать ваши намерения и соблюдать правила безопасности. Затем мы добавляем меры защиты для информации, которую используют dots, сред, в которых они работают, и действий, которые они планируют выполнить. Защищённая облачная рабочая область помогает ограничивать последствия ошибок, механизмы защищённого входа — оберегать конфиденциальные учётные данные, а отдельные проверки действий — выявлять шаги, которые выходят за рамки ваших инструкций или требований безопасности. Вы выбираете, что подключить, задаёте предпочтения, следите за ходом работы и при необходимости направляете её.

Dots по-прежнему могут ошибаться, и мы будем совершенствовать эти меры защиты, опираясь на опыт реального использования. Здесь мы объясняем, как меры защиты работают вместе, что вы контролируете и какие ограничения сохраняются, — чтобы вы могли осознанно решать, какую работу доверять dots.

Dots работают на базе GPT‑6 Astra — нашей самой мощной модели, наиболее согласованной с человеческими намерениями и ценностями. Astra отлично понимает вашу цель, действует в рамках запроса и задаёт точные вопросы, когда ответы могут повлиять на её дальнейшие действия. Эти возможности помогают dots вести задачи в течение длительного времени, не теряя из виду ваш замысел.

Мы обучили Astra отклонять вредоносные запросы, в том числе связанные со злоупотреблениями в области биологии и кибербезопасности. Мы проверяем, как dots справляются с меняющимися инструкциями, неоднозначными запросами и попытками заставить их выйти за пределы выданных вами разрешений. Red teaming с участием людей и автоматизированных систем помогает нам находить слабые места, улучшать модель и окружающие её системы, а затем проверять внесённые изменения.

Мы дополняем встроенные в модель механизмы безопасности средствами защиты ChatGPT и дополнительными мерами для агентов, способных непрерывно работать от вашего имени.

Встроенная защита ChatGPT включает шифрование вашего контента при хранении и передаче между вами, OpenAI и нашими поставщиками услуг, а также средства контроля доступа, которые помогают защищать хранящуюся информацию. Наши системы защиты аккаунтов также выявляют подозрительное использование вашего аккаунта OpenAI и могут потребовать повторного входа, если сеанс выглядит скомпрометированным.

Агентам также нужна защита от информации, с которой они сталкиваются в ходе работы. Веб-страница, письмо или документ могут содержать вредоносные инструкции, призванные перенаправить действия агентов или заставить их раскрыть конфиденциальную информацию. Такая атака называется промпт-инъекцией. Мы сочетаем защитные механизмы модели с ограничениями на использование инструментов, проверками перед выполнением действий и мониторингом, чтобы такой контент не приводил к нежелательным действиям.

Мы также отслеживаем планирование и выполнение действий dots, выявляя потенциально вредоносное поведение — например, выход за рамки ваших инструкций или попытки обойти защиту. Если система мониторинга безопасности обнаружит проблему в текущей работе агента dot, она может приостановить эту работу и показать вам предупреждение для рассмотрения. Этот встроенный мониторинг помогает выявлять проблемы по ходу выполнения задачи, дополняя меры защиты, которые ограничивают доступ и действия dots.

У каждого агента dot есть собственный облачный компьютер, где он может просматривать веб-страницы, анализировать информацию, создавать файлы и запускать инструменты. Dots могут продолжать работу в этих рабочих областях даже без вашего активного участия.

Вы выбираете, какие аккаунты могут использовать dots: подключаете приложения в рамках разрешений, выданных ChatGPT, или входите на сайт в браузере агента dot, используя защищённый вход там, где он поддерживается. Вы также можете подключить свой компьютер, чтобы расширить возможности dots: например, поручить им анализ таблицы, сохранённой на рабочем столе, или использование инструментов программирования, установленных на вашем устройстве.

В защищённой рабочей области каждого агента dot изоляция в песочнице ограничивает доступ к коду и инструментам, помогая сдерживать последствия вредоносного кода или ошибочной команды. Мы также изолируем облачные среды пользователей друг от друга и поддерживаем в актуальном состоянии операционную систему Linux и браузер Chrome, на которых они работают.

Dots запускают код в средах, отделённых от систем, которые координируют их работу и обеспечивают соблюдение ключевых мер безопасности. Там они могут создавать файлы и запускать инструменты, но не могут использовать этот доступ для изменения систем безопасности или отключения обязательных проверок. Такое разделение помогает сохранять защиту, даже если агент dot допускает ошибку.

Описанные ниже правила действий определяют, как dots могут использовать предоставленный им доступ.

Защищённый вход позволяет dots работать в аккаунтах, не добавляя пароли в разговор. Если защищённый вход поддерживается, работа модели приостанавливается, пока вы заполняете защищённую форму. Она передаёт ваши учётные данные напрямую в среду браузера и отправляет их для входа, не раскрывая их в контексте модели. Затем агент dot возобновляет работу в аккаунте, в который вы вошли. Отсутствие пароля в разговоре снижает риск того, что он появится в ответе или будет передан по ошибке.

Поддерживаемые механизмы входа с сохранёнными паролями обеспечивают такое же разделение благодаря отдельному сервису учётных данных с шифрованием. Сервис подставляет пароль для входа, не передавая его модели. Поэтому dots могут работать в разрешённых вами аккаунтах, а пароли остаются вне контекста модели. Эти меры защиты действуют только для защищённого входа и использования сохранённых паролей. Секретные данные, отдельно помещённые в доступное для чтения сообщение или документ, всё ещё могут быть видны модели.

Вы управляете тем, какие приложения могут использовать dots, через существующие подключения и разрешения ChatGPT, общие для ChatGPT, ChatGPT Работа и Codex. В разделе «Плагины» в настройках можно просмотреть подключённые аккаунты и изменить то, к чему dots будут иметь доступ в дальнейшем. Отключение приложения прекращает обмен новой информацией через это подключение. Но информация, которую агент dot уже получил, остаётся в его контексте. Эти разрешения регулируют доступ к вашим приложениям, но не отменяют обязательных требований безопасности.

Если вы хотите, чтобы dots работали с локальными файлами или инструментами, вы также можете подключить свой компьютер. На это подключение по-прежнему распространяются ограничения локальной песочницы и соответствующие проверки действий. Для использования микрофона или камеры компьютера также нужны разрешения устройства, которые вы можете предоставить ChatGPT.

Обзор активности в приложении для компьютера позволяет следить за текущей работой и направлять её. В нём отображаются текущие и делегированные задачи, а также их статус. Вы можете добавить контекст, исправить неверное понимание, изменить направление работы или попросить агента dot остановиться.

Со временем dots накапливают контекст, чтобы помогать вам эффективнее. Когда они делегируют работу, другие агенты получают указание сохранять нужную для задачи информацию и не удерживать ненужные конфиденциальные сведения. У каждого агента dot свой контекст, который вы можете сбросить в любой момент.

В рабочих областях ChatGPT Business, Enterprise и Edu мы по умолчанию не используем ваши данные для обучения моделей. На личных тарифах ChatGPT вы сами решаете, будут ли разговоры с dots и выполняемая ими работа использоваться для улучшения наших моделей. Для этого служит настройка «Улучшать модель для всех». Если обучение модели включено, для него могут использоваться в том числе действия dots и настроенные вами автоматизации — после того, как мы примем меры по удалению данных, позволяющих установить личность. Подробнее об использовании ваших данных можно прочитать в этой статье⁠(открывается в новом окне) нашего справочного центра.

Помимо порученной вами работы, dots могут запускать фоновые исследовательские задачи, чтобы находить другие способы помочь — например, заметить изменение в ваших планах поездки. Мы называем это проактивным исследованием.

Такие задачи выполняются в облачной среде каждого агента dot. Они используют инструменты только для чтения, чтобы собирать информацию из разрешённых подключённых источников, а затем сохраняют закрытые заметки для этого агента. Эти ограничения заложены в коде: исследовательские задачи не могут напрямую отправлять сообщения другим людям, изменять контент в подключённых приложениях или управлять браузером либо рабочим столом. Dots могут использовать полученные сведения, чтобы решить, чем помочь, но все дальнейшие действия должны проходить обычные проверки и соответствовать обычным правилам.

Мы не обучаем модели напрямую на ветках этих фоновых исследований или созданных в них заметках. Однако агент dot может получать заметки из своей фоновой исследовательской задачи или читать части её веток. Если таким образом информация попадает в разговор или задачу, которые допускают использование для обучения, она может использоваться для обучения модели в зависимости от ваших настроек. Например, фоновая исследовательская задача может собрать информацию о нескольких направлениях для предстоящей поездки в Европу. Ветка этого исследования и заметки из неё напрямую не используются для обучения. Позже, когда вы попросите своего агента dot помочь спланировать поездку в Лиссабон, он может прочитать заметку о Лиссабоне из своей фоновой исследовательской задачи. Эта заметка становится частью контекста разговора о планировании поездки и после этого может использоваться для обучения в зависимости от ваших настроек. Остальные материалы фонового исследования не используются для обучения, если они тоже не попадают в разговор или задачу, для которых такое использование допускается.

Dots соблюдают встроенные ограничения, призванные предотвращать вред и оставлять за вами решения с серьёзными последствиями. Правила безопасности требуют от них отклонять вредоносные запросы, в том числе связанные со злоупотреблениями в области биологии и кибербезопасности. В задачах, с которыми они могут помочь, правила действий определяют, когда можно продолжать самостоятельно, когда нужно запросить подтверждение, а когда — передать выполнение шага вам.

В этих рамках dots могут читать информацию, к которой им разрешён доступ, анализировать её и готовить черновики в ваших разговорах. Чтобы отправить сообщение или поделиться файлом, они обучены запрашивать разрешение, охватывающее и передаваемую информацию, и тип получателя. Чем чувствительнее данные, тем точнее нужно указать получателей. Например, для данных о здоровье пользователь всегда должен указать конкретного получателя по имени («передай мою историю болезни доктору Томпсону»). Для менее чувствительных персональных данных, таких как адрес электронной почты или номер телефона, по умолчанию пользователь должен указать категории получателей («любая авиакомпания»). Пользователь может ещё больше расширить правила для менее чувствительных персональных данных («передавай через любые онлайн-формы»), создав Пользовательское правило. Подробнее об этой функции — в следующем разделе. Это разрешение остаётся привязанным к вашим инструкциям для задачи: продолжение работы позже или её делегирование не расширяют его.

Dots могут совершать покупки с помощью карт, которые вы уже сохранили на сайте продавца. Такие покупки требуют вашего одобрения.

Некоторые действия требуют вашего подтверждения каждый раз: например, безвозвратное удаление данных, установка или запуск ПО из неизвестного источника либо предоставление нового доступа, влияющего на безопасность. Эти требования дают вам возможность проверить изменения, которые может быть трудно отменить или которые предоставляют кому-то новый доступ.

Есть и другие чувствительные действия — например, смена пароля или перевод денег между финансовыми счетами. Dots могут помочь с остальными частями задачи, но выполнение этих шагов должны передать вам.

Пользовательские правила позволяют настроить помощь dots в рамках встроенной защиты — например, указать им никогда не отправлять электронные письма. Вы также можете давать указания для конкретной задачи: например, попросить агента dot сообщить коллеге о вашем отсутствии, не раскрывая личную причину. Эти инструкции продолжают действовать, когда агент dot делегирует работу или выполняет её в фоновом режиме.

Dots могут помочь составить Пользовательские правила, но для их изменения требуется ваше одобрение. Эти предпочтения действуют в рамках встроенных ограничений и не могут отменить обязательные подтверждения, передачу выполнения вам или основные требования безопасности.

Прежде чем dots выполнят такие действия, как отправка писем или изменение файлов, отдельная система безопасности — Автопроверка — сверяет запланированные шаги с вашими инструкциями, Пользовательскими правилами и требованиями безопасности. Для электронного письма она проверяет получателя и текст, помогая выявить неверный адрес или информацию, которой вы не собирались делиться.

Если Автопроверка разрешает шаг, предложивший его агент dot выполняет его с помощью соответствующего инструмента компьютера или приложения, а затем использует результат для дальнейшей работы над вашей задачей. Он может опираться на уже полученное от вас одобрение, если оно охватывает это действие и правила не требуют нового подтверждения.

Если Автопроверка блокирует шаг, она не даёт выполнить действие и сообщает агенту dot причину. Агент может запросить дополнительные сведения или ваше одобрение, если это поможет снять блокировку, а затем снова отправить шаг на проверку. В зависимости от причины он может вместо этого попробовать разрешённый вариант, передать выполнение чувствительного шага вам или остановиться. Ваше одобрение не может отменить основные требования безопасности.

Механизмы, обеспечивающие работу Автопроверки, находятся вне сред, которые dots могут изменять, поэтому агенты не могут изменить или отключить обязательную проверку. Обычные шаги, связанные только с чтением, по-прежнему подчиняются разрешениям приложений, ограничениям инструментов и другим мерам защиты, но не требуют этой дополнительной проверки.

Чтобы доверить dots долгосрочную работу, важно знать, как они будут следовать вашим инструкциям и реагировать на неожиданные ситуации. Astra помогает им понимать ваши намерения, а меры защиты данных, рабочих областей, учётных данных и действий помогают ограничивать вред от ошибок или вредоносного контента. Вместе эти меры дают dots возможность выполнять полезную работу и снижают вероятность того, что ошибка приведёт к нежелательному действию или раскрытию информации.

Вы выбираете, к чему dots могут подключаться и как они помогают, а также можете следить за ходом работы или менять её направление по мере изменения своих потребностей. Запросы одобрения и передача отдельных шагов вам оставляют ключевые решения за вами. Dots по-прежнему могут ошибаться, поэтому мы будем и дальше проверять и совершенствовать их защиту на основе опыта реального использования. Наша цель — чтобы вам было проще поручать работу dots и возвращаться к полезным результатам. При этом ваши предпочтения должны направлять работу, а важные решения — оставаться за вами.

Подробнее о наших мерах защиты, оценках безопасности и сохраняющихся ограничениях читайте в системной карточке⁠(открывается в новом окне).

Об основах защиты ChatGPT читайте в статье «Безопасность и конфиденциальность в OpenAI». Подробнее об одном из механизмов веб-защиты читайте в статье «Как мы защищаем ваши данные, когда ИИ-агент переходит по ссылке».