Наш подход к требованиям ЕС об определении происхождения текста
Повышаем прозрачность с учётом ограничений современных технологий.
Сведения о происхождении контента помогают людям понять, откуда он появился, как был создан или отредактирован и содержит ли он признаки использования наших моделей. Мы уже предоставили общедоступные инструменты для выявления изображений и аудио, созданных нашими моделями. Сегодня мы рассказываем о нашем подходе к маркировке текста водяными знаками в соответствии с Законом ЕС об ИИ и о том, как он вписывается в нашу работу в целом.
Закон ЕС об ИИ требует от поставщиков генеративного ИИ обеспечивать возможность идентификации сгенерированного текста с помощью машиночитаемой маркировки. Технологии маркировки текста водяными знаками и их обнаружения всё ещё находятся на ранней стадии развития и имеют существенные ограничения. Представления об их пользе и ответственном применении пока только формируются. Наш поэтапный подход учитывает как требования Закона ЕС об ИИ, так и ограничения технологии. При этом мы стремимся открыто объяснять, какие сведения может и не может дать водяной знак в тексте:
Начиная с сегодняшнего дня клиенты API по всему миру смогут по своему желанию включить маркировку текста водяными знаками для отдельных моделей. По умолчанию маркировка текста водяными знаками в API останется выключенной.
В ближайшие недели мы начнём добавлять невидимый водяной знак в текстовые ответы ChatGPT и Codex в Европейском союзе, если они соответствуют условиям маркировки.
Мы открываем приём заявок на доступ к нашему детектору водяных знаков в тексте. На первом этапе доступ получат только одобренные нами исследователи и экспертные организации, которые смогут помочь нам оценить и улучшить технологию.
Всё вышесказанное касается только определения происхождения текста. Наши инструменты проверки аудио и изображений, включая веб-инструмент openai.com/verify и API для проверки происхождения контента(открывается в новом окне), останутся общедоступными для организаций, которые хотят выяснить, были ли изображение или аудиофайл созданы одной из наших систем.
Наша технология маркировки текста водяными знаками textGrain встраивает невидимый статистический сигнал в то, как модель выбирает слова. Наш детектор ищет этот сигнал, чтобы оценить, содержит ли фрагмент текста водяной знак OpenAI. Подробнее о работе textGrain можно узнать из нашего технического отчёта(открывается в новом окне), который мы дополним в ближайшие недели. Мы также планируем опубликовать исходный код технологии, чтобы другие могли развивать её и создавать на её основе свои решения.
В наших оценках textGrain показала результаты на уровне других протестированных подходов или выше, в том числе по сравнению с SynthID для текста. Однако высокие результаты в идеальных условиях не гарантируют надёжного обнаружения при повседневном использовании.
Детекторы могут допускать ошибки двух типов: сообщать о водяном знаке там, где его нет, — это ложноположительный результат, или не замечать имеющийся водяной знак — это ложноотрицательный результат. Приведённые ниже результаты наших оценок показывают некоторые из этих трудностей:
Водяные знаки труднее обнаружить в коротких текстах и текстах с ограниченным выбором формулировок. При целевой доле ложноположительных результатов в 1% наш детектор обнаруживал водяные знаки примерно в 80% фрагментов длиной 200 токенов и примерно в 95% фрагментов длиной 400 токенов в текстах, например, по психологии. Доля обнаружения была существенно ниже в текстах, например, по математике, где свобода выбора слов меньше.
Редактирование может ослабить водяной знак. При оценке фрагментов длиной 400 токенов замена 10% слов синонимами снизила долю обнаружения примерно с 92% до 66%. Замена 25% слов снизила её до 17%.
Эти ограничения — одна из причин, по которым мы решили на первом этапе предоставить доступ к детектору только одобренным нами исследователям и экспертным организациям. Они помогут нам оценить его надёжность и варианты ответственного применения.
На графике показаны результаты для ответов с водяными знаками на вопросы по математике и психологии из набора данных ELI5(открывается в новом окне) при целевой доле ложноположительных результатов в 1%. Доля обнаружения растёт с увеличением длины текста, но в целом существенно ниже для текстов с меньшей свободой выбора слов, например по математике.
Редактирование может существенно ослабить сигнал водяного знака. График показывает, как замена 10% или 25% слов во фрагменте текста влияет на обнаружение. Результаты получены на основе ответов на английском языке с водяными знаками на вопросы из ELI5(открывается в новом окне).
В бенчмарках, которые мы используем для оценки Astra, нашей новейшей передовой модели, мы не наблюдаем существенных различий в результатах с водяными знаками и без них.
Бенчмарк | Текст без водяного знака (Astra, Max) | Текст с водяным знаком (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 балла | 49,76 балла |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Водяные знаки в тексте дают лишь ограниченное представление об участии наших систем в создании или обработке фрагмента. Важно понимать, какие выводы можно и нельзя сделать по результату обнаружения.
Водяной знак не позволяет оценить вклад человека. Он может указывать на то, что система OpenAI создала или обработала часть фрагмента, но не показывает, сколько в нём человеческих суждений, редакторской работы или творчества.
Водяной знак не устанавливает права на текст или ответственность за него. Он не определяет, кому принадлежат права на текст, было ли его использование законным, требовалось ли раскрывать факт использования ИИ и кто несёт за текст ответственность.
Водяной знак не идентифицирует пользователя. Он не связывает текст с конкретным человеком, организацией, аккаунтом, промптом или беседой.
Водяной знак не подтверждает достоверность. Он не показывает, правдив ли фрагмент, вводит ли он в заблуждение, причиняет ли вред и представлен ли в надлежащем контексте.
Если водяной знак не обнаружен, это не доказывает, что текст написал человек. Текст, созданный с помощью инструментов OpenAI, может быть слишком коротким, отредактированным или переведённым, что мешает надёжному обнаружению. Он также может быть создан неподдерживаемой моделью, до внедрения водяных знаков или с помощью инструментов другой компании.
Внедрение маркировки текста водяными знаками в ЕС. В ближайшие недели мы внедрим маркировку текста водяными знаками для пользователей ChatGPT и Codex, соответствующих условиям её применения, на всех тарифных планах, но только в ЕС. На момент запуска мы не будем включать маркировку текста водяными знаками по умолчанию во всём мире. Такой региональный подход позволит нам учиться на опыте реального использования и обратной связи.
Возможность включить маркировку водяными знаками по желанию для клиентов API. Начиная с сегодняшнего дня клиенты API по всему миру смогут по своему желанию включить водяные знаки в текстовых ответах отдельных моделей. Это позволит клиентам самим решать, как применять водяные знаки с учётом своих обязательств по обеспечению прозрачности и особенностей взаимодействия с пользователями. Мы также работаем с облачными партнёрами, чтобы в ближайшие недели сделать маркировку водяными знаками доступной для ответов моделей OpenAI, получаемых через их сервисы.
Предоставление доступа к детектору исследователям и экспертным организациям. Одобренные нами исследователи и экспертные организации могут подать заявку уже сегодня. В соответствии с Кодексом практики(открывается в новом окне) на первом этапе доступ будет предоставляться в индивидуальном порядке для оценки и совершенствования методов определения происхождения текста. Инструмент будет сообщать, обнаружен ли водяной знак OpenAI, не идентифицируя пользователя и не раскрывая его промпты или беседы. Учитывая риск пропуска водяных знаков и ложноположительных результатов, мы не делаем этот инструмент общедоступным на момент запуска.
Мы планируем пересматривать каждый элемент этого подхода по мере развития технологий и стандартов и накопления данных.
Ни один метод определения происхождения контента сам по себе не достаточен. Поэтому мы используем многоуровневый подход, сочетая открытые стандарты, устойчивые водяные знаки и инструменты проверки.
Мы добавляем данные Content Credentials к создаваемым изображениям, для которых это поддерживается, соответствуем требованиям C2PA(открывается в новом окне), встраиваем невидимые водяные знаки SynthID(открывается в новом окне) в поддерживаемые изображения и аудио, а также предоставляем возможность их проверки через openai.com/verify и наш API для проверки происхождения контента(открывается в новом окне). Эти методы дополняют друг друга: Content Credentials позволяют зафиксировать происхождение и историю файла, а невидимые водяные знаки могут сохранить сигнал даже после удаления метаданных.
Как мы отмечали, рассказывая о нашей работе по защите выборов, сведения о происхождении контента могут помочь людям и платформам оценивать потенциально вводящий в заблуждение контент, созданный ИИ, в том числе дипфейки. Мы дополняем эти сигналы правилами, выявлением злоупотреблений, приёмом сообщений о нарушениях, расследованиями и мерами реагирования. Мы также сотрудничаем с исследователями, организациями по стандартизации, платформами и гражданским обществом, чтобы сведения о происхождении контента приносили пользу всей экосистеме.
При распространении методов определения происхождения на текст нужно учитывать, насколько легко его переписать, перевести или отредактировать. Как мы обсуждали в июне, наш подход должен учитывать практические ограничения современных технологий. Мы продолжим улучшать обнаружение, изучать устойчивость водяных знаков к редактированию и переводу, а также искать способы точнее различать тексты, написанные с помощью ИИ, и тексты, автором которых выступает ИИ. Мы будем адаптировать наш подход по мере накопления данных, развития стандартов и изменения нормативных требований и расширять доступ к детектору, когда сочтём, что его результаты можно интерпретировать ответственно.
Подробнее читайте в нашей статье в Справочном центре(открывается в новом окне).
