Наш підхід до правил ЄС щодо походження тексту
Сприяємо прозорості в межах можливостей сучасних технологій.
Дані про походження контенту допомагають людям зрозуміти, звідки він узявся, як його створювали чи редагували та чи містить він сигнали, пов’язані з нашими моделями. Ми вже надали загальнодоступні інструменти для виявлення зображень і аудіо, згенерованих нашими моделями. Сьогодні ми розповідаємо про наш підхід до маркування тексту водяними знаками на виконання Закону ЄС про ШІ та про те, як він вписується в нашу ширшу роботу.
Закон ЄС про ШІ вимагає від постачальників генеративного ШІ забезпечити можливість ідентифікувати згенерований текст у машинозчитуваний спосіб. Технології маркування тексту водяними знаками та їх виявлення ще перебувають на ранньому етапі розвитку й мають суттєві обмеження, а погляди на їхню користь і відповідальне використання досі формуються. Наш поетапний підхід враховує як вимоги Закону ЄС про ШІ, так і обмеження технології. Особливу увагу ми приділяємо прозорому поясненню того, що водяний знак у тексті може й чого не може повідомити людям:
Відсьогодні клієнти API в усьому світі зможуть за бажанням увімкнути маркування тексту водяними знаками для окремих моделей. В API маркування тексту водяними знаками залишиться вимкненим за замовчуванням.
Протягом наступних тижнів ми додамо невидимий водяний знак до текстових відповідей ChatGPT і Codex у Європейському Союзі, на які поширюється ця функція.
Ми відкриваємо прийом заявок на доступ до нашого детектора водяних знаків у тексті. Спочатку доступ отримають лише схвалені дослідники та експертні організації, які можуть допомогти нам оцінити й удосконалити цю технологію.
Усе зазначене вище стосується лише походження тексту. Наші інструменти перевірки аудіо та зображень, зокрема вебінструмент openai.com/verify і API для перевірки походження контенту(відкривається у новому вікні), залишаться загальнодоступними для організацій, які хочуть з’ясувати, чи згенерувала зображення або аудіофайл одна з наших систем.
Наша технологія маркування тексту водяними знаками textGrain додає невидимий статистичний сигнал у те, як модель добирає слова. Наш детектор шукає цей сигнал, щоб оцінити, чи містить уривок водяний знак OpenAI. Докладніше про роботу textGrain можна прочитати в нашому технічному звіті(відкривається у новому вікні), який ми доповнимо протягом наступних тижнів. Ми також плануємо відкрити вихідний код технології, щоб інші могли розвивати її.
За результатами наших оцінювань textGrain не поступалася іншим протестованим підходам або перевершувала їх, зокрема SynthID для тексту. Утім, високі результати в ідеальних умовах не гарантують надійного виявлення в повсякденному використанні.
Детектори можуть припускатися двох типів помилок: повідомляти про водяний знак там, де його немає, — це хибнопозитивний результат — або не помічати наявний водяний знак — це хибнонегативний результат. Наведені нижче результати наших оцінювань ілюструють деякі з цих труднощів:
У коротших текстах або текстах з обмеженішим добором слів водяні знаки виявляти складніше. За цільової частки хибнопозитивних результатів 1% наш детектор виявив водяні знаки приблизно у 80% уривків завдовжки 200 токенів і приблизно у 95% уривків завдовжки 400 токенів для текстів на такі теми, як психологія. Частка виявлень була суттєво нижчою для текстів на такі теми, як математика, де свобода добору слів менша.
Редагування може послабити водяний знак. Під час оцінювання уривків завдовжки 400 токенів заміна 10% слів синонімами знизила частку виявлень приблизно з 92% до 66%. Заміна 25% слів знизила її до 17%.
Ці обмеження — одна з причин, чому ми вирішили спочатку надати доступ до детектора лише схваленим дослідникам та експертним організаціям, які можуть допомогти нам оцінити його надійність і способи відповідального використання.
На цій діаграмі наведено результати для відповідей із водяними знаками на запитання з математики та психології з набору даних ELI5(відкривається у новому вікні) за цільової частки хибнопозитивних результатів 1%. Зі збільшенням довжини тексту частка виявлень зростає, але загалом вона суттєво нижча для текстів з обмеженішим добором слів, наприклад із математики.
Редагування може суттєво послабити сигнал водяного знака. Ця діаграма показує, як заміна 10% або 25% слів в уривку впливає на виявлення. Результати отримано на основі англомовних відповідей із водяними знаками на запитання з ELI5(відкривається у новому вікні).
У тестах, які ми використовуємо для оцінювання Astra, нашої найновішої передової моделі, ми не спостерігаємо суттєвих відмінностей у результатах із водяними знаками та без них.
Тест | Текст без водяного знака (Astra, Max) | Текст із водяним знаком (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 бала | 49,76 бала |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Водяні знаки в тексті дають лише обмежені відомості про роль наших систем у роботі над уривком. Важливо розуміти, які висновки можна й не можна робити з результату виявлення.
Водяний знак не вимірює внесок людини. Він може вказувати на те, що система OpenAI згенерувала або обробила частину уривка, але не показує, скільки людських суджень, редакторської роботи чи творчості було в нього вкладено.
Водяний знак не встановлює права власності чи відповідальність. Він не визначає, кому належить текст, чи було його використання законним, чи потрібно було розкривати інформацію про використання ШІ та хто несе за нього відповідальність.
Водяний знак не ідентифікує користувача. Він не пов’язує текст із конкретною людиною, організацією, обліковим записом, запитом чи розмовою.
Водяний знак не підтверджує достовірність. Він не показує, чи є уривок правдивим, оманливим або шкідливим і чи подано його в належному контексті.
Якщо водяний знак не виявлено, це не доводить, що текст написала людина. Текст, згенерований інструментами OpenAI, може бути надто коротким, відредагованим або перекладеним, що заважає надійному виявленню. Його також могла створити модель, яка не підтримує водяні знаки, або інструменти іншої компанії; крім того, текст міг з’явитися ще до запровадження маркування.
Запровадження маркування тексту водяними знаками в ЄС. Протягом наступних тижнів ми запровадимо маркування тексту водяними знаками для користувачів ChatGPT і Codex, на яких поширюється ця функція, на всіх тарифних планах, але лише в ЄС. На момент запуску ми не вмикатимемо маркування тексту водяними знаками за замовчуванням у всьому світі. Такий регіональний підхід дає нам змогу вчитися на реальному використанні та відгуках.
Можливість для клієнтів API увімкнути водяні знаки за бажанням. Відсьогодні клієнти API в усьому світі зможуть за бажанням увімкнути водяні знаки в текстових відповідях окремих моделей. Це дає клієнтам змогу вирішувати, як маркування водяними знаками узгоджується з їхніми зобов’язаннями щодо прозорості та з роботою їхніх продуктів для користувачів. Ми також працюємо з партнерами — постачальниками хмарних сервісів, щоб протягом наступних тижнів зробити маркування водяними знаками доступним для відповідей моделей OpenAI, отриманих через їхні сервіси.
Надання доступу до детектора дослідникам та експертним організаціям. Схвалені дослідники та експертні організації можуть подати заявку вже сьогодні. Відповідно до Кодексу практики(відкривається у новому вікні), спочатку доступ надаватиметься в індивідуальному порядку для оцінювання й удосконалення технологій визначення походження тексту. Інструмент повідомлятиме, чи виявлено водяний знак OpenAI, не ідентифікуючи користувача й не розкриваючи його запитів чи розмов. З огляду на ризик пропуску водяних знаків і хибнопозитивних результатів ми не робитимемо інструмент загальнодоступним на момент запуску.
Ми плануємо переглядати кожну складову цього підходу в міру розвитку технології, стандартів і накопичення даних.
Жоден метод визначення походження сам по собі не є достатнім, тому ми застосовуємо багаторівневий підхід, який поєднує відкриті стандарти, стійкі водяні знаки та інструменти перевірки.
Ми додаємо Content Credentials до згенерованих зображень, для яких підтримується ця функція, дотримуємося стандарту C2PA(відкривається у новому вікні), вбудовуємо невидимі водяні знаки SynthID(відкривається у новому вікні) у підтримувані зображення й аудіо та надаємо можливість перевіряти їх через openai.com/verify і наш API для перевірки походження контенту(відкривається у новому вікні). Ці методи доповнюють один одного: Content Credentials можуть фіксувати походження та історію файлу, а невидимі водяні знаки — зберігати сигнал навіть після видалення метаданих.
Як ми пояснювали в матеріалі про нашу роботу із захисту виборів, дані про походження можуть допомогти людям і платформам оцінювати потенційно оманливий контент, згенерований ШІ, зокрема дипфейки. Ми поєднуємо ці сигнали з правилами, виявленням зловживань, повідомленнями про порушення, розслідуваннями та заходами реагування, а також співпрацюємо з дослідниками, організаціями зі стандартизації, платформами й громадянським суспільством, щоб дані про походження були корисними в усій екосистемі.
Поширюючи технології визначення походження на текст, слід враховувати, наскільки легко його переписати, перекласти чи відредагувати. Як ми зазначали в червні, наш підхід має враховувати практичні обмеження сучасних технологій. Ми й надалі вдосконалюватимемо виявлення, вивчатимемо стійкість водяних знаків до редагування й перекладу та шукатимемо способи точніше розрізняти допомогу ШІ й авторство ШІ. Ми адаптуватимемо наш підхід у міру накопичення даних, розвитку стандартів і зміни регуляторних вимог та розширимо доступ до детектора, коли вважатимемо, що його результати можна відповідально інтерпретувати.
Докладніше читайте в нашій статті довідкового центру(відкривається у новому вікні).
