Making it easier for websites to express AI training preferences

Сегодня мы объявляем, что OpenAI будет учитывать единый сигнал⁠(открывается в новом окне) в robots.txt — файле, с помощью которого сайты могут указывать свои предпочтения относительно использования их контента для обучения базовых моделей генеративного ИИ. Эта добровольная инициатива позволит издателям и администраторам сайтов проще сообщать о своих предпочтениях сразу нескольким участвующим в ней поставщикам ИИ.

Раньше администраторам сайтов приходилось определять поисковых роботов каждого поставщика и поддерживать отдельные правила для каждого из них. Единый сигнал, который учитывают несколько поставщиков, сокращает эту работу.

Мы планируем внедрить поддержку сигнала в ближайшие месяцы и затем опубликуем подробности о том, как она реализована. Новый сигнал не заменит средства управления, которые мы уже предоставляем через robots.txt. Существующие средства управления доступом поисковых роботов⁠(открывается в новом окне), которые позволяют веб-издателям гибко контролировать доступ к своим страницам, продолжат действовать, и мы будем соблюдать заданные правила.

Эта инициатива опирается на текущую работу⁠(открывается в новом окне) группы AI Preferences в составе Инженерного совета Интернета (IETF). Сегодня мы вместе с другими участниками рабочей группы объявляем об этом едином сигнале. Мы считаем, что этот шаг укрепляет наше участие в обсуждении стандартов IETF. OpenAI продолжит адаптировать свои подходы по мере развития этих обсуждений и изменения ситуации, учитывая необходимость надлежащих средств контроля и соблюдения принципов справедливости.

Мы считаем это практическим шагом к открытому интернету, где люди могут публиковать и находить информацию, а владельцы сайтов — проще и понятнее сообщать о своих решениях относительно использования их контента. Мы призываем других поставщиков ИИ учитывать этот сигнал.