Новые инструменты и поддержка в борьбе с сексуальным насилием над детьми в интернете
Новые инструменты, практические рекомендации и партнерства помогут предотвращать и выявлять сексуальную эксплуатацию детей и насилие над ними в интернете, а также реагировать на них.
Сегодня мы представляем новый инструмент обнаружения материалов с сексуальным насилием над детьми (CSAM), меры для пресечения опасного поведения и направления людей за помощью, практические ресурсы для разработчиков и поддержку следователей правоохранительных органов, занимающихся защитой детей. Эти инициативы развивают наш план защиты детей и нашу постоянную работу по выявлению и блокировке нарушений и передаче сведений о них. Для родителей цель проста: технологии должны помогать защищать детей, оставаясь под контролем людей.
Хорошо(открывается в новом окне) известно(открывается в новом окне), что борьба с преступниками, посягающими на детей в интернете, требует скоординированной работы многих организаций. Каждая компания, в том числе OpenAI, обязана не допускать, чтобы преступники использовали ее технологии во вред детям. Мы также должны сотрудничать с другими участниками отрасли, организациями по защите детей и правоохранительными органами, чтобы совместно повышать уровень защиты детей в интернете.
Помогаем большему числу организаций выявлять материалы с насилием
Мы дополняем действующие защитные меры новым классификатором изображений, который может выявлять потенциальные CSAM, включая материалы, созданные ИИ. Новый классификатор ищет визуальные признаки насилия, помогая командам выявлять новые изображения, которые могли ранее нигде не встречаться. Он выдает оценки, которые помогают специалистам решать, какие изображения стоит проверить в первую очередь. Это первый широко доступный классификатор CSAM, который отдельно сигнализирует о том, что материал мог быть создан ИИ.
Наши команды обучили и оценили классификатор, а также подготовили его к практическому применению при содействии Национального центра по делам пропавших и эксплуатируемых детей (NCMEC)(открывается в новом окне) — некоммерческой организации, управляющей CyberTipline, централизованной службой приема сообщений об эксплуатации детей в интернете.
Мы предоставляем проверенным организациям бесплатный доступ к классификатору через API OpenAI. Это делает обнаружение CSAM доступнее как для организаций по защите детей, так и для всей отрасли, включая команды разной численности.
Защита детей — задача всей отрасли, требующая тесного сотрудничества между организациями и разнообразных решений. Мы привлекли Tech Coalition(открывается в новом окне) и ROOST(открывается в новом окне), чтобы они помогли нам расширить доступ к новому инструменту. Мы также активно поддерживаем инструменты других разработчиков, например систему обнаружения CSAM Safer от Thorn(открывается в новом окне). Кроме того, недавно мы присоединились к программе Lantern(открывается в новом окне) от Tech Coalition. В ее рамках мы будем обмениваться сигналами о сексуальной эксплуатации детей и насилии над ними в интернете, чтобы укреплять сотрудничество между платформами.
Мы протестировали классификатор внутри компании и с первыми партнерами, чтобы оценить, сколько материалов с насилием он выявляет, как часто отмечает другие изображения и чем может помочь командам безопасности. Их отзывы помогли нам выявить слабые места и улучшить систему.
Результаты
Первые тесты показывают, что классификатор может помогать специалистам сосредоточиться на изображениях с насилием и сократить объем проверки ложных срабатываний. При оценке изображений, загруженных пользователями, мы сравнили новый классификатор с действующими защитными механизмами и установили следующее:
Новый классификатор может сократить объем проверок: по нашим оценкам, он отмечал бы на 48% меньше изображений, выявляя примерно столько же изображений с насилием, сколько и действующий инструмент.
Изображения, отмеченные новым классификатором, содержали насилие примерно вдвое чаще.
Партнеры, получившие ранний доступ, также оценили, как классификатор помогает их командам безопасности. В ходе тестирования fal(открывается в новом окне) на изображениях из рабочей среды, проверенных людьми, специалисты подтвердили, что 72% изображений, отмеченных классификатором с высокой уверенностью, — это ранее не выявленные CSAM. Тестирование invideo AI(открывается в новом окне) показало, что каждый четвертый отмеченный случай привел к блокировке. В ходе оценок SafetyKit(открывается в новом окне) на рисунках и анимации, сексуализирующих детей, классификатор выявил 90% случаев.
Подробнее о классификаторе можно узнать в карточке модели классификатора CSAM(открывается в новом окне). Заинтересованные организации смогут запросить доступ к классификатору через нашу форму заявки. Мы продолжим совершенствовать классификатор с учетом отзывов тех, кто им пользуется.
Пресечение опасного поведения и направление за помощью
Мы уже запрещаем CSAM, обучаем наши модели отклонять запросы на такие материалы и принимаем меры в отношении аккаунтов, нарушающих наши правила. Мы дополняем эти защитные меры новыми предупреждениями в ChatGPT: они пресекают попытки найти материалы с насилием, объясняют последствия и направляют людей за помощью, чтобы остановить опасное поведение.
Предупреждение ясно дает понять, что сексуализация детей причиняет вред, в том числе когда запрашиваемые материалы созданы ИИ. Помимо показа предупреждения, мы будем удалять отмеченный чат и приостанавливать доступ к ChatGPT на 24 часа, сохраняя при этом возможность обратиться за специализированной помощью, чтобы прекратить опасное поведение. Повторные нарушения могут привести к более длительным ограничениям, а в конечном итоге — к закрытию аккаунта или передаче сведений в компетентные органы.

Мы разработали этот подход при участии организаций и научных консультантов, которые исследуют и разрабатывают программы предотвращения сексуального насилия над детьми. Среди них — Protect Children(открывается в новом окне), фонд Люси Фейтфулл(открывается в новом окне), доктор Килте О Кирха, исследователь и почетный доцент по судебной психологии Кентского университета, и Джоэл Скэнлан из Университета Тасмании, который провел независимую оценку испытания(открывается в новом окне) предупреждающих сообщений.
Практическая поддержка разработчиков
Защита детей в интернете не ограничивается выявлением нарушений. Мы опубликовали руководство по противодействию CSAM(открывается в новом окне) с практическими мерами, которые помогут разработчикам предотвращать злоупотребления, выявлять вредоносный контент и принимать меры. Руководство разработано при участии Tech Coalition(открывается в новом окне), Thorn(открывается в новом окне), NCMEC(открывается в новом окне) и Internet Watch Foundation(открывается в новом окне) и рассчитано на организации, находящиеся на разных этапах создания систем безопасности.
Руководство содержит четкие правила, способы сообщить о проблемах, инструменты обнаружения нарушений и процедуры проверки подозрительных случаев и передачи сведений о них. В нем также объясняется, как идентификаторы безопасности помогают разработчикам связывать нарушения с конкретными пользователями и как поддерживать сотрудников, проверяющих деликатный контент. Разработчики могут использовать его вместе с такими инструментами, как наш новый классификатор изображений, API модерации(открывается в новом окне), консоль проверки Coop от ROOST для развертывания на собственной инфраструктуре(открывается в новом окне), и специализированными сервисами обнаружения CSAM, такими как Safer от Thorn(открывается в новом окне).
Наша приверженность сотрудничеству и поддержке всего сообщества разработчиков отражается и в совместной работе с Anthropic и Google: вместе мы заказали разработку новых рекомендаций по реагированию на сообщения о сексуальной эксплуатации детей и насилии над ними в системах ИИ. Эти рекомендации, недавно опубликованные Tech Coalition(открывается в новом окне), предлагают разработчикам практические советы о том, как действовать в таких деликатных ситуациях.
Мы уже видим, что благодаря этим рекомендациям больше разработчиков обращаются к инструментам защиты детей и регистрируются для отправки сообщений о CSAM в NCMEC.
Поддержка подразделений правоохранительных органов по защите детей
Защита детей подразумевает и поддержку следователей, которые специализируются на поиске пострадавших детей и пресечении насилия. Как мы обсуждали в открытой беседе с Thorn(открывается в новом окне), ИИ может помогать следователям систематизировать информацию, определять приоритеты и реже сталкиваться с материалами, содержащими насилие, когда в этом нет необходимости.
Мы также предоставляем подразделениям правоохранительных органов по защите детей новые инструменты и обучаем применению ИИ в расследованиях. Это включает специальные плагины, инструменты для расследований и сложный анализ данных; доступом управляют администраторы программы. Первый инструмент, доступный на старте, поможет следователям изучать объемные переписки и материалы, полученные по процессуальным запросам, выявлять возможные связи и составлять хронологию событий. Выводы будут сопровождаться ссылками на исходные материалы.
Первое обучение планируется в формате обзора и демонстрации. Его дополнит практическое руководство, к которому команды смогут обращаться в дальнейшей работе. Участникам представят инструменты и покажут, как применять их в расследованиях. Доступ будет предоставляться с учетом разрешения ведомства и требований программы. В дальнейшем обучение планируется предлагать на региональных, национальных и международных конференциях.
Продолжаем совместную работу
Все эти усилия объединяет одна цель: предотвращать причинение вреда детям и повышать эффективность реагирования на случаи насилия. Мы продолжим совершенствовать защитные меры и предоставлять организациям по защите детей, разработчикам, исследователям и следователям инструменты, ресурсы и экспертную поддержку, необходимые для защиты детей, борьбы с эксплуатацией и привлечения виновных к ответственности. Работая вместе, мы можем использовать возможности ИИ, чтобы добиться значимых результатов в борьбе с сексуальной эксплуатацией детей и насилием над ними.


