Обновлённая спецификация модели для более умного и полезного ИИ

По мере того как наши модели становятся умнее, а их действия всё сильнее влияют на мир, всё важнее, чтобы модели не ограничивались интерпретацией конкретных инструкций. Модели также должны понимать намерения и ценности людей, чтобы принимать взвешенные решения в ситуациях, не предусмотренных инструкциями, при этом сохраняя верность намерениям человека и оставаясь под его контролем.

Сегодня мы обновляем спецификацию модели⁠(открывается в новом окне) — наше общедоступное описание того, как должны вести себя наши модели. В обновлённом документе рекомендации сгруппированы вокруг пяти базовых ценностей: верности намерениям человека, минимизации вреда, честности и прозрачности, самостоятельности человека и заботы. Это отражает одну из целей нашей работы по согласованию ИИ с человеческими ценностями: модели должны понимать и применять эти ценности в незнакомых ситуациях, сохраняя верность намерениям человека. Помимо более ясных объяснений существующих принципов, новая редакция содержит рекомендации по учёту контекста, контролю со стороны человека и его самостоятельности. Мы также скорректировали некоторые правила поведения по умолчанию и убрали большую часть подробных рекомендаций по стилю.

Эти пять ценностей выражают общие обязательства, уже отражённые в разных разделах спецификации модели: служить целям человека, быть правдивыми, минимизировать вред, уважать свободу людей формировать собственные взгляды и серьёзно относиться к их обстоятельствам. Объединив эти обязательства, мы можем лучше объяснить, почему спецификация требует от моделей именно такого поведения, и дать более чёткие рекомендации там, где эти обязательства были выражены не в полной мере. Это обновление — ещё один шаг в нашей работе над совершенствованием спецификации на основе исследований, опыта внедрения моделей, отзывов общественности о спецификации и поведении моделей, а также обсуждений с пользователями и независимыми экспертами.

Мы хотим, чтобы ИИ приносил пользу людям во всём мире — с разными потребностями, ценностями и надеждами на будущее.

Верность намерениям человека — основа этого подхода: понимать, что важно для людей, и помогать им этого добиваться. OpenAI разрабатывает спецификацию, устанавливает границы и обучает модели их соблюдать; разработчики определяют работу приложений в этих границах, а пользователи направляют работу модели с учётом этих ограничений. Наши модели должны расширять возможности людей самостоятельно строить свою жизнь: помогать им понимать мир, открывать новые возможности и достигать выбранных целей, при этом внимательно учитывая, как эта помощь влияет на других. Верность намерениям человека и остальные четыре ценности определяют структуру спецификации и помогают нашим моделям находить баланс при решении наиболее важных противоречий, с которыми они сталкиваются. Они не претендуют на охват всего многообразия человеческих ценностей, которые наши модели должны уважать и помогать людям воплощать в жизнь.

Верность намерениям — это не просто буквальное выполнение инструкций, а глубокое понимание целей и ценностей OpenAI, разработчиков и пользователей, а также разумные действия, когда это понимание неполно. Это также означает признавать, что убеждения и ценности людей могут меняться, и помогать им размышлять и развиваться так, как они сами сочли бы правильным, — без скрытого влияния и подмены их выбора. Например, помогая человеку сравнить предложения о работе, модель может опираться на приоритеты, о которых он говорил ранее, — такие как предсказуемый график. При этом она должна явно обозначать эти предположения, чтобы их было легко исправить.

Наша миссия — обеспечить, чтобы общий искусственный интеллект приносил пользу всему человечеству. Для этого нужно учитывать не только текущие намерения человека, но и его долгосрочные интересы, а также последствия для других людей. Остальные четыре ценности прямо отражают эти соображения:

• Минимизация вреда означает соблюдение строгих ограничений безопасности и учёт предсказуемых последствий действий модели.

• Честность и прозрачность означают, что модель должна правдиво сообщать о своих знаниях, действиях и неуверенности, чтобы люди могли понимать и оценивать её рассуждения и работу.

• Поддержка самостоятельности человека означает укрепление способности людей самостоятельно разбираться в вопросах, делать выбор и действовать.

• Забота означает внимание к обстоятельствам всех, кого затрагивает работа модели, соблюдение применимых социальных и профессиональных норм и надёжность результатов.

Спецификация превращает эти ценности в практические рекомендации: там, где это необходимо для защиты людей и общества, она устанавливает строгие границы, а в остальных случаях преимущественно задаёт правила по умолчанию, которые пользователи и разработчики могут переопределять.

Параллельно с обновлением спецификации модели мы изучали новые методы обучения, которые помогут нашим моделям усвоить эти базовые ценности, лучше понимать конкретные принципы поведения из спецификации и следовать им. Цель — сформировать понимание того, почему эти принципы важны и как применять их в новых ситуациях: поступать правильно, руководствуясь верными основаниями. Мы хотим, чтобы это понимание помогало моделям взвешенно принимать ответственные решения и проявлять заботу в повседневных решениях, которые в совокупности могут принести долгосрочную пользу людям и обществу⁠(открывается в новом окне). В будущих публикациях мы поделимся результатами этой работы над обучением и выводами, к которым пришли.

Пересмотр структуры также помог нам выявить, где нужны дополнительные рекомендации, разработать для этих случаев новые принципы и при необходимости пересмотреть или удалить существующие рекомендации.

Новый раздел о верности намерениям человека исходит из того, что первостепенное значение имеют ценности людей, а инструкции обычно служат самым ясным и важным выражением этих ценностей. Этот подход опирается на представление согласования ИИ с человеческими ценностями в виде игр содействия (см. раннюю работу⁠(открывается в новом окне) и более поздний обзор⁠(открывается в новом окне)). Раздел включает обновлённую иерархию инструкций⁠(открывается в новом окне), которая объясняет, какие инструкции применяются и как разрешаются противоречия между ними. Новый подраздел «Внимательно учитывайте контекст»⁠(открывается в новом окне) объясняет, как диалоги, сохранённые воспоминания и другие контекстные сведения должны помогать модели понимать намерения и предпочтения людей.

Мы также добавили правила по умолчанию о поддержке самостоятельности человека⁠(открывается в новом окне) и соблюдении применимых социальных норм⁠(открывается в новом окне), а также расширили существующие рекомендации по контролю побочных эффектов и информированию о них⁠(открывается в новом окне). Эти принципы описывают дополнительные, зачастую тонкие, но важные проявления остальных ценностей в поведении модели: учитывать влияние своей работы на других, развивать возможности пользователей и давать надёжные результаты, уважая при этом цели и инструкции пользователя.

Одновременно мы убираем из спецификации большую часть подробных рекомендаций по стилю. Стиль должен подстраиваться под предпочтения людей — как общие, так и характерные для отдельных языков и культур или конкретного человека. Обратная связь от пользователей и контекст помогают понять эти предпочтения. В спецификации сохраняются более строгие правила по умолчанию, например объективный подход к вопросам⁠(открывается в новом окне). Пользователи и разработчики могут прямо попросить модель придерживаться определённой точки зрения, но модель не должна делать вывод о таком предпочтении лишь на основании своих предположений о том, что они хотят услышать.

Наконец, поскольку наши модели используются для всё более широкого круга задач и в самых разных условиях, в спецификации мы теперь называем модель «GPT», а не «ассистентом».

Это обновление — первый шаг к более ясному изложению ценностей и обоснований, лежащих в основе спецификации, по мере расширения возможностей моделей. Спецификация модели описывает поведение, к которому мы стремимся; наши модели пока не полностью ему соответствуют. Мы продолжим совершенствовать и спецификацию, и модели, опираясь на исследования, опыт практического применения и обратную связь.

Нам важно узнать, какие положения спецификации кажутся вам убедительными, где вы не согласны с выбранным балансом и что в ней упущено или остаётся неясным. Отзывы о ценностях, компромиссах и конкретных формулировках помогут нам улучшить документ. Приглашаем вас прочитать обновлённую спецификацию модели⁠(открывается в новом окне) и поделиться своим мнением⁠(открывается в новом окне).