Выступление Сэма Альтмана в Совете Безопасности ООН

Сегодня генеральный директор OpenAI Сэм Альтман выступил перед Советом Безопасности ООН по вопросу искусственного интеллекта. Он рассказал о потенциале ИИ для расширения возможностей, важности сохранения человеческого контроля над мощными системами и необходимости международного сотрудничества в области безопасности ИИ.

Благодарю вас, господин Председатель, ваши превосходительства. Для меня большая честь находиться здесь и иметь возможность выступить перед всеми вами в этот важный момент.

Мы говорим об искусственном интеллекте уже много лет, но в последние недели и месяцы все ощущается иначе. Стремительный прогресс моделей создал ощущение, что сроки сжимаются, преимущества становятся все более осязаемыми, а ставки и риски — все более насущными.

Нам предстоит сделать выбор. ИИ может положить начало новому Возрождению творчества и открытий или новой промышленной революции, несущей потрясения и хаос.

Возрождение было эпохой, когда новые инструменты, идеи и институты расширили представления людей о собственных возможностях. ИИ может сыграть такую же роль в нашу эпоху. Я считаю, что люди способны на гораздо большее, чем думают, но их сдерживают ограничения технологий, которые должны были расширять возможности, а вместо этого отвлекают и зачастую отнимают внимание.

Лучший вариант развития ИИ — это не превращение людей в винтики огромной машины и не оптимизация всех сторон жизни до тех пор, пока в ней не исчезнет все человеческое. Речь идет о том, чтобы дать людям больше самостоятельности во все более сложном мире: больше возможностей учиться, творить, открывать, создавать и участвовать. Есть многое, что ИИ не может — и не должен — автоматизировать.

ИИ следует создавать для людей, а не просто для того, чтобы машины работали быстрее ради самой скорости. Некоторые заявления людей, работающих над созданием ИИ, настолько антиутопичны, что напоминают сюжет плохого научно-фантастического фильма.

Все, что обладает такой мощью, неизбежно вызывает тревогу. Этот момент непрост: мы одновременно ощущаем колоссальный потенциал и вполне понятную тревогу.

Эти модели могут помогать людям получать новые знания, создавать новые лекарства, совершенствовать здравоохранение и образование и строить более производительную экономику. Они могут стать новыми инструментами, помогающими людям воплощать мечты и стремления, которые сегодня кажутся недостижимыми. Жизнь обычного человека стала неизмеримо сложнее. ИИ может стать как средством защиты от этой сложности, так и инструментом беспрецедентных открытий и инноваций.

С другой стороны, по мере того как системы ИИ становятся мощнее и автономнее, они могут опередить наши институты, сосредоточить власть в руках немногих или начать принимать решения, которые люди уже не понимают и не контролируют.

Эта проблема становится особенно важной по мере приближения к системам, способным совершенствовать себя и свои будущие версии, — к так называемому рекурсивному самосовершенствованию. По мере автоматизации процесса создания ИИ темпы его развития могут резко ускориться. Сейчас необходимо проявлять исключительную осторожность.

Я в целом согласен с профессором Бенжио. Хотя я назову две причины вместо трех: я вижу два крайне опасных сценария развития ИИ, которых мы должны избежать.

Во-первых, мы можем уступить ИИ контроль над будущим. Риск заключается в том, что развитие пойдет настолько быстро, что люди больше не смогут понимать происходящее или вмешиваться при необходимости. Очевидно, это было бы ужасно.

Отрасль не должна мириться с чрезмерными технологическими рисками лишь потому, что преимущества кажутся огромными, а замедление — недопустимым. Стремление обойти конкурентов не оправдывает опрометчивых решений. Мы также не считаем, что втянуты в гонку, которая не позволяет нам замедлиться. В прошлом мы уже замедляли работу по собственной инициативе. Мы будем делать это и в будущем. Мы не хотим создавать системы — и считаем важным, чтобы никто не создавал системы, — для которых невозможно обеспечить необходимое согласование с человеческими целями, наблюдаемость и безопасность.

Нам необходимо понимать, что делают эти системы, и иметь веские доказательства того, что они будут выполнять намерения людей, даже становясь очень и очень умными. Точнее, особенно когда они становятся очень и очень умными. Неважно, оценивают ли люди риск катастрофы в 10%, 1%, 12% или 0,1%. Ни один из этих уровней нельзя считать даже отдаленно приемлемым. И мы не должны обучать модели, если у нас нет исключительно убедительных оснований считать, что мы сможем удерживать их под контролем человека.

Это один из сценариев, по которым все может пойти не так. Другой сценарий — эти системы могут сосредоточить слишком большую власть в руках слишком узкого круга людей. Ни один человек, ни одна компания или страна не должны иметь возможности использовать самые мощные модели ИИ, чтобы навязывать остальным свое мировоззрение. Компания или страна, убежденная, что только ей можно доверить эту технологию, способна оправдать этим убеждением практически любые другие действия. Мы должны отвергнуть такую логику, даже когда она удобна тому или иному участнику.

Я считаю, что в обоих случаях можно найти прагматичный путь. В OpenAI мы подходим к этим вопросам с четкой целью: ИИ должен давать людям больше возможностей самостоятельно распоряжаться своей жизнью. Больше свободы жить так, как они хотят. Больше возможностей решать любые проблемы — большие и малые — и улучшать жизнь своих сообществ. Мы не хотим попадать в ловушку слепого оптимизма. Но мы также не хотим впадать в обреченный пессимизм. Если мы склонимся к любой из этих крайностей, то не сможем успешно справиться с предстоящими трудностями — особенно сейчас, когда мир и его жители сталкиваются с колоссальными проблемами, в решении которых может помочь эта технология. Поэтому мы стараемся идти срединным путем между этими двумя полюсами.

Для нас это означает следование трем принципам.

Во-первых, по мере развития возможностей ИИ человек должен оставаться в центре принятия решений, связанных с ИИ. Согласование с человеческими целями — не абстрактный исследовательский вопрос. Это работа, направленная на то, чтобы эти системы надежно оставались под контролем человека, отражали человеческие ценности и помогали людям определять следующие этапы развития. Мы не стремимся автоматизировать человеческие суждения или ценности — и не должны этого делать.

Во-вторых, научный прогресс и экономический рост должны создаваться людьми и служить людям. ИИ должен помогать исследователям совершать открытия, врачам — лечить пациентов, учителям — обучать учеников, предпринимателям — создавать компании, а сообществам — решать прежде недоступные задачи. И это далеко не все. Вся история человеческого прогресса говорит не о том, что инструменты лишают людей самостоятельности. Она говорит о том, что правильные инструменты расширяют возможности людей. И я уверен, что в этом отношении мы продвинемся гораздо дальше, чем можем представить.

В-третьих, эта технология должна расширять возможности каждого человека. Прекрасное будущее наступит благодаря людям, которые реализуют свой потенциал и создают ценность для себя, своих сообществ, стран и всего мира. Возможно, мы и участвуем в создании этой технологии, но герои этой истории — не мы. Наша задача — открыть возможности людям по всему миру и довериться удивительной силе человеческих талантов и способностей.

Сегодня у нас есть модели, способные открывать знания, которых у человечества прежде не было. Посмотрите, какого прогресса мы добились в математике. Три года назад наши модели неплохо справлялись с математикой на уровне начальной школы. Два года назад они уже показывали хорошие результаты на математических олимпиадах для старшеклассников. Прошлым летом мы достигли уровня золотой медали на самой престижной международной математической олимпиаде. А всего несколько недель назад, этим летом, одна из наших моделей решила одну из задач тысячелетия — задачу, связанную с уравнениями Навье — Стокса.

Эти уравнения используются при проектировании самолетов, прогнозировании погоды и изучении кровотока. Мы решаем математические задачи не ради самих задач, а чтобы люди могли открывать новые знания и с их помощью совершенствовать здравоохранение, повышать уровень жизни и раскрывать потенциал каждого человека в любой точке мира. Нам предстоит открыть еще очень многое.

Но крайне важно, чтобы компании не подменяли собой демократический процесс.

Если ИИ должен быть демократичным, важнейшие решения не могут приниматься только лабораториями Сан-Франциско. Они должны формироваться в рамках демократических процессов и приниматься правительствами, подотчетными людям, которым они служат.

На международном уровне для этого потребуется сотрудничество. В истории бывали времена, когда страны, которые конкурировали и далеко не всегда симпатизировали друг другу, все же объединялись перед лицом новой мощной технологии ради общих интересов и всеобщего блага. Мы убеждены, что сейчас настало именно такое время.

Нам нужен механизм взаимодополняющих национальных и международных стандартов для передового ИИ: стандартов измерения возможностей, оценки рисков, определения достаточности защитных мер и сохранения полноценного человеческого контроля по мере того, как системы становятся все более автономными.

Нам нужны общие стандарты, чтобы страны могли сопоставлять данные, проверять соблюдение требований и одинаково понимать происходящее, опираясь на общий язык.

Нам нужны точные и оперативные сообщения об инцидентах, а также протоколы их классификации и отчетности, чтобы мир мог извлекать уроки из сбоев до того, как они обернутся катастрофами.

Кроме того, правительствам, операторам критически важной инфраструктуры и техническим экспертам нужны защищенные каналы для обмена сведениями о новых уязвимостях и угрозах.

Разумеется, эти стандарты не должны закреплять преимущества действующих игроков или отдавать предпочтение одной бизнес-модели перед другой. Они должны учитывать интересы разработчиков открытых и закрытых моделей, новых участников и признанных лабораторий, а также сочетать национальные полномочия с международным сотрудничеством. Каждое правительство должно само решать, как включить эти стандарты в свою правовую систему. Но всем нам будет лучше, если на глобальном уровне мы договоримся о том, какими должны быть надежные доказательства, эффективные меры защиты и надлежащий контроль.

У нас нет ответов на все вопросы, и мы готовы рассмотреть любые более удачные идеи. Мы готовы работать вместе со всеми вами и приложить максимум усилий, чтобы найти путь вперед.

Мы стоим на перепутье. Один путь ведет в мир, где власть сосредоточена в одних руках, решения непрозрачны, а люди чувствуют, что важнейшую технологию их жизни внедряют без их участия. Другой путь ведет в мир, где ИИ служит людям, потому что они через демократические институты участвуют в принятии решений о его развитии и направляют его; где научный прогресс улучшает реальную жизнь; где больше людей могут участвовать в создании будущего; и где эта технология по-прежнему дает людям и сообществам больше возможностей жить так, как они хотят. Это будущее, в котором раскрывается потенциал и есть место воодушевлению и удивительным открытиям.

И мы считаем, что такое будущее стоит построить. Большое спасибо.