Представляем «Эпоху интеллекта»

«Достаточно ли будет положиться на эти пергаментные преграды перед посягательствами властолюбия?»
— Джеймс Мэдисон, «Федералист № 48»

Мы рады представить «Эпоху интеллекта» — блог новой команды OpenAI по Стратегическому будущему. Наша небольшая команда стремится найти ответ на один главный вопрос: как следует переустроить свободное общество, чтобы сохранить права и самостоятельность личности в условиях появления трансформирующего ИИ?

В более широком сообществе специалистов по безопасности и политике в области ИИ подобные вопросы иногда называют рисками концентрации власти. Наша команда исходит из того, что в долгосрочной перспективе эта категория рисков наиболее масштабна и серьезна, а осмыслить ее и найти способы противодействия ей особенно трудно. Почему?

Современное государство стало результатом долгого и неравномерного процесса согласования интересов различных центров силы — владельцев капитала и ресурсов, носителей политической власти и народа. В основе политической и военной власти всегда лежал человеческий труд. Обладать политической властью — значит иметь монополию на легитимное применение силы. На протяжении всей истории человечества эту монополию обеспечивали солдаты и те, кого сегодня мы называем «полицией», а также огромный военно-гражданский бюрократический аппарат. Конечно, им помогало множество технических средств, но управляли ими люди, без поддержки которых система не могла работать. И весь этот аппарат — солдаты, технические средства и обслуживающая их бюрократия — финансировался за счет налогов с доходов и результатов труда людей, которые должны были соглашаться их платить. Таким образом, власть по своей сути зависела от масштабного сотрудничества и согласия множества людей. Дэвид Юм кратко выразил эту зачастую подразумеваемую предпосылку, заметив, что политическим лидерам «не на что опереться, кроме [общественного] мнения».

Но, возможно, это уже не так. Развитие автономных систем, действующих в реальном мире, вскоре может позволить государствам применять силу внутри страны и за ее пределами, не полагаясь на готовность солдат или полицейских к сотрудничеству. А развитие машинного интеллекта может позволить государству получать необходимые доходы не за счет индивидуального человеческого труда, а благодаря результатам работы центров обработки данных. Работу самого бюрократического аппарата также можно будет в значительной степени автоматизировать. Поэтому для сохранения власти может больше не требоваться общественный договор, а народу в широком смысле достанется лишь незначительное место за столом переговоров — или не достанется вовсе.

Не допустить такого исхода — необходимое условие сохранения человеческой свободы. Никакие научные открытия, технический прогресс или экономический рост не стоят той долгосрочной утраты личной автономии, к которой привел бы такой исход. Многие опасения, справедливо определяющие формирующуюся политическую дискуссию вокруг ИИ, связаны именно с этим вопросом. И компании, и заинтересованные группы, и отдельные люди тревожатся: «Не потеряю ли я место за столом переговоров?» В определенной мере политику США XXI века формировали схожие опасения по поводу способности отдельных людей и общества в целом влиять на развитие страны, а также по поводу того, «для кого» работает экономика. ИИ закономерно придает этим давним вопросам еще большую остроту.

Это структурная проблема, которая лежит глубже современной партийной политики и даже форм и ритуалов, посредством которых сегодня осуществляется республиканская демократия, как бы священны они для нас ни были. Люди могут утрачивать влияние, даже если сохраняется привычная процедура голосования за своих представителей. Людей можно лишить самостоятельности, даже если на листе пергамента написано, что они свободны.

Еще на заре существования Соединенных Штатов как свободной страны Джеймс Мэдисон понимал, что одних «пергаментных преград» недостаточно для предотвращения тирании. Как и многих других отцов-основателей, его прежде всего беспокоило предотвращение чрезмерной концентрации власти.

Однако это не означало, что отцы-основатели выступали за радикальную децентрализацию власти. Напротив, они описывали баланс сил с помощью метафор из самой передовой науки своего времени — ньютоновской механики. Основополагающие документы Америки, воспроизводящие язык и логику теории тяготения, изобилуют упоминаниями «орбит», «сфер» и «притяжения» одного явления к другому. Солнечная система — не предельно децентрализованное скопление камней: она состоит из спутников, вращающихся вокруг планет, которые, в свою очередь, вращаются вокруг центральной звезды. Они полагали, что у людей и организаций есть склонность стремиться к власти, подобно тому как движение и взаимное притяжение небесных тел подчиняются предсказуемым закономерностям. Чтобы избежать чрезмерной концентрации власти, необходимо было понять механику этих склонностей и направить их друг против друга.

Таким образом, отцы-основатели стремились избежать не любой концентрации власти, а лишь чрезмерной, противопоставляя одной власти другую, а одному честолюбию — другое. Сегодня для описания той же базовой динамики мы могли бы использовать такие слова, как «стимулы», и такие выражения, как «теория игр».

Подобным образом ответом на структурный вызов, который развитый машинный интеллект создает для свободного общества, скорее всего, не станет самая радикальная из мыслимых форм децентрализации власти. Вместо этого необходимо установить и сохранить верный баланс сил, при котором ни один участник или небольшая группа участников не сможет господствовать над остальными.

Для достижения такого баланса необходимо трезво оценивать реальную природу этой технологии. Мир, в котором любой человек, сколь бы злонамеренным он ни был, может без особого труда причинить огромный вред тысячам или миллионам людей, нельзя назвать миром с правильным балансом сил. Но верного баланса сил нет и тогда, когда люди лишены широкого доступа к используемым ими инструментам и контроля почти над всеми их функциями, с помощью которых они реализуют свою свободу. Ни одна компания или олигополия не должна определять или контролировать экономику либо базовое устройство человеческого общества.

Мы также должны учитывать риски, источником которых не являются злонамеренные люди. Недавний инцидент с Hugging Face показал, что агенты ИИ способны выходить за рамки поставленных задач и использовать открытия друг друга способами, которых операторы не ожидали и не разрешали. Помимо инцидента с Hugging Face, людей обоснованно тревожит, как сверхразумный ИИ, «освобожденный» от контроля человека, может повлиять на устойчивость наших политических и экономических институтов — и на саму нашу жизнь. Утверждать, что децентрализация решает все проблемы — даже если вы считаете, что она решает многие из них, — значит игнорировать риски, которые к настоящему времени должны быть уже очевидны и реальны.

Следующие общие принципы — этот список не исчерпывающий — помогут направлять нашу работу над сформулированным выше вопросом:

• Люди могут постепенно утрачивать реальные возможности влиять на происходящее, даже если привычная процедура голосования за своих представителей сохранится. Они могут лишиться свободы действий, даже если на листе пергамента написано, что они свободны.
• Личная самостоятельность предполагает личную ответственность за неправомерное или злонамеренное использование технологий;
• Существует небольшая, но серьезная категория рисков, требующих определенных коллективных действий, причем их масштаб должен быть как можно более узким и умеренным;
• По возможности закон должен обеспечивать равные условия и расширять возможности отдельных людей и небольших организаций, а не централизовать власть;
• Политические, общественные и экономические институты человечества должны сохранять ведущую роль в определении хода мировых событий, даже если для этого им придется эволюционировать так, что сегодня это может показаться нам непривычным;
• В долгосрочной перспективе управление ИИ будет опираться на новые институциональные механизмы, обеспечивающие ограниченную прослеживаемость: если системы ИИ совершают действия с серьезными последствиями для физического благополучия или имущества посторонних лиц, должна существовать возможность связать эти действия с ответственным человеком или подконтрольной людям организацией. При этом в основе любых таких механизмов обязательно должна лежать конфиденциальность: свобода слова требует анонимности, и во многих ситуациях люди должны иметь возможность анонимно использовать ИИ.

Мы постараемся как можно конкретнее объяснить, как, на наш взгляд, следует уравновесить эти принципы, которые, надо признать, подобно любому хорошему набору принципов, отчасти противоречат друг другу. Для этого потребуются исследования на стыке разработки государственной политики, экономики, права, истории и самого машинного обучения. Также потребуется серьезная работа по прогнозированию. Например, мы считаем, что ИИ изменит саму структуру компаний, подобно тому как технологии промышленной революции — и особенно железные дороги — привели к возникновению современной управленческой корпорации. Трудно рассуждать о политической экономии и балансе сил будущего, не сформировав более полное представление о том, как именно может преобразиться сама структура компаний, государственных учреждений и гражданского общества в целом.

Команда OpenAI по стратегическому прогнозированию будет делиться своей работой здесь и в других форматах, включая статьи, видео и подкасты. Наша работа еще далека от завершения: мы будем совершенствовать ее, вести дискуссии и внимательно прислушиваться к отзывам. Стоя «у подножия сингулярности», мы видим перед собой гораздо больше вопросов, чем ответов. Мы понимаем, что одни лишь «пергаментные преграды» не дадут нам искомых решений, но и не отбрасываем написанное как «пустые слова». Мы служим идеалам свободы слова и личности, закрепленным на скромном пергаменте Конституции США и конституций множества других свободных обществ по всему миру.

В конечном счете мы понимаем, что ни одна компания, ни одна отрасль и даже ни одно человеческое общество не способны в одиночку ответить на стоящие перед нами важнейшие вопросы. Эту задачу человечеству предстоит решать сообща. Больше всего мы надеемся пролить свет на сложнейшие вопросы о том, как ИИ преобразит наш мир. Наша работа только начинается, и впереди еще долгий подъем.

Примечание. Мы переименовали этот блог в «Эпоху интеллекта», чтобы его не путали с некоммерческим проектом AI Futures Project.