Вечная взаимодополняемость

Примечание авторов: Это первое эссе в нашей серии об экономике будущего на новой платформе для независимых авторов, размышляющих о будущем с AGI. Здесь изложены наши взгляды, а не позиция OpenAI или наших коллег.

Человечество смогло заглянуть почти в самое начало времён.

Наши уравнения дают в целом непротиворечивую картину Вселенной с первых мгновений её существования. С помощью телескопов мы всмотрелись в глубины космоса и увидели его раннюю историю. Мы знаем о рождении звёзд и формировании галактик.

Но ни один человек ещё не побывал дальше Луны.

Мы ищем объяснения, охватывающие всю Вселенную, хотя сами едва покинули свой дом. Наш разум уходит далеко за пределы досягаемости наших рук.

Это несоответствие может означать две совершенно разные вещи.

Возможно, нам и не нужно далеко уходить: глубочайшие истины можно постичь, оставаясь на одной планете. Вооружившись обоснованными рассуждениями и эффективными приборами, мы раскрываем тайны Вселенной, не путешествуя по ней. В таком сценарии наша цивилизация развивается вглубь, а не вширь. Это помогло бы объяснить, почему мы не обнаружили другую разумную жизнь: возможно, наша галактика полна блестящих умов, которым никогда не требовалось расширять свои владения и становиться заметными для нас.

Вторая возможность более пугающая. Возможно, наш разум просто опередил наши возможности воплощать задуманное. Каждый следующий шаг требует больше времени и ресурсов. У нас нет недостатка в мечтах, но не хватает рабочих рук для их воплощения.

Галилей расширил наш взгляд на мир с помощью двух линз и трубы. Чтобы сегодня увидеть ещё дальше, человечество построило космический телескоп «Джеймс Уэбб» — обсерваторию стоимостью десять миллиардов долларов, которую сложили, поместили в ракету и отправили за полтора миллиона километров от Земли. Восемнадцать огромных сегментов его зеркала изготовлены с точностью до пятидесяти нанометров. Обсерваторию создали триста организаций из четырнадцати стран. Для работы Галилея хватило нескольких десятков рук. «Уэббу» понадобилась целая армия, за которой стояла мировая экономика.

Чтобы увидеть дальше, потребовались не только более блестящие умы. Понадобился более крупный бюрократический аппарат.

Мы задаём больше вопросов, чем способны исследовать. Мы придумываем больше экспериментов, чем можем провести. Творческие замыслы возникают быстрее, чем мы успеваем их воплощать. И во многих областях действует одна закономерность: чем дальше мы продвигаемся, тем сложнее создать то, что мы задумали.

Ник Блум и его соавторы⁠(открывается в новом окне) изучили продуктивность исследований в американской экономике. Чтобы закон Мура продолжал действовать, сегодня нужно более чем в восемнадцать раз больше исследователей, чем в начале 1970-х годов. С 1930-х годов совокупные исследовательские усилия в экономике с поправкой на их эффективность выросли в двадцать три раза, а измеряемая продуктивность исследований упала в сорок один раз.

Численность технического персонала растёт вдвое быстрее⁠(открывается в новом окне), чем число учёных. За четыре десятилетия использование специализированного оборудования в науке удвоилось⁠(открывается в новом окне). Сегодня завод по производству чипов стоит в пять раз дороже⁠(открывается в новом окне), чем тридцать лет назад, а его работа стала гораздо масштабнее и сложнее.

Эта статистика указывает на растущую цену дальнейшего прогресса. Экономика продолжает развиваться, потому что колоссальный рост масштабов исследований компенсировал снижение отдачи от каждой единицы вложенных усилий.

Этот исторический опыт должен изменить наш взгляд на гениальность: её следует рассматривать не в отрыве от всего остального, а как один из ресурсов производственного процесса. Даже блестящей гипотезе нужны доказательства, инструменты и средства для её проверки. Идея ещё не означает прогресса без техники и вспомогательного персонала, способных её воплотить.

Экономисты называют два ресурса взаимодополняющими, если увеличение одного повышает ценность другого. В этом смысле передовой интеллект и возможности воплотить его идеи взаимодополняют друг друга. Более совершенный телескоп повышает ценность хорошего астрономического вопроса. Более удачный вопрос повышает ценность телескопа.

Некоторые дополняющие ресурсы материальны. Теория ждёт ускорителя частиц, а технический проект — энергии и оборудования для его воплощения.

Другие дополняющие ресурсы не столь наглядны. Сама по себе идея хрупка. Ей нужны самые разные институты. Законы, бюрократия, механизмы финансирования, цепочки поставок и многое другое работают вместе, чтобы воплотить идею.

Великая идея должна пройти длинную цепочку правильных действий на местах во всех этих институтах. Назовём это институциональным интеллектом — незаметным интеллектом исполнения. Гений проектирует монумент, а институты кладут камень. Одно блистает, другое кажется скучным, но без обоих не обойтись.

Иногда мы представляем сверхинтеллект как миллиард Эйнштейнов. Но даже в цивилизации из миллиарда Эйнштейнов большинству из них придётся добывать камень и вести бухгалтерию. Передовые инновации возможны лишь тогда, когда обычный мир вокруг них работает без сбоев. Прогресс требует участия всех: от сварщика, закрепляющего винт в телескопе, до страховщика начальной школы, в которой училась медсестра, лечившая астронома. В основе прогресса — слаженно работающая экономика, о которой мы часто забываем в рассказах о величайших достижениях.

Как и человеческий интеллект, ИИ будет служить и блестящим открытиям, и эффективной работе институтов. Вопрос в том, на что уйдёт основная часть его времени.

ИИ уже сокращает нехватку ресурсов для воплощения идей. Он пишет код, изучает незнакомую литературу и превращает набросок в работающий прототип. Всё чаще один целеустремлённый человек может реализовать идею, для которой прежде требовалась целая организация.

Большинству начинающих режиссёров никогда не дают двести миллионов долларов на шанс проявить себя. Большинство геймдизайнеров всю карьеру воплощают чужие творческие замыслы. Мы стараемся помогать самым одарённым, но неизбежно упускаем таланты. С этой точки зрения эпоха интеллекта начинается с дополнения человеческой изобретательности: всё больше людей получают помощников для воплощения собственных идей.

Это может породить множество самобытных проектов: всё больше творческих работ будет создаваться вне институтов, которые прежде решали, кому открыт доступ к работе в этих сферах. Дефицитным ресурсом становится не исполнение, а вкус — умение решить, что стоит создать, какой вопрос стоит задать и какое из тысячи перспективных направлений выбрать.

Но на этом история может не закончиться. По мере того как ИИ учится самостоятельно находить блестящие новые идеи — и, возможно, мы уже видим это, например, в математике, — он не только выполняет работу, но и определяет её направления. Вместо реализации одной исследовательской программы, составленной человеком, он разрабатывает тысячи собственных. Гениальные ИИ многократно увеличивают число замыслов фильмов, достойных воплощения, и гипотез, заслуживающих проверки. Идеи множатся быстрее, чем обеспечивающая их инфраструктура успевает с ними справляться.

Сегодняшний ИИ даёт долгожданную передышку: наши хорошие идеи наконец получают необходимое внимание. Завтра хороших идей может стать так много, что нехватка ресурсов для их воплощения окажется острее, чем когда-либо.

В конечном счёте мы не знаем, будет ли потребность в дополняющих ресурсах для продуктивного использования новых идей расти, сокращаться или оставаться прежней. Как далеко можно продвинуться в познании одной лишь силой мысли? Сколько бюрократии нужно гениальности?

На наш взгляд, ответ зависит от того, как далеко может уйти мысль, прежде чем ей снова потребуется соприкоснуться с реальностью.

Мы описываем два возможных пути. Первый — цивилизация глубины, в которой сверхинтеллект преодолевает потребность в наращивании физического капитала и бюрократической координации. Второй — цивилизация экспансии, в которой природа настолько сложна, что никакой интеллект — ни человеческий, ни машинный — не может двигаться вперёд без масштабных и всё более сложных экспериментов в реальном мире.

Пока что человеческая история указывает на растущую потребность в дополняющих ресурсах. Телескоп Галилея помещался у него в руках; для «Уэбба» потребовалась целая цивилизация. Первый транзистор собрала на рабочем столе небольшая команда Bell Labs; сегодня передовые разработки в области чипов опираются на сложную глобальную цепочку поставок. Каждый шаг вперёд требует участия всё большей части цивилизации.

Но прошлое не обязательно предопределяет будущее. Выдающиеся умы могут изобретать более эффективные дополняющие средства. Если новый ускоритель частиц упирается в нехватку энергии, гений может придумать более экономичный ускоритель или лучший способ получения энергии.

Гениальность способна и заменить некоторые из дополняющих её ресурсов. Эйнштейн сумел прийти к теории относительности силой мысли, располагая совсем небольшим объёмом эмпирических данных. Нам понадобилось бы гораздо больше. Кто-то просто помнит все свои дела и встречи, а большинство из нас полагается на бюрократию Google Календаря.

Кроме того, гениальность может довести вкус до совершенства: выбирать лучшие гипотезы для проверки и избегать дорогостоящих неудач. Если каждый новый гений повышает качество плана, то даже при растущей потребности в бюрократии мы всё равно будем много вкладывать в гениальность — именно потому, что тратить ресурсы на воплощение неверных идей слишком дорого.

Ни один путь не опишет наше реальное будущее в точности, но их можно рассматривать как два возможных направления развития цивилизации.

Интеллект может расширять знания тремя способами. Он может строить рассуждения на основе исходных принципов. Может получать новые знания из имеющихся данных. Или собирать новые данные, наблюдая за миром и воздействуя на него.

Первый способ позволяет далеко продвинуться одной лишь силой мысли. Самый чистый пример — математика. На многочисленных развилках доказательства или проекта мощный ум способен раз за разом выбирать верное направление. Он заменяет годы беспорядочных поисков короткой и более целенаправленной цепочкой рассуждений.

Второй способ тоже открывает широкие возможности для быстрого прогресса. Человечество собрало гораздо больше данных, чем сумело осмыслить. Изучение наших данных — астрономических снимков, микропрепаратов, комментариев в интернете — сдерживалось нехваткой человеческого интеллекта. В научных архивах хранятся наблюдения, сделанные ради ответа на один вопрос, но способные дать ответы на множество других. Изобилие гениальных умов позволит совершать открытия, не собирая ничего нового, а замечая то, что уже было перед глазами. Возможно, так удастся открыть новую Вселенную, не поймав ни одного нового фотона.

Третий способ не так прост, поскольку требует взаимодействия с физическим миром. Физические процессы требуют времени, и зачастую ускорить их почти невозможно. Вещества должны вступить в реакцию. Организмы — вырасти. Машины нужно построить. Космические аппараты должны преодолеть реальные расстояния, подчиняясь космическим ограничениям скорости. Даже совершенный разум не может увидеть результат эксперимента, который ещё не состоялся.

Но может попытаться. Цивилизация глубины не избавилась бы от необходимости сверяться с реальностью. Она научилась бы делать это радикально экономнее. Более совершенные рассуждения позволили бы выделить немногие действительно важные эксперименты. Симуляции дали бы ответы на большинство вопросов и точно указали бы на неопределённость, которую может разрешить только реальность. Сверхинтеллект способен добиться максимальной эффективности, строя планы с учётом ограниченных ресурсов и извлекая из них наибольшую пользу.

Представьте астрофизическую лабораторию, в которой есть несколько гипотез о тёмной материи. Сначала их проверяют с помощью гиперреалистичного компьютерного моделирования. Каждую теорию проверяют на соответствие всем имеющимся данным. И лишь затем делают несколько прицельных снимков неба, чтобы проверить самые перспективные теории. Цивилизации по-прежнему нужны ресурсы, дополняющие гениальность, но каждая их единица приносит гораздо больше пользы.

Наш путь к цивилизации глубины может напоминать сборку пазла. В начале и в конце продвигаться легко, а труднее всего — в середине. Сначала есть очевидные края и детали, которые легко подобрать друг к другу. Потом они заканчиваются, а собранная часть картины ещё слишком мала, чтобы подсказывать дальнейшие шаги. Ближе к концу оставшиеся пробелы почти сами подсказывают, каких деталей не хватает. Науке, близкой к завершению, последние открытия могут даваться легче, чем те, к которым мы с трудом идём сегодня.

Для науки это привычный принцип. Менделеев мог описывать неоткрытые элементы, потому что остальная часть периодической таблицы задавала ограничения для недостающих. Стандартная модель дала физикам основания ожидать существования бозона Хиггса за десятилетия до его обнаружения. Наши эксперименты были нацелены на поиск того, что мы ожидали увидеть, — того, что согласовывалось с существующей теорией и данными.

Сверхинтеллект мог бы создать цивилизацию глубины, настолько хорошо поняв закономерности мира, что точно знал бы, какие новые данные ему нужны. Он двигал бы прогресс углублением мысли, не полагаясь на медленный ход физической экспансии.

Если этот выигрыш в эффективности перевесит, цивилизация сможет быстро наращивать власть над природой, меньше нуждаясь в институциональном интеллекте для управления новыми огромными экспериментальными комплексами. Она может занимать по-прежнему мало места, становясь всё мудрее.

Мы, люди, уже так много поняли о нашей Вселенной, почти не покидая свой дом. Цивилизация глубины продолжила бы эту традицию.

Но потребность в новых данных может перевесить этот выигрыш в эффективности. Интеллект может удешевлять каждое обращение к реальности и одновременно находить всё больше причин к ней обращаться. Более совершенные приборы открывают доступ к всё более тонким явлениям. Ускорение экспериментов может сделать оправданным проведение ещё большего их числа.

Если путь Эйнштейна к теориям относительности почти одной лишь силой мысли — образец цивилизации глубины, то биология, возможно, лучше всего предвещает цивилизацию экспансии. Несмотря на все накопленные знания и использованные данные, новые лекарства по-прежнему нужно испытывать на большом числе людей, чтобы убедиться в их безопасности и эффективности. Сегодня машины могут моделировать биологические процессы, позволяя биологам проверять новые лекарства на компьютере, а не в реальных экспериментах. Но эти цифровые симуляции недостаточно точно воспроизводят реальность, чтобы заменить масштабные испытания на людях. Чем больше потенциальных препаратов предлагают машины, тем сильнее эмпирическая проверка сдерживает прогресс.

В цивилизации экспансии одной гениальности для прогресса недостаточно. Наша потребность в физических ресурсах и бюрократии, управляющей их использованием, растёт быстрее, чем развитый интеллект успевает находить способы экономить на том и другом.

Мы можем пойти этим путём, даже если будущие системы ИИ намного превзойдут человеческий интеллект. Сверхинтеллект мог бы за полдня спланировать эксперименты на столетие вперёд, а затем целое столетие ждать, пока природа и техника позволят их завершить. В таком мире направлять интеллект на институциональные процессы, необходимые для воплощения идей, становится выгоднее, чем на само придумывание идей.

Этот эффект будет нарастать, если каждый следующий шаг потребует всё больше вспомогательной инфраструктуры.

Тогда доля усилий, уходящих на размышления, сократится, а на строительство — вырастет. Лаборатории автоматизируются. Число заводов растёт. Производство энергии увеличивается. Институциональный интеллект выходит на первый план, обеспечивая всё это. Физическая экспансия становится двигателем познания, а цивилизация расширяется, потому что её вопросы переросли возможности получать ответы. Чтобы двигаться дальше, нужно больше материалов, больше энергии, больше данных.

Сфера Дайсона — предельное воплощение такого будущего. Для её проектирования нужны выдающиеся открытия, но большая часть работы над ней не потребует прорывных идей. Это будут строительство и логистика астрономического масштаба.

Чтобы спроектировать сферу Дайсона, нужны блестящие умы. При этом она станет одним из самых однообразных, монотонных и организационно сложных проектов в истории.

Это не провал интеллекта, а следствие его успеха. Чем сильнее ум, тем больше стоящих проектов он находит; чем сложнее проект, тем больше материи нужно для его воплощения.

Если так, то главной силой сверхинтеллекта может оказаться вовсе не его гениальность. А готовность взять на себя роль бюрократии: координировать огромный технологический и институциональный аппарат, необходимый для воплощения идей во всё больших масштабах.

Почти весь машинный интеллект будет занят не блестящими свершениями, а скучной работой.

Тогда дальнейший прогресс могут сдерживать природные ограничения скорости физической экспансии. Как бы быстро ни были готовы чертежи, строительство системы сбора энергии звезды — это работа с материей. За ней лежат другие звёзды и галактики, а расстояние, насколько нам известно, само по себе ограничивает темп: ни корабль, ни обратный сигнал не могут двигаться быстрее света. Цивилизация экспансии — медленная цивилизация. Её великие перемены могут разделять тысячелетия, а возможно, и миллионы лет. Каждый следующий шаг требует больше времени.

Аграрная и промышленная революции будут казаться стремительным началом гораздо более долгой истории с гораздо более медленным прогрессом.

Вполне возможно, что будущие системы ИИ превзойдут людей и в выдвижении передовых идей, и в координации ресурсов, необходимых для их практического применения. Но такая возможность не умаляет значения человеческой любознательности.

Во-первых, стремление к познанию остаётся нашим долгом, даже если машины, по-видимому, справляются с ним лучше. Во Вселенной уже могут существовать умы намного мудрее наших, знающие ответы на научные и нравственные вопросы, которые мы даже не способны понять. И всё же мы пытаемся понять мир сами. Появление другого разума — даже созданного нами — этого не меняет. Пока мы не знаем наверняка, что человечество больше не способно внести ничего уникального, отказ от поисков лишает мир того, что можем дать только мы. Наш долг — по-прежнему задавать вопросы и искать ответы.

Во-вторых, у нас может быть сравнительное преимущество в передовом, а не институциональном интеллекте. То есть, даже уступая в обоих, мы можем быть относительно сильнее в первом и специализироваться на нём. Люди предпочитают творчество рутине, а роботы такого предпочтения не выражают.

В-третьих, разнообразие приносит пользу. Даже если машины смогут воспроизвести большинство форм человеческого мышления, сохранив некоторую самобытность, мы внесём творческое разнообразие. Большая часть машинного интеллекта останется в собственном самоподдерживающемся аппарате, но небольшую долю мы будем использовать для своих творческих замыслов. Крошечная доля целого — но по нашим меркам это роскошь, намного превосходящая все доступные нам сегодня ресурсы.

Изобретательность не существует в одиночестве. Ей нужен мир, а гению — строители, способные воплотить его творческий замысел.

Сегодня значительная часть человеческого интеллекта занята незаметной работой по воплощению идей в жизнь. Машинный разум унаследует ту же зависимость. Не все машины смогут быть светилами. Им придётся быть и бюрократами.

Наша будущая история и темп её развития зависят от того, будут ли великим умам нужны всё большие ресурсы мира или они смогут делать больше, обходясь меньшим.