Продвижение независимых исследований по дообучению ИИ

По мере того как системы ИИ становятся более способными и автономными, исследования в области дообучения должны не только идти в ногу со временем, но и расширять разнообразие. В OpenAI мы вкладываем значительные средства в исследования в области передовой согласованности и безопасности, ведь это критически важно для нашей миссии. Мы также считаем, что обеспечение безопасности и пользы AGI для всех невозможно силами одной организации, и мы хотим поддерживать независимые исследования и концептуальные подходы, которые могут осуществляться вне передовых лабораторий. Мы уверены, что будущее ИИ не будет развиваться именно так, как кто-либо предсказывает, и что в формировании результата должно участвовать гораздо больше людей.

Сегодня мы объявляем о гранте в размере 7,5 млн долл. США для The Alignment Project⁠(открывается в новом окне), глобального фонда независимых исследований в области дообучения, созданного Институтом безопасности ИИ Великобритании (UK AISI). Renaissance Philanthropy оказывает поддержку в администрировании гранта. Этот вклад помогает сделать The Alignment Project одним из крупнейших целенаправленных проектов по финансированию независимых исследований по дообучению на сегодняшний день и укрепляет более широкую независимую экосистему.

Передовые лаборатории, в том числе лаборатории OpenAI, находятся в уникальном положении для проведения исследований в области дообучения, которые зависят от доступа к передовым моделям и значительным вычислительным ресурсам — такая работа часто недоступна для независимых исследователей. Мы посвящаем значительную часть наших внутренних усилий по дообучению разработке масштабируемых методов, чтобы прогресс в дообучении соответствовал прогрессу в возможностях. Мы считаем, что итеративное развертывание— постепенное расширение возможностей при одновременном усилении мер защиты — помогает выявлять проблемы на ранних этапах и дает нам конкретные доказательства того, что работает на практике, и что ответственная разработка требует масштабной работы по согласованию и безопасности в тесной интеграции с созданием моделей и развертыванием.

Параллельно эта область выигрывает от стабильных инвестиций в независимые исследовательские исследования, которые могут расширить пространство идей и открыть новые направления. Независимые исследования по-прежнему остаются необходимыми; во многих полезных исследованиях лаборатории не имеют сравнительного преимущества. Здоровая экосистема согласования зависит от проверки независимыми командами разнообразных предположений, разработки альтернативных подходов и исследования концептуальных, теоретических, смелых идей, которые могут не соответствовать дорожной карте ни одной организации.

Движение в сторону создания AGI в конечном итоге может зависеть от фундаментальных прорывов, которые изменят форму проблемы согласования и определят, какие подходы будут наиболее полезными, и потому важно поддерживать действительно значимые исследования, даже если используемые сегодня методы не оправдают наших ожиданий в плане масштабируемости. В таких случаях особенно важно иметь сильную внешнюю экосистему, занимающуюся фундаментальной, концептуальной и некоррелированной работой. Проблема дообучения и безопасности ИИ имеет беспрецедентное значение, и нам пригодятся любые ресурсы — ведь мы пока не знаем, какие подходы по мере развития возможностей окажутся наиболее надежными.

Наш грант — примерно 5,6 млн фунтов стерлингов по текущему обменному курсу — будет совместно финансировать The Alignment Project⁠(открывается в новом окне) наряду с другими государственными, благотворительными и отраслевыми спонсорами. Общий объём фонда превышает 27 млн фунтов стерлингов и предназначен для поддержки широкого портфеля исследовательских проектов по всему миру, охватывающего такие разнообразные темы, как теория вычислительной сложности, экономическая теория и теория игр, когнитивная наука, а также теория информации и криптография. Отдельные проекты обычно финансируются в размере от 50 000 до 1 000 000 фунтов стерлингов, и они также могут получить дополнительный доступ к вычислительным ресурсам и экспертную поддержку.

Наше финансирование не создаёт новую программу или процесс отбора, не влияет на существующий процесс; оно увеличивает количество уже проверенных, высококачественных проектов⁠(открывается в новом окне), которые могут быть профинансированы в текущем раунде.

UK AISI имеет все возможности для того, чтобы направить финансирование на дообучение такого масштаба и диапазона. Это объединяет сформировавшуюся межсекторную коалицию, охватывающую государственные органы, академические сообщества, филантропов и индустрии, а также уже запущенный процесс предоставления грантов и большой пул предложений, прошедших экспертную оценку. Как исследовательская организация правительства Великобритании в составе Департамента науки, инноваций и технологий (DSIT), она также имеет мандат, сосредоточенный на серьезных рисках ИИ, и обладает опытом в проведении программ финансирования исследований.

Будущее ИИ не будет развиваться именно так, как кто-либо предсказывает, но точно может развиваться очень быстро, и мы считаем, что демократизация, «устойчивость ИИ» и итеративное внедрение необходимы. Пока мы продолжаем продвигать наши передовые исследования в области согласованности и безопасности в OpenAI, прогресс будет выигрывать от наличия устойчивой, разнообразной и независимой экосистемы, которая будет применять взаимодополняющие подходы по мере развития возможностей. Этот грант — один из шагов на пути к этой цели. Мы с нетерпением ожидаем продолжения сотрудничества с более широким исследовательским сообществом по мере развития этой области.