独立した AI アライメント研究の促進

AI システムがより高性能になり、より自律的になる中、アライメント研究もその進化に追随し、多様性を拡大する必要があります。OpenAI では、最先端のアライメントと安全性の研究に多額の投資を行っています。これは当社のミッションにとって極めて重要な部分です。その一方で当社は、AGI の安全性を高め、すべての人にとって有益なものにすることは、単一の組織だけで達成できるものではないと考えており、先端研究機関以外が行っている独立した研究や概念的アプローチを支援したいと考えています。AI の未来は予測通りには進展しない可能性があります。そのため当社は、より多くの人々がその結果を形作ることに関与すべきだと確信しています。

当社は本日、英国 AI セキュリティ研究所（UK AISI）が設立した、独立したアライメント研究のための世界的な基金である The Alignment Project⁠（新しいウィンドウで開く） に750万ドルの助成金を提供することを発表します。この助成金の管理は Renaissance Philanthropy が担います。この寄付により、The Alignment Project は、これまでの独立したアライメント研究に対する専用資金提供の取り組みとしては最大級のものとなり、より広範な独立エコシステムの強化にもつながると見られます。

OpenAI のような先端研究機関は、最先端のモデルと膨大な計算リソースへのアクセスを必要とするアライメント研究を追求することにおいて有利な立場にあります。独立した研究者がこれと同じことをするのは大変です。当社は、アライメントの進歩が AI の性能の進歩に遅れを取らないように、社内でのアライメント研究に多くの労力を注ぎ込み、スケーラブルな手法の開発を進めています。また当社は、反復型開発（安全対策を強化しながら機能を徐々に増やしていくこと）によって、問題を早期に顕在化させ、実際に何が有効かについて具体的な証拠を得ることができると考えています。加えて、責任ある開発には、モデルの構築と展開に緊密に統合された、十分なアライメントと安全性への取り組みが必要とも考えています。

ただし、同時に、この分野は独立した探索的研究への継続的な投資からの恩恵も受けています。これは、アイデアの空間を拡大し、新しい方向性を発見することにつながるためです。すなわち、独立した研究は不可欠なのです。しかも、それらは多くの有用な探求において先端研究機関をしのいでいます。独立したチームは、多様な仮定をテストし、代替フレームワークを開発し、他のどの組織のロードマップとも違う道を行く概念的、理論的、および非現実的なアイデアを探求することに力を注いでいますが、それらのチームなくして、健全なアライメントエコシステムはあり得ません。

また、AGI に至る進歩は、抜本的なブレークスルーが起きて、アライメント問題の形やどのアプローチが最も有用かが最終的に変わる可能性があるため、たとえ現時点で将来性を感じられなくとも、独立した研究をサポートし続けることは大切です。そのためには、基礎的、概念的、かつ相関関係のない作業を実行する強力な外部エコシステムを持つことが特に重要になります。AI アライメントと安全性の問題はかつてないほど重要ですが、AI の性能が進歩し続ける中で、結局のところ、どのアプローチが最も持続可能であるかはまだ分かっていないのが現状であるため、私たちは総力を挙げてこの問題に取り組む必要があります。

当社の助成金（現在の為替レートで約560万ポンド）は、他の公的機関、慈善団体、業界の支援者との共同出資の一部として The Alignment Project⁠（新しいウィンドウで開く） に提供されます。総額2,700万ポンドを超えるこの共同出資は、計算複雑性理論、経済理論、ゲーム理論、認知科学、情報理論、暗号など多分野にわたって世界中のアライメント研究プロジェクトを幅広くサポートするように設計されています。個別のプロジェクトは通常、5万～100万ポンドの資金提供を受けることとなります。また、コンピューティングリソースへのアクセスや専門家のサポートなどのオプションを利用することもできます。

当社の資金提供によって、すぐにでも新しいプログラムや選定プロセスが生まれたり、既存のプロセスに影響が及んだりするわけではありません。今、資金提供することにより、十分に吟味された高品質なプロジェクト⁠（新しいウィンドウで開く）の数が増えるだけです。

英国 AISI は、この規模と範囲でアライメント資金を的確に配分できる立場にあります。この AISI により、政府、学術界、慈善団体、産業界にわたる確立された部門横断的な連合が構築され、すでに実行されている助成金交付パイプラインと専門家による審査を経た大量の提案が揃います。科学・イノベーション・技術省（DSIT）に属する英国政府の研究機関として、AISI には深刻な AI リスクに対処する使命があります。また、研究資金提供プログラムの運営においても豊富な経験を誇っています。

AI の未来は予測通りに進歩しない可能性も、急速に進歩する可能性もあるため、当社は、民主化、「AI レジリエンス」、反復型開発が不可欠だと考えています。OpenAI では最先端のアライメントと安全性の研究を継続していますが、堅牢で多様性のある独立したエコシステムが機能の進化に合わせて補完的なアプローチを追求することもまた、進歩を促進するはずです。この助成金は、その目標への第一歩です。当社は、この分野の進展に伴い、より広範な研究コミュニティと引き続き協力していきたいと考えています。