AI の次の段階に向けた標準の構築
私たちの使命は、汎用人工知能が全人類に利益をもたらすようにすることです。Sam Altman が先日示した内容と Jakub Pachocki の説明に沿って、私たちは次の 3 つの主要目標を掲げ、この使命の達成に向けた取り組みを優先しています。
自動化された AI 研究者を構築し、それとともにアラインメント問題の解決を重ね、人間が自己改善のループに関与し続ける方法を見いだすことで、AI の次の進歩期を切り開く
高度な知能を持つ機械が可能にする科学の進歩と経済成長の恩恵を届ける
一人ひとりが自分専用の AGI を活用できるようにする
AI は私たち自身の研究とエンジニアリングを加速させており、AI を活用した研究は、ナビエ–ストークス方程式のミレニアム問題を含む数学の進展につながっています。この進歩は、残る 2 つの目標にも大きな可能性をもたらします。世界各地で、医療上の重要な発見、誰もが利用しやすい医療、そして中小企業や個人起業家の経済的な力の向上につながる可能性があります。
AI は多くの企業や国で進歩しており、分野全体の進展が、すべての人が直面する機会と課題を変化させています。高い能力を持ち、人間の意図に沿う AI は、ほかの恩恵に加え、防御の強化、アラインメント研究の推進、AI 開発の次の段階を人々が理解し導くための支援を通じて、この移行期を乗り越えるうえで重要な役割を果たします。
この移行を安全に進めるには、私たちやほかの組織が構築するシステムが人間の価値観に沿い、人間の管理下にあり続けるよう、アラインメント研究がこうした能力の進歩に歩調を合わせる必要があります。AI システムの能力と自律性が高まり、AI 自体の研究開発をより多く担うようになるにつれ、その重要性は一層増します。AI の継続的な進歩を安全で有益なものにするには、アラインメント研究の進展と、研究機関や各国の開発を導く共通標準の両方が必要です。
自動化された AI 研究では、人間による監督の度合いが異なる場合があります。AI システムが次世代 AI の開発作業をより多く担うにつれ、人間が関与し続ける場合でも、再帰的自己改善（RSI）のプロセスを次第に推進できるようになります。このプロセスの自動化が進むと、AI の進歩が急速に加速する可能性があります。
自動化された AI 研究により、人々の暮らしを直接向上させるモデルが生まれると私たちは考えています。高度な知能を利用するコストを引き下げ、世界中の人々が恩恵を受けられるようにできます。自動化された研究は、アラインメントを大幅に改善し、能力が高まり続ける AI への防御策を構築するうえでも役立つ可能性があります。自動化された AI 研究者は、自動化された AI 安全性研究者にもなり得ます。能力が高く、人間の意図に沿うシステムは、重要インフラの保護、危険な AI エージェントへの防御、新たな保護策の開発に役立つ可能性があります。
完全に自律した RSI は現在起きておらず、安全に実行できるようになるまでは追求すべきではありません。実施するかどうか、またどのように進めるかは、人間による管理を維持できるか、そして便益とリスクについての十分な情報に基づく民主的な選択（新しいウィンドウで開く）にかかっています。適切な配慮と慎重さを欠いたまま進めれば、人間は AI 開発を実質的に管理できなくなり、理解できなくなった研究プロセスを監督できなくなるおそれがあります。その先では、AI がより危険になり、人間の意図から外れ、全体として人々への脅威となる可能性があります。私たちが公表したHugging Face でのインシデントは、RSI の直接的な結果ではありませんが、強固なセーフガードとアラインメントがなければ、どのようなリスクがはるかに深刻になり得るかを示す先例です。
フロンティア AI 開発における安全性とセキュリティの国際標準は、フロンティアの進歩を適切なペースに保つうえで、アラインメント研究そのものと同じくらい重要になる可能性があります。標準によって、質の高い証拠について共通の定義を設け、技術的セーフガードに求める厳密さの基準について合意できます。つまり、「壊滅的な AI リスクを軽減するための望ましい取り組みとは何か」という問いに答える助けになります。
AI 標準・イノベーションセンター（CAISI）のような既存の民主的制度、州法、AI の連邦枠組みに加え、新たな形の官民連携（新しいウィンドウで開く）も、その実現に役立ちます。しかし、AI の開発と導入は複数の国で進み、世界中で採用されており、その影響は時期や形こそ異なっても、あらゆる人に及ぶと考えられます。
したがって、次の主要課題を解決するには、標準策定に向けた国際的な取り組みが必要です。
分断—各国の評価、報告要件、インシデントの定義が食い違うと、証拠の比較、新たな能力の把握、国境を越えるリスクへの対応が難しくなる可能性があります。
集団行動—各国が独自に行動すれば、どの国も望まない結果を招く可能性があります。RSI は AI 研究そのものを加速させる力を持ち、進歩を理解し、リスクを評価し、実効性のある人間の監督を維持するための私たち全体の能力を上回る可能性があります。
能力の偏在—フロンティア開発の活動と関連する専門知識は、世界各地に均等に分布していません。この偏りが、前述の 2 つの問題をさらに深刻にします。
これらの課題は、オープンモデルとクローズドモデルの両方に当てはまります。
明確にしておくと、自動化された AI 研究やその他の高度な能力を追求する AI 研究機関は、自ら責任を負うという基本原則と既存の法律に従い、安全に進める責任を負わなければなりません。標準が必要だと考える根拠は、権力の集中を避け、実務上より良い成果を生み出すことにあります。標準があれば、研究機関の外にいるより多くのステークホルダーが、この技術をどのように発展させるべきかについて意見を示せます。また、特定の研究機関の個別の慣行に左右されず、信頼できる明確な原則を設けられます。さらに、関係者が協力して前述の課題に取り組めば、より良い成果を得られる可能性が高まります。
だからこそ私たちは、RSI を含むフロンティア AI の世界的な技術標準を策定するため、米国が世界各国との共同作業を主導すべきだと考えています。
この構想は今後大きく進化すると見込んでいますが、次の 2 つの側面が不可欠です。
その方法の一つは、オーストラリア、カナダ、ドイツ、フランス、ケニア、日本、韓国、シンガポール、インド、英国などですでに設立されている AI 安全研究所のネットワークを活用し、CAISI と各国の業界団体を通じて標準策定を促進することです。特に、（1）能力ベンチマークで測定されるフロンティア AI モデルとその開発者、（2）RSI を含む自動化された AI 研究の便益・リスク管理に重点を置きます。米国は、CAISI が 2024 年に設立した高度 AI の測定・評価・科学に関する国際ネットワーク（新しいウィンドウで開く）を基盤として、公共機関を結集し、AI の測定、評価、科学で協力できます。
この取り組みで策定される標準は、能力の測定と評価、リスク評価、セーフガードの十分性について、共通の技術的基盤を提供します。これらの技術標準は、AI モデルに対するライセンス、公開前の義務的審査、承認要件ではありません。各国政府が、これらの標準を自国の法制度に取り入れるかどうか、またどのように取り入れるかを決定します。
この取り組みでは、オープンモデルとクローズドモデルの開発者、独立した技術専門家、学術界から意見を聞き、競争力のある AI エコシステムも支えるべきです。共通標準は透明性を確保して策定し、新規参入企業やオープンウェイトモデルの開発者が競争しにくくなることを含め、特定の企業、国、ビジネスモデルを有利にしないよう設計すべきです。
私たちが提案した（新しいウィンドウで開く）ように、このアプローチでは、各国が自国の権限を手放すことなく、共通の技術標準と信頼できる協力経路を築いてきた航空や金融安定などの分野から教訓を得られます。また、ISO（新しいウィンドウで開く）、Frontier Model Forum（新しいウィンドウで開く）、Agentic AI Foundation（新しいウィンドウで開く）、Open Secure AI Alliance（新しいウィンドウで開く） などの既存および新しい標準化団体、さらに国際標準と実際の AI 評価を結ぶ実用的な仕様を開発しているAppia Foundation のような実装重視の組織とも緊密に連携すべきです。
AI 研究の自律性の高まりと再帰的自己改善を管理するうえで、国際的な AI 標準は特に重要になります。具体的には、次の項目に関する標準が考えられます。
RSI に関連する AI の進歩と、AI 企業内で行われる自律的研究の規模の評価研究の加速に関する私たちの最新レポートは、この取り組みへの最初の貢献です。
自動化された AI 研究に対する人間の監督。直ちに人間による審査を開始すべき研究プロセスの種類を含む
アラインメントと自動化された AI 研究に関する問題の分類、追跡、報告、対応。共通のインシデント深刻度や報告基準を含む私たちのミスアラインメント報告フレームワークは、その初期の成果です。
これらの標準に加え、フロンティア AI の安全性が急速に進化する中、世界各地の重要インフラ運営者と政府が、安全保障上の懸念、新たな脆弱性や脅威、ベストプラクティスを共有するための安全な通信経路を確立することが重要だと考えています。こうした分野で米中が対話することは前向きな一歩であり、今後の協議は時宜を得たものです。
AI 開発のペース調整とは、あらかじめ定めた速度を維持することではありません。技術面では、アラインメント研究とその成果の実装が、能力の進歩に先行し続けるようにすることです。社会面では、標準、制度、協力を活用して、産業界、社会的関係、市場原理のネットワークを強化し、全体に利益をもたらす成果を生み出すことです。最近提唱されたサイバー防衛における集団行動は、後者の一例です。
米国は AI 産業が技術のフロンティアにあり、金融、貿易、防衛、テクノロジー、情報システムなどの重要分野で、今なお世界的ネットワークの中で有利な立場にあるため、主導するのに適しています。米国が今主導するかどうかで、世界の AI 枠組みを自ら形作るのか、それとも分断され、不均衡で、対立に満ちた体制が周囲に定着するのを見守るのかが決まります。また、高度な AI が米国と同盟国の既存のネットワークを強化するかどうかも決まります。主導できなければ、弱体化させるおそれがあります。
地政学的競争では、技術的に誰が先行するかだけでなく、AI の導入と普及も争点になります。今後は、この技術に未来を託そうとする世界中の企業や社会が求める、現実的な協力と合理的な共通ルールを誰が主導するかによって、AI の導入と普及が左右される可能性が高まります。
強固な国内ガバナンスを実践的な国際協力で結び付けることが、セーフガードの強化、継続的なイノベーション、AI の恩恵への幅広いアクセスにつながります。
