NTIA AI 説明責任ポリシーについてのコメント

OpenAI は、米国商務省電気通信情報局（NTIA）が2023年4月13日に発表した AI 説明責任ポリシーに関するRequest For Comments（RFC）に回答します。

本コメントでは、当社が現在提供しているサービスに適用している安全プラクティスと、将来提供することが想定されるサービスに適用する予定のプラクティスに基づき、AI の説明責任に関する当社の考え方を述べます。当社は、NTIA が AI の説明責任の「エコシステム」という観点からこの議論の枠組みを定めたことを好ましく考えています。RFC で述べている通り、政策利害関係者は「信頼できる AI システムの目標と展開の文脈の範囲」を模索しています。¹説明責任を達成するために設計された政策とプラクティスは、それに応じて変化するでしょう。同時に、具体的な説明責任を果たすための手段は互いに共存する必要があり、最も重要なことはその相互作用がもたらす影響です。

AI の説明責任を果たすための成熟したエコシステムには、水平と垂直の両方の要素が含まれると考えています。私たちはともに、領域全体にわたって特定の AI システムに適用される要素もあれば、特定の領域に特化した要素もあると予想しています。当社は、高い能力を持つ基盤モデルの開発と展開に取り組んでいます。つまり、さまざまな下流のタスクを実行できるようにするため、大量のデータから学習するモデルです。当社の見解では、当社のような AI の開発者は責任を持って行動し、最先端の機能の開発と展開に慎重かつ安全に焦点を当てたアプローチを取る必要があります。これは、このようなモデルが使用される可能性がある領域に関係なく当てはまります。

さまざまな既存の法律がすでに AI（当社の製品含む）に適用されています。また、アメリカ連邦議会での立法構想、欧州における審議中の AI Act、世界中で展開されている立法・政策構想など、法的な状況は急速に進展しています。同時に、医療、教育、雇用などの分野では、長年にわたって確立されてきた法律、規制、その他の期待がすでに解釈され、それらの領域で AI が果たす役割を形成する形で適応してきています。当社は、深い領域ごとの専門知識に裏打ちされたこれらの部門ごとの取り組みが、AI の説明責任を果たす上で重要な役割を果たすと考えています。

当社は、NIST AI Risk Management Framework、U.S.-E.U.Trade and Technology Council、その他のさまざまなグローバルイニシアティブの取り組みを含め、AI に期待される新たな説明責任を調和させる取り組みを強く支持します。これらの取り組みが進む中、新しい法律が完全に施行される前であっても、当社は、展開前のテスト、コンテンツプロビナンス、信頼と安全性といった問題について自主的なコミットメントを行うことが、当社と他の企業の役割であると考えています。

当社の現在のエンジニアリングアプローチには、独自の規模のコンピューティングリソースが必要です。これは、当社のようなアクターに適用される追加的かつ特徴的な説明責任を定義するための有望な基礎と捉えています。私たちは、すべてのアクターが公平に競争し、イノベーションを起こす能力を維持できるようにするため、高い能力を持つ基盤モデルに対する新たな規制の綿密な検討を支持します。

説明責任は、テクノロジーのライフサイクル全体を通じて役割を果たします。当社のモデルを安全かつ信頼できるものにするための取り組みは、開発開始前から始まり、モデルの展開と運用全体を通じて継続し、高い能力を持つ基盤モデルの作成者とユーザーの両方に対応しています。当社は、開発者にその用途に合った世界最先端の能力を提供し、ChatGPT やその他のサービスを毎日利用する何百万人もの人々に優れた機能を直接提供しています。当社の使用ポリシーは、当社のモデル、ツール、およびサービスのすべてのユーザーに適用されます。²当社は既存の法律を遵守し、当社の開発者とユーザーが当社のサービスを利用するにあたってその遵守を求めます。

本コメントの残りの部分では、AI の説明責任に対する当社の現在のアプローチに焦点を当て、当社と他の開発者がエコシステムの強化に取り組んでいる重要な分野について説明します。当社は、米国および世界中の政策立案者が、法律、規制、国際協定、自主規制プログラム、拘束力のある技術基準やその他の基準を含め、AI の説明責任を達成することを目的とした幅広い政策と措置を検討していることに着目しています。当社はこれらの取り組みに感謝するとともに、AI の説明責任に対する効果的なアプローチを開発および実施するために、他のステークホルダーと協力する準備はできています。

当社は、より幅広い社会全体での議論の進展に伴い、プラクティスを洗練させています。ここでは、当社のアプローチのいくつかの側面について詳しく説明します。

透明性は、説明可能な AI システムを構築する上で重要な要素の1つです。説明責任に対する当社のアプローチの重要な部分は、現在、当社が展開する新しい AI システムに対して、当社が System Card と呼んでいる文書を発表することです。当社のアプローチは、モデルカードとシステムカードに関する過去の研究成果からインスピレーションを得ています。³現在までに、OpenAI は GPT‑4 System Card と DALL·E 2 System Card という2つのシステムカードを発表しました。⁴

多くの場合、これらの文書では、モデルだけに焦点を当てるのではなくシステムの影響を分析し、記述することが重要であると考えています。なぜなら、システムの影響は、ユースケース、文脈、現実での相互作用など、モデル以外の要因に依存する面もあるためです。同様に、AI システムの影響は、使用ポリシー、アクセス制御、悪用の監視などのリスク軽減策に依存します。外部のステークホルダーがこれらのトピックに関する情報を期待し、当社のアプローチを理解する機会を持つことは合理的であると考えています。

当社の System Card は、システムの動作に影響を与える重要な要素、特に責任ある使用に関連する分野に関する読者への情報提供を目的としています。当社は、System Card および同様の文書の価値は、提供されるモデルパフォーマンスに関する問題の概要だけでなく、説明のための事例からも得られることを発見しました。このような事例によって、ユーザーと開発者は、説明されたシステムのパフォーマンスとリスク、そして、それらのリスクを軽減するために当社が講じる措置について、より根拠に基づいた理解を得ることができます。また、これらの文書の作成は、AI に対する責任あるアプローチを運用する方法を模索している他の人々に対して、当社の社内プラクティスを形成して説明する上でも役に立ちます。

レッドチーミングは、さまざまな領域でモデルとシステムを定性的にテストし、モデルの安全性プロファイルをより包括的に把握するプロセスです。当社は、モデル開発の一環として自社のスタッフや、テスト対象のシステムを構築するチームから独立して活動する人々とともに、内部でレッドチーミングを行っています。レッドチームは、組織の能力と攻撃に対する耐性の綿密な検討に加え、ストレステストとバウンダリテストの手法も使用します。これらの手法は、エッジケースと、危害を引き起こす可能性のあるその他の潜在的な障害モードを明らかにすることに重点を置いています。

レッドチーミングは、次のセクションで説明する当社によるモデルの能力とリスクの自動化された定量的な評価を補完するものです。まだ定量化できないリスクや、より標準化された評価が開発されていないリスクを明らかにすることができます。レッドチーミングに関する当社の以前の取り組みは、DALL·E 2 System Card と GPT‑4 System Card に記載されています。

当社のレッドチーミングとテストは通常、新しいモデルやシステムの開発段階で行われます。当社の内部テストとは別に、OpenAI の社外でテスターを募集し、開発中のシステムに早い段階でアクセスできるようにしています。テスターは、OpenAI によって、関心のある領域での以前の取り組み（研究または実践的な専門知識）に基づいて選出され、学術界の研究者と産業界の専門家（たとえば、信頼と安全の分野での実務経験者）の組み合わせになる傾向があります。これらのテストの結果を評価および検証し、必要に応じて調整と軽減策を講じます。

OpenAI は、現在進行中の評価および将来の評価のために、外部テスターの質、多様性、および経験を改善するための取り組みを継続します。

上記の定性的なレッドチーミングに加え、当社は、レッドチーミングのような手法で発見したリスクも含め、さまざまな能力と安全指向のリスクについて、自動化された定量的な評価を作成します。これらの評価によって、当社はモデルの異なるバージョン同士で比較し、安全性を向上させる研究方法を反復し、最終的には展開するモデルのバージョンを決定する際の情報として活用できます。既存の評価は、性的なコンテンツ、憎悪的なコンテンツ、自傷行為に関連するコンテンツなどのトピックをカバーしており、そのようなコンテンツを生成するモデルの傾向を測定しています。

OpenAI は、利用ポリシーに概説されている通り、特定の活動とコンテンツに対するモデルとツールの使用を禁止しています。⁵これらのポリシーは、個人や社会に危害をもたらす形でのモデルとツールの使用を禁止するように設計されています。当社は、新たなリスクや、当社のモデルがどのように使用されているかについての最新情報を考慮して、このポリシーを更新します。当社のモデルへのアクセスやその使用にも、OpenAI の利用規約が適用されます。この利用規約では、特に、人々の権利を害するために当社のサービスを使用することを禁止し、当社のサービスからの出力が人間によって生成されたものではない場合にそれを提示することを禁止しています。⁶

当社は、有害な可能性がある反応につながる特定のタイプのリクエストに対する反応を拒否するようにモデルの学習を行うことで、有害な活動へのモデルの使用を制限する取り組みを行っています。また、当社は、レビュアーと自動化されたシステムを組み合わせて使用し、当社のモデルの悪用を特定し、それに対する対策を講じます。当社の自動化されたシステムには、当社のポリシーに違反する可能性のあるコンテンツを特定するために設計された一連の機械学習およびルールベースのクラシファイア検出が含まれています。ユーザーがポリシーに違反するコンテンツを繰り返し当社のモデルに要求した場合、当社は警告を発する、ユーザーを一時的に停止する、深刻な場合にはユーザーを禁止する、といった対応を実施します。

RFC で述べている通り、AI の説明責任に関する多くの重要な疑問はまだ解決されていません。以降のセクションでは、これらの疑問のいくつかについて補足的な見解を説明します。

高い能力を持つ基盤モデルは、有益な能力だけでなく、害をもたらす可能性もあります。これらのモデルの能力が高度になるほど、特に悪意のあるアクターの指示による場合、またはモデルが人間の価値観と適切に整合していない場合、それがもたらすリスクの規模と重大度も大きくなります。

潜在的に危険な能力の進歩を厳格に測定することは、リスクを効果的に評価および管理するために不可欠です。当社は、シンプルかつ拡張可能な自動ツールから、人間の専門家が実施するカスタムメイドの集中的な評価までカバーする潜在的に危険な能力の評価を模索し構築することで、この問題に対処しています。当社は学術界および産業界の専門家と協力し、最終的には、高い能力を持つ基盤モデルにおける新たなリスクを評価するためのベストプラクティスの形成に貢献できる多様な評価の開発に貢献することを目指しています。当社は、危険な能力評価は、フロンティア AI 開発における説明責任とガバナンスにおいて、今後さらに重要な基礎になると考えています。

モデルとシステムの独立評価（第三者による評価含む）は、モデルの能力が向上し続けるにつれて価値が高まる可能性があります。このような評価によって、AI システムの行動とリスクに関する説明責任と透明性を強化できます。

一部の形式の評価は、1つの組織内で行われる場合があります。たとえば、チームが自らの取り組みを評価する場合や、あるチームや組織の一部がモデルを作成し、別のチームや組織の一部が独立してそのモデルをテストする場合などです。別のアプローチとしては、外部の第三者に評価を依頼する方法があります。前述のように、現在、当社はモデルの内部評価と外部評価を組み合わせています。

第三者評価は、特定の展開、ある時点におけるモデルまたはシステム、組織のガバナンスとリスク管理の実践、モデルまたはシステムの特定の用途、またはそれらの組み合わせに焦点を当てる場合があります。このような評価で使われる考え方と潜在的な枠組みは急速に進化し続けており、当社は評価に対する独自のアプローチを監視および検討しています。

第三者評価については、適切な専門知識とインセンティブ構造を持つ監査人/評価者を選定するプロセスをさらに明確にすることが有効です。または、組織やモデルを評価するための適切な期待値の選択は、さまざまなステークホルダーからの情報を必要とするまだ未開拓の領域です。そして、評価では、システムが時間とともにどのように進化する可能性があるかを考慮し、それを評価 / 監査のプロセスに組み込むことが重要になります。

当社は、高い能力を持つ基盤モデルの将来の世代の登録およびライセンス要件の開発をサポートします。このようなモデルは、公共の安全に重大なリスクをもたらすほど危険な能力を持っている可能性があります。その場合、それに見合った説明責任要件が課されるべきであると考えます。

高い能力を持つ基盤モデルを作り出すことが期待される学習プロセスについて、開示と登録の期待値を検討することが適切であると思われます。このような開示は、政策立案者が効果的な規制ソリューションを設計し、AI の進歩の最前線におけるトレンドを先取りするために必要な可視化を実現します。このような体制では、開示される情報のセキュリティを優先することが極めて重要です。

AI の開発者は、これまで安全であるとみなされていたモデルよりも能力が高いことが証明される可能性が高い、非常に高い能力を持つ基礎モデルを作成するためのライセンスを受けることが求められる可能性があります。航空、発電、薬品製造、銀行など、安全が重視される分野およびリスクが高い分野では、ライセンス制にするのが一般的です。ライセンシーは、展開前のリスク評価の実施と、最先端のセキュリティおよび展開に関する対策の採用を求められる場合があります。実際、NTIA が検討する説明責任プラクティスの多くは、適切なライセンス要件となりえます。コンピューティングプロバイダーレベルでのライセンス要件の導入も、執行を補完する強力な手段となりえます。

AI 開発の最前線で説明責任を果たすための登録およびライセンスメカニズムの設計には、未解決の問題が多く残っています。当社は、政策立案者と協力して、これらの問題に取り組むことを楽しみにしています。