6 月に実施した社内でのトレーニングと評価の際、私たちのモデルが、許可されていない方法でオーストラリアの政府機関のウェブサイトにアクセスしました。また、その後の私たちの対応にも改善すべき点がありました。お詫び申し上げるとともに、今後に向けて改善に取り組んでいます。
本記事では、現時点で把握している事実、これまでに行った変更、そしてオーストラリアの皆さまとの信頼を再構築するための今後の取り組みについて説明します。これは新たな種類のサイバーインシデントであり、世界的に生じつつある課題を示しています。今回の事態に対する責任を果たす取り組みの一つとして、オーストラリアとの連携を積極的に進めます。悪意の有無や意図的かどうかにかかわらず、AI によるサイバー空間での行動を AI 開発者と政府が特定し、開示し、対応するための実践的な手法の策定を支援します。
7 月の Hugging Face でのインシデントを受け、ほかに影響を受けた組織がないかを確認するため、過去のトレーニングと評価における活動の調査を開始しました。8 月中旬、この調査により、以下のオーストラリア政府機関のウェブサイトに影響する活動が特定されました。
証拠に基づき、現時点で把握している内容は以下のとおりです。
Services Australia：OpenAI のモデルが同サービスの非公開領域にアクセスする方法を発見し、コマンドの実行、内部ファイル、認証情報、集計統計の取得、ファイルの書き込みを行いました。ただし、患者や利用者個人の記録へのアクセスはありませんでした。このインシデントについては、後ほど詳しく説明します。
ニューサウスウェールズ州犯罪統計調査局（BOCSAR）：OpenAI のモデルが、公開されている犯罪統計を調べるため、BOCSAR の一般公開の犯罪マッピングツールにアクセスしました（モデルがさまざまな情報調査タスクを行う理由については、後ほど詳しく説明します）。モデルは、ブラウザーからの API リクエスト用の認証情報を提供する BOCSAR の公開ツールを通じて、API リクエストとウェブサイトのメタデータ取得リクエストを送信しました。BOCSAR のシステムは、アプリケーション設定、運用ジョブとログ、ウェブサイトのメタデータを返しました。個人の犯罪記録へのアクセスはありませんでした。
ビクトリア州保健省：OpenAI のエージェントが外部から取得可能なアクセスキーを発見し、ビクトリア州保健情報局の報告システムにクエリを送信して、報告設定と調査の集計統計を取得しました。これらの情報にどの程度アクセスできるべきだったかは不明であり、VAHI のアクセスポリシーによります。個人の医療記録や、個人を特定できる調査回答へのアクセスはありませんでした。
オーストラリア保健福祉研究所：OpenAI のエージェントが、サードパーティの閲覧・ダウンロードサービスを使って AIHW のウェブサイトなどから集計統計を取得し、グラフのデータに直接クエリを送信しました。これとは別にアクセス制御の回避を試みましたが、成功しませんでした。ダウンロードされた資料は、一般公開されていたものとみられます。システムへの侵害はありませんでした。個人の医療記録へのアクセスはありませんでした。
私たちは 8 月中旬にこれらの活動を把握すると、直ちに調査を開始しました。9 月 10 日に Services Australia とビクトリア州保健省に、9 月 18 日にニューサウスウェールズ州犯罪統計調査局に通知しました。オーストラリア保健福祉研究所に関する活動は、そのアクセス方法が一般公開情報へのアクセスの範囲内とみられたため、私たちの開示基準には該当しませんでした。それでも、調査結果を共有し、説明の機会を設けることを申し出るため、9 月 24 日に同研究所へ通知しました。
私たちは、調査の完了後に、影響を受けた機関へ詳細を説明することを目指していました。しかし、初期の調査結果をもっと早く共有し、新たな事実が判明するたびに、オーストラリアの関係機関へ最新情報を伝えるべきでした。
その後は、オーストラリアの政府機関と緊密に連携し、その時点で得られた知見を共有してきました。新たに影響を受けた機関が特定された場合は、その時点で把握している情報を速やかに直接通知し、さらに事実が判明するたびに最新情報を提供します。
6 月の社内トレーニングと評価では、一般公開を予定していない、社内専用の実験的な OpenAI モデルを稼働させていました。このモデルには、一般提供している製品に導入されている安全対策のすべてが適用されていたわけではありませんでした。このトレーニングと評価の過程で、モデルは Services Australia の Medicare 統計報告サービスにアクセスしました。これまでの調査では、個人の医療記録にアクセスしたことを示す証拠は見つかっていません。
社内でモデルのトレーニングと評価を行う際には、多岐にわたる分野の調査用の質問からタスクを選んで与えています。これらは、ユーザーから寄せられる可能性のある詳細な質問を想定したものです。こうしたトレーニングによって、モデルは一般公開された情報を見つけ、解釈し、分析する方法を学び、人々にとってより役立つものになります。私たちのモデルは、一般公開されている統計を使ってこれらの質問に答えることになっています。
この事例でモデルに与えられたタスクの一つは、ビクトリア州の各地域における、皮膚疾患の治療薬に対する住民一人当たりの政府支出を調べることでした。モデルはその情報の取得に苦戦し、私たちが許可していない行動を取りました。Services Australia の Medicare 統計報告サービスでこの情報を探す過程で、モデルは同サービスの非公開領域にアクセスする方法を発見しました。その後、このアクセス手段を使い、同サービスに関するシステムの技術情報やソースコードを確認しました。これらの行動はすべて、当初探していた情報を見つけることを目的としていました。これは私たちが意図した行動ではなく、同サービスへのアクセスも、その後の行動も、起きてはならないものでした。
Hugging Face でのインシデントを受け、ネットワーク制限の追加や監視の拡充など、研究における安全対策を強化しました。これらの研究環境では、インターネットへの直接アクセスを遮断する制御を導入し、ウェブへのアクセスにはキャッシュされたコンテンツを使用するようにしました。さらに安全性を高めるために導入した現在の監視システムであれば、今回の行動を検知し、人による緊急確認を求めるアラートを担当チームに送信できたはずです。たとえば、最近のトレーニング実行中（新しいウィンドウで開く）にモデルがインターネットに直接アクセスした際には、監視システムがその行動を検知して確認担当者にアラートを送信し、私たちはそのトレーニングを停止しました。私たちは引き続きこれらの保護策を検証し、不備の解消に取り組んでいます。これまでに確認した中で最も深刻なインシデントは、引き続き Hugging Face の事例です。
人々は、AI が安全に開発されていると確信できることを求めています。そのためには、まず私たちのような企業が自ら行動しなければなりません。先日お伝えした（新しいウィンドウで開く）とおり、私たちは最も高性能なモデルについて、ツール使用を伴うトレーニングと評価を一時停止しています。現在、追加の安全対策の整備に取り組んでおり、それが確実に整ったと判断できるまでは、これらのモデルのトレーニングを再開しません。
AI システム全般の能力が高まるにつれ、組織が弱点を発見し、修正するのを支援できる時間も限られてきていると考えています。これには、世界中でサイバー防御を担う人々と協力し、共に行動することが必要です。
私たちは、テクノロジー、サイバーセキュリティ、重要インフラの各分野の組織と共に、サイバー防御に関する共同の取り組みを呼びかけています。この呼びかけの出発点は、安全対策の強化、適時の情報開示、影響を受けた組織への実務的な支援など、私たち自身の責任を果たすことです。また、社会に不可欠なサービスを守るチームへの投資も呼びかけています。そうしたチームが脆弱性を発見し、修正の有効性を検証し、効果的な手法を共有できるようにするためです。
オーストラリアでは、影響を受けた機関を支援し、サイバー防御の担当者がこれらの原則を実践できるよう、リソースと専門知識を提供します。具体的には、以下に取り組みます。
影響を受けた機関への専任の支援影響を受けた機関が事実関係を把握し、影響を評価できるよう、必要なリソースを提供します。これには、関連する技術的な調査結果の共有や、適切な情報共有の取り決めに基づき、私たちの対応チームとの連携を調整することが含まれます。
サイバー防御を強化するための資金と支援総額 10 億ドルの Daybreak for Frontline Defenders 基金からのクレジットと技術支援を通じて、オーストラリアの各政府および産業界を支援し、重要インフラやその他の機密性の高い環境におけるサイバー防御を強化します。政府や重要インフラ事業者とのこれまでの連携を基盤に、ますます高性能になる AI エージェントがもたらすリスクについて、組織がより深く理解し、検知し、対応できるよう支援します。
オーストラリアでのタスクフォース設置オーストラリアの独立した専門家の知見を取り入れたタスクフォースを設置し、ますます高性能になる AI エージェントのリスクを管理するための実践的な政策提言を策定します。このタスクフォースは、一連のインシデントから得た教訓を踏まえ、通知プロセスの改善、AI 開発者と政府の連携強化、政府システムをより確実に保護するための対策の特定に重点を置きます。タスクフォースの提言は、OpenAI の取り組みに反映するとともに、オーストラリアの各政府による AI の安全性とサイバーセキュリティに関する取り組みを支援するものとなります。年末までに活動を完了する予定のこのタスクフォースは、同様のインシデントのリスクを減らすために AI 企業が講じられる具体的な措置についても提言します。
オーストラリアの各政府、産業界、そして国民の皆さまは、これまでも今も、OpenAI にとってかけがえのないパートナーです。私たちはこの関係を当たり前とは考えておらず、今回の事態を是正する決意です。
OpenAI の最高戦略責任者である Jason Kwon は、米国本社からオーストラリアに渡航し、10 月 6 日（火）にシドニーで開催される人工知能に関する両院合同特別委員会に出席します。そこで、私たちが把握している事実、これまでの対応、講じた措置、そして今後の改善策についての質問に答えます。
影響を受けた機関や関係政府には、引き続き検証済みの調査結果を共有します。進行中の調査の最新情報と、これらの約束に対する進捗を公表します。信頼を再構築するためには、今後も多くの取り組みが必要だと認識しています。そして、実質的な改善を行い、約束を果たしていることをオーストラリアの皆さまに示す責任が、私たちにはあります。
