Hugging Face インシデントと、整合していないモデルによるその他の第三者への影響
AI システムの能力と自律性が高まるにつれ、整合していない挙動が、サイバーセキュリティ・インシデントをはじめ、開発者が予期していなかった重大な現実世界の行動や結果につながる可能性があります。そのため、こうした挙動がどのように生じ、深刻化するのか、また、どのように検知して対応するのかを理解することは、高度な AI システムを安全に構築・デプロイするうえで、ますます重要になっています。
当初、当社は Hugging Face インシデントを、主にプラットフォーム・レベルの侵害を伴うセキュリティ上の問題と捉えていました。これは、当社のモデルによるこの種の活動として現在までに確認された中で最も深刻なものであり、主に高性能な社内限定の研究モデルによって引き起こされました。その後、Hugging Face の技術報告書に記載したとおり、この侵入は、モデルが難しいタスクを解決するために整合していない戦略に頼ったことで引き起こされたと理解するに至りました。サイバーセキュリティ・インシデントは、そのリスクの現れ方の一つです。ミスアラインメントは、当社のモデルが第三者サイトに投稿するなど、従来のセキュリティ分類に収まらない、予期せぬ、あるいは懸念される挙動にもつながり得ます。当社はこれを「エージェントスパム」と呼んでいます。当社は、その両方に対処する必要があります。
当社は広範な活動の確認を続けており、より深刻なインシデントを優先しつつ、エージェントスパムを含む、深刻度の低い整合していない活動にも対象を広げています。
このページでは、Hugging Face インシデントに関する当社の報告と最新情報、関連する研究と公開発表、追加で確認した活動、モデルのミスアラインメントの役割について得た知見、システム強化のために講じている対策をまとめています。調査の進展に応じて、このページを更新します。
第三者に影響を与えた活動
こうした予期せぬ挙動の範囲をより深く理解するため、当社はトレーニングと評価中におけるモデルのインターネット上の活動を広範に確認しています。確認作業の一環として、以下に該当する事例を優先し、第三者の特定と通知を順次進めています。
当社のモデルが第三者のセキュリティ制御を迂回した可能性、またはオンラインサービスの可用性を損なった可能性がある場合、あるいは
ミスアラインメントの事例が第三者の Web サイトやサービスに悪影響を及ぼした場合
現在までの確認に基づき、上記の基準に該当する数十の第三者に通知しました。過去の活動の確認は継続中であり、多くの時間とリソースを要します。作業の進展に応じて、追加の第三者に通知します。
以下では、観察された整合していない活動の種類を説明するため、匿名化した概要を公開します。追加の第三者への通知や理解の進展に応じて、これらの説明を更新します。また、確認状況に関する関連情報も共有します。影響を受けた当事者を保護するため、必要に応じて氏名やその他の識別情報は原則として省略します。ただし、通知を受けた当事者は、当社から提供された情報を自ら公表する場合があります。
観察された活動の概要
現在までの確認・通知プロセスで、以下の活動カテゴリーが特定されています。
アクセス制御の迂回：エージェントが、通常は本人確認、特定の権限、サブスクリプション、またはアカウントが必要な情報や機能に到達することたとえば、別の Web アドレスを使用したり、リクエストの内容を変更したり、想定以上のアクセス権を持つログインセッションを利用したりすることがありました。
公開された認証情報の使用：エージェントが一般公開されていたログイン情報やアクセスキーを見つけ、サービスへのアクセスに使用すること
クエリまたはコマンドのインジェクション：エージェントが Web サイトやサービスに入力したテキストを、サービス側が通常の入力ではなく命令として処理することこれにより、サービスがデータベースクエリ、アプリケーションコード、またはサーバー上のコマンドを実行する可能性があります。
実行環境の内部へのアクセス：エージェントがサービスの実装を含むファイルを読み取ったり、内部利用を目的としたバックグラウンドシステムを操作したりすることこれらの事例では、エージェントが本来のアクセス範囲外にあるサービスの領域に到達しました。
エージェントスパム：エージェントが第三者サイトに情報を投稿し、そのサイト上の情報を変更して、削除などの対応を必要とさせること。公開 Wiki ページを共有掲示板として使う行為などが含まれます。