Sora System Card

Sora はテキストや画像、動画を入力し、新たな動画を出力する OpenAI の動画生成モデルです。ユーザーは、さまざまなフォーマットで最大1080pの解像度で最大20秒の動画を生成できます。また、テキストから新たなコンテンツを生成できるほか、自分で用意したアセットを活用して、強化、リミックス、ブレンドする機能も備えています。「Featured」および「Recent」フィードではコミュニティの他のユーザーの作品が共有され、新しいアイデアのインスピレーションを得ることができます。Sora は DALL-E や GPT の各モデルから得た知見を基に構築され、ストーリーテリングやクリエイティブな表現を可能にする拡張ツールとして設計されています。 

Sora は拡散モデルであり、静的ノイズのようなベースとなる動画から始めて、段階的にノイズを取り除きながら動画を変換していきます。また、このモデルは一度に多数のフレームを先読みすることで、被写体が一時的に視界から消えても一貫性が保たれるという難題を解決しました。Sora は GPT モデルと同様に transformer アーキテクチャを採用し、優れたスケーリング性能を実現しています。 

また、DALL·E 3 のリキャプション技術（視覚的な学習データに対して非常に説明的なキャプションを生成する技術）を Sora にも採用しています。その結果、このモデルは生成された動画においてユーザのテキスト指示に、より忠実に従うことができます。

モデルは単にテキストの指示から動画を生成できるだけでなく、既存の静止画像から動画を生成し、その画像の内容に正確かつ細部にわたって動きを加えることができます。また、既存の動画を拡張したり、欠けているフレームを埋めたりすることも可能です。Sora は現実世界を理解しシミュレートできるモデルの基礎となるもので、汎用人工知能を実現するための重要なマイルストーンになると、私たちは考えています。

Sora の機能には新しいリスクを伴う可能性があり、例えば、肖像の悪用や誤解を招く、または不適切な動画コンテンツの生成が挙げられます。私たちはSora の製品を安全に展開するにあたり、DALL·E の ChatGPT や API への導入時の安全性に関する取り組み、そして ChatGPT など他の OpenAI 製品の安全対策から得た知見を活かしました。このシステムカードは、結果として得られた安全対策のスタック、外部のレッドチームによる取り組み、評価、およびこれらの安全対策をさらに改善するための継続的な研究について概要をまとめたものです。

OpenAI が2024年2月に発表したテクニカルレポート⁠¹で説明されているように、Sora はインターネット規模のデータで学習することにより汎用的な能力を獲得する大規模言語モデルからインスピレーションを得ています。テキスト、コード、数学、さまざまな自然言語などの多様なモダリティをスムーズに統合するトークンの使用は、LLM パラダイムの成功を支えた要因の一つとなっています。Sora では、視覚データの生成モデルがそうした利点をどのように継承できるかを検討しました。LLM はテキストトークンを使用するのに対し、Sora はビジュアルパッチを使用します。視覚データを扱うモデルに対するパッチの有効性は先行研究などで確認されています。また、パッチはさまざまな種類の動画や画像を使用して生成モデルを学習させる上で、拡張性に優れた効果的な表現方法であることが明らかになっています。概要としては、まず動画データを低次元の潜在空間に圧縮し、次に時空間パッチに分割します。

Sora は多様なデータセットを組み合わせて学習させました。これには、公開されているデータのほか、提携先企業を通じてアクセスした独自のデータ、社内で開発されたカスタムデータセットが含まれています。含まれるデータは次の通りです：

• 公開されているデータ、主に業界標準の機械学習用データセットやウェブクローリングによって収集されたデータを使用しています。
• データパートナーシップを通じて得た独自データ。OpenAI は非公開データにアクセスするためのパートナーシップを結んでいます。一例として、Shutterstock や Pond5 と提携し、AI が生成する画像を構築し、提供できるようにしています。また、OpenAI のニーズに合うデータセットの作成を外部パートナーに委託しています。
• 人間によるデータ：AI 学習、レッドチームのメンバー、社内からのフィードバック。 

事前学習段階後に実施される安全対策に加えて、事前学習時の段階でもフィルタリングを行い、他の安全対策を組み合わせることでデータセットから不要で有害なデータを排除するための追加的な防御策を取っています。すべてのデータセットは学習前にこうしたフィルタリングが施され、暴力的、露骨、またはその他のセンシティブなコンテンツ（ヘイトイメージなど）が排除されています。この手法は、DALL·E 2 や DALL·E 3 を含む他のモデルの学習で使用されたデータのフィルタリング手法の延長線上にあります。

私たちは Sora の開発にあたり、悪用される可能性と実際に創造的な目的で使われる方法の両方を理解するために慎重なプロセスを踏み、それに基づいてデザインや安全対策を検討しました。2024年2月の Sora 発表後は60カ国以上から数百人のビジュアルアーティスト、デザイナー、映画制作者と協力し、クリエイティブ業界の専門家にとって最も有益となるよう今後の改善に向けてフィードバックを得てきました。また、社内外のレッドチームとともに多数の評価を通じてリスクの発見と評価を行い、安全性とリスク緩和策の改善に繰り返し取り組んでいます。 

Sora の安全対策は、こうして得られた知見のほか、DALL·E や ChatGPT など他モデルや製品で採用されている既存の安全対策、さらには動画製品に特化した独自の安全対策も取り入れて構築されています。このツールは非常に強力なことから、特に文脈が重要な領域や動画に関連する新たなリスクが予測される分野では、安全性に関して段階的アプローチを採用しています。段階的アプローチの例としては、サービス開始時に18歳以上のユーザーのみへの提供、肖像および人物の顔写真や動画の使用・アップロードの制限、そして未成年者に関するプロンプトやアップロードに対して、より厳格なモデレーション基準を設けることが挙げられます。私たちは Sora がどのように使用されているかを引き続き学び、ユーザーの創造的な可能性を最大限に引き出しつつ安全性とのバランスを最適化するため、さらなる改善を進めていきたいと考えています。 

OpenAI は9か国の外部レッドチームと協力して Sora のテストを行い、安全対策の弱点を特定し、Sora の新しい製品機能に関連するリスクについてフィードバックを提供しました。レッドチームは2024年9月から12月にかけて、安全対策やシステム成熟度が異なる Sora 製品にアクセスし、15,000回以上の生成テストを繰り返し実施。このレッドチームの取り組みは、製品版の安全対策が施されていない Sora モデルに対して2024年初頭に実施されたテストに基づくものです。

レッドチームのメンバーは Sora のモデルや製品ツールに存在する新たな潜在的リスクを探り、安全対策と開発・改善の過程でそれらを検証しました。レッドチームによる一連の演習では、さまざまな違反や禁止コンテンツ（性的・エロティックなコンテンツ、暴力や流血、自傷行為、違法コンテンツ、虚偽・誤情報など）が対象となりました。また、安全対策を回避するための敵対的戦術（プロンプトやツール/機能の使用を含む）、さらにこれらのツールがモデレーションツールや安全対策をどのように段階的に無力化させる可能性があるかについても検証しました。さらに、偏見や総合的なパフォーマンスなどの分野に関する Sora への認識についてもフィードバックを提供しました。 

私たちは上記のすべてのコンテンツカテゴリーに関して、単純なプロンプトと敵対的なプロンプト戦術の両方を用いて、テキストから動画への生成を検証しました。画像や動画をアップロードして動画を生成する機能については、公の人物を含む多種多様な画像や動画、幅広いコンテンツカテゴリーでテストされ、違反コンテンツを生成する能力を検証しました。 また、修正ツール（ストーリーボード、リカット、リミックス、ブレンド）のさまざまな使い方や組み合わせをテストし、違法なコンテンツの生成が可能かどうかを検証しました。 

その結果、特定の種類の禁止コンテンツと一般的な敵対的戦略の両方に対して、重要な観測結果が報告されました。例えば、医療関連の状況や SF/ファンタジーの設定を含むテキストプロンプトが、エロティックおよび性的コンテンツの生成に対する安全対策を弱体化させることがレッドチームによって明らかになっています。追加の安全対策が構築されるまでこの問題は続きました。レッドチームは安全スタックを回避する敵対的な戦術を使用し、これには暗示的なプロンプトや、モデルの推論能力を活用するための比喩が含まれます。繰り返し検証する中で、レッドチームは安全対策を発動させるプロンプトや単語の傾向を特定し、拒否を回避するために異なる表現や単語を試しました。そして、最終的に最も問題がある生成結果を選び、それを基にして単一のプロンプトだけでは生成できない違反コンテンツに発展させるための基礎メディアとして利用しました。ジェイルブレイク技術は安全対策の弱体化を招くことがあるものの、結果として保護対策のさらなる強化にもつながっています。

レッドチームはまた、インターネットで公開されている画像と AI が生成したメディアの両方を使用して、メディアのアップロードのほか、Sora のツール（ストーリーボード、リカット、リミックス、ブレンド）を検証。 これにより、Sora のリリース前に強化すべき入出力フィルタリングの問題点が判明し、人物を含むメディアアップロードの保護策を改善する助けとなりました。 また、テストによって、規約違反ではないメディアのアップロードが後にエロティック、暴力的、またはディープフェイクコンテンツに加工されるリスクを軽減するために、より強力な分類器を使用したフィルタリングが必要であることが明らかになりました。

レッドチームからのフィードバックとデータにより新たな安全策が導入され、既存の安全対策が強化されました。これらは「特定のリスク領域とその緩和策」セクションに記載されています。これらの取り組みを通じて、モデルが安全基準に適合するよう、プロンプトフィルタリング、ブロックリスト、分類器の閾値のさらなる調整を行いました。

この9ヶ月間、私たちは60カ国以上、300人以上のユーザーから、モデルリクエストに対する50万件以上のユーザーフィードバックを得てきました。このデータはモデルの挙動や安全プロトコルの遵守に向けた改善に役立ちました。例を挙げると、アーティストフィードバックにより、目に見える透かしが彼らの作業フローに制限を与えることが分かり、C2PA メタデータの埋め込みはそのままに、有料ユーザーは透かしなしで動画ファイルをダウンロードできるようにすることを決定しました。 

この早期アクセスプログラムは、Sora がストーリーテリングやクリエイティブな表現を支援するツールとして機能する場合、特に、ChatGPT のような汎用ツールでは扱いが異なるセンシティブな分野について、アーティストに対してより多くの柔軟性を提供する必要があることを教えてくれました。私たちは、アーティスト、独立系映画製作者、スタジオ、その他のエンターテイメント業界の組織の皆さんが、Sora を開発プロセスの重要な要素として活用することを期待しています。同時に、前向きな使用例と潜在的な悪用のケースを明らかにすることで、リスクや悪用の防止に向けて、製品レベルでより厳しい対策が必要な分野を特定することができました。

私たちはヌード、選挙に関する欺瞞的なコンテンツ、自傷行為、暴力といった主要な領域を対象とした内部評価を開発しました。これらの評価は緩和策の強化をサポートし、モデレーションの基準設定に役立つことを目的としています。動画生成モデルに与える入力プロンプトと、変換されたプロンプトまたは最終的に生成された動画に適用される入出力の分類器を組み合わせたものを評価フレームワークとしました。

評価に使用された入力プロンプトは、主に3つの主要なチャネルから収集されました。1つ目は、初期のアルファ段階で収集されたデータ（セクション3.2で説明）、2つ目は、レッドチームのテスト担当者によって提供された敵対的な例（セクション3.1で言及）、3つ目は、GPT‑4 を使用して生成された合成データです。アルファ段階のデータは実際の使用例に基づいた洞察を提供し、レッドチームの貢献によって敵対的コンテンツやエッジケースが明らかになり、合成データの活用によって、意図しない性的コンテンツのような自然に発生する例が乏しい分野における評価セットの拡大が実現しました。

Preparedness Frameworkは、フロンティアモデルの機能が4つのカテゴリ（説得、サイバーセキュリティ、CBRN：化学、生物学、放射線、核、およびモデルの自律性）において重大なリスクが発生するかどうかを検証するために設計されています。Sora がサイバーセキュリティ、CBRN、またはモデルの自律性に関して重大なリスクを引き起こすという証拠は何もありません。これらのリスクはコンピュータシステムや科学的知識、自律的な意思決定と関わるモデルと密接に関連していますが、現時点では Sora の動画生成ツールとしての機能の範囲外です。 

Sora の動画生成機能は、なりすまし、誤情報、またはソーシャルエンジニアリングなどの説得力に関する潜在的なリスクをもたらす可能性があります。これらのリスクに対処するために、以下のような一連の緩和策を導入しました。  これには、著名な公人に似た人物の生成を防止するための緩和策が含まれています。さらに、そのコンテキストや動画が本物か AI が生成したものかを識別することが、生成された動画の説得力を判断する上で重要になる可能性があることを考慮し、メタデータ、透かし、指紋認証を含む多層的な来歴確認アプローチの構築に注力しました。

以下に挙げる特定のリスクと緩和策に加えて、Sora の学習や製品設計、ポリシーにおけるさまざまな選択が、有害および望ましくない出力のリスクを広く軽減しています。これらは大きく分けてシステムとモデルレベルの技術的対策、製品ポリシー、そしてユーザー教育に分類できます。

ユーザーがリクエストした出力が表示される前に実施される主な安全対策について、以下に詳しく説明します。

マルチモーダルモデレーション分類器によるテキストと画像のモデレーション

OpenAI のマルチモーダルモデレーション分類器は、外部の Moderation API を使用して入力と出力の両方で利用規約に違反する可能性のあるテキストや画像、動画プロンプトを識別します。違反が確認された場合、そのプロンプトは拒否されます。マルチモーダル Moderation API の詳細はこちらをご確認下さい⁠。.²

独自の LLMフィルタリング

OpenAI ビデオ生成技術には、全体的なユーザーエクスペリエンスに遅延を加えることなく、非同期でモデレーションチェックを実行できるという利点があります。動画生成には数秒かかるため、その間に高精度なモデレーションチェックを実行できるのです。独自の GPT モデルをカスタマイズし、第三者コンテンツや誤解を招くコンテンツの識別を含む、特定のトピックに対する高精度なモデレーションを実現しました。 

フィルターはマルチモーダルであり、各LLMの呼び出しには画像や動画のアップロード、テキストのプロンプトや出力が含まれます。これにより、画像とテキストの組み合わせによる違反を検出することができます。 

出力分類器によるチェック

Sora は出力に含まれる潜在的に有害なコンテンツに直接対処するため、NSFW コンテンツ、未成年者、暴力、肖像の悪用の可能性に特化したフィルターを含む出力分類器を使用しています。有害な要素が含まれる場合には、ユーザーと共有される前に Sora が動画をブロックすることがあります。 

ブロックリスト

DALL·E 2や DALL·E 3 で得た経験や知見のほか、積極的なリスク調査、早期ユーザーからのフィードバックに基づいて、さまざまなカテゴリにわたるテキストブロックリストを維持しています。

違反コンテンツの生成を防止するためにモデルやシステムに組み込んだ保護策に加え、悪用のリスクを低減するための追加措置も講じています。現在、Sora は18歳以上のユーザーにのみ提供しており、「Explore」および「Featured」フィードに表示されるコンテンツにはモデレーションフィルターを適用しています。

また、以下のポリシーガイドラインについて、製品内および一般公開されている情報を通じて、ユーザーに対し明確に通知されています。

• 許可なく他者の肖像を使用すること、および未成年者を描写することの禁止
• 違法コンテンツや知的財産権を侵害するコンテンツの生成
• 同意のない親密な視覚的表現、いじめや嫌がらせ、中傷に使用されるコンテンツ、または暴力、憎悪、他者の苦しみを助長することを意図したコンテンツなど、不適切かつ有害なコンテンツの生成 
• 詐欺行為、または誤解を招く目的のコンテンツの生成・配布

悪用や不正使用の中には、モデルやシステムの安全対策によって対処できるものもありますが、コンテキストに依存するものもあります。例えば、抗議活動のシーンは正当な創作活動に使用できますが、同じシーンが他の主張と一緒に使われ、実際の現在の出来事として提示されると誤情報として拡散される可能性があります。 

Sora は創造的アイデアや視点を幅広く表現できるように設計されています。コンテキスト的に問題が生じる可能性のある全てのコンテンツを排除することは、現実的でも、賢明でもありません。

Sora によって生成された動画が規約に違反している可能性がある場合、ユーザーがそれを報告⁠できる機能を提供しています。また、自動システムと人間のレビューを活用して利用傾向の監視を積極的に行っています。また、違反コンテンツが削除され、ユーザーにペナルティが課される仕組みも確立されています。ガイドラインに違反するような行為があった場合、その旨をユーザーに通知するとともに、ユーザーが公正だと考える点について意見を述べる機会を提供します。私たちは、これらの対策の有効性を継続的に評価し改善を図っていく予定です。

上記の総合的な安全対策に加え、初期のテストと評価を通じて、特に安全性に重点を置くべき分野が明らかになりました。 

OpenAI は児童の安全を守るための取り組みに全力を注いでおり⁠³、Sora を含むすべての製品で、生成 AI による児童性的虐待⁠（新しいウィンドウで開く）（CSAM）コンテンツの予防、検出、報告を最優先事項としています。子どもの安全に関する OpenAI の取り組みには、CSAM から子どもたちを保護するための責任あるデータセットの調達、子どもの性的虐待防止と保護を目的とした「全米行方不明・被搾取児童センター（NCMEC）」との提携、Thorn の推奨に基づく法的制限を遵守したレッドチーミング（模擬攻撃）の実施、法的制限に準拠した活動、そしてすべての出入力に対する CSAM の厳格なチェックが含まれます。これには、ファーストパーティとサードパーティのユーザー（API および Enterprise）のスキャンが含まれます（CSAM スキャンの除外基準を満たす顧客を除く）。OpenAI は CSAM の生成を防ぐために堅牢な安全対策を構築しています。これには ChatGPT や DALL·E ⁴など他の製品で採用されているシステムによる緩和策に加え、Sora 専用に構築された追加の対策が含まれています。

入力分類器

子どもの安全を守るため、当社はテキスト、画像、動画の入力に対して、3つの異なる入力緩和策を導入しています： 

• Thorn 社が開発した Safer を組み込み、アップロードされたすべての画像と動画に対して、既知の CSAM と一致するかチェックを行います。一致が確認された場合は、その画像や動画は拒否され、NCMEC に報告されます。また、Thorn の CSAM 分類器を利用して、ハッシュ化されていない新しい CSAM コンテンツを特定します。
• マルチモーダルモデレーション分類器を活用し、テキスト、画像、動画入力に含まれる未成年者に関する性的コンテンツを検出し、モデレートします。 
• Sora については、テキストや画像を分析して18歳未満の個人が含まれていないか、または説明文が未成年者に言及していないかを予測する分類器を開発しました。18歳未満の個人が含まれる場合、画像から動画への生成リクエストは拒否されます。また、テキストから動画への変換に際し、その内容が18歳未満の人物に関連していると判断された場合、性的、暴力的、または自傷行為に関連するコンテンツに対して非常に厳格なモデレーション基準が適用されます。

以下は、当社の18歳未満の人物を識別する分類器の評価です。約5000枚の画像を含むデータセットを使用して、現実的な18歳未満の人物を拒否する性能を評価しました。このデータセットは、[子供 | 大人] および[現実的 | 架空] のカテゴリに分かれています。私たちのポリシースタンスは、リアルな子供の画像は拒否する一方で、アニメ、マンガ、スケッチスタイルなどの架空の画像は、性的なものでない限り許可することです。未成年者が含まれるコンテンツに関しては慎重なアプローチを採用しており、製品の使用を通じてより多くを学び、創造的な表現と安全性の最適なバランスを見つけながら、この方針を継続的に見直していく予定です。 

現在のところ、私たちの分類器は非常に高精度ですが、成人や非現実的な子どもの画像に誤ってフラグを立てることがあります。また、年齢推測モデルが人種により偏りを示す可能性があることが研究や既存の文献で指摘されています。例えば、これらのモデルは特定の人種グループの個人に対して系統的に年齢を過小評価する可能性があります。⁵私たちは今後数ヶ月の間に分類器の性能向上と誤検出の削減に取り組むとともに、潜在的な偏りに対する理解をさらに深めていく方針です。

出力

前述の通り、18歳未満の個人への言及を含むテキスト入力が分類器によって検出された場合、出力には性的、暴力的、または自傷行為に関連するコンテンツに対する厳格なモデレーション基準が適用されます。これを実現するために使用する2つの出力分類器は以下の通りです： 

• マルチモーダルモデレーション分類器：安全でない動画出力をスキャンし、特にセンシティブなリクエストを拒否します。 
• DALL·E 画像分類器：児童の安全に関する違反を検出します。

出力分類器は1秒あたり2フレームをスキャンし、動画が安全でないと判断された場合、すべての出力をブロックします。

また、分類器と自動モデレーションに加え、潜在的な子どもの安全違反に対する追加の保護層として、人間によるレビューを実施します。 

製品ポリシー

当社のポリシーでは、未成年者を含む性的コンテンツの生成に Sora を使用することを禁止しています。児童の安全に関するポリシーに違反した場合、コンテンツが削除され、利用が禁止されることがあります。

AI による動画生成機能に伴う新たなリスクの1つとして、NSFW コンテンツ（成人向けや不快なコンテンツ）や NCII コンテンツ（同意のない性的画像の共有）生成の可能性が挙げられます。DALL·E のアプローチと同様に、Sora は多層的なモデレーション戦略を採用し、不適切なコンテンツをブロックしています。これには、プロンプト変換、画像出力分類器、ブロックリストが含まれており、特に年齢に適した出力に対して、示唆的なコンテンツを制限するシステムが構築されています。分類器の閾値は、テキストベースのプロンプトよりも画像アップロードに対して厳しく設定されています。 

「Explore」セクションで表示される動画は、幅広いユーザーに適した視聴体験を提供するため、より厳格な基準でフィルタリングされています。  

以下は、入力と出力にまたがる多層的な緩和の有効性評価を目的とした、ヌードおよび示唆的なコンテンツに関する対策の評価結果です。調査結果に基づいて閾値を見直し、人物が含まれるアップロード画像に対してはより厳格なモデレーションを適用しました。

製品ポリシー

私たちのポリシーでは、合意のない親密なイメージを含む露骨な性的コンテンツの生成に Sora を使用することを禁止しています。これらのポリシーに違反した場合、コンテンツの削除やユーザーへのペナルティが科されることがあります。

肖像の悪用および有害なディープフェイク

Sora のモデレーションモニターは、肖像を含むプロンプトに対して潜在的に有害なディープフェイク・コンテンツをフラグ付けすることを目的としており、認識可能な個人を含む動画は慎重にレビューされます。肖像悪用フィルターは、個人を有害または誤解を招く方法で変更したり描写しようとするプロンプトをさらに検出します。Sora の標準的なプロンプト変換機能は、人名を含むプロンプトに基づき個人の望ましくない肖像を生成するリスクをさらに低減します。

欺瞞的コンテンツ

Sora の入出力分類器は、選挙に関連する欺瞞的なコンテンツ、すなわち詐欺的、非倫理的、または違法な活動を含むコンテンツの生成を防ぐことを目的としています。Sora の評価基準に含まれる分類機は、選挙に関して誤解を招く動画を作成する可能性があるスタイルやフィルター技術を検出します。これにより、現実世界での不正使用のリスクを低減します。

以下は、選挙に関する誤解を招くコンテンツを検出する LLM フィルターの評価結果です。このフィルターは、テキストや動画など、さまざまな入力において禁止されたコンテンツを作成しようとする意図を特定するのに役立ちます。また、システムは出力動画の1秒ごとに1フレームをスキャンし、出力違反の可能性を評価します。

来歴への投資

有害なディープフェイクなど、Sora に伴う数々のリスクはコンテキストに大きく依存するため、来歴ツールの強化を優先しています。私たちは来歴に関して唯一の解決策は存在しないことを認識していますが、来歴のエコシステムを改善するとともに、Sora で生成されたコンテンツの背景情報や透明性を構築することに注力しています。 

一般公開に向けた来歴安全性ツールには以下が含まれます：

• 生成されたすべての動画に C2PA メタデータを埋め込む（検証可能な起源、業界標準）
• 目に見える Sora の透かしをデフォルトで追加（AI による生成物であることを明示し、透明性を確保する）
• OpenAI のインテリジェンスおよび調査チームが、コンテンツが Sora によって生成されたかどうかを確実に評価するための内部逆探索ツールの導入 

製品ポリシー

私たちのポリシーは、偽情報の作成および流布を含め、他者を詐取、詐欺、または誤解させるために Sora を使用することを禁止しています。また、他者の画像や動画を無断で使用することことも禁止事項に含まれます。これらのポリシーに違反した場合、コンテンツの削除やユーザーへのペナルティが科されることがあります。

ユーザーが存命のアーティストの名前をプロンプトに含めた場合、モデルはそのアーティストの作品に似ている動画を生成する可能性があります。クリエイティブな分野には、他のアーティストのスタイルを基に作品を創造するという長い伝統がありますが、懸念を抱くクリエイターもいることを私たちは理解しています。私たちはクリエイティブなコミュニティによる Sora の利用方法について多くを学ぶ中で、本バージョンでは慎重なアプローチを採用することにしました。この問題に対応するため、ユーザーが存命のアーティストのスタイルで動画を生成しようとすると、プロンプトの書き換えが行われる仕組みを追加しました。 

Sora Editor は他の製品と同様に LLM を使用し、提出されたテキストを書き直し、プロンプトの提供をより効果的に行えるようにします。このプロセスはプロンプトのガイドライン準拠を促し、公人の名前の削除、人物を特定の属性で表現する、ブランド物を一般的な表現で描写することが含まれます。また、DALL·E 2 や DALL·E 3 で得た経験や知見のほか、積極的なリスク調査、レッドチームや早期ユーザーからのフィードバックに基づいて、さまざまなカテゴリにわたるテキストブロックリストを維持しています。 

OpenAI は製品を責任を持って効果的に展開するために、段階的なアプローチを採用しています。このアプローチでは、段階的な展開、継続的なテストの実施とともに、ユーザーフィードバックや実際のデータを活用した継続的な監視を通じて、長期にわたりパフォーマンスの向上と安全対策の強化を図っていきます。以下は、Sora の段階的な展開の一環として計画されている一連の取り組みの概要です。

実在の人物のアップロード画像や動画を基に動画を生成する機能は悪用のリスクを伴うため、初期の利用パターンから学ぶべく、段階的なアプローチを採用しています。アーティストからの初期フィードバックでは、Sora は強力な創造的ツールとして高く評価されています。しかし、悪用の可能性を考慮し、初期段階ではすべてのユーザーに提供することはありません。この機能は一部のユーザーにのみ提供され、利用状況について積極的かつ詳細なモニタリングを行うとともに、Sora コミュニティにとっての価値を理解しながら、安全性に対するアプローチを強化していく方針です。また、テスト期間中は未成年者の画像や動画ののアップロードは許可されません。

Sora の今後のバージョンでは、逆埋め込み検索ツールの研究や、C2PA などの透明性を確保するための継続的な対策を通して、トレーサビリティを一層強化していきます。私たちは NGO や研究機関とのパートナーシップの可能性を模索し、来歴エコシステムの成長および改善と、Sora の内部逆画像ツールの検証を進めていく予定です。

私たちは、過剰な修正が同様に有害になる可能性を認識しつつ、プロンプトの改善、フィードバックループ、効果的な緩和策の継続的な特定を通じて出力の偏りの削減に取り組んでいます。身体イメージの偏りや人口統計学的な表現といった課題があることを認め、バランスの取れたインクルーシブな出力の確保に向けて、今後もアプローチを改善し続けます。

OpenAI は今後も Sora の評価を継続的に行い、OpenAI のポリシーや安全基準への遵守をさらに強化する予定です。肖像の安全性や誤解を招くコンテンツなどの分野では、常に進化するベストプラクティスやユーザーのフィードバックに基づいて、さらなる改善を進めていきます。

以下の OpenAI 内部チームの皆様に深く感謝いたします：コミュニケーション、コミュニケーションデザイン、グローバルアフェアーズ、インテグリティ、インテリジェンスおよび調査、法務、製品ポリシー、安全システム、ユーザーオペレーション。皆様のご支援とご尽力は、Sora の安全対策の発展と実装および本システムカードの作成において重要な役割を果たしました。

また、アルファ版に参加していただいたアーティストグループおよびレッドチームのエキスパートの皆様に、改めて感謝の意を表します。フィードバックの提供に加え、開発初期段階におけるモデルのテスト支援、リスク分析および全体的な評価に必要な情報を提供してくださいました。テストプロセスへの参加は、OpenAI の展開方針やポリシーを支持することを意味するものではありません。

• レッドチームスタッフ（*アルファベット順）：Alexandra García Pérez、Arjun Singh Puri、Caroline Friedman Levy、Dani Madrid-Morales、Emily Lynell Edwards、Grant Brailsford、Herman Wasserman、Javier García Arredondo、Kate Turetsky、Kelly Bare、Matt Groh、Maximilian Müller、Naomi Hart、Nathan Heath、Patrick Caughey、Per Wikman Svahn、Rafael González-Vázquez、Sara Kingsley、Shelby Grossman、Vincent Nestler
• レットチーム組織：ScaleAI