メインコンテンツにスキップ
OpenAI

2022年8月10日

製品

新しく改良されたコンテンツ管理ツール

新しく改良されたコンテンツ管理ツール
読み込んでいます...

開発者がご自身のアプリケーションを悪用されないようにするために、より高速でより正確な Moderation エンドポイント(新しいウィンドウで開く)を導入しました。このエンドポイントによって OpenAI API の開発者の皆様が、望ましくないコンテンツを検出する GPT ベースのクラシファイアに無料でアクセスできるようになりました。これは、こういったシステムに対する人間の監督をサポートするための AI システムの活用の事例です。また、当社の方法論を説明したテクニカルペーパー(新しいウィンドウで開く)と評価に用いたデータセット(新しいウィンドウで開く)をリリースしました。

テキストでの入力を与える際、Moderation エンドポイントはコンテンツが性的なもの、憎悪を煽るもの、暴力的なもの、または自傷行為を促すものかどうかを評価しています。こういったコンテンツは当社のコンテンツポリシー(新しいウィンドウで開く)で禁止されています。このエンドポイントは幅広いアプリケーションにおいて高速で正確かつ堅牢なパフォーマンスを発揮するように学習が施されています。重要なこととして、こうすることによって大勢のユーザーに提供した場合でも、間違ったことを「言う」見込みを下げることができます。その結果として、そうでなければ安心して使用できない教育のようなセンシティブな分野で AI が役に立つことができます。

読み込み中...

Moderation エンドポイントは、開発者が当社のインフラ投資から利益を得るサポートをします。多大な労力をかけて独自のクラシファイアを構築して維持するのではなく、当社が関連文書(新しいウィンドウで開く)で説明したように、1つの API 呼び出しを通じて正確なクラシファイアにアクセスすることができます。

当社は、AI エコシステムをより安全なものにすることに対する OpenAI のコミットメントの一環として、OpenAI API によって生成されたすべてのコンテンツを無料でモデレーションできるように、このエンドポイントを提供しています。例えば、OpenAI API の顧客である Inword(新しいウィンドウで開く) は、Moderation エンドポイントを使って AI ベースのバーチャルキャラクターのオーディエンスに対する適切性を維持しています。Inword は、OpenAI のテクノロジーを活用することによって、記憶に残るキャラクターを作り出すという、同社の中核製品にフォーカスできるようになっています。現在、当社はサードパーティーのトラフィックのモニタリングをサポートしていません。

この参考資料(新しいウィンドウで開く)を読んで Moderation エンドポイントの利用を始めてみましょう。学習プロセスとモデルのパフォーマンスに関する更に詳しい情報は当社の関連文書(新しいウィンドウで開く)でご覧いただけます。また、こういったカテゴリー内でラベル付けされた Common Crawl のデータをフィーチャーした評価データセット(新しいウィンドウで開く)もリリースしています。これがこの分野における更なる研究に役立つことを願っております。

Authors

Todor Markov、Chong Zhang、Sandhini Agarwal、Tyna Eloundou、Teddy Lee、Steven Adler、Angela Jiang、Lilian Weng