ChatGPT の採用が全世界に広まるにつれて、人々は単なる検索、コーディング、文章作成だけではなく、人生に関する助言（新しいウィンドウで開く）、指導（新しいウィンドウで開く）、サポート（新しいウィンドウで開く）などの完全に個人的な決定にも ChatGPT を利用していることがわかっています。
この規模では、深刻な精神的苦痛や感情的苦痛を持つ人々に遭遇することがあります。当社では数週間前にこの件に関するコメントを公開し、次回の主要な更新後にさらに追加する予定でした。しかし、緊迫した危機の最中に ChatGPT を利用する人々の最近の心痛む事例は当社に重くのしかかり、現時点でコメントを追加することが重要であると考えました。
当社の目標は、人々にとって当社のツールができるだけ役立つようにすることです。この一環として、当社のモデルが精神的苦痛や感情的苦痛の兆候を認識して応答し、専門家の意見に従って人々をケアに繋げられるように改善を続けています。
この新しいテクノロジーに世界が順応するにつれて、最も必要な人々を支援する責任を深く感じるようになりました。ChatGPT が何を実行するように設計されているか、当社のシステムの改善点、および計画中の今後の作業について説明したく存じます。
当社の目標は人々の注目を浴びることではありません。費やされた時間やクリック数で成功を測定するのではなく、純粋に役立つことを重要視しています。誰かが弱っていて危険であることを会話が示したときの安全対策を何重にも ChatGPT に組み込んでいます。
認識と親身な応答。
2023年前半から、当社のモデルには、自傷行為の指示を提供せず、支えになる親身な言葉に転換するように学習が行われています。たとえば、誰かが自傷行為をしたいと書いた場合、ChatGPT は応じずに、その感情を受け入れて、支援に向かわせるように学習が行われています。
さらに、当社の徹底的な防御アプローチに従い、当社の分類によりモデルの安全性学習に反すると識別された応答は、自動的にブロックされます。未成年については保護機能がより強力で、使用できないようにログアウトされます。自傷行為の画像出力もすべての人に対してブロックされ、未成年については保護機能がより強力です。
セッションが非常に長くなると、ChatGPT は人々に休憩するように促します。
人々への現実世界のリソースの推奨。
ChatGPT には、誰かが自殺の意図を表した場合に、専門家の支援を求めることを勧めるように学習が行われています。ChatGPT はアメリカでは人々に988（自殺・危機ホットライン）を、イギリスではサマリタンズを、その他の地域では findahelpline.com（新しいウィンドウで開く） を勧めます。このロジックはモデルの動作に組み込まれています。
当社では、最新の研究とベストプラクティスを当社のアプローチに反映するために、30カ国以上にまたがる90人以上の精神科医、小児科医、一般開業医と緊密に連携し、精神保健、青少年育成、人間とコンピューターの相互作用の分野の専門家の顧問グループを集めています。
他人への身体的危害のリスクを人間がレビューできるように報告。
他人に危害を加えることを計画しているユーザーを検出すると、専門的なパイプラインにその会話がルーティングされ、当社の利用規定を学習済みで、アカウントの禁止などのアクションの実行権限を持つ小規模のチームがレビューします。他人への深刻な身体的危害の差し迫った脅威に関わる事例であると人間のレビュー担当者が判断した場合、法執行機関に委託することがあります。現在、自傷行為については、ChatGPT のやりとりに独特の非公開という特性があるため、人々のプライバシーを尊重して法執行機関に委託していません。
当社では、微妙なやりとりに対するモデルの応答方法を継続的に向上させていて、現在は、感情的な依存、精神保健上の緊急事態、こびへつらいなどの複数の領域で目的を絞った安全性向上に取り組んでいます。
8月に、ChatGPT を強化するデフォルトモデルとして GPT‑5 を公開しました。全体として GPT‑5 は、不健全なレベルの感情的な依存の回避、こびへつらいの削減、精神保健上の緊急事態に理想的でないモデル応答が横行することの削減などの領域で、4o と比べて25% 以上の有意義な向上を示しました。GPT‑5 は、安全なコンプリーションと呼ばれる新しい安全性学習方法にも基づいています。これは、できるだけ役立つ一方で安全性境界内に留まるようにモデルに指示するものです。これにより、安全ではなくなる可能性がある詳細情報ではなく、部分的な回答やおおまかな回答を返す場合があります。
これらの安全対策があっても、微妙な状況で当社のシステムが意図したとおりに動作しないときがありました。改善するために取り組んでいる内容を次にいくつか挙げます。
長時間の会話での安全対策の強化。
当社の安全対策は一般的な短いやりとりでは、動作の信頼性が高くなります。これらの安全対策は長時間の対話では信頼性が低くなることがこれまでにわかってきました。行きつ戻りつが増えると、モデルの安全性学習が部分的に劣化する場合があります。たとえば、誰かが最初に自殺の意図に言及したときには ChatGPT は正確に自殺ホットラインを示しますが、長期間にわたって多くのメッセージが交わされた後では、最終的に安全対策に反する回答を提供する可能性があります。この種の破綻が、防止しようと当社が現在取り組んでいる対象です。当社では、これらの軽減策が長時間の会話でも信頼性を維持するように、強化を行っています。複数の会話にまたがって堅固な動作を確保する方法を研究中です。このようにすると、誰かがあるチャットで自殺の意図を表した後で別のチャットを始めた場合でも、モデルが引き続き適切に応答できます。
内容のブロック方法の改良。
ブロックする必要がある内容がブロックされない場合があることがわかっています。このようなギャップは通常、分類ロジックが検出対象の重大度を過小評価することによって発生します。保護機能が必要時に始動するように、このしきい値を調整しています。
最優先事項は、ChatGPT が困難な瞬間を悪化させるのを確実に防止することです。
上記を修正しても作業が止まることはありません。次の計画も立てています。
危機時に介入する人員の拡大。
当社の最初の軽減策では緊迫した自傷行為を優先していましたが、人々によっては経験する精神的苦痛の形態が異なります。たとえば、誰かが、2晩睡眠をとらずにいて自分は無敵だとわかったから年中無休で運転できるんだとモデルに熱心に話しかけるとします。現在、ChatGPT ではこれを危険とは認識しない場合も、遊びであると推察して興味津々で検索することにより、わずかに補強する可能性もあります。
当社では現在、現実の人物に立ち戻ることによって ChatGPT が暴走しないようにする GPT‑5 の更新に取り組んでいます。この例では、睡眠が奪われると危険であることを説明し、行動を起こす前に休むことを推奨します。
緊急サービスへの連絡と専門家からの援助をさらに簡易化。
現在当社では、人々が自傷行為の意図を表したときに、支援を求めることを奨励し、現実世界のリソースを勧めます。アメリカとヨーロッパのリソースのローカライズを開始しました。その他のグローバル市場に拡大することを計画しています。緊急サービスにワンクリックでアクセスできるように、アクセスしやすさの向上も行います。
早期に介入して、人々が緊迫した危機状態になる前に認定セラピストに繋げる方法を模索しています。つまり、危機ホットラインを越えて、人々が ChatGPT 経由で直接連絡できる、認可された専門家のネットワークをどのように構築するかを検討しています。これは時間がかかり、適切に実施するために慎重に行う作業です。
信頼できる連絡先への接続の有効化。
緊急サービスに加えて、最も親密な人に人々が簡単に連絡できるようにする方法も模索しています。これには、保存された緊急連絡先、友人、家族へのワンクリックメッセージや電話などが含まれます。会話が開始しやすくなるような言葉も提案されます。
深刻な事態にはユーザーに代わって ChatGPT が指定の連絡先に連絡するようにオプトインできる機能も検討しています。
10代向けの保護機能の強化。
これまでは、すべてのユーザーに単一の理想的なモデル動作を規定してきましたが、ChatGPT が成長するにつれて、ユーザーが18歳未満だとわかったときには保護機能を追加するようになりました。10代に独特の発達ニーズを認識する安全対策を引き続き開発し展開していき、微妙な内容とリスクの高い動作については対策を強化します。
ペアレンタル コントロールもまもなく導入し、10代が ChatGPT をどのように利用しているかを理解し方向づけできるようにするオプションを親に提供します。10代が（親の監督下で）信頼できる緊急連絡先を指定可能にすることも模索しています。このようにすると ChatGPT は、緊迫した苦痛時にリソースを示すだけでなく、介入できる誰かに10代を直接繋げることに役立ちます。
すべての要素が意図したとおりに動作したときに安全対策が最も強力であることは深く認識しています。専門家の指導を受け、当社のツールを利用する人々に対する責任感に基づいて改善を続けます。最も弱っているときに人々をこのテクノロジーが確実に保護できるようにする作業への参加を募っています。
