GPT-6.1Sol

GPT-6 Sol のアップグレードとなる GPT-6.1 Sol を発表します。エージェント型コーディング、コンピューター操作、専門業務において GPT-6 Astra に迫る性能を、Astra の標準入力・出力トークン料金の 5 分の 1 で実現します。キャッシュ済み入力の料金は、100 万トークンあたりわずか $0.10。標準の入力料金より 95%、GPT-6 Sol のキャッシュ済み入力料金より 50% 低くなっています。これにより、開発者は、リクエスト間でコンテキストを再利用する高性能なエージェントを、より余裕を持って構築・運用できるようになります。

幅広いタスクで進化した Sol

GPT-6.1 Sol は、日々の重要な業務において、性能とコストの新たなバランスを実現します。コードの作成やデバッグから、文書の理解、複数ステップの業務ワークフローの実行まで、複雑な専門業務全般で GPT-6 Sol と比べて性能が大幅に向上しています。いくつかの評価では、はるかに低いコストで GPT-6 Astra に迫る性能を発揮しています。

コーディング

実際のコードベースで複雑なソフトウェアエンジニアリングのタスクを評価する DeepSWE v1.1 では、GPT-6.1 Sol は約 5 分の 1 のコストで GPT-6 Astra と同等の性能を達成しました。また、GPT-6 Sol よりも少ない思考量と低いコストで、その最高スコアを 6.4 パーセントポイント上回りました。

専門業務

GDP.pdf は、表、グラフ、図、小さな文字で書かれた詳細情報を含む複雑な PDF 文書を使い、専門的な質問にモデルがどれだけ正確に回答できるかを測定します。この評価で GPT-6.1 Sol は、テストした推論設定のいずれでも、フォールバックを使う Opus 5.5 より高いスコアを、半分未満のタスクあたりコストで達成しました。また、タスクあたりのコストを約 5 分の 1 に抑えながら、GPT-6 Astra の最先端の性能に迫っています。

エージェントが複数ステップの業務ワークフローを正しく完了できるかを測定する AutomationBench では、思考量を中に設定した GPT-6.1 Sol が、約 3 分の 1 のコストで Opus 5.5 を 2.2 ポイント上回りました。このスコアは、同じ設定の GPT-6 Sol も 4.8 ポイント上回っています。

コンピューター操作

GPT-6.1 Sol は、コンピューター上のアプリケーションを操作するタスクでも大きく進歩しています。難易度の高いコンピューター操作ワークフローでエージェントを評価する OSWorld 2.0 のオフラインセットでは、思考量を最大に設定した GPT-6.1 Sol が、半分未満のコストで GPT-6 Sol を 7パーセントポイント上回りました。また、推論にかける労力を最大にした場合、タスクあたりのコストを約 7 分の 1 に抑えながら、Astra のスコアとの差を2.1パーセントポイントまで縮めています。

科学研究

データ分析、シミュレーション、定理証明などの科学分野のワークフローを評価する Terminal-Bench Science 0.1 では、思考量を最大に設定した GPT-6.1 Sol が、GPT-6 Sol の 2 倍を超えるスコアを、半分未満のタスクあたりコストで達成しました。推論にかける労力を最大にした場合、タスクあたりの平均コストは GPT-6.1 Sol が 5.47 ドル、Opus 5.5 が 23.21 ドル、Astra が 23.80 ドルです。いずれのモデルと比べても 75% 以上低いコストで、科学分野の高い能力を提供します。

GPT-6 Astra は、テストしたモデルの中で引き続き最高スコアの 68.1% を達成しており、最も難しい科学研究タスクにはこのモデルの使用を推奨します。

事実の正確性

GPT-6.1 Sol は、難しいプロンプトに対する事実の正確性も向上しています。GPT-6 Sol と比べて最も大きな改善が見られるのは推論量が少ない場合で、事実誤認を含む回答の割合は 11.4% から 7.7% に低下し、約 32% 減少しています。テストした各推論設定では、事実誤認率は GPT-6 Astra との差が1.9パーセントポイント以内に収まっており、タスクあたりのコストは GPT-6 Astra の5分の1未満です。

この評価では、以前のモデルの誤りをユーザーが指摘した会話から個人を特定できる情報を除去し、少なくとも 1 つの事実誤認を含む回答の割合を測定しています。これらは意図的に選んだ難しいプロンプトであり、通常の利用を代表するものではありません。

GPT-6.1 Sol の安全な展開

当社のアラインメント評価では、GPT-6.1 Sol は GPT-6 Sol から大幅に改善し、GPT-6 Astra に近づいています。

GPT-6.1 Sol は、自身の限界をより明確に伝え、ユーザーの意図を尊重し、安全上の制約を守る点でも信頼性が向上しています。難易度の高い評価では、検索ツールの不具合を率直に伝えること、明示された制約を守ること、エージェントとしてのタスク実行中に許可されていない結果を生じさせないことのいずれにおいても、GPT-6 Sol より低い失敗率を示しました。安全性の自動レビューを回避しようとする試みは、GPT-6 Astra および GPT-6 Sol と同様に確認されませんでした。詳細は GPT-6.1 Sol System Card の補遺⁠（新しいウィンドウで開く）をご覧ください。

以下の評価は、意図的に難しい状況をテストするものであり、通常の利用における失敗率を測定するものではありません。

料金と提供状況

GPT-6.1 Sol は、本日より Plus、Pro、Business、Enterprise、Edu のすべてのユーザーが ChatGPT Work と Codex で利用できます。GPT-6.1 Sol は、Chat ではまだ利用できません。開発者は、OpenAI API 経由で gpt-6.1-sol として利用することもできます。標準の API 料金は、入力が 100 万トークンあたり $2、キャッシュ済み入力が 100 万トークンあたり $0.10、出力が 100 万トークンあたり $10 です。今後数日以内に、Codex での標準速度と比べてトークン生成が最大8倍高速な GPT-6.1 Sol Ultrafast⁠ も提供する予定です。