GPT‑5.6 Sol が ARC-AGI-3 ベンチマークのパズルに挑む様子を早送りで比較した動画です。左は公式ハーネス、右は推論を保持してコンパクションを有効にした Responses API ハーネスです。このゲーム（新しいウィンドウで開く）のリーダーボードでは、最初のレベルより先をクリアできたフロンティアモデルはありません。私たちのハーネスでは、GPT‑5.6 Sol が全 6 レベルをクリアします。
GPT‑5.6 Sol が ARC-AGI-3（新しいウィンドウで開く） ベンチマークで低いスコアを記録したのを初めて見たとき、私たちは困惑しました。
GPT‑5.6 Sol は、数学における長年の未解決問題であるサイクル二重被覆予想（新しいウィンドウで開く）を解き、Pokémon FireRed のようなゲームも攻略しています。しかし、2D パズルゲームのベンチマークである ARC-AGI-3 では、GPT‑5.6 Sol のスコアはわずか 7.8% で、GPT‑5.5 に至ってはほとんどプレイできず、わずか 0.4% でした。
2D パズルゲームは、私たちのモデルにとって特に難しかったのでしょうか？それとも、別の要因があったのでしょうか？
ベンチマークが AI モデルだけを切り離して測定することは、ほとんどありません。API 設定、ハーネス設計、プロンプトに関する、表面には現れにくい選択も測定しています。ARC-AGI-3 では、ChatGPT と Codex で使用している 2 つの API 設定（推論の保持とコンパクション）を有効にすると、公開タスクセットでスコアが 3 倍になり、出力トークン数が 6 分の 1 になることが分かりました。
公式ハーネスでは、GPT‑5.6 Sol は ARC-AGI-3 の公開セットで 13.3% を記録しました。推論の保持とコンパクションを有効にすると、スコアは 38.3% になりました。スコアは、人間を基準にモデルの性能を比較する指標である相対的人間行動効率（RHAE（新しいウィンドウで開く））で測定しています。公式プレイログ（新しいウィンドウで開く）に基づくと、人間のテスターの平均スコアは 48% と推定されます。モデルには採点方法が知らされず、プレイ中にスコアを確認することもできません。各アクションで返されるのは、各フレームと現在のレベルを表すテキストのみです。
ARC-AGI-3 は、AI エージェントの学習力と推論力を測定するために設計されたベンチマークです。エージェントは未知の 2D ゲームを探索し、明示的な指示なしで仕組みを推測します。arcprize.org/tasks（新しいウィンドウで開く） では、25 種類のデモゲームをプレイできます。
ARC-AGI-3 は、ツールや特別な機能を備えない、意図的に汎用化されたハーネスを使用しています。ARC は、シンプルなハーネスならモデルの弱点が明確になり、モデル間の比較も公平になると考えました。一方、商用開発者は、各モデルの機能や癖に合わせてハーネスを最適化します。
ゲーム分野では、GPT‑5.6 Sol は視覚情報だけを使うハーネスで Pokémon FireRed を攻略し（GPT_Plays_Pokemon（新しいウィンドウで開く） が配信）、Codex のコンピューター操作で Slay the Spire を攻略し（EpochAI（新しいウィンドウで開く） が配信）、Baba Is You の序盤ステージもクリアしています（Piotr Migdał 氏 & Piotr Grabowski 氏（新しいウィンドウで開く）が公開）。ARC-AGI-3 は、何がそれほど違っていたのでしょうか？
Ethan Mollick 氏が、Codex の GPT‑5.6 Sol が（新しいウィンドウで開く）、知識カットオフ後にリリースされたゲーム Slay the Spire 2 で、ランダム化されたデイリーチャレンジを攻略する様子を紹介しています。
GPT‑5.5 の弱点に関する ARC の分析（新しいウィンドウで開く）を参考に、GPT‑5.6 Sol の試行をいくつか調べました。ARC と同様に、私たちにもモデルはあまり賢く振る舞っていないように見えました。各アクションを決めるまでに長時間考え込み、なかなか先へ進めませんでした。
しかし詳しく調べると、混乱の多くはモデル自体に内在するものではなく、ハーネスの設定が原因だと分かりました。
まず、ゲーム内でアクションを実行するたびに、非公開の推論がすべて破棄されていることに気付きました。つまり GPT‑5.6 Sol は、それまでの思考を記憶できず、アクションのたびにゲームの仕組みを一から考え直す必要がありました。モデルは過去の手と簡単なメモの記録を確認できましたが、その手に至った計画、発見、思考は確認できませんでした。
次に、ハーネスがローリング切り捨てを使用しており、履歴が増えるにつれて古いアクションが見えなくなることが分かりました。そのため GPT‑5.6 Sol は、過去の思考だけでなく、過去のアクションの記憶まで失っていました。
推論の破棄とローリング切り捨てというハーネスの 2 つの仕組みを合わせると、GPT‑5.6 Sol が時間をかけて学習できなかった理由を説明できました。
私たちのモデルは、応答やツール呼び出しを出力する前に、非公開の推論メッセージを使って思考するよう訓練されています。こうした非公開の思考メッセージは、会話履歴の一部として保持されます。会話が長くなりすぎた場合は、その内容を要約して続行します。
私たちのモデルはこの方法で訓練され、ChatGPT と Codex でも同じ方法で運用されています。実運用環境に近づけるため、Responses API（新しいウィンドウで開く） を使って ARC-AGI-3 ハーネスを実装しました。私たちの API では、コンテキストを簡単に管理できます。GPT‑5.6 では、前回のレスポンス ID を渡すだけで、ツール呼び出しやターンをまたいで推論が自動的に保持されます。
推論を保持すると、2 つの大きな変化が見られました。まず、ターンごとにゲームを一から解釈し直す必要がなくなったため、GPT‑5.6 Sol が各アクションの前に考える時間が短くなりました。次に、過去の思考を記憶できるようになると、GPT‑5.6 Sol は時間をかけて学習し、一貫した戦略を使う能力が大幅に向上しました。
次の改善は、ローリング切り捨てを Responses API の別の設定であるコンパクション（新しいウィンドウで開く）に置き換えたことで実現しました。
ARC-AGI-3 ハーネスは、ローリング切り捨てによってコンテキスト上限に対処します。会話のコンテキストが 175,000 文字を超えると、古いメッセージから破棄されます。
ローリング切り捨てには 2 つの欠点があります。第 1 に、モデルが以前の観察結果やアクションを失います。第 2 に、タスクの大半を、より多く埋まったコンテキストウィンドウで処理するため、性能がわずかに低下する可能性があります。
ARC-AGI-3 でコンパクションを有効にすると、GPT‑5.6 Sol は長時間の実行でも各ゲームについて学んだ内容を保持しやすくなり、より少ない出力トークンで高いスコアを達成しました。
推論の保持とコンパクションの効果を示すため、各ハーネスで GPT‑5.6 Sol が一連の ARC-AGI-3 パズルを解く際に、17.5 万トークンのコンテキストウィンドウがどう使われるかをアニメーションで示します。
中央の 2 列は、各ハーネスによるモデルのコンテキストウィンドウの使い方の違いを示しています。GPT‑5.6 Sol は過去をよりよく記憶できるため、アクションごとの思考時間が短くなり、はるかに速く進みます。注：私たちの実装では文字数ではなく 175,000 トークンを上限としていますが、テキストの大半はアクショングリッドであり、それらは私たちのトークナイザーでは 1:1 の比率でトークン化されるため、実質的にはほぼ同じです。
推論の保持とコンパクションを組み合わせることで、GPT‑5.6 Sol（マックス）は出力トークン数を 6 分の 1 に抑えながら、約 3 倍のスコアを達成できます。
今回の実験が、評価ではモデルだけを切り離して測ることはほとんどなく、API 設定、ハーネス設計、プロンプトに関する表面には現れにくい選択の組み合わせも測っている、という事実を改めて認識するきっかけになれば幸いです。公開ベンチマークの低いスコアに驚いた後、評価ランナーが推論メッセージを破棄する汎用ハーネスを使っていたと判明したのは、今回が初めてではありません。
API 開発者として性能を最大限に高めたい場合は、私たちが自社製品で使用しているものと同じ、次の設定を推奨します。
- 従来の Chat Completions API ではなく Responses API を使用
- 推論を保持
- コンパクションを使用
モデルを比較する場合は、ChatGPT と Codex での実際の利用状況に最も近い、上記の設定を使用した評価を重視することを推奨します。
AGI 評価に関する ARC の長年にわたる創造的な取り組みと、今回の詳しい検証のきっかけとなった分析に感謝します。
フロンティアモデルを相手に自分の実力を試したい方は、arcprize.org/tasks（新しいウィンドウで開く） で公開ゲームに挑戦してみてください。
