不確実性を言葉で表現するモデルの学習

GPT‑3 モデルが、モデルのロジットを使用することなく、自身の答えに関する不確実性を自然言語で表現するよう学習できることを示します。質問が与えられると、モデルは答えと自信度の両方を生成します（例：「90%の自信度」または「高い自信度」）。これらのレベルは、効果的に較正された確率にマップします。また、このモデルは分布シフトの下でも適度な較正を維持し、人間の例を模倣するのではなく、自身の答えの不確実性を感知します。当社の認識している限り、モデルが自身の答えについて較正された不確実性を自然言語で表現することが示されたのはこれが初めてです。較正をテストするために、タスク群 CalibratedMath を導入します。言葉で表現された不確実性（「言語化された確率」）とモデルのロジットから抽出された不確実性の較正を比較します。どちらの不確実性も、分布シフトの下で較正を一般化することが可能です。また、較正を汎化する GPT‑3 の能力は、その答えに対する認識的な不確実性と相関する、事前学習した潜在的表現に依存するという証拠も示しています。