Загваруудыг тодорхойгүй байдлаа үгээр илэрхийлж сургах нь
Бид GPT‑3 загвар нь загварын logits-ыг ашиглахгүйгээр өөрийн хариултын талаарх тодорхойгүй байдлыг байгалийн хэлээр илэрхийлж сурч чаддгийг харуулж байна. Асуулт өгөхөд загвар хариулт төдийгүй итгэлийн түвшин (жишээ нь, "90% итгэлтэй" эсвэл "өндөр итгэлтэй") үүсгэдэг. Эдгээр түвшин нь сайн калибрлагдсан магадлалтай нийцдэг. Загвар нь тархалтын шилжилтийн үед ч дунд зэрэг калибрлагдсан хэвээр байж, хүний жишээг дуурайхын оронд өөрийн хариултын тодорхойгүй байдалд мэдрэмтгий байдаг. Бидний мэдэж байгаагаар энэ нь загвар өөрийн хариултын талаарх калибрлагдсан тодорхойгүй байдлыг байгалийн хэлээр илэрхийлж чаддгийг харуулсан анхны тохиолдол юм. Калибровкийг шалгахын тулд бид CalibratedMath даалгаврын цогцыг танилцуулж байна. Бид үгээр илэрхийлсэн тодорхойгүй байдлын ("үгчилсэн магадлал") калибровкийг загварын logits-аас гарган авсан тодорхойгүй байдлын калибровктой харьцуулдаг. Хоёр төрлийн тодорхойгүй байдал хоёулаа тархалтын шилжилтийн үед калибровкийг ерөнхийшүүлэх чадвартай. Мөн GPT‑3‑ийн калибровкийг ерөнхийшүүлэх чадвар нь хариултынх нь талаарх эпистемик тодорхойгүй байдалтай хамааралтай урьдчилан сургасан далд дүрслэлүүдээс хамаардагийг бид нотолсон.
