Ngajari model supaya bisa ngandharake ketidakpastiané nganggo tembung

Kita nuduhake manawa model GPT‑3 bisa sinau ngandharake ketidakpastian babagan jawabané dhéwé nganggo basa alami—tanpa nggunakake logit model. Nalika diwènèhi pitakon, model ngasilake jawaban lan uga tingkat kapercayan (umpamané “kapercayan 90%” utawa “kapercayan dhuwur”). Tingkat iki cocog karo probabilitas sing terkalibrasi kanthi apik. Model uga tetep cukup terkalibrasi ing sangisoré distribution shift, lan peka marang ketidakpastian ing jawabané dhéwé, dudu mung niru conto saka manungsa. Sakwruh kita, iki pisanan model kabukten bisa ngandharake ketidakpastian sing terkalibrasi babagan jawabané dhéwé nganggo basa alami. Kanggo nguji kalibrasi, kita ngenalake rangkaian tugas CalibratedMath. Kita mbandhingake kalibrasi ketidakpastian sing diandharake nganggo tembung (“probabilitas sing diverbalisasi”) karo ketidakpastian sing dijupuk saka logit model. Kaloro jinis ketidakpastian iki padha-padha bisa nggeneralisasi kalibrasi ing sangisoré distribution shift. Kita uga nyedhiyakake bukti manawa kemampuan GPT‑3 kanggo nggeneralisasi kalibrasi gumantung marang representasi laten sing wis dipralatih, sing ana gandhèngané karo ketidakpastian epistemik tumrap jawabané.