Ngħallmu lill-mudelli jesprimu l-inċertezza tagħhom bil-kliem

Nuru li mudell GPT‑3 jista’ jitgħallem jesprimi inċertezza dwar it-tweġibiet tiegħu stess b’lingwa naturali—mingħajr l-użu tal-logits tal-mudell. Meta jingħata mistoqsija, il-mudell jiġġenera kemm tweġiba kif ukoll livell ta’ fiduċja (eż. "90% fiduċja" jew "fiduċja għolja"). Dawn il-livelli jikkorrispondu ma’ probabbiltajiet ikkalibrati sew. Il-mudell jibqa’ wkoll moderatament ikkalibrat taħt distribution shift, u huwa sensittiv għall-inċertezza fit-tweġibiet tiegħu stess, minflok ma jimita eżempji umani. Sa fejn nafu aħna, din hija l-ewwel darba li ntwera li mudell jista’ jesprimi inċertezza kkalibrata dwar it-tweġibiet tiegħu stess b’lingwa naturali. Biex nittestjaw il-kalibrazzjoni, nintroduċu s-sett ta’ kompiti CalibratedMath. Inqabblu l-kalibrazzjoni tal-inċertezza espressa bil-kliem ("probabbiltà verbalizzata") mal-inċertezza estratta mil-logits tal-mudell. Iż-żewġ tipi ta’ inċertezza huma kapaċi jiġġeneralizzaw il-kalibrazzjoni taħt distribution shift. Nipprovdu wkoll evidenza li l-abbiltà ta’ GPT‑3 li jiġġeneralizza l-kalibrazzjoni tiddependi fuq rappreżentazzjonijiet latenti mħarrġa minn qabel li jikkorrelataw mal-inċertezza epistemika dwar it-tweġibiet tiegħu.