અમે બતાવીએ છીએ કે GPT‑3 મોડલ મોડલ logits નો ઉપયોગ કર્યા વિના, પોતાની જ જવાબો વિશેની અનિશ્ચિતતા કુદરતી ભાષામાં વ્યક્ત કરવાનું શીખી શકે છે. જ્યારે તેને કોઈ પ્રશ્ન આપવામાં આવે છે, ત્યારે મોડલ જવાબ સાથે વિશ્વાસનું સ્તર પણ બનાવે છે (જેમ કે "90% confidence" અથવા "high confidence"). આ સ્તરો સારી રીતે કેલિબ્રેટ થયેલી સંભાવનાઓ સાથે મેપ થાય છે. વિતરણમાં ફેરફાર થવા છતાં પણ મોડલ મધ્યમ સ્તરે કેલિબ્રેટ રહે છે, અને માનવીય ઉદાહરણોની નકલ કરવા કરતાં પોતાના જ જવાબોમાં રહેલી અનિશ્ચિતતા પ્રત્યે સંવેદનશીલ રહે છે. અમારી જાણ મુજબ, કોઈ મોડલ પોતાની જ જવાબો વિશેની કેલિબ્રેટ થયેલી અનિશ્ચિતતા કુદરતી ભાષામાં વ્યક્ત કરે છે તેવું આ પ્રથમ વખત બતાવવામાં આવ્યું છે. કેલિબ્રેશન ચકાસવા માટે, અમે કાર્યોનો CalibratedMath સમૂહ રજૂ કરીએ છીએ. અમે શબ્દોમાં વ્યક્ત કરાયેલી અનિશ્ચિતતા ("verbalized probability") ના કેલિબ્રેશનની સરખામણી મોડલ logitsમાંથી મેળવેલી અનિશ્ચિતતા સાથે કરીએ છીએ. બંને પ્રકારની અનિશ્ચિતતા વિતરણમાં ફેરફાર હેઠળ કેલિબ્રેશનને સામાન્યકરણ કરવામાં સક્ષમ છે. અમે એનો પણ પુરાવો આપીએ છીએ કે GPT‑3 ની કેલિબ્રેશનને સામાન્યકરણ કરવાની ક્ષમતા પૂર્વ-પ્રશિક્ષિત latent representations પર આધારિત છે, જે તેના જવાબો વિશેની epistemic uncertainty સાથે સંબંધિત છે.
