Біз GPT‑3 моделі өзінің жауаптарына қатысты белгісіздікті табиғи тілде — модель логиттерін қолданбай-ақ — білдіруді үйрене алатынын көрсетеміз. Сұрақ берілгенде, модель жауапты да, сенімділік деңгейін де (мысалы, "90% сенімділік" немесе "жоғары сенімділік") жасайды. Бұл деңгейлер жақсы калибрленген ықтималдықтарға сәйкес келеді. Модель сонымен қатар үлестірім ығысуы жағдайында да орташа деңгейде калибрленген күйде қалады және адам мысалдарына еліктеуден гөрі, өз жауаптарындағы белгісіздікке сезімтал болады. Біздің білуімізше, бұл модельдің өз жауаптарына қатысты калибрленген белгісіздікті табиғи тілде білдіре алатыны алғаш рет көрсетіліп отыр. Калибрлеуді тексеру үшін біз CalibratedMath тапсырмалар жиынтығын енгіземіз. Біз сөзбен білдірілген белгісіздіктің ("сөзбен айтылған ықтималдық") калибрленуін модель логиттерінен алынған белгісіздікпен салыстырамыз. Белгісіздіктің екі түрі де үлестірім ығысуы жағдайында калибрлеуді жалпылай алады. Сондай-ақ GPT‑3‑тің калибрлеуді жалпылай алу қабілеті оның жауаптарына қатысты эпистемикалық белгісіздікпен корреляцияланатын алдын ала үйретілген жасырын репрезентацияларға тәуелді екенінің дәлелдерін ұсынамыз.
