ვასწავლით მოდელებს, თავიანთი გაურკვევლობა სიტყვებით გამოხატონ

ჩვენ ვაჩვენებთ, რომ GPT‑3 მოდელს შეუძლია ისწავლოს, საკუთარი პასუხების შესახებ გაურკვევლობა ბუნებრივ ენაზე გამოხატოს — მოდელის ლოჯიტების გამოყენების გარეშე. კითხვის მიღებისას მოდელი წარმოქმნის როგორც პასუხს, ისე თავდაჯერებულობის დონესაც (მაგ., „90% დარწმუნებულობა“ ან „მაღალი დარწმუნებულობა“). ეს დონეები კარგად კალიბრირებულ ალბათობებს შეესაბამება. მოდელი ასევე რჩება ზომიერად კალიბრირებული განაწილების წანაცვლების პირობებშიც და მგრძნობიარეა საკუთარ პასუხებში არსებული გაურკვევლობის მიმართ, ნაცვლად იმისა, რომ ადამიანის მაგალითებს ბაძავდეს. ჩვენი ცოდნით, ეს პირველი შემთხვევაა, როდესაც ნაჩვენებია, რომ მოდელი საკუთარ პასუხებთან დაკავშირებით კალიბრირებულ გაურკვევლობას ბუნებრივ ენაზე გამოხატავს. კალიბრაციის შესამოწმებლად ჩვენ წარმოვადგენთ ამოცანების ნაკრებს CalibratedMath. ჩვენ სიტყვებით გამოხატული გაურკვევლობის („ვერბალიზებული ალბათობა“) კალიბრაციას ვადარებთ მოდელის ლოჯიტებიდან მიღებულ გაურკვევლობას. გაურკვევლობის ორივე სახეობას შეუძლია განაწილების წანაცვლების პირობებში კალიბრაციის განზოგადება. ასევე წარმოვადგენთ მტკიცებულებებს, რომ GPT‑3‑ის უნარი, განაზოგადოს კალიბრაცია, დამოკიდებულია წინასწარ გაწვრთნილ ლატენტურ წარმოდგენებზე, რომლებიც მის პასუხებთან დაკავშირებულ ეპისტემურ გაურკვევლობასთან კორელირებს.