Тілдік модельдер аз мысалмен үйренеді

Соңғы жұмыстар үлкен мәтін корпусында алдын ала үйретіп, содан кейін нақты міндетке бейімдеуден кейін көптеген NLP міндеттері мен бенчмарктерінде елеулі ілгерілеу барын көрсетті. Архитектурасы әдетте міндетке тәуелсіз болғанымен, бұл әдіс әлі де нақты міндетке арналған, мыңдаған не он мыңдаған мысалдан тұратын бейімдеу деректер жиынтықтарын қажет етеді. Ал адамдар, керісінше, жаңа тілдік міндетті әдетте бірнеше мысал не қарапайым нұсқаулар арқылы орындай алады — қазіргі NLP жүйелері үшін бұл әлі де көбіне қиын. Мұнда біз тілдік модельдерді ауқымдау міндетке тәуелсіз, аз мысалмен үйрету өнімділігін айтарлықтай жақсартатынын, кейде тіпті бұрынғы үздік бейімдеу тәсілдерімен бәсекелесе алатынын көрсетеміз. Атап айтқанда, біз GPT‑3‑ті — 175 миллиард параметрі бар авторегрессиялық тілдік модельді, бұл алдыңғы кез келген сиретілмеген тілдік модельден 10 есе көп — үйретіп, оның аз мысалмен үйрету жағдайындағы өнімділігін тексереміз. Барлық міндеттерде GPT‑3 ешқандай градиент жаңартуынсыз немесе бейімдеусіз қолданылады, ал міндеттер мен аз мысалды көрсетілімдер тек модельмен мәтін арқылы өзара әрекеттесу арқылы беріледі. GPT‑3 көптеген NLP деректер жиынтықтарында, соның ішінде аударма, сұрақ-жауап және cloze міндеттерінде, сондай-ақ сөздерді ретке келтіру, жаңа сөзді сөйлемде қолдану немесе 3 таңбалы арифметиканы орындау сияқты жедел ой қорыту не доменге бейімделуді қажет ететін бірнеше міндетте де күшті нәтиже көрсетеді. Сонымен қатар, біз GPT‑3‑тің аз мысалмен үйренуі әлі де қиналатын кейбір деректер жиынтықтарын, сондай-ақ GPT‑3 үлкен веб-корпустарда үйретілуіне байланысты әдіснамалық мәселелерге тап болатын кейбір жиынтықтарды да анықтаймыз. Соңында, GPT‑3 адам бағалаушылары адам жазған мақалалардан айыруы қиын болатын жаңалық мақалаларының үлгілерін жасай алатынын көреміз. Біз осы тұжырымның және жалпы GPT‑3‑тің кеңірек қоғамдық салдарын талқылаймыз.