Il-mudelli tal-lingwa huma apprendisti few-shot
Xogħol riċenti wera titjib sostanzjali f’ħafna kompiti u punti ta’ riferiment tal-NLP billi jsir qabel it-taħriġ fuq korpus kbir ta’ test segwit minn irfinar fuq kompitu speċifiku. Għalkemm tipikament dan il-metodu huwa agnostiku għall-kompitu fl-arkitettura, xorta jeħtieġ settijiet ta’ data għall-irfinar speċifiċi għall-kompitu b’eluf jew għexieren ta’ eluf ta’ eżempji. B’kuntrast, il-bnedmin ġeneralment jistgħu jwettqu kompitu lingwistiku ġdid minn ftit eżempji biss jew minn istruzzjonijiet sempliċi - xi ħaġa li s-sistemi attwali tal-NLP għadhom isibuha diffiċli fil-biċċa l-kbira. Hawnhekk nuru li ż-żieda fl-iskala tal-mudelli tal-lingwa ttejjeb ħafna l-prestazzjoni few-shot agnostika għall-kompitu, xi kultant saħansitra tagħmilha kompetittiva ma’ approċċi preċedenti tal-ogħla livell ta’ irfinar. B’mod speċifiku, inħarrġu GPT‑3, mudell tal-lingwa awtoregressiv b’175 biljun parametru, 10x aktar minn kwalunkwe mudell tal-lingwa mhux skars preċedenti, u nittestjaw il-prestazzjoni tiegħu fl-issettjar few-shot. Għall-kompiti kollha, GPT‑3 jiġi applikat mingħajr ebda aġġornamenti tal-gradjent jew irfinar, bil-kompiti u d-dimostrazzjonijiet few-shot speċifikati purament permezz ta’ interazzjoni testwali mal-mudell. GPT‑3 jikseb prestazzjoni b’saħħitha fuq ħafna settijiet ta’ data tal-NLP, inklużi traduzzjoni, tweġib tal-mistoqsijiet, u kompiti cloze, kif ukoll diversi kompiti li jeħtieġu raġunament immedjat jew adattament għad-dominju, bħal it-tqegħid tal-ittri ta’ kliem fl-ordni t-tajba, l-użu ta’ kelma ġdida f’sentenza, jew it-twettiq ta’ aritmetika bi 3 ċifri. Fl-istess ħin, nidentifikaw ukoll xi settijiet ta’ data fejn it-tagħlim few-shot ta’ GPT‑3 għadu jsib diffikultà, kif ukoll xi settijiet ta’ data fejn GPT‑3 jiffaċċja kwistjonijiet metodoloġiċi relatati mat-taħriġ fuq korpora kbar mill-web. Fl-aħħar nett, insibu li GPT‑3 jista’ jiġġenera kampjuni ta’ artikli tal-aħbarijiet li l-evalwaturi umani jsibuha diffiċli biex jiddistingwuhom minn artikli miktuba mill-bnedmin. Niddiskutu l-impatti soċjetali usa’ ta’ din is-sejba u ta’ GPT‑3 b’mod ġenerali.
