Jezički modeli uče iz malog broja unosa

Nedavni radovi su pokazali značajna poboljšanja na mnogim zadacima i reperima u NLP-u kroz predobuku na velikom korpusu teksta, nakon čega sledi fino podešavanje za određeni zadatak. Iako je ova metoda u arhitekturi tipično nezavisna od zadatka, ona i dalje zahteva skupove podataka za fino podešavanje specifične za zadatak sa hiljadama ili desetinama hiljada primera. Nasuprot tome, ljudi uglavnom mogu da obave novi jezički zadatak na osnovu samo nekoliko primera ili jednostavnih uputstava — nešto sa čim se sadašnji NLP sistemi i dalje uglavnom muče. Ovde pokazujemo da povećanje obima jezičkih modela u velikoj meri poboljšava performanse malog broja unosa koje nisu vezane za određeni zadatak, ponekad čak dostižući konkurentnost sa prethodnim najsavremenijim pristupima finog podešavanja. Konkretno, obučavamo GPT‑3, autoregresivni jezički model sa 175 milijardi parametara, 10x više nego bilo koji prethodni neretki jezički model, i testiramo njegove performanse u okruženju malog broja unosa. Za sve zadatke, GPT‑3 se primenjuje bez ikakvih ažuriranja gradijenta ili finog podešavanja, pri čemu se zadaci i demonstracije malog broja unosa zadaju isključivo putem tekstualne interakcije sa modelom. GPT‑3 postiže snažne rezultate na mnogim NLP skupovima podataka, uključujući prevođenje, odgovaranje na pitanja i cloze zadatke, kao i na više zadataka koji zahtevaju rezonovanje u hodu ili prilagođavanje domenu, kao što su raspetljavanje reči, upotreba nove reči u rečenici ili izvođenje trocifrene aritmetike. Istovremeno, identifikujemo i neke skupove podataka na kojima se učenje GPT‑3 sa malim brojem unosa i dalje muči, kao i neke skupove podataka na kojima se GPT‑3 suočava sa metodološkim problemima povezanim sa obukom na velikim veb korpusima. Na kraju, nalazimo da GPT‑3 može da generiše primere novinskih članaka koje ljudski procenjivači teško razlikuju od članaka koje su napisali ljudi. Razmatramo šire društvene uticaje ovog nalaza i GPT‑3 uopšte.