Els models lingüístics aprenen amb pocs exemples

Treballs recents han demostrat millores substancials en moltes tasques i punts de referència de l’NLP mitjançant el preentrenament amb un gran corpus de text seguit d’un ajust fi en una tasca específica. Tot i que normalment aquest mètode té una arquitectura independent de la tasca, encara requereix conjunts de dades d’ajust fi específics de la tasca amb milers o desenes de milers d’exemples. En canvi, els humans en general poden dur a terme una nova tasca lingüística amb només uns quants exemples o amb instruccions senzilles, cosa que als sistemes actuals d’NLP encara els costa molt de fer. Aquí mostrem que ampliar l’escala dels models lingüístics millora molt el rendiment amb pocs exemples i independent de la tasca, i de vegades fins i tot arriba a ser competitiu amb enfocaments previs d’ajust fi d’última generació. En concret, entrenem GPT‑3, un model lingüístic autoregressiu amb 175.000 milions de paràmetres, 10 vegades més que qualsevol model lingüístic no dispers anterior, i n’avaluem el rendiment en l’escenari amb pocs exemples. Per a totes les tasques, GPT‑3 s’aplica sense cap actualització de gradient ni ajust fi, amb les tasques i les demostracions amb pocs exemples especificades exclusivament mitjançant la interacció textual amb el model. GPT‑3 obté un bon rendiment en molts conjunts de dades d’NLP, incloses la traducció, la resposta a preguntes i les tasques de text amb buits, així com diverses tasques que requereixen raonament sobre la marxa o adaptació al domini, com ara desordenar paraules, utilitzar una paraula nova en una frase o fer aritmètica de 3 dígits. Alhora, també identifiquem alguns conjunts de dades en què l’aprenentatge amb pocs exemples de GPT‑3 continua tenint dificultats, així com alguns conjunts de dades en què GPT‑3 presenta problemes metodològics relacionats amb l’entrenament en grans corpus web. Finalment, constatem que GPT‑3 pot generar mostres d’articles periodístics que als avaluadors humans els costa distingir dels articles escrits per humans. Debatem els impactes socials més amplis d’aquesta troballa i de GPT‑3 en general.