Model basa iku pamelajar conto sithik

Karya anyar wis nuduhake paningkatan gedhe ing akeh tugas lan tolok ukur NLP liwat latihan awalan ing korpus teks gedhe banjur fine-tuning ing tugas tartamtu. Senajan arsitekture biasane ora gumantung tugas, cara iki isih mbutuhake dataset fine-tuning khusus tugas sing isine ewonan utawa puluhan ewu conto. Kosok baline, manungsa umume bisa nindakake tugas basa anyar mung saka sawetara conto utawa saka pandhuan prasaja - prekara sing nganti saiki isih angel ditindakake dening sistem NLP. Ing kene, kita nuduhake manawa nggedhekake model basa banget nambah kinerja conto sithik sing ora gumantung tugas, kadhang malah nganti bisa saingan karo pendekatan fine-tuning paling apik sadurunge. Kanthi luwih rinci, kita nglatih GPT‑3, model basa autoregresif kanthi 175 milyar parameter, 10x luwih akeh tinimbang model basa non-sparse sadurunge, lan nyoba kinerjane ing setelan conto sithik. Kanggo kabeh tugas, GPT‑3 ditrapake tanpa nganyari gradien utawa fine-tuning, kanthi tugas lan demonstrasi conto sithik ditemtokake mung liwat interaksi teks karo model. GPT‑3 ngasilake kinerja sing kuwat ing akeh dataset NLP, kalebu terjemahan, tanya-jawab, lan tugas cloze, uga sawetara tugas sing mbutuhake nalar langsung utawa adaptasi domain, kayata ngurutake maneh tembung acak, nggunakake tembung anyar ing ukara, utawa nindakake aritmetika 3 digit. Ing wektu sing padha, kita uga ngenali sawetara dataset sing sinau conto sithik GPT‑3 isih angel, uga sawetara dataset sing nuduhake GPT‑3 ngadhepi masalah metodologis gegayutan karo latihan ing korpus web gedhe. Pungkasan, kita nemokake manawa GPT‑3 bisa ngasilake conto artikel warta sing angel dibedakake dening evaluator manungsa saka artikel sing ditulis manungsa. Kita ngrembug dampak sosial sing luwih amba saka temuan iki lan saka GPT‑3 umume.