Хэлний загварууд цөөн оролдлого суралцагчид мөн

Сүүлийн үеийн ажлууд нь их хэмжээний текстийн корпус дээр урьдчилсан сургалт хийж, дараа нь тодорхой даалгаварт fine-tuning хийх замаар NLP-ийн олон даалгавар болон жишиг үзүүлэлтүүд дээр мэдэгдэхүйц ахиц гаргаж болохыг харуулсан. Архитектурын хувьд ихэвчлэн даалгавар-үл хамаарах боловч энэ арга нь даалгавар тус бүрт зориулсан, хэдэн мянгаас хэдэн арван мянган жишээтэй fine-tuning өгөгдлийн цуглуулга шаардсаар байна. Үүний эсрэгээр, хүмүүс ерөнхийдөө цөөн хэдэн жишээ эсвэл энгийн заавраас л шинэ хэлний даалгаврыг гүйцэтгэж чаддаг бөгөөд энэ нь одоогийн NLP системүүдийн хувьд ихэнхдээ бэрхшээлтэй хэвээр байна. Энд бид хэлний загваруудын хэмжээг өсгөх нь даалгавар-үл хамаарах, цөөн оролдлого гүйцэтгэлийг ихээхэн сайжруулж, зарим тохиолдолд өмнөх тэргүүлэх түвшний fine-tuning аргуудтай өрсөлдөхүйц түвшинд хүргэдгийг харуулж байна. Тодруулбал, бид 175 тэрбум параметртэй, өмнөх ямар ч сийрэг бус хэлний загвараас 10 дахин том, autoregressive хэлний загвар болох GPT‑3‑ыг сургаж, цөөн оролдлого нөхцөл дэх гүйцэтгэлийг нь туршсан. Бүх даалгаварт GPT‑3‑ыг ямар нэг градиент шинэчлэл эсвэл fine-tuning-гүйгээр хэрэглэсэн бөгөөд даалгавар болон цөөн оролдлого жишээг зөвхөн загвартай хийх текстэн харилцан үйлчлэлээр тодорхойлсон. GPT‑3 нь орчуулга, асуулт-хариулт, cloze даалгавар зэрэг олон NLP өгөгдлийн цуглуулга дээр, мөн үгсийг зөв дараалалд оруулах, шинэ үгийг өгүүлбэрт хэрэглэх, эсвэл 3 оронтой арифметик бодох зэрэг тухайн мөчид сэтгэн бодох эсвэл домэйн дасан зохицол шаардсан хэд хэдэн даалгаварт хүчтэй гүйцэтгэл үзүүлдэг. Үүний зэрэгцээ, GPT‑3‑ын цөөн оролдлого суралцах чадвар хүндрэлтэй хэвээр байгаа зарим өгөгдлийн цуглуулгыг, мөн GPT‑3 нь том вэб корпус дээр сургасантай холбоотой арга зүйн асуудалтай тулгардаг зарим өгөгдлийн цуглуулгыг бид мөн тодорхойлсон. Эцэст нь, GPT‑3 нь хүний үнэлэгчид хүний бичсэн нийтлэлээс ялгахад бэрх мэдээний нийтлэлийн жишээ үүсгэж чаддагийг бид олж тогтоосон. Бид энэ олдвор болон GPT‑3‑ын нийгэмд үзүүлэх өргөн хүрээний нөлөөллийг ерөнхийд нь хэлэлцдэг.