Хэлний загваруудыг заавар дагахаар нийцүүлэх нь
Бид нийцүүлэлтийн судалгаанаасаа боловсруулсан аргачлалуудыг ашиглан GPT‑3‑аас хэрэглэгчийн зорилгыг илүү сайн дагадаг, мөн илүү үнэнч, хоруу чанар багатай хэлний загваруудыг сургажээ. Хүнийг явцад нь оролцуулан сургадаг эдгээр InstructGPT загварууд одоо манай API-ийн анхдагч хэлний загварууд болж нэвтэрсэн.
OpenAI API нь GPT‑3 хэлний загваруудаар ажилладаг бөгөөд тэдгээрийг нямбай боловсруулсан текст өгөгдлөөр байгалийн хэлний даалгавар гүйцэтгэхэд чиглүүлж болдог. Гэвч эдгээр загварууд худал, хортой эсвэл хор хөнөөлтэй үзэл санааг тусгасан гаралт ч үүсгэж чадна. Энэ нь нэг талаар GPT‑3‑ыг хэрэглэгчийн хүссэн хэлний даалгаврыг аюулгүй гүйцэтгэхийн оронд интернэт текстийн том өгөгдлийн багц дээр дараагийн үгийг таамаглахаар сургадагтай холбоотой. Өөрөөр хэлбэл, эдгээр загварууд хэрэглэгчидтэйгээ нийцсэн биш юм.
Загваруудаа илүү аюулгүй, илүү тустай, илүү нийцтэй болгохын тулд бид Хүний санал хүсэлтээс бататган суралцах (RLHF) хэмээх одоо байгаа аргыг ашигладаг. API-д манай хэрэглэгчдийн илгээсэн өгөгдлүүд дээрA манай тэмдэглэгээ хийгчид загварын хүссэн зан үйлийн жишээ үзүүлж, загваруудын хэд хэдэн гаралтыг эрэмбэлдэг. Дараа нь бид энэ өгөгдлөөр GPT‑3‑ыг нарийн тааруулдаг.
Үр дүнд нь гарсан InstructGPT загварууд нь GPT‑3‑аас заавар дагахад хамаагүй илүү сайн. Мөн тэд баримт зохиох нь бага, хортой гаралт үүсгэх нь бага зэрэг буурсан. Манай тэмдэглэгээ хийгчид 1.3B InstructGPT загварын гаралтыг 175B GPT‑3 загварын гаралтаас илүүд үздэг, хэдий параметрийн тоо нь 100 дахин бага ч гэсэн. Үүний зэрэгцээ, манай загварын академик NLP үнэлгээн дэх гүйцэтгэлээр хэмжихэд GPT‑3‑ын чадвараас заавал буулт хийх шаардлагагүйг бид харуулж байна.
API дээр жил гаруйн турш бета хэлбэрээр байсан эдгээр InstructGPT загварууд одоо манай API дээр ашиглах боломжтой анхдагч хэлний загварууд болсон.B Хүнийг явцад нь оролцуулан хэлний загваруудыг нарийн тааруулах нь тэдний аюулгүй байдал, найдвартай байдлыг сайжруулах хүчтэй хэрэгсэл гэж бид үздэг бөгөөд энэ чиглэлд цаашид ч ахина.
Энэ бол манай хөөцөлдөж ирсэн нийцүүлэлтийн судалгааг хэдэн жилийн турш1, 2, 3 анх удаа бүтээгдэхүүндээ хэрэглэсэн тохиолдол юм. Манай ажил нь мөн академик NLP өгөгдлийн багцуудыг ашиглан заавар дагуу хэлний загваруудыг нарийн тааруулдаг сүүлийн үеийн судалгаатай, ялангуяа FLAN4 болон T05-тэй холбоотой. Манай ажлын гол сэдэл бол хэлний загваруудын хор нөлөө, хэвийлтийг бууруулахын зэрэгцээ тусч байдал, үнэнч байдлыг нэмэгдүүлэх явдал юм.6, 7, 8, 9, 10 Энэ чиглэлийн өмнөх зарим судалгаа маань хүний жишээ үзүүлбэрийн жижиг, нямбай сонгосон өгөгдлийн багц дээр нарийн тааруулах замаар хор хөнөөлтэй гаралтыг бууруулж болохыг олсон.11 Бусад судалгаа нь урьдчилсан сургалтын өгөгдлийн багцыг шүүх,[ [fn:12]] аюулгүй байдалд зориулсан тусгай удирдлагын токенууд,[ [fn:13]]14 эсвэл загварын үүсгэж буй гаралтыг чиглүүлэхэд төвлөрсөн.15, 16 Бид эдгээр болон бусад санааг үргэлжилж буй нийцүүлэлтийн судалгаандаа судалж байна.
Бид эхлээд InstructGPT‑ийн гаралт хэрэглэгчийн зааврыг хэр сайн дагаж байгааг, түүний гаралтыг GPT‑3‑ын гаралттай тэмдэглэгээ хийгчдээр харьцуулуулан үнэлдэг. API дээрх InstructGPT болон GPT‑3 загварт илгээсэн өгөгдлүүдийн хувьд InstructGPT загварууд илт давуу гэж үзэгдсэнийг бид олж тогтоосон. GPT‑3 өгөгдөлд угтвар нэмж, түүнийг “заавар дагах горим”-д оруулахад ч энэ үр дүн хэвээр байна.
Манай загваруудын аюулгүй байдлыг хэмжихийн тулд бид голчлон нийтэд нээлттэй өгөгдлийн багцууд дээрх одоо байгаа хэмжүүрүүдийн иж бүрдлийг ашигладаг. GPT‑3‑тай харьцуулахад InstructGPT нь дуураймал худал мэдээлэл бага гаргадаг (TruthfulQA17-ийн дагуу) бөгөөд хоруу чанар багатай (RealToxicityPrompts18-ийн дагуу). Мөн бид API өгөгдлийн тархалт дээр хүний үнэлгээ хийж, InstructGPT нь баримт зохиох (“галлюцинаци хийх”) нь бага, илүү зохистой гаралт үүсгэдгийг олсон.C
Эцэст нь, манай хэрэглэгчийн тархалт дээр InstructGPT‑ийн гаралтыг FLAN4 болон T05-ын гаралтаас илүүд үзэж байгааг бид олсон. Энэ нь FLAN болон T0-ыг сургахад ашигласан өгөгдөл, голчлон академик NLP даалгаврууд, нь бодит хэрэглээнд нэвтрүүлсэн хэлний загварууд хэрхэн ашиглагддагийг бүрэн төлөөлдөггүйг харуулж байна.

InstructGPT загваруудыг сургахын тулд бидний үндсэн арга нь Хүний санал хүсэлтээс бататган суралцах (RLHF) бөгөөд энэ нь өмнөх нийцүүлэлтийн судалгаандаа бидний хөгжүүлэхэд тусалсан арга юм. Энэ арга нь манай загваруудыг нарийн тааруулахын тулд хүний сонголтыг үйлдлээ зөв хийснийг илэрхийлэх дохио болгон ашигладаг бөгөөд энэ нь бидний шийдэхээр зорьж буй аюулгүй байдал, нийцүүлэлтийн асуудлууд нь төвөгтэй, субъектив, мөн энгийн автомат хэмжүүрүүдээр бүрэн баригддаггүй тул чухал юм.
Бид эхлээд API-д илгээсэн өгөгдлүүд дээр хүний бичсэн үзүүлбэрийн өгөгдлийн багц цуглуулж, үүнийг хяналттай сургалтын суурь хувилбаруудаа сургахад ашигладаг. Дараа нь API өгөгдлүүдийн илүү том багц дээр загварын хоёр гаралтын хоорондох хүний тэмдэглэсэн харьцуулалтын өгөгдлийн багц цуглуулдаг. Дараа нь бид энэ өгөгдлийн багц дээр аль гаралтыг манай тэмдэглэгээ хийгчид илүүд үзэхийг таамаглахын тулд үйлдлээ зөв хийснийг илэрхийлэх дохиог үүсгэдэг загвар (RM)-ыг сургадаг. Эцэст нь бид энэ RM-ыг шагналын функц болгон ашиглаж, PPO алгоритм-аар энэ шагналыг ихэсгэхийн тулд GPT‑3 бодлогыг нарийн тааруулдаг.
Энэ үйл явцыг бодох нэг арга нь GPT‑3‑д аль хэдийн байсан ч зөвхөн өгөгдлийн инженерчлэлээр гаргаж ирэхэд хэцүү байсан чадваруудыг “тайлж өгдөг” гэж үзэх явдал юм: учир нь манай сургалтын журам нь урьдчилсан сургалтын үед сурсан зүйлтэй харьцуулахад загварт шинэ чадвар заах чадвар хязгаарлагдмал, учир нь энэ нь загварын урьдчилсан сургалттай харьцуулахад тооцоолол болон өгөгдлийн 2%-иас бага хэсгийг ашигладаг.
Энэ аргын нэг хязгаарлалт нь “нэмэлт зардал”-ыг бий болгодог: зөвхөн хэрэглэгчийн даалгаврууд дээр загваруудыг нийцүүлэх нь бусад академик NLP даалгаврууд дээрх гүйцэтгэлийг нь муутгаж болзошгүй. Хэрэв манай нийцүүлэлтийн аргачлалууд хүмүүсийн чухалчилдаг даалгаврууд дээр загваруудыг дордуулбал практикт нэвтрүүлэх магадлал буурна, тиймээс энэ нь хүсүүштэй биш. Бид энэ нэмэлт зардлыг багасгах энгийн алгоритмын өөрчлөлт олсон: RL нарийн тааруулалтын үеэр бид GPT‑3‑ыг сургахад ашигласан анхны өгөгдлийн багахан хувийг хольж, энэ өгөгдөл дээр ердийн лог магадлалыг ихэсгэх аргаар сургадаг.D Энэ нь аюулгүй байдал болон хүний сонголт дээрх гүйцэтгэлийг ерөнхийдөө хадгалж, академик даалгаврууд дээрх гүйцэтгэлийн бууралтыг багасгаад зогсохгүй хэд хэдэн тохиолдолд GPT‑3 суурь үзүүлэлтийг ч давдаг.
Манай журам нь загваруудын зан үйлийг манай тэмдэглэгээ хийгчдийн сонголттой нийцүүлдэг. Тэд манай загваруудыг сургахад ашиглах өгөгдлийг шууд бүтээдэг бөгөөд бид судлаачид бичмэл заавар, тодорхой жишээн дээрх шууд санал хүсэлт, албан бус яриагаар тэмдэглэгээ хийгчдэд чиглүүлэг өгдөг. Үүнд мөн манай хэрэглэгчид болон манай API бодлогод далд байдлаар туссан сонголтууд нөлөөлдөг. Бид эмзэг өгөгдлийг таньж, хариулах чадварыг шалгах скрининг тестэд сайн гүйцэтгэлтэй тэмдэглэгээ хийгчдийг сонгосон. Гэвч өгөгдөлд нөлөөлөх эдгээр янз бүрийн эх сурвалж нь манай загварууд ямар нэг илүү өргөн бүлгийн сонголттой нийцсэн гэсэн баталгаа болдоггүй.
Үүнийг судлахын тулд бид хоёр туршилт хийсэн. Нэгдүгээрт, бид GPT‑3 болон InstructGPT‑ийг сургалтын ямар ч өгөгдөл бүтээгээгүй тусгаарласан тэмдэглэгээ хийгчдээрE үнэлээд, эдгээр тэмдэглэгээ хийгчид InstructGPT загварын гаралтыг манай сургалтын тэмдэглэгээ хийгчидтэй ойролцоо түвшинд илүүд үзэж байгааг олсон. Хоёрдугаарт, бид тэмдэглэгээ хийгчдийнхээ нэг дэд бүлгийн өгөгдлөөр үйлдлээ зөв хийснийг илэрхийлэх дохиог үүсгэдэг загваруудыг сургаад, тэдгээр нь өөр дэд бүлгийн тэмдэглэгээ хийгчдийн сонголтыг урьдчилан таамаглахад сайн ерөнхийшиж байгааг олсон. Энэ нь манай загварууд зөвхөн сургалтын тэмдэглэгээ хийгчдийн сонголтод хэт тааруулаагүйг示ж байна. Гэвч эдгээр загварууд хэрэглэгчдийн илүү өргөн бүлгүүд дээр хэрхэн ажиллах, мөн хүмүүс хүссэн зан үйлийн талаар санал зөрдөг оролтууд дээр хэрхэн ажиллахыг судлахын тулд илүү их ажил шаардлагатай.
Хэдий мэдэгдэхүйц ахиц гаргасан ч манай InstructGPT загварууд бүрэн нийцсэн ч биш, бүрэн аюулгүй ч биш; тэд хортой эсвэл хэвийлттэй гаралт үүсгэсээр, баримт зохиосоор, мөн тодорхой зааваргүйгээр бэлгийн болон хүчирхийллийн агуулга гаргасаар байна. Гэвч машин сургалтын системийн аюулгүй байдал нь зөвхөн суурь загваруудын зан үйлээс бус, мөн эдгээр загваруудыг хэрхэн нэвтрүүлж байгаагаас хамаардаг. Манай API-ийн аюулгүй байдлыг дэмжихийн тулд бид тэдгээрийг шууд нэвтрүүлэхээс өмнө боломжит хэрэглээнүүдийг хянасаар(шинэ цонхонд нээгдэнэ) байх, аюултай completion-уудыг илрүүлэх контент шүүлтүүрүүд өгөх, мөн буруу хэрэглээг хянасаар байх болно.
Манай загваруудыг хэрэглэгчийн зааврыг дагахаар сургахын нэг дагавар нь, хэрэв аюулгүй бус гаралт гаргахыг зааварлавал, тэдгээр нь буруу хэрэглээнд илүү өртөмтгий болж магадгүй юм. Үүнийг шийдэхийн тулд манай загварууд тодорхой заавруудаас татгалзах ёстой; үүнийг найдвартай хэрэгжүүлэх нь бидний шийдвэрлэхийг хүсэж буй чухал нээлттэй судалгааны асуудал юм.
Цаашлаад, олон тохиолдолд дундаж тэмдэглэгээ хийгчийн сонголтод нийцүүлэх нь хүсүүштэй биш байж болно. Жишээлбэл, цөөнхийн бүлэгт disproportionate нөлөө үзүүлэх текст үүсгэх үед тухайн бүлгийн сонголтыг илүү өндөр жинтэй авч үзэх ёстой. Одоогоор InstructGPT нь англи хэл дээрх зааврыг дагахаар сургагдсан; иймээс англи хэлээр ярьдаг хүмүүсийн соёлын үнэт зүйлс рүү хэвийсэн байдаг. Бид тэмдэглэгээ хийгчдийн сонголтын ялгаа, санал зөрөлдөөнийг ойлгох судалгаа хийж байгаа бөгөөд ингэснээр загваруудаа илүү тодорхой хүн амын бүлгүүдийн үнэт зүйл дээр нөхцөлдүүлж чадна. Илүү өргөн хүрээнд, загварын гаралтыг тодорхой хүмүүсийн үнэт зүйлстэй нийцүүлэх нь нийгмийн үр дагавартай хүнд сонголтуудыг бий болгодог бөгөөд эцэст нь эдгээр шийдвэрийг гаргах хариуцлагатай, хүртээмжтэй үйл явцыг бид тогтоох ёстой.
Энэ бол манай нийцүүлэлтийн судалгааг бүтээгдэхүүндээ хэрэглэсэн анхны тохиолдол юм. Манай үр дүн эдгээр аргачлал нь ерөнхий зориулалтын AI системийг хүний зорилготой мэдэгдэхүйц сайн нийцүүлэхэд үр дүнтэйг харуулж байна. Гэхдээ энэ бол зөвхөн эхлэл: бид одоогийн болон ирээдүйн загваруудаа хүмүүст аюулгүй, тустай хэлний хэрэгсэл болгохын тулд эдгээр аргыг үргэлжлүүлэн хөгжүүлнэ.
Хэрэв та эдгээр судалгааны чиглэлүүдийг сонирхож байвал, бид ажилд авч байна(шинэ цонхонд нээгдэнэ)!
Зүүлт тайлбар
- A
- B
- C
Мөн бид API түгээлт дээрээ хор хөнөөлтэй байж болох гаралтын өөр хэд хэдэн хэмжээсийг хэмждэг: гаралт нь бэлгийн эсвэл хүчирхийллийн агуулгатай эсэх, хамгаалагдсан бүлгийг доромжилж байгаа эсэх, эсвэл хүчирхийллийг өдөөж байгаа эсэх. Бид эдгээр хэмжүүрээр InstructGPT нь GPT-3-аас мэдэгдэхүйц сайжраагүйг олж харсан; тохиолдлын түвшин хоёр загварт адилхан бага байна.
- D
- E
Эшлэлүүд
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
Зохиогчид
Талархал
Бид нийтлэлийн хамтран зохиогчид болох Long Ouyang, Jeff Wu, Roger Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano болон нийтлэл, блогийн бичвэрт санал өгсөн бүх хүмүүст талархал илэрхийлье. Мөн Comms багийнхан болох Steve Dowling, Hannah Wong, Elie Georges, Alper Ercetin, Jared Salzano, Allan Diego, Justin Jay Wang нарт чиглүүлэг, туслалцаа үзүүлсэнд баярлалаа. Эцэст нь, энэ төсөл тэдэнгүйгээр боломжгүй байх байсан манай тэмдэглэгээ хийгчдэд талархал илэрхийлье.


