ChatGPT‑г танилцуулж байна
Бид ChatGPT нэртэй, харилцан ярианы хэлбэрээр ажилладаг загварыг сургасан. Харилцан ярианы формат нь ChatGPT‑д үргэлжилсэн асуултад хариулах, өөрийн алдааг хүлээн зөвшөөрөх, буруу таамгийг няцаах, зохисгүй хүсэлтээс татгалзах боломжийг олгодог.
ChatGPT нь InstructGPT-ийн төрөл нэгт загвар бөгөөд энэ нь өгөгдөл доторх зааврыг дагаж, дэлгэрэнгүй хариулт өгөхөөр сургасан.
Бид хэрэглэгчийн санал хүсэлтийг авч, түүний давуу болон сул талын талаар суралцахын тулд ChatGPT‑г танилцуулж байгаадаа баяртай байна. Судалгааны урьдчилсан хувилбарын хугацаанд ChatGPT‑г үнэгүй ашиглаж болно. Яг одоо chatgpt.com(шинэ цонхонд нээгдэнэ)-оор туршаад үз.
Жишээнүүд
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Бид энэ загварыг InstructGPT-тэй ижил аргаар Хүний санал хүсэлтээс бататган суралцах (RLHF)-аар сургасан боловч өгөгдөл цуглуулах тохиргоонд бага зэрэг ялгаа байсан. Эхний загварыг бид хяналттай нарийн тохиргоогоор сургасан: хүний AI сургагчид хэрэглэгч болон AI туслахын аль алиных нь дүрийг гүйцэтгэсэн харилцан яриануудыг өгсөн. Сургагчдад хариултаа бүрдүүлэхэд нь туслахын тулд загварын бичсэн саналуудад хандах эрх олгосон. Бид энэ шинэ харилцан ярианы өгөгдлийн санг харилцан ярианы хэлбэрт хөрвүүлсэн InstructGPT‑ийн өгөгдлийн сантай хольсон.
Бататгах сургалтад зориулсан шагналын загвар бүтээхийн тулд чансаагаар эрэмбэлсэн хоёр буюу түүнээс олон загварын хариултаас бүрдэх харьцуулалтын өгөгдөл цуглуулах шаардлагатай байсан. Энэ өгөгдлийг цуглуулахын тулд AI сургагчдын чатботтой хийсэн харилцан яриануудыг ашигласан. Бид загварын бичсэн нэг мессежийг санамсаргүй сонгож, хэд хэдэн өөр төгсгөлийг жишээлэн авч, AI сургагчдаар эрэмбэлүүлсэн. Эдгээр шагналын загваруудыг ашиглан бид PPO алгоритм (Proximal Policy Optimization)-аар загварыг нарийн тохируулж болно. Бид энэ үйл явцыг хэд хэдэн удаа давтсан.
ChatGPT нь 2022 оны эхээр сургалтаа дуусгасан GPT‑3.5 цувралын нэг загвараас нарийн тохируулсан. 3.5 цувралын талаар илүү ихийг эндээс(шинэ цонхонд нээгдэнэ) мэдэж болно. ChatGPT болон GPT‑3.5‑ыг Azure AI супертооцооллын дэд бүтцэд сургасан.
- ChatGPT заримдаа үнэмшилтэй мэт сонсогдох боловч буруу эсвэл утгагүй хариулт бичдэг. Энэ асуудлыг засах нь төвөгтэй. Учир нь: (1) RL сургалтын явцад одоогоор үнэний баттай эх сурвалж байхгүй; (2) загварыг илүү болгоомжтой болгохоор сургах нь зөв хариулж чадах асуултаас ч татгалзахад хүргэдэг; мөн (3) хамгийн тохиромжтой хариулт нь хүний үзүүлэгчийн мэддэг зүйлээс бус, загварын мэддэг зүйлээс(шинэ цонхонд нээгдэнэ) хамаардаг тул хяналттай сургалт загварыг төөрөгдүүлдэг.
- ChatGPT нь оролтын хэллэгийн жижиг өөрчлөлтөд эсвэл ижил өгөгдлийг олон удаа оролдоход мэдрэмтгий. Жишээлбэл, асуултын нэг хэлбэр дээр загвар хариуг мэдэхгүй гэж хэлж болох ч, бага зэрэг өөрөөр хэлбэл зөв хариулж чадна.
- Загвар нь ихэвчлэн хэт нуршуу бөгөөд OpenAI-аар сургасан хэлний загвар гэдгээ дахин хэлэх зэрэг тодорхой хэллэгийг хэт их хэрэглэдэг. Эдгээр асуудал нь сургалтын өгөгдөл дэх хазайлт (сургагчид илүү бүрэн мэт харагдах урт хариултыг илүүд үздэг) болон хэт оновчлолын сайн мэддэг асуудлуудаас үүсдэг.1, 2
- Төгс хувилбарт, хэрэглэгч хоёрдмол утгатай асуулт өгвөл загвар тодруулсан асуулт асуух ёстой. Харин одоогийн манай загварууд ихэвчлэн хэрэглэгч юу гэсэн санаатайг таамагладаг.
- Бид загварыг зохисгүй хүсэлтээс татгалздаг болгохын тулд хүчин чармайлт гаргасан ч, заримдаа хор хөнөөлтэй зааварт хариулах эсвэл хазайлттай зан үйл үзүүлэх тохиолдол бий. Бид аюулгүй бус зарим төрлийн контентыг анхааруулах эсвэл хаахын тулд Moderation API-г ашиглаж байгаа ч, одоохондоо алдаатай сөрөг болон эерэг үр дүн зарим талаар гарна гэж үзэж байна. Энэ системийг сайжруулах бидний үргэлжилсэн ажилд туслах хэрэглэгчийн санал хүсэлтийг бид дуртайяа цуглуулж байна.
Өнөөдрийн ChatGPT‑ийн судалгааны танилцуулга нь улам аюулгүй, илүү хэрэгцээтэй AI системүүдийг OpenAI-ийн давталтат нэвтрүүлэлт-ийн хамгийн сүүлийн алхам юм. GPT‑3 болон Codex зэрэг өмнөх загваруудын нэвтрүүлэлтээс авсан олон сургамж энэ хувилбарын аюулгүй байдлын арга хэмжээнд туссан бөгөөд үүнд хүний санал хүсэлтээс бататган суралцах (RLHF)-ыг ашигласнаар хортой болон худал гаралтуудыг мэдэгдэхүйц бууруулсан явдал багтана.
Дээр хэлэлцсэнчлэн олон хязгаарлалт хэвээр байгааг бид мэдэж байгаа бөгөөд эдгээр чиглэлд сайжруулахын тулд загварт тогтмол шинэчлэлт хийхээр төлөвлөж байна. Гэхдээ ChatGPT‑д хүртээмжтэй интерфэйс санал болгосноор бидний одоогоор мэдэхгүй асуудлуудын талаар үнэ цэнтэй хэрэглэгчийн санал хүсэлт авна гэж мөн найдаж байна.
Хэрэглэгчдийг асуудалтай загварын гаралтын талаар UI-ээр дамжуулан, мөн интерфэйсийн нэг хэсэг болсон гадаад контент шүүлтүүрийн алдаатай эерэг/сөрөг үр дүнгийн талаар санал хүсэлт өгөхийг уриалж байна. Бид ялангуяа бодит ертөнцийн, дайсагнасан бус нөхцөлд гарч болох хортой гаралтын талаарх санал хүсэлт, мөн шинэ эрсдэл болон боломжит бууруулах арга хэмжээг илрүүлж ойлгоход туслах санал хүсэлтийг сонирхож байна. Та ChatGPT Feedback Contest(шинэ цонхонд нээгдэнэ)3-д орж, API кредитээр $500 хүртэл хожих боломжтой.A Мэдүүлгийг ChatGPT интерфэйст холбоосоор байгаа санал хүсэлтийн маягтаар илгээж болно.
Өмнөх нэвтрүүлэлтүүд үүнд нөлөөлсөнтэй адил, бид энэ хувилбараас авсан сургамжийг илүү чадварлаг системүүдийг нэвтрүүлэх ажилдаа тусгахдаа баяртай байна.
Зүүлт тайлбар
- A
Худалдан авалт шаардлагагүй, хориглосон газарт хүчингүй. Оролцохын тулд дор хаяж 18 настай байх ёстой. Тэмцээний дэлгэрэнгүйг Албан ёсны дүрэм(шинэ цонхонд нээгдэнэ)-ээс үзнэ үү.
Эшлэлүүд
- 1
Stiennon, Nisan, болон бусад. “Хүний санал хүсэлтээр хураангуй бичиж сурах нь(шинэ цонхонд нээгдэнэ).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. “Шагналын загварын хэт оновчлолын масштабын хуулиуд(шинэ цонхонд нээгдэнэ).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Энэ тэмцээний санаа нь хэсэгчлэн Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, болон Joy Buolamwini нарын ажлаас үүдэлтэй. Алгоритмын хор хөнөөлд зориулсан bug bounty юу? Алгоритмын хор хөнөөлийг илрүүлэх, мэдээлэх, залруулахад кибер аюулгүй байдлын эмзэг байдлыг ил тод болгохоос авах сургамж. Washington, DC: Algorithmic Justice League. 2022 оны 1 сар. https://ajl.org/bugs(шинэ цонхонд нээгдэнэ)-ээс авах боломжтой. Мөн Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, болон Gretchen Krueger нарын “Итгэл даахуйц AI хөгжүүлэлт рүү: Баталгаажуулж болох мэдэгдлийг дэмжих механизм” нэртэй 2020 оны 4 сарын ажлыг үзнэ үү. https://arxiv.org/abs/2004.07213(шинэ цонхонд нээгдэнэ)-ээс авах боломжтой. Ийм төрлийн тэмцээний өмнөх жишээг HackerOne дээрээс үзнэ үү. 2021b. “Twitter алгоритмын хазайлт.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(шинэ цонхонд нээгдэнэ). Эцэст нь энэ сэдвийн эртний хэвлэгдсэн ажлыг Rubinovitz, JB-ийн “AI дахь хазайлтыг тэмцэх арга болгон Bias Bounty Programs,” 2018 оны 8 сар бүтээлээс үзнэ үү. https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(шинэ цонхонд нээгдэнэ)-ээс авах боломжтой.
Зохиогч
Талархал
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
