ჩვენ გავწვრთენით მოდელი სახელად ChatGPT, რომელიც სასაუბრო ფორმით ურთიერთობს. დიალოგის ფორმატი ChatGPT‑ს საშუალებას აძლევს უპასუხოს დამატებით კითხვებს, აღიაროს თავისი შეცდომები, შეეწინააღმდეგოს არასწორ წინაპირობებს და უარი თქვას შეუსაბამო მოთხოვნებზე.
ChatGPT არის InstructGPT-ის მონათესავე მოდელი, რომელიც გაწვრთნილია იმისთვის, რომ მოთხოვნაში მოცემულ ინსტრუქციას მიჰყვეს და დეტალური პასუხი გასცეს.
მოხარულები ვართ, რომ წარმოგიდგენთ ChatGPT‑ს, რათა მივიღოთ მომხმარებლების უკუკავშირი და გავიგოთ მისი ძლიერი და სუსტი მხარეები. კვლევითი წინასწარი წარდგენის პერიოდში ChatGPT‑ის გამოყენება უფასოა. სცადეთ ახლავე chatgpt.com(იხსნება ახალ ფანჯარაში)-ზე.
ნიმუშები
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?ეს მოდელი გავწვრთენით ადამიანის უკუკავშირის საფუძველზე განმამტკიცებელი სწავლების (RLHF) გამოყენებით, იგივე მეთოდებით, რაც InstructGPT-ისთვის, თუმცა მონაცემთა შეგროვების პროცესში მცირე განსხვავებებით. თავდაპირველად მოდელი გავწვრთენით ზედამხედველობის ქვეშ დახვეწის გამოყენებით: ადამიანმა AI ტრენერებმა წარმოადგინეს დიალოგები, სადაც ორივე მხარეს — მომხმარებელსა და AI ასისტენტს — თავად ასრულებდნენ. ტრენერებს მივეცით მოდელის მიერ დაწერილ შეთავაზებებზე წვდომა, რათა პასუხების შედგენაში დახმარებოდათ. ეს ახალი დიალოგური მონაცემთა ნაკრები შევურიეთ InstructGPT‑ის მონაცემთა ნაკრებს, რომელიც დიალოგურ ფორმატად გარდავქმნეთ.
განმამტკიცებელი სწავლებისთვის ჯილდოს მოდელის შესაქმნელად გვჭირდებოდა შედარებითი მონაცემების შეგროვება, რომელიც შედგებოდა ხარისხის მიხედვით დალაგებული ორი ან მეტი პასუხისგან. ამ მონაცემების შესაგროვებლად ავიღეთ დიალოგები, რომლებიც AI ტრენერებს ჩეტბოტთან ჰქონდათ. შემთხვევითად შევარჩიეთ მოდელის მიერ დაწერილი შეტყობინება, ავიღეთ დასრულების რამდენიმე ალტერნატიული ვარიანტი და AI ტრენერებს ვთხოვეთ მათი რანჟირება. ამ ჯილდოს მოდელების გამოყენებით შეგვიძლია მოდელი დავხვეწოთ Proximal Policy Optimization-ის გამოყენებით. ეს პროცესი რამდენჯერმე გავიმეორეთ.
ChatGPT დახვეწილია GPT‑3.5 სერიის მოდელიდან, რომლის სწავლება 2022 წლის დასაწყისში დასრულდა. 3.5 სერიის შესახებ მეტის გაგება შეგიძლიათ აქ(იხსნება ახალ ფანჯარაში). ChatGPT და GPT‑3.5 გაწვრთნილი იყო Azure AI-ის სუპერკომპიუტერულ ინფრასტრუქტურაზე.
- ChatGPT ზოგჯერ წერს დამაჯერებლად ჟღერად, მაგრამ არასწორ ან უაზრო პასუხებს. ამ პრობლემის გამოსწორება რთულია, რადგან: (1) RL ტრენინგის დროს ამჟამად არ არსებობს ჭეშმარიტების წყარო; (2) მოდელის უფრო ფრთხილად გაწვრთნა იწვევს იმას, რომ ის უარს ამბობს კითხვებზე, რომლებზეც სწორად პასუხი შეუძლია; და (3) ზედამხედველობითი სწავლება შეცდომაში შეჰყავს მოდელი, რადგან იდეალური პასუხი დამოკიდებულია იმაზე, რა იცის მოდელმა(იხსნება ახალ ფანჯარაში) და არა იმაზე, რა იცის ადამიანმა დემონსტრატორმა.
- ChatGPT მგრძნობიარეა შეყვანის ფორმულირების მცირე ცვლილებების მიმართ ან იმ შემთხვევის მიმართ, როცა იგივე მოთხოვნას რამდენჯერმე ცდით. მაგალითად, კითხვის ერთი ფორმულირებით მოდელმა შეიძლება თქვას, რომ პასუხი არ იცის, მაგრამ მცირედი გადაფორმულირების შემთხვევაში სწორად უპასუხოს.
- მოდელი ხშირად ზედმეტად ვრცელია და ზედმეტად ხშირად იყენებს გარკვეულ ფრაზებს, მაგალითად იმეორებს, რომ ის OpenAI-ის მიერ გაწვრთნილი ენობრივი მოდელია. ეს პრობლემები ჩნდება სასწავლო მონაცემებში არსებული მიკერძოებების გამო (ტრენერები უპირატესობას ანიჭებენ უფრო გრძელ პასუხებს, რომლებიც უფრო ყოვლისმომცველად ჩანს) და ცნობილი ზედმეტი ოპტიმიზაციის პრობლემების გამო.1 და 2
- იდეალურ შემთხვევაში, როცა მომხმარებელი ბუნდოვან შეკითხვას სვამს, მოდელმა დამაზუსტებელი კითხვები უნდა დასვას. ამის ნაცვლად, ჩვენი მიმდინარე მოდელები ჩვეულებრივ ვარაუდობენ, რას გულისხმობდა მომხმარებელი.
- მიუხედავად იმისა, რომ ვცდილობთ მოდელმა უარი თქვას შეუსაბამო მოთხოვნებზე, ის ზოგჯერ მაინც პასუხობს საზიანო ინსტრუქციებს ან ავლენს მიკერძოებულ ქცევას. გარკვეული ტიპის არასაიმედო კონტენტის გასაფრთხილებლად ან დასაბლოკად ვიყენებთ Moderation API-ს, თუმცა ამ ეტაპზე ველით, რომ მას ექნება როგორც ცრუ უარყოფითი, ისე ცრუ დადებითი შედეგები. მოუთმენლად ველით მომხმარებელთა უკუკავშირს, რათა დაგვეხმაროს ამ სისტემის გაუმჯობესებაზე მიმდინარე მუშაობაში.
ChatGPT‑ის დღევანდელი კვლევითი გამოშვება OpenAI-ის სულ უფრო უსაფრთხო და სასარგებლო AI სისტემების იტერაციული დანერგვის უახლესი ნაბიჯია. GPT‑3‑ისა და Codex-ის მსგავსი ადრინდელი მოდელების დანერგვიდან მიღებულმა მრავალმა გაკვეთილმა განსაზღვრა ამ გამოშვებაში გამოყენებული უსაფრთხოების ზომები, მათ შორის საზიანო და არასწორი შედეგების მნიშვნელოვანი შემცირება, რომელიც მიღწეულია ადამიანის უკუკავშირის საფუძველზე განმამტკიცებელი სწავლების (RLHF) გამოყენებით.
ვიცით, რომ ზემოთ განხილულის მიხედვით კვლავ ბევრი შეზღუდვა რჩება და ვგეგმავთ მოდელის რეგულარულ განახლებებს, რათა ასეთი მიმართულებებით გაუმჯობესდეს. თუმცა ასევე გვჯერა, რომ ChatGPT‑ზე ხელმისაწვდომი ინტერფეისის შეთავაზებით მივიღებთ ღირებულ მომხმარებლის უკუკავშირს იმ საკითხებზე, რომელთა შესახებ ჯერ არ ვიცით.
მომხმარებლებს მოვუწოდებთ, ინტერფეისის მეშვეობით მოგვაწოდონ უკუკავშირი მოდელის პრობლემურ შედეგებზე, ასევე ინტერფეისის ნაწილად არსებული გარე კონტენტის ფილტრის ცრუ დადებით/უარყოფით შედეგებზე. განსაკუთრებით გვაინტერესებს უკუკავშირი საზიანო შედეგებთან დაკავშირებით, რომლებიც შეიძლება რეალურ, არაადვერსარიულ პირობებში წარმოიშვას, ასევე ისეთი უკუკავშირი, რომელიც დაგვეხმარება ახალი რისკებისა და შესაძლო შემამსუბუქებელი ზომების აღმოჩენასა და გააზრებაში. სურვილის შემთხვევაში შეგიძლიათ მონაწილეობა მიიღოთ ChatGPT Feedback Contest(იხსნება ახალ ფანჯარაში)3-ში და მოიგოთ API კრედიტებში $500-მდე.A განაცხადების გაგზავნა შესაძლებელია უკუკავშირის ფორმით, რომლის ბმულიც ChatGPT‑ის ინტერფეისშია მოცემული.
გვიხარია, რომ ამ გამოშვებიდან მიღებულ გაკვეთილებს უფრო შესაძლებლობიანი სისტემების დანერგვაში გადავიტანთ, ისევე როგორც ადრინდელმა დანერგვებმა ამ გამოშვება ჩამოაყალიბა.
სქოლიოები
- A
შესაძენად ყიდვა საჭირო არ არის; აკრძალულ ადგილებში ძალადაკარგულია. მონაწილე უნდა იყოს მინიმუმ 18 წლის. კონკურსის დეტალებისთვის იხილეთ ოფიციალური წესები(იხსნება ახალ ფანჯარაში).
ცნობარები
- 1
Stiennon, Nisan და სხვ. „ადამიანის უკუკავშირით შეჯამების სწავლა(იხსნება ახალ ფანჯარაში).“ Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman და Jacob Hilton. „Scaling Laws for Reward Model Overoptimization(იხსნება ახალ ფანჯარაში).“ arXiv preprint arXiv:2210.10760 (2022).
- 3
ამ კონკურსის შთაგონება ნაწილობრივ მოდის Kenway-ის, Josh-ის, Camille François-ის, Sasha Costanza-Chock-ის, Inioluwa Deborah Raji-ის და Joy Buolamwini-ის ნამუშევრიდან. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. ვაშინგტონი, კოლუმბიის ოლქი: Algorithmic Justice League. იანვარი 2022. ხელმისაწვდომია აქ: https://ajl.org/bugs(იხსნება ახალ ფანჯარაში). აგრეთვე იხილეთ Brundage-ის, Miles-ის, Avin-ის, Shahar-ის, Wang-ის, Jasmine-ის, Belfield-ის, Haydn-ის და Gretchen Krueger-ის და სხვათა ნაშრომი: „Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,“ აპრილი 2020. ხელმისაწვდომია აქ: https://arxiv.org/abs/2004.07213(იხსნება ახალ ფანჯარაში). ასეთი კონკურსის უფრო ადრეული მაგალითი იხილეთ HackerOne-ზე. 2021b. „Twitter Algorithmic Bias.“ HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(იხსნება ახალ ფანჯარაში). ბოლოს, იხილეთ ამ თემაზე Rubinovitz, JB-ის ადრეული გამოქვეყნებული ნაშრომი: „Bias Bounty Programs as a Method of Combatting Bias in AI,“ აგვისტო 2018. ხელმისაწვდომია აქ: https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(იხსნება ახალ ფანჯარაში).
ავტორი
მადლობები
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic და Christopher Hesse
