Apmokėme modelį, vadinamą „ChatGPT“, kuris sąveikauja pokalbio būdu. Dialogo formatas leidžia „ChatGPT“ atsakyti į papildomus klausimus, pripažinti savo klaidas, užginčyti neteisingas prielaidas ir atmesti netinkamus prašymus.
„ChatGPT“ yra „InstructGPT“ giminingas modelis, apmokytas vykdyti nurodymus raginime ir pateikti išsamų atsakymą.
Džiaugiamės galėdami pristatyti „ChatGPT“, kad gautume naudotojų atsiliepimus ir sužinotume apie jo stipriąsias ir silpnąsias puses. Tyrimo peržiūros metu „ChatGPT“ naudojimas yra nemokamas. Išbandykite dabar svetainėje chatgpt.com(atsidaro naujame lange).
Pavyzdžiai
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Šį modelį apmokėme naudodami pastiprinimo mokymąsi iš žmogaus atsiliepimų (RLHF), naudodami tuos pačius metodus kaip ir „InstructGPT“, tačiau su nedideliais duomenų rinkimo sąrankos skirtumais. Pradinį modelį apmokėme naudodami prižiūrimą koregavimą: dirbtinio intelekto instruktoriai pateikė pokalbius, kuriuose jie atliko abiejų pusių vaidmenis – naudotojo ir dirbtinio intelekto asistento. Suteikėme instruktoriams prieigą prie modelio parašytų pasiūlymų, kad padėtume jiems sudaryti savo atsakymus. Šį naują dialogo duomenų rinkinį sumaišėme su „InstructGPT“ duomenų rinkiniu, kurį pavertėme dialogo formatu.
Norint sukurti atlygio modelį pastiprinimo mokymuisi, mums reikėjo surinkti palyginimo duomenis, kuriuos sudarė du ar daugiau modelio atsakymų, įvertintų pagal kokybę. Norėdami surinkti šiuos duomenis, apžvelgėme DI instruktorių pokalbius su pokalbių robotu. Atsitiktinai pasirinkome modelio parašytą pranešimą, atrinkome keletą alternatyvių užbaigimo variantų ir paprašėme DI instruktorių juos įvertinti. Naudodami šiuos atlygio modelius, galime tiksliai suderinti modelį naudodami Proksimalinę politikos optimizaciją. Atlikome kelias šio proceso iteracijas.
„ChatGPT“ yra patobulintas pagal GPT‑3.5 serijos modelį, kurio mokymai buvo baigti 2022 m. pradžioje. Daugiau apie 3.5 seriją galite sužinoti čia(atsidaro naujame lange). „ChatGPT“ ir „GPT‑3.5“ buvo apmokyti „Azure AI“ superkompiuterijos infrastruktūroje.
- „ChatGPT“ kartais rašo tikėtinai skambančius, bet neteisingus arba nesąmoningus atsakymus. Šios problemos sprendimas yra sudėtingas, nes: (1) pastiprinimo mokymosi metu šiuo metu nėra tiesos šaltinio; (2) treniruojant modelį būti atsargesniam, jis atmeta klausimus, į kuriuos gali atsakyti teisingai; ir (3) prižiūrimas mokymas klaidina modelį, nes idealus atsakymas priklauso nuo to, ką žino modelis(atsidaro naujame lange), o ne nuo to, ką žino žmogaus demonstratorius.
- „ChatGPT“ reaguoja į įvesties formuluotės pakeitimus arba bandymus pateikti tą pačią užduotį kelis kartus. Pavyzdžiui, pateikus vieną klausimo formuluotę, modelis gali teigti, kad nežino atsakymo, tačiau šiek tiek pakeitus formuluotę, jis gali atsakyti teisingai.
- Modelis dažnai yra pernelyg išsamus ir per daug kartoja tam tikras frazes, pavyzdžiui, kad tai yra kalbos modelis, kurį apmokė „OpenAI“. Šios problemos kyla dėl šališkumo mokymo duomenyse (instruktoriai teikia pirmenybę ilgesniems atsakymams, kurie atrodo išsamesni) ir gerai žinomų per didelio optimizavimo problemų.1 ir 2
- Idealiu atveju modelis užduotų paaiškinančius klausimus, kai naudotojas pateikia dviprasmišką užklausą. Vietoj to, mūsų dabartiniai modeliai paprastai spėja, ką naudotojas turėjo omenyje.
- Nors stengėmės, kad modelis atsisakytų netinkamų užklausų, kartais jis gali reaguoti į žalingus nurodymus arba elgtis šališkai. Naudojame moderavimo API, kad įspėtume apie arba blokuotume nesaugaus turinio tipus, tačiau manome, kad kol kas jame bus klaidingų neigiamų ir teigiamų rezultatų. Nekantriai laukiame galimybės rinkti naudotojų atsiliepimus, kad padėtume mūsų nuolatiniam darbui tobulinti šią sistemą.
Šiandieninis „ChatGPT“ tyrimų leidimas yra naujausias žingsnis „OpenAI“ pakartotiniame diegime vis saugesnių ir naudingesnių DI sistemų. Daugelis pamokų, išmoktų diegiant ankstesnius modelius, tokius kaip „GPT‑3“ ir „Codex“, padėjo suformuoti šiam leidimui taikomas saugos priemones, įskaitant reikšmingą kenksmingų ir neteisingų išvesties sumažinimą, pasiektą naudojant pastiprinimo mokymasis iš žmogaus atsiliepimų (RLHF).
Žinome, kad išlieka daug apribojimų, kaip aptarta aukščiau, ir turime planą reguliariai atnaujinti modelius, kad tobulėtume tokiose srityse. Tačiau taip pat tikimės, kad suteikdami prieinamą „ChatGPT“ sąsają, sulauksime vertingų naudotojų atsiliepimų apie problemas, apie kurias dar nežinome.
Naudotojus skatiname pateikti atsiliepimus apie problemines modelio išvestis per naudotojo sąsają, taip pat apie klaidingus teigiamus ir neigiamus rezultatus iš išorinio turinio filtro, kuris taip pat yra sąsajos dalis. Mus ypač domina atsiliepimai apie kenksmingas išvestis, kurios gali atsirasti realiame pasaulyje, nesant priešiškų sąlygų, taip pat atsiliepimai, padedantys mums atskleisti ir suprasti naujas rizikas ir galimus mažinimo būdus. Galite pasirinkti dalyvauti ChatGPT Atsiliepimų konkurse(atsidaro naujame lange)3, kad gautumėte galimybę laimėti iki 500 USD API kreditų.A Įrašus galima pateikti per atsiliepimų formą, susietą „ChatGPT“ sąsajoje.
Džiaugiamės, kad šios versijos išmoktos pamokos bus panaudotos diegiant galingesnes sistemas, kaip ir ankstesnių diegimų patirtis informavo šį diegimą.
Pastabos
- A
Pirkimas nebūtinas, negalioja ten, kur draudžiama. Norint dalyvauti turi būti bent 18 metų. Konkurso detalės prieinamos Oficialiose taisyklėse(atsidaro naujame lange).
Nuorodos
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(atsidaro naujame lange).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman ir Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(atsidaro naujame lange).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Šį konkursą iš dalies įkvėpė Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji ir Joy Buolamwini darbai. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. 2022 m. sausis. Prieinama adresu https://ajl.org/bugs(atsidaro naujame lange). Taip pat žr. Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn ir Gretchen Krueger ir kt. darbą „Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims“, 2020 m. balandis. Prieinama adresu https://arxiv.org/abs/2004.07213(atsidaro naujame lange). Pažiūrėkite ankstesnį tokio konkurso pavyzdį „HackerOne“. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(atsidaro naujame lange). Galiausiai peržiūrėkite ankstyvąjį publikuotą darbą šia tema iš Rubinovitz, JB, „Bias Bounty Programs as a Method of Combatting Bias in AI“, 2018 m. rugpjūtis. Prieinama adresu https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(atsidaro naujame lange).
Autorius
Padėkos
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic ir Christopher Hesse
