Usposobili smo model z imenom ChatGPT, ki se odziva s pogovorom. Format dialoga omogoča ChatGPT‑ju, da odgovarja na nadaljnja vprašanja, priznava svoje napake, izpodbija napačne predpostavke in zavrača neprimerne zahteve.
ChatGPT je sorodni model modelu InstructGPT, ki je izurjen za sledenje navodilu v pozivu in zagotavljanje podrobnega odgovora.
Z veseljem predstavljamo ChatGPT, s katerim bomo pridobili povratne informacije uporabnikov in spoznali njegove prednosti in slabosti. Med predogledom raziskave je uporaba ChatGPT brezplačna. Preizkusite ga na strani chatgpt.com(odpre se v novem oknu).
Vzorci
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Ta model smo usposobili z uporabo okrepljenega učenja iz človeških povratnih informacij (RLHF), z enakimi metodami kot InstructGPT, vendar z manjšimi razlikami v nastavitvi zbiranja podatkov. Začetni model smo usposobili z vodeno natančno prilagoditvijo: človeški usposabljalci umetne inteligence so pripravili pogovore, v katerih so igrali obe vlogi, in sicer uporabnika in pomočnika umetne inteligence. Usposabljalcem smo omogočili dostop do predlogov, ki jih je napisal model, da bi jim pomagali sestaviti svoje odgovore. Ta novi nabor podatkov o dialogih smo združili z naborom podatkov InstructGPT, ki smo ga preoblikovali v obliko dialoga.
Za ustvaritev nagradnega modela za učenje z okrepitvijo smo morali zbrati primerjalne podatke, ki so obsegali dva ali več odzivov modela, razvrščenih po kakovosti. Za zbiranje teh podatkov smo uporabili pogovore, ki so jih usposabljalci umetne inteligence imeli s klepetalnim robotom. Naključno smo izbrali sporočilo, ki ga je napisal model, vzorčili več alternativnih dopolnitev in jih razvrstili s pomočjo usposabljalcev umetne inteligence. Z uporabo teh modelov nagrajevanja lahko model natančno prilagodimo z uporabo proksimalne optimizacijo strategije. Izvedli smo več iteracij tega postopka.
ChatGPT je fina izboljšava modela serije GPT‑3.5, ki je zaključil usposabljanje v začetku leta 2022. Več o seriji 3.5 si lahko preberete tukaj(odpre se v novem oknu). ChatGPT in GPT‑3.5 sta bila usposobljena na infrastrukturi superračunalnika Azure AI.
- ChatGPT včasih piše tako, da zveni verodostojno, v resnici pa je zapis nepravilen ali nesmiseln. Popravljanje te težave je zahtevno, saj: (1) med učenjem z okrepitvijo trenutno ni vira resnice; (2) izurjenje modela, da je bolj previden, povzroči, da zavrača vprašanja, na katera lahko pravilno odgovori; in (3) nadzorovano učenje zavaja model, ker idealen odgovor temelji na tem, kaj ve model(odpre se v novem oknu), ne pa na tem, kaj ve človek.
- ChatGPT je občutljiv na prilagoditve vnosa in večkratne poskuse istega poziva. Na primer, pri nekem vprašanju model lahko trdi, da ne pozna odgovora, če pa se vprašanje malo obrne, nanj odgovori pravilno.
- Model pogosto besediči in prekomerno uporablja določene fraze, npr. večkrat pove, da je jezikovni model, ki ga je usposabljal OpenAI. Te težave izhajajo iz pristranskosti v podatkih za usposabljanje (usposabljalci imajo raje daljše odgovore, ki so videti bolj izčrpni) in dobro znanih težav s pretirano optimizacijo.1 in 2
- V idealnem primeru bi model uporabniku, ki je zapisal dvoumno poizvedbo, postavil pojasnjevalna vprašanja. Namesto tega naši trenutni modeli običajno ugibajo, kaj je bil uporabnikov namen.
- Čeprav smo si prizadevali, da bi model zavrnil neprimerne zahteve, se bo včasih odzval na škodljiva navodila ali pokazal pristransko vedenje. Za opozarjanje ali blokiranje določenih vrst nevarne vsebine uporabljamo API za moderiranje , vendar pa pričakujemo, da bo imel za zdaj nekaj lažnih negativnih in pozitivnih rezultatov. Želimo si povratne informacije uporabnikov in nam tako pomagajo pri našem nenehnem delu za izboljšanje tega sistema.
Današnja raziskovalna izdaja ChatGPT‑ja je najnovejši korak v OpenAI-jevi iterativni uvedbi vse varnejših in uporabnejših sistemov umetne inteligence. Številne lekcije iz uvedbe prejšnjih modelov, kot sta GPT‑3 in Codex, so prispevale k varnostnim ukrepom za to izdajo, vključno z znatnim zmanjšanjem škodljivih in neresničnih odgovorov prek uporabe okrepljenega učenja iz človeških povratnih informacij (RLHF).
Zavedamo se, da ostaja veliko omejitev, kot je bilo omenjeno zgoraj, in načrtujemo redne posodobitve modela, da bi izboljšali ta področja. Upamo pa tudi, da bomo z zagotavljanjem dostopnega vmesnika za ChatGPT prejeli dragocene povratne informacije uporabnikov o vprašanjih, ki se jih še ne zavedamo.
Uporabniki lahko prek vmesnika sporočijo povratne informacije o problematičnih odzivih modela ter o lažno pozitivnih ali negativnih zadetkih zunanjega filtra vsebin, ki je tudi del vmesnika. Zlasti nas zanimajo povratne informacije o škodljivih odgovorih, ki bi se lahko pojavili v resničnem svetu v nekonfliktnih pogojih ter povratne informacije, ki nam pomagajo odkriti in razumeti nova tveganja in možne ukrepe za njihovo ublažitev. Lahko se odločite za sodelovanje v natečaju ChatGPT Feedback Contest(odpre se v novem oknu)3 in si tako zagotovite priložnost, da prejmete API kredit do $500.A Prijave lahko predložite prek obrazca za povratne informacije, ki je povezan v vmesniku ChatGPT.
Z veseljem bomo izkušnje iz te različice prenesli v uvajanje zmogljivejših sistemov, tako kot so prejšnje uvedbe vplivale na trenutno.
Opombe
- A
Nakup ni potreben, neveljavno tam, kjer je prepovedano. Za vstop morate biti stari vsaj 18 let. Za podrobnosti tekmovanja glejte uradna pravila(odpre se v novem oknu).
Reference
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(odpre se v novem oknu).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(odpre se v novem oknu).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Navdih za to tekmovanje deloma izhaja iz del sodelavcev Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji in Joy Buolamwini. Nagrade za odkrivanje algoritemske škode? Lekcije iz razkritja ranljivosti kibernetske varnosti za odkrivanje, razkritje in odpravo algoritemske škode. Washington, DC: Algorithmic Justice League. Januar 2022. Na voljo na https://ajl.org/bugs(odpre se v novem oknu). Glej tudi Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, and Gretchen Krueger et al. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,” April 2020. Na voljo na strani https://arxiv.org/abs/2004.07213(odpre se v novem oknu). Oglejte si prejšnji primer takšnega tekmovanja na HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(odpre se v novem oknu). Oglejte si tudi predčasno objavljeno delo na to temo avtorja Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI,” August 2018. Na voljo na strani https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(odpre se v novem oknu).
Avtor
Zahvala
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic in Christopher Hesse
