Mēs esam apmācījuši modeli ar nosaukumu ChatGPT, kas mijiedarbojas sarunu veidā. Dialoga formāts ļauj ChatGPT atbildēt uz papildu jautājumiem, atzīt savas kļūdas, apstrīdēt nepareizus solījumus un noraidīt nepiemērotus pieprasījumus.
ChatGPT ir līdzīgs modelis InstructGPT, kas ir apmācīts ievērot norādījumus uzvednē un sniegt detalizētu atbildi.
Mēs ar prieku iepazīstinām ar ChatGPT, lai saņemtu lietotāju atsauksmes un uzzinātu par tā stiprajām un vājajām pusēm. Pētījuma priekšskatījuma laikā ChatGPT lietošana ir bez maksas. Izmēģini to tūlīt vietnē chatgpt.com(atveras jaunā logā).
Paraugi
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Mēs apmācījām šo modeli, izmantojot stimulētu mācīšanos no cilvēka atsauksmēm (RLHF), izmantojot tās pašas metodes kā InstructGPT, taču ar nelielām atšķirībām datu vākšanas iestatījumos. Mēs apmācījām sākotnējo modeli, izmantojot uzraudzītu precizēšanu: cilvēka AI treneri nodrošināja sarunas, kurās viņi spēlēja abas lomas — lietotāju un AI asistentu. Lai palīdzētu sagatavot atbildes, mēs nodrošinājām pasniedzējiem piekļuvi rakstiskiem ieteikumu paraugiem. Mēs sajaucām šo jauno dialogu datu kopu ar InstructGPT datu kopu, kuru pārveidojām dialoga formātā.
Lai izveidotu atalgojuma modeli stimulētai mācīšanai, mums vajadzēja apkopot salīdzināšanas datus, kas sastāv no divām vai vairākām modeļa atbildēm, kuras sarindotas pēc kvalitātes. Lai apkopotu šos datus, mēs izmantojām AI treneru sarunas ar tērzēšanas robotu. Mēs izlases veidā izvēlējāmies modeļa rakstītu ziņu, atlasījām vairākus alternatīvus papildinājumus, un mākslīgā intelekta treneri tos sarindoja. Izmantojot šos atalgojuma modeļus, mēs varam precīzi pielāgot modeli, izmantojot Proksimālās politikas optimizāciju. Mēs veicām vairākas šī procesa iterācijas.
ChatGPT ir precīzi pielāgots no GPT‑3.5. sērijas modeļa, kura apmācība tika pabeigta 2022. gada sākumā. Vairāk par 3.5. sēriju varat uzzināt šeit(atveras jaunā logā). ChatGPT un GPT‑3.5 tika apmācīti Azure AI superdatoru infrastruktūrā.
- Dažkārt ChatGPT raksta šķietami ticamas, bet nepareizas vai bezjēdzīgas atbildes. Šīs problēmas novēršana ir sarežģīta, jo: (1) RL apmācības laikā nav pieejams ticams avots; (2) apmācot modeli būt piesardzīgam, tas atsakās no jautājumiem, uz kuriem var atbildēt pareizi; un (3) kontrolēta apmācība maldina modeli, jo ideālā atbilde ir atkarīga no tā, ko zina modelis,(atveras jaunā logā) nevis no tā, ko zina cilvēks, kurš veic demonstrāciju.
- ChatGPT ir jutīgs pret ievades frāžu izmaiņām vai mēģinājumiem ievadīt vienu un to pašu uzvedni vairākkārt. Piemēram, ja jautājums ir uzdots vienā veidā, modelis var apgalvot, ka nezina atbildi, bet, nedaudz pārfrāzējot, var atbildēt pareizi.
- Modelis bieži ir pārmērīgi izsmeļošs un pārmērīgi izmanto noteiktas frāzes, piemēram, atkārtojot, ka tas ir OpenAI apmācīts valodas modelis. Šīs problēmas rada mācību datu neobjektivitāte (treneri dod priekšroku garākām atbildēm, kas izskatās izsmeļošākas) un labi zināmas pārmērīgas optimizācijas problēmas.1 un 2
- Ideālā gadījumā modelis uzdotu precizējošus jautājumus, ja lietotājs sniegtu neskaidru vaicājumu. Tā vietā mūsu pašreizējie modeļi parasti uzmin lietotāja iecerēto.
- Lai gan esam centušies panākt, lai modelis atteiktos no nepiemērotiem pieprasījumiem, tas dažkārt reaģē uz kaitīgiem norādījumiem vai uzvedas neobjektīvi. Mēs izmantojam Moderēšanas API, lai brīdinātu vai bloķētu noteikta veida nedrošu saturu, taču paredzam, ka pagaidām tas radīs dažus kļūdaini negatīvus un pozitīvus rezultātus. Mēs vēlamies apkopot lietotāju atsauksmes, lai palīdzētu turpināt darbu pie šīs sistēmas uzlabošanas.
Šodien izdotā ChatGPT pētnieciskā versija ir jaunākais solis OpenAI iteratīvajā arvien drošāku un noderīgāku mākslīgā intelekta sistēmu ieviešanā. Daudzas atziņas, kas gūtas, ieviešot iepriekšējos modeļus, piemēram, GPT‑3 un Codex, ir ņemtas vērā šajā versijā ieviestajos drošības pasākumos, tostarp ievērojami samazinot kaitīgo un nepatieso rezultātu skaitu, kas panākts, izmantojot pastiprināto mācīšanos no cilvēku sniegtajām atsauksmēm (RLHF).
No iepriekš minētā mēs zinām, ka joprojām pastāv daudz ierobežojumu, un plānojam regulāri atjaunināt modeļus, lai uzlabotu šādas jomas. Taču mēs arī ceram, ka, nodrošinot pieejamu saskarni ar ChatGPT, mēs saņemsim vērtīgas lietotāju atsauksmes attiecībā uz problēmām, par kurām vēl neesam informēti.
Lietotāji tiek aicināti sniegt atsauksmes par problemātiskiem modeļa rezultātiem, izmantojot lietotāja saskarni, kā arī par ārējā satura filtra, kurš arī ir saskarnes daļa, viltus pozitīviem/negatīviem rezultātiem. Mūs īpaši interesē atsauksmes par kaitīgiem rezultātiem, kas varētu rasties reālajā pasaulē, nepretrunīgos apstākļos, kā arī atsauksmes, kuras palīdz mums atklāt un izprast jaunus riskus un to mazināšanas pasākumus. Tu vari izvēlēties piedalīties ChatGPT atsauksmju konkursā(atveras jaunā logā)3, lai iegūtu iespēju laimēt līdz pat 500 ASV dolāru API kredītos.A Ierakstus var iesniegt, izmantojot atsauksmju veidlapu, kas ir saistīta ar ChatGPT saskarni.
Esam gandarīti, ka no šīs versijas gūto pieredzi varēsim izmantot, lai izvērstu jaudīgākas sistēmas, tāpat kā iepriekšējās izvēršanas kalpoja par pamatu šai versijai.
Zemsvītras piezīmes
- A
Pirkums nav nepieciešams; nav spēkā, ja tas ir aizliegts. Lai piedalītos, jābūt vismaz 18 gadus vecam. Lai uzzinātu vairāk par konkursu, skatiet dokumentu Oficiālie noteikumi(atveras jaunā logā).
Atsauces
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(atveras jaunā logā).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(atveras jaunā logā).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Iedvesmu šim konkursam daļēji esam smēlušies Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji un Joy Buolamwini darbos. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. 2022. gada janvāris. Pieejams vietnē https://ajl.org/bugs(atveras jaunā logā). Skatiet arī Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn un Gretchen Krueger et al. darbu “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims”, 2020. gada aprīlis. Pieejams vietnē https://arxiv.org/abs/2004.07213(atveras jaunā logā). Skatiet iepriekšējo šāda konkursa gadījumu vietnē HackerOne. 2021b. “Twitter Algorithmic Bias”. HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(atveras jaunā logā). Visbeidzot, skatiet iepriekš publicēto darbu par šo tēmu, ko publicējis Rubinovitz, JB, "Bias Bounty Programs as a Method of Combatting Bias in AI", 2018. gada augusts. Pieejams vietnē https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(atveras jaunā logā).
Autors
Apstiprinājumi
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic un Christopher Hesse
