Ne kemi trajnuar një model të quajtur ChatGPT që ndërvepron në formë bisedore. Formati i dialogut bën të mundur që ChatGPT t'u përgjigjet pyetjeve pasuese, të pranojë gabimet e veta, të sfidojë premisat e pasakta dhe të refuzojë kërkesat e papërshtatshme.
ChatGPT është një model simotër i InstructGPT, i cili është trajnuar për të ndjekur një udhëzim në një kërkesë dhe të japë një përgjigje të detajuar.
Kemi kënaqësinë të prezantojmë ChatGPT për të marrë përshtypjet e përdoruesve dhe për të mësuar rreth pikave të tij të forta dhe të dobëta. Gjatë periudhës së pamjes paraprake kërkimore, përdorimi i ChatGPT është falas. Provoje tani në chatgpt.com(hapet në një dritare të re).
Mostra
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Ne e trajnuam këtë model duke përdorur të mësuarit përforcues nga përshtypjet njerëzore (RLHF), duke përdorur të njëjtat metoda si InstructGPT, por me disa ndryshime të vogla në konfigurimin e mbledhjes së të dhënave. Ne trajnuam një model fillestar duke përdorur rregullim të hollësishëm të mbikëqyrur: trajnuesit njerëz të AI ofruan biseda ku ata luanin të dyja rolet – përdoruesin dhe një asistent të AI. Ne u dhamë trajnuesve akses në sugjerime të shkruara nga modeli për t'i ndihmuar të hartojnë përgjigjet e tyre. Ne e ndërthurëm këtë grup të ri të dhënash dialogu me grupin e të dhënave InstructGPT, të cilin e transformuam në një format dialogu.
Për të krijuar një model shpërblimi për të mësuarit përforcues, na duhej të mblidhnim të dhëna krahasimi, të cilat përbëheshin nga dy ose më shumë përgjigje modelesh të renditura sipas cilësisë. Për të mbledhur këto të dhëna, ne morëm bisedat që trajnuesit e AI patën me automatin. Ne zgjodhëm rastësisht një mesazh të shkruar nga modeli, morëm disa përfundime alternative dhe i vumë trajnuesit e AI t'i rendisnin. Duke përdorur këto modele shpërblimi, mund ta përsosim modelin duke përdorur optimizimin e politikës proksimale. Ne bëmë disa përsëritje të këtij procesi.
ChatGPT është përshtatur nga një model në serinë GPT‑3.5, i cili përfundoi trajnimin në fillim të vitit 2022. Mund të mësosh më shumë rreth serisë 3.5 këtu(hapet në një dritare të re). ChatGPT dhe GPT‑3.5 u trajnuan në një infrastrukturë superkompjuterike të Azure AI.
- ChatGPT ndonjëherë shkruan përgjigje që duken të besueshme, por janë të pasakta ose të pakuptimta. Rregullimi i kësaj çështjeje është sfidues, pasi: (1) gjatë trajnimit RL, aktualisht nuk ka burim të vërtetë; (2) trajnimi i modelit për të qenë më i kujdesshëm bën që ai të refuzojë pyetjet që mund t'u përgjigjet saktë; dhe (3) trajnimi i mbikëqyrur mashtron modelin sepse përgjigja ideale varet nga ajo që di modeli(hapet në një dritare të re), në vend të asaj që di demonstruesi njerëzor.
- ChatGPT është i ndjeshëm ndaj ndryshimeve në formulimin hyrës ose përpjekjes së të njëjtës kërkesë disa herë. Për shembull, nëse një pyetje formulohet në një mënyrë, modeli mund të pretendojë se nuk e di përgjigjen, por me një rifrazim të lehtë, mund të përgjigjet saktë.
- Modeli shpesh është tepër fjalshëm dhe përdor tepruar fraza të caktuara, si përsëritja se është një model gjuhe i trajnuar nga OpenAI. Këto çështje lindin nga paragjykimet në të dhënat e trajnimit (trajnuesit preferojnë përgjigje më të gjata që duken më të plota) dhe çështjet e njohura të mbiooptimizimit.1 dhe 2
- Idealisht modeli do të bënte pyetje sqaruese kur përdoruesi jepte një pyetje të paqartë. Në vend të kësaj, modelet tona aktuale zakonisht hamendësojnë se çfarë synonte përdoruesi.
- Ndërsa kemi bërë përpjekje për ta bërë modelin të refuzojë kërkesat e papërshtatshme, ai ndonjëherë përgjigjet udhëzimeve të dëmshme ose shfaq sjellje të njëanshme. Ne po përdorim API e moderimit për të paralajmëruar ose bllokuar lloje të caktuara të përmbajtjes së pasigurt, por presim që ajo të ketë disa rezultate të rreme negative dhe pozitive për tani. Mezi ç'presim të mbledhim përshtypjet e përdoruesve për të ndihmuar punën tonë të vazhdueshme për të përmirësuar këtë sistem.
Qarkullimi i sotëm i kërkimit të ChatGPT është hapi i fundit në instalimin përsëritës të OpenAI të sistemeve gjithnjë e më të sigurta dhe të dobishme të AI. Shumë mësime nga instalimet e modeleve të mëparshme si GPT‑3 dhe Codex kanë ndikuar në masat e sigurisë për këtë qarkullim, duke përfshirë reduktime të konsiderueshme të rezultateve të dëmshme dhe të pavërteta të arritura përmes të mësuarit përforcues nga përshtypjet njerëzore (RLHF).
Ne e dimë që ka ende shumë kufizime siç u diskutua më sipër dhe planifikojmë të bëjmë përditësime të rregullta të modelit për t'u përmirësuar në fusha të tilla. Por ne gjithashtu shpresojmë që duke ofruar një ndërfaqe të aksesueshme për ChatGPT, do të marrim përshtypje të vlefshme nga përdoruesit për çështje për të cilat nuk jemi ende në dijeni.
Përdoruesit inkurajohen të japin përshtypje mbi daljet problematike të modelit përmes ndërfaqes, si dhe mbi pozitivet/negativët e rreme nga filtrim i përmbajtjes së jashtme që është gjithashtu pjesë e ndërfaqes. Ne jemi veçanërisht të interesuar për përshtypjet në lidhje me rezultate e dëmshme që mund të ndodhin në kushte reale, jokundërshtare, si dhe për përshtypjet që na ndihmojnë të zbulojmë dhe kuptojmë rreziqet e reja dhe zbutjet e mundshme. Mund të zgjedhësh të marrësh pjesë në Konkursin e Përshtypjeve ChatGPT(hapet në një dritare të re)3 për një mundësi për të fituar deri në $500 në kredite API.A Kandidimet mund të dorëzohen përmes formularit të përshtypjeve që është i lidhur në ndërfaqen ChatGPT.
E kemi për kënaqësi t'i bartim mësimet nga ky qarkullim në instalimin e sistemeve më të afta, ashtu si instalimet e mëparshme shërbyen për aktualin.
Shënime në fund
- A
Nuk është e nevojshme të blesh, e pavlefshme aty ku ndalohet. Duhet të jesh të paktën 18 vjeç për të hyrë. Për detajet e konkursit, shiko Rregullat Zyrtare(hapet në një dritare të re).
Referenca
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(hapet në një dritare të re).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(hapet në një dritare të re).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Frymëzimi për këtë konkurs vjen pjesërisht nga puna e Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji dhe Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. Janar 2022. Në dispozicion në https://ajl.org/bugs(hapet në një dritare të re). Shih gjithashtu punën Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, and Gretchen Krueger et al. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,” April 2020. Prill 2020. Në dispozicion në https://arxiv.org/abs/2004.07213(hapet në një dritare të re). Shiko një shembull të mëparshëm të një konkursi të tillë në HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(hapet në një dritare të re). Më në fund, shihni punën e publikuar herët për këtë temë nga Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI,” gusht 2018. Në dispozicion në https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(hapet në një dritare të re).
Autori
Falënderime
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic dhe Christopher Hesse
