Vi har tränat en modell som kallas ChatGPT och som interagerar på ett samtalsmässigt sätt. Dialogformatet gör att ChatGPT kan besvara uppföljningsfrågor, erkänna sina misstag, utmana felaktiga premisser och avvisa olämpliga förfrågningar.
ChatGPT är en syskonmodell till InstructGPT som har tränats till att lyda instruktioner i en prompt och ge ett detaljerat svar.
Vi är glada att få presentera ChatGPT för att få höra användares feedback och ta reda på dess styrkor och svagheter. ChatGPT är gratis under förhandsgranskningen i utforskningssyfte. Prova nu på chatgpt.com(öppnas i ett nytt fönster).
Exempel
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Vi har tränat den här modellen med förstärkningsinlärning från mänsklig feedback (RLHF), och använt samma tillvägagångssätt som InstructGPT men med vissa skillnader i hur datainsamlingen sker. Vi tränade en första modell med övervakad finjustering. Mänskliga AI-tränare höll i samtalen där de agerade båda parter, som användare och som AI-assistent. Vi gav tränarna tillgång till modellskrivna förslag för att hjälpa dem att skriva sina egna svar. Vi blandade den nya dialogens datauppsättning med InstructGPTs datauppsättning som vi omvandlade till ett dialogformat.
För att skapa en belöningsmodell för förstärkningsinlärning behövde vi samla in jämförelsedata som bestod av två eller fler modellsvar, rangordnad efter kvalitet. Vi använde samtal som AI-tränare hade med chattboten för att samla in denna data. Vi valde slumpmässigt ut ett modellskrivet meddelande och provade flera olika slutföranden som AI-tränarna ficka rangordna. Genom att använda dessa belöningsmodeller kan vi finjustera modellen med Proximal policyoptimering. Vi upprepade processen flera gånger.
ChatGPT är finjusterad från en modell i GPT‑3.5‑serien som avslutade träningen i början av 2022. Du kan läsa mer om 3.5-serien här(öppnas i ett nytt fönster). ChatGPT och GPT‑3.5 tränades på Azures superdatorsystem för AI.
- ChatGPT skriver ibland svar som låter rimliga men är felaktiga eller orimliga. Att åtgärda detta problem är en utmaning eftersom: (1) det inte finns någon sanningskälla under RL-träning, (2) modellen skulle avvisa frågor som den kan besvara på rätt sätt om den tränas till att vara försiktigare, och (3) övervakad träning vilseleder modellen för att det perfekta svaret beror på vad modellen vet(öppnas i ett nytt fönster) snarare än vad den mänskliga demonstratören vet.
- ChatGPT är känslig för justeringar hur indata formuleras eller upprepade försök av samma prompt. Om modellen t.ex. får en fråga som formuleras på ett sätt kan modellen säga att den inte vet svaret men när frågan formuleras om kan den svara rätt.
- Modellen är ofta överdrivet ordrik och använder vissa fraser för ofta, såsom att upprepa att den är en språkmodell som tränats av OpenAI. De här problemen uppstår från partiskhet i träningsdata (tränare föredrar längre svar som ser mer fullständiga ut) och välkända överoptimeringsproblem.1, 2
- Helst skulle modellen ställa förtydligande frågor när användaren ställer en tvetydig fråga. Men våra nuvarande modeller gissar sig vanligtvis till vad användaren försöker säga.
- Fastän vi har försökt att få modellen att vägra besvara olämpliga förfrågningar kan den ibland svara på skadliga instruktioner eller uppvisa partiskt beteende. Vi använder Moderation API för att varna om eller blockera vissa sorters innehåll men vi räknar med att den kan visa falska negativa och positiva resultat tills vidare. Vi ser fram emot att samla in användares feedback som kan hjälpa oss i vårt arbete att förbättra systemet.
Dagens utforskningsutgåva av ChatGPT är det senaste steget i OpenAIs iterativa distribution av AI-system som är ännu säkrare och användbara. Många lärdomar från tidigare distributionsmodeller såsom GPT‑3 och Codex har informerat säkerhetsåtgärderna på plats för denna utgåva, inklusive mycket mindre skadliga och osanna utdata som uppnås genom förstärkningsinlärning från mänsklig feedback (RLHF).
Vi vet att många begränsningar kvarstår såsom nämnts ovan och vi planerar att utföra regelbundna modelluppdateringar för att förbättra dessa områden. Men vi hoppas även att genom ett tillgängligt gränssnitt till ChatGPT kommer vi att få värdefull feedback från användare om problem som vi inte redan känner till.
Användare uppmanas att ge feedback om problematiska utdata från modellen genom användargränssnittet samt om falska positiva/negativa resultat från det externa innehållsfiltret som också är en del av gränssnittet. Vi är särskilt intresserade av feedback gällande skadliga utdata som kan uppstå under verkliga, icke-motstridiga förhållanden, samt feedback som hjälper oss att upptäcka och förstå nya risker och eventuellt förmildrande åtgärder. Du kan välja att delta i ChatGPTs feedback-tävling(öppnas i ett nytt fönster)3 för en chans att vinna upp till 500$ i API-krediter.A Bidrag kan skickas in via feedbackformuläret som är länkat i ChatGPT‑gränssnittet.
Vi ser fram emot att använda vad vi har lärt oss från den här utgåvan i mer kapabla system, precis som tidigare utgåvor har förbättrat den här utgåvan.
Fotnoter
- A
Inget köp krävs, ogiltigt där det är förbjudet. Man måste vara minst 18 år för att gå in. Se deofficiella reglerna(öppnas i ett nytt fönster) för mer information om tävlingen.
Referenser
- 1
Stiennon, Nisan, et al. ”Learning to summarize with human feedback(öppnas i ett nytt fönster).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman och Jacob Hilton. ”Scaling Laws for Reward Model Overoptimization(öppnas i ett nytt fönster)”. arXiv preprint arXiv:2210.10760 (2022).
- 3
Inspirationen till denna tävling kommer delvis från verk av Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji och Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. Januari 2022. Tillgänglig på https://ajl.org/bugs(öppnas i ett nytt fönster). Se även verk av Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn och Gretchen Krueger m.fl. ”Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims”, april 2020. Tillgänglig på https://arxiv.org/abs/2004.07213(öppnas i ett nytt fönster). Se ett tidigare exempel på en sådan tävling på HackerOne. 2021b. ”Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(öppnas i ett nytt fönster). Se slutligen tidigt publicerat verk i detta ämne från Rubinovitz, JB, ”Bias Bounty Programs as a Method of Combatting Bias in AI”, augusti 2018. Tillgängligt på https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(öppnas i ett nytt fönster).
Författare
Erkännanden
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
