Vi har lært opp en modell kalt ChatGPT, som er utviklet for å føre samtaler. Dialogformatet gjør at ChatGPT kan svare på oppfølgingsspørsmål, innrømme feil, utfordre forutsetninger som ikke stemmer og avslå upassende forespørsler.
ChatGPT er søstermodellen til InstructGPT, som er lært opp til å følge instruksjoner i en melding og gi detaljerte svar.
Vi presenterer ChatGPT, og vi gleder oss til å få tilbakemeldinger fra brukere så vi kan lære mer om styrkene og svakhetene ved modellen. I utprøvingsversjonen er det gratis å bruke ChatGPT. Prøv den nå på chatgpt.com(åpnes i et nytt vindu).
Eksempler
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Vi lærte opp denne modellen med forsterkende læring fra menneskelig tilbakemelding, med samme metode som InstructGPT, men med noen forskjeller i oppsettet for datainnsamling. Vi lærte opp den første modellen ved hjelp av overvåket finjustering: menneskelige AI-instruktører førte samtaler der de var både bruker og AI-assistent. Vi ga instruktørene tilgang til forslag fra modellen for å hjelpe dem med å skrive svarene. Dette nye dialogdatasettet ble blandet med InstructGPT‑datasettet og gjort om til et dialogformat.
For å opprette en belønningsmodell for forsterkende læring måtte vi samle sammenligningsdata der to eller flere svar fra modellen var rangert etter kvalitet. For å samle inn disse dataene brukte vi samtaler som AI-instruktører hadde med chatboten. Vi valgte et tilfeldig svar skrevet av modellen, testet flere svarforslag og lot AI-instruktører rangere dem. Ved hjelp av disse belønningsmodellene kunne vi finjustere modellen med Proximal Policy Optimization (PPO). Vi gjennomførte flere iterasjoner av denne prosessen.
ChatGPT er finjustert fra en modell i GPT‑3.5‑serien, som ble ferdig lært opp tidlig i 2022. Du kan lære mer om 3.5-serien her(åpnes i et nytt vindu). ChatGPT og GPT‑3.5 ble lært opp på en infrastruktur for superdatabehandling levert av Azure AI.
- ChatGPT skriver noen ganger svar som virker overbevisende, men som er feil eller meningsløse. Dette problemet er vanskelig å løse fordi: (1) det ikke finnes en klar fasit under forsterkende læring, (2) å lære opp modellen til å være mer forsiktig gjør at den avslår spørsmål den egentlig kunne svart riktig på, (3) overvåket opplæring kan gi misvisende signaler, fordi det riktige svaret kommer an på hva modellen vet(åpnes i et nytt vindu) – ikke bare hva instruktøren vet
- ChatGPT er følsom for hvordan inndata formuleres og for gjentatte forsøk med samme melding. Eksempel: modellen kan si at den ikke vet svaret hvis et spørsmål formuleres på én måte, men likevel svare riktig etter en liten omskrivning.
- Modellen er ofte altfor ordrik og bruker enkelte fraser for mye, som å gjenta at den er en språkmodell lært opp av OpenAI. Disse problemene skyldes skjevheter i opplæringsdataene (instruktører foretrekker lengre og mer utfyllende svar), samt kjente utfordringer med overoptimalisering.1 og 2
- Ideelt sett burde modellen stille oppklarende spørsmål når brukeren skriver en uklar melding. I stedet gjetter modellene våre som regel hva brukeren mente.
- Vi har forsøkt å få modellen til å avslå upassende forespørsler, men den svarer likevel noen ganger på skadelige instruksjoner eller viser forutinntatt adferd. Vi bruker Moderation API for å advare om eller blokkere visse typer utrygt innhold, men vi forventer både falske negative og falske positive svar. Vi vil gjerne ha tilbakemeldinger fra brukerne, slik at vi kan forbedre systemet fortløpende.
Dagens utprøvingsversjon av ChatGPT er det siste trinnet i OpenAIs iterative utrulling av stadig tryggere og mer nyttige AI-systemer. Mange av lærdommene fra utrullingen av tidligere modeller som GPT‑3 og Codex har bidratt til forbedringer i denne versjonen, blant annet betydelig reduksjon av skadelige og usanne utdata gjennom bruk av forsterkende læring fra menneskelig tilbakemelding.
Vi vet at det fortsatt finnes mange begrensninger, og vi planlegger jevnlige modelloppdateringer for å forbedre disse områdene. Vi håper også at et tilgjengelig grensesnitt for ChatGPT vil gi verdifulle tilbakemeldinger fra brukere om problemer vi ikke allerede er klar over.
Brukere oppfordres til å gi tilbakemeldinger om problematiske svar fra modellen, samt falske positive og falske negative svar fra det eksterne innholdsfilteret, begge deler via grensesnittet. Vi er særlig interessert i tilbakemeldinger om skadelige svar som kan oppstå i virkelige, ikke-fiendtlige situasjoner, samt tilbakemeldinger som hjelper oss med å avdekke og forstå nye farer og hvordan disse kan håndteres. Du kan delta i ChatGPTs tilbakemeldingskonkurranse(åpnes i et nytt vindu)3, der det er mulig å vinne opptil 500 dollar i API-kreditt.A Alle bidrag sendes inn via tilbakemeldingsskjemaet som du finner lenke til i ChatGPT‑grensesnittet.
Vi gleder oss til å ta med oss lærdommen fra denne versjonen inn i utrullingen av mer avanserte systemer, akkurat som tidligere utrullinger har lagt grunnlaget for denne.
Fotnoter
- A
Kjøp ikke nødvendig, ugyldig der dette ikke er tillatt. Må være minst 18 år for å delta. Se de offisielle reglene(åpnes i et nytt vindu) for mer informasjon om konkurransen.
Referanser
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(åpnes i et nytt vindu).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(åpnes i et nytt vindu).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Inspirasjonen til denne konkurransen kommer delvis fra verket til Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, and Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. January 2022. Tilgjengelig på https://ajl.org/bugs(åpnes i et nytt vindu). Se også verket til Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, and Gretchen Krueger et al. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,” April 2020. Tilgjengelig på https://arxiv.org/abs/2004.07213(åpnes i et nytt vindu). Se et tidligere eksempel på en slik konkurranse på HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(åpnes i et nytt vindu). Til slutt, se tidligere publiserte verker om dette emnet fra Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI,” August 2018. Tilgjengelig på https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(åpnes i et nytt vindu).
Forfatter
Anerkjennelse
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic og Christopher Hesse
