Ipinapakilala ang ChatGPT
Sinanay namin ang isang modelong tinatawag na ChatGPT na nakikipag-ugnayan na parang nakikipag-usap lang. Dahil sa format na usapan, nagagawa ng ChatGPT na sagutin ang mga follow-up na tanong, aminin ang mga pagkakamali nito, hamunin ang mga maling pahayag, at tanggihan ang mga hindi angkop na kahilingan.
Ang ChatGPT ay sibling na modelo ng InstructGPT, na sinanay na sundin ang tagubilin sa prompt at magbigay ng detalyadong sagot.
Nasasabik kaming ipakilala ang ChatGPT upang makuha ang feedback ng mga user at malaman ang mga kalakasan at kahinaan nito. Sa preview para sa pananaliksik, libre ang paggamit ng ChatGPT. Subukan ito ngayon sa chatgpt.com(magbubukas sa bagong window).
Mga Sample
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Sinanay namin ang modelong ito gamit ang Pagpapatibay ng Pag-aaral mula sa Feedback ng Tao (RLHF), gamit ang mga pamamaraang ginamit din sa InstructGPT, ngunit may kaunting pagkakaiba sa setup ng pagkuha ng data. May sinanay kaming naunang modelo gamit ang pinangangasiwaang pag-fine-tune: nagbigay ang mga human AI trainer ng mga pag-uusap kung saan sila ang user at ang AI assistant. Binigyan namin ang mga trainer ng access sa mga mungkahing isinulat ng modelo upang matulungan silang bumuo ng kanilang mga sagot. Isinama namin ang bagong dataset na ito ng usapan sa dataset ng InstructGPT, na ginawa naming nasa format na usapan.
Para gumawa ng modelo ng reward para sa pagpapatibay ng pag-aaral, kinailangan naming kumuha ng data para sa paghahambing, na binubuo ng dalawa o higit pang sagot ng modelo na ni-rank ayon sa kalidad. Para kunin ang data na ito, kinuha namin ang mga naging pag-uusap ng mga AI trainer sa chatbot. Random kaming pumili ng mensaheng isinulat ng modelo, nag-sample kami ng ilang alternatibong pagkumpleto, at pina-rank namin ito sa mga AI trainer. Gamit ang mga modelong ito sa reward, puwede naming i-fine tune ang modelo gamit ang Proximal Policy Optimization. Inulit-ulit namin ang prosesong ito.
Na-fine tune ang ChatGPT mula sa isang modelo sa serye na GPT‑3.5, na natapos sa pagsasanay sa unang bahagi ng 2022. Puwede kang matuto pa tungkol sa serye na 3.5 dito(magbubukas sa bagong window). Sinanay ang ChatGPT at GPT‑3.5 sa supercomputing infrastructure ng Azure AI.
- Minsan, nagsusulat ang ChatGPT ng mga sagot na mukhang kapani-paniwala ngunit mali o walang katuturan. Mahirap ayusin ang isyung ito dahil: (1) sa pagsasanay sa RL, walang mapagkukunan ng katotohanan sa kasalukuyan; (2) kapag sinanay ang modelo na mas mag-ingat, tinatanggihan nito ang mga tanong na kaya nitong sagutin nang tama; at (3) ikinalilito ng modelo ang pinangangasiwaang pagsasanay dahil nakasalalay ang pinakamainam na sagot sa nalamaman ng modelo(magbubukas sa bagong window), at hindi sa nalalaman ng human demonstrator.
- Sensitibo ang ChatGPT sa mga pagbabago sa input phrasing o sa pagsubok na gamitin ang parehong prompt nang maraming beses. Halimbawa, kapag binigyan ang modelo ng isang phrasing ng tanong, puwede nitong sabihing hindi nito alam ang sagot, ngunit masasagot nito ito nang tama kung bahagyang babaguhin ang phrasing.
- Madalas na gumagamit ang modelo ng masyadong maraming salita at labis nitong ginagamit ang ilang partikular na parirala, gaya ng paulit-ulit na pagsasabing isa itong modelo ng wika na sinanay ng OpenAI. Nagmumula ang mga isyung ito sa mga bias sa data ng pagsasanay (mas gusto ng mga trainer ang mas mahahabang sagot na mukhang mas komprehensibo) at mga kilalang isyu sa labis na pag-optimize.1, 2
- Mainam kung magtatanong ang modelo bilang paglilinaw kapag nagbigay ang user ng hindi malinaw na query. Sa halip, karaniwang hinuhulaan ng mga kasalukuyan naming modelo kung ano ang ibig sabihin ng user.
- Bagama't nagsikap kami upang hindian ng modelo ang mga hindi angkop na kahilingan, sasagutin nito minsan ang mga mapaminsalang tagubilin o magpapamalas ito ng gawing nagpapakita ng bias. Ginagamit namin ang Moderation API upang balaan o i-block ang ilang partikular na uri ng hindi ligtas na content, ngunit inaasahan naming magkaroon ito ng ilang false negative at positive sa ngayon. Nasasabik kaming kumuha ng feedback ng user na makakatulong sa aming tuloy-tuloy na gawain upang mapaganda ang system na ito.
Ang release para sa pananaliksik ng ChatGPT ngayon ay ang pinakabagong hakbang sa iterative na pag-deploy ng OpenAI ng mga mas ligtas at kapaki-pakinabang na AI system. Ibinase sa maraming aral mula sa pag-deploy ng mga naunang modelo tulad ng GPT‑3 at Codex ang mga pag-iingat para sa kaligtasan na ipinapatupad para sa release na ito, kasama ang malaki-laking pagbawas sa mga mapaminsala at hindi totoong output na nakuha sa pamamagitan ng paggamit ng pagpapatibay ng pag-aaral mula sa feedback ng tao (RLHF).
Alam naming marami pa ring limitasyon gaya ng tinalakay sa itaas at pinaplano naming gumawa ng mga regular na update sa modelo upang mapaganda ang mga naturang bahagi. Ngunit umaasa rin kami na sa pamamagitan ng pagbibigay sa ChatGPT ng madaling gamiting interface, makakakuha kami ng mahalagang feedback ng mga user tungkol sa mga isyu na hindi pa namin nalalaman.
Hinihikayat ang mga user na magbigay ng feedback sa mga may problemang output ng modelo sa pamamagitan ng UI, pati na rin sa mga false positive/negative mula sa external na filter ng content na bahagi rin ng interface. Partikular kaming interesado sa feedback tungkol sa mga mapaminsalang output na puwedeng mangyari sa mga kundisyon sa totoong buhay na walang hangaring makasama, pati na rin sa feedback na tutulong sa aming matuklasan at maunawaan ang mga bagong panganib at mga posibleng pag-iingat. Puwede kang sumali sa ChatGPT Feedback Contest(magbubukas sa bagong window)3 para sa tsansang manalo ng hanggang $500 na credit sa API.A Puwedeng isumite ang mga entry sa pamamagitan ng form para sa feedback na naka-link sa interface ng ChatGPT.
Nasasabik kaming gamitin ang mga aral mula sa release na ito sa pag-deploy ng mga mas may kakayahang system, gaya kung paano ibinase sa mga naunang pag-deploy ang pag-deploy na ito.
Mga Footnote
- A
Hindi kailangang bumili, walang bisa kung ipinagbabawal. 18 taong gulang dapat upang makasali. Para sa mga detalye ng paligsahan, tingnan ang Mga Opisyal na Panuntunan(magbubukas sa bagong window).
Mga Sanggunian
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(magbubukas sa bagong window).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, at Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(magbubukas sa bagong window).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Nagmula ang inspirasyon para sa paligsahang ito sa mga gawa nina Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, at Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. Enero 2022. Makikita sa https://ajl.org/bugs(magbubukas sa bagong window). Tingnan din ang gawa nina Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, at Gretchen Krueger et al. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,” April 2020. Makikita sa https://arxiv.org/abs/2004.07213(magbubukas sa bagong window). Tingnan ang naunang pangyayari ng naturang paligsahan sa HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(magbubukas sa bagong window). Panghuli, tingnan ang naunang nailathalang gawa tungkol sa paksang ito mula kay Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI,” Agosto 2018. Makikita sa https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(magbubukas sa bagong window).
May-akda
Pasasalamat
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
