અમે ChatGPT નામનું એક મોડલ ટ્રેન કર્યું છે જે વાતચીતના સ્વરૂપમાં ક્રિયા કરે છે. સંવાદ ફોર્મેટ ChatGPT માટે અનુગામી પ્રશ્નોના જવાબ આપવાનું, પોતાની ભૂલો સ્વીકારવાનું, ખોટી પૂર્વધારણીઓને પડકારવાનું અને અયોગ્ય વિનંતીઓને નકારવાનું શક્ય બનાવે છે.
ChatGPT, InstructGPT નું સહોદર મોડલ છે, જેને પ્રોમ્પ્ટમાં આપેલી સૂચનાનું પાલન કરવા અને વિગતવાર જવાબ આપવા માટે ટ્રેન કરવામાં આવ્યું છે.
વપરાશકર્તાઓનો પ્રતિસાદ મેળવવા અને તેની શક્તિઓ તથા કમજોરીઓ વિશે જાણવા માટે અમે ChatGPT રજૂ કરતા ઉત્સાહિત છીએ. સંશોધન પૂર્વાવલોકન દરમિયાન ChatGPT નો ઉપયોગ મફત છે. તેને હવે chatgpt.com(નવી વિન્ડોમાં ખૂલે છે) પર અજમાવો.
નમૂનાઓ
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?અમે આ મોડલને હ્યુમન ફીડબેકથી રીઇન્ફોર્સમેન્ટ લર્નિંગ (RLHF) નો ઉપયોગ કરીને ટ્રેન કર્યું, જેમાં InstructGPT જેવી જ પદ્ધતિઓનો ઉપયોગ થયો, પરંતુ ડેટા સંગ્રહની ગોઠવણમાં થોડા ફરક સાથે. અમે સુપરવાઇઝ્ડ ફાઇન-ટ્યુનિંગ નો ઉપયોગ કરીને પ્રારંભિક મોડલ ટ્રેન કર્યું: માનવીય AI ટ્રેનરોએ એવી વાતચીતો આપી જેમાં તેમણે બંને ભૂમિકાઓ ભજવી—વપરાશકર્તા અને AI સહાયક. ટ્રેનરોને જવાબ તૈયાર કરવામાં મદદ મળે તે માટે અમે તેમને મોડલ દ્વારા લખાયેલા સૂચનોની ઍક્સેસ આપી. અમે આ નવા સંવાદ ડેટાસેટને InstructGPT ડેટાસેટ સાથે મિશ્રિત કર્યું, જેને અમે સંવાદ સ્વરૂપમાં રૂપાંતરિત કર્યો.
રીઇન્ફોર્સમેન્ટ લર્નિંગ માટે રિવોર્ડ મોડલ બનાવવા માટે, અમને તુલનાત્મક ડેટા એકત્રિત કરવાની જરૂર હતી, જેમાં ગુણવત્તા પ્રમાણે ક્રમબદ્ધ કરાયેલા બે અથવા વધુ મોડલ જવાબો હતા. આ ડેટા એકત્રિત કરવા માટે, અમે AI ટ્રેનરોએ ચેટબોટ સાથે કરેલી વાતચીતો લીધી. અમે મોડલ દ્વારા લખાયેલો એક સંદેશ યાદૃચ્છિક રીતે પસંદ કર્યો, અનેક વિકલ્પ પૂર્ણતાઓનું નમૂનાકરણ કર્યું, અને AI ટ્રેનરોથી તેમને ક્રમાંકિત કરાવ્યા. આ રિવોર્ડ મોડલનો ઉપયોગ કરીને, અમે પ્રોક્સિમલ પોલિસી ઑપ્ટિમાઇઝેશન નો ઉપયોગ કરીને મોડલને ફાઇન-ટ્યુન કરી શકીએ છીએ. અમે આ પ્રક્રિયાના અનેક પુનરાવર્તનો કર્યા.
ChatGPT ને GPT‑3.5 શ્રેણીના એક મોડલમાંથી ફાઇન-ટ્યુન કરવામાં આવ્યું છે, જેનું ટ્રેનિંગ 2022ની શરૂઆતમાં પૂર્ણ થયું હતું. તમે 3.5 શ્રેણી વિશે વધુ અહીં(નવી વિન્ડોમાં ખૂલે છે) જાણી શકો છો. ChatGPT અને GPT‑3.5 ને Azure AI સુપરકમ્પ્યુટિંગ ઇન્ફ્રાસ્ટ્રક્ચર પર ટ્રેન કરવામાં આવ્યા હતા.
- ChatGPT ક્યારેક વિશ્વસનીય લાગતા પરંતુ ખોટા અથવા નિરર્થક જવાબો લખે છે. આ સમસ્યા સુધારવી પડકારજનક છે, કારણ કે: (1) RL ટ્રેનિંગ દરમિયાન હાલમાં સત્યનો કોઈ નિશ્ચિત સ્ત્રોત નથી; (2) મોડલને વધુ સાવચેત બનવા માટે ટ્રેન કરવાથી તે એવા પ્રશ્નો પણ નકારી કાઢે છે જેને તે સાચા જવાબ આપી શકે; અને (3) સુપરવાઇઝ્ડ ટ્રેનિંગ મોડલને ભ્રમિત કરે છે કારણ કે આદર્શ જવાબ મોડલ શું જાણે છે તેના પર આધાર રાખે છે(નવી વિન્ડોમાં ખૂલે છે), માનવીય પ્રદર્શક શું જાણે છે તેના પર નહીં.
- ChatGPT ઇનપુટના શબ્દપ્રયોગમાં નાના ફેરફારો અથવા એ જ પ્રોમ્પ્ટને અનેક વખત અજમાવવાથી સંવેદનશીલ છે. ઉદાહરણ તરીકે, પ્રશ્નની એક રચનામાં મોડલ કહી શકે કે તેને જવાબ ખબર નથી, પરંતુ થોડું પુનઃશબ્દીકરણ આપતાં તે સાચો જવાબ આપી શકે છે.
- મોડલ ઘણીવાર અતિશય શબ્દાળુ હોય છે અને કેટલીક ચોક્કસ વાક્યરચનાઓનો અતિરેક કરે છે, જેમ કે તે OpenAI દ્વારા ટ્રેન કરાયેલ ભાષા મોડલ છે એવી વાત ફરી કહેવી. આ સમસ્યાઓ ટ્રેનિંગ ડેટામાં રહેલા પૂર્વગ્રહો (ટ્રેનરોને વધુ લાંબા અને વધુ વ્યાપક લાગતા જવાબો ગમે છે) અને જાણીતી ઓવર-ઑપ્ટિમાઇઝેશન સમસ્યાઓથી ઊભી થાય છે.1, 2
- આદર્શ રીતે, જ્યારે વપરાશકર્તા અસ્પષ્ટ પ્રશ્ન આપે ત્યારે મોડલે સ્પષ્ટતા માટે પ્રશ્નો પૂછવા જોઈએ. તેના બદલે, અમારા હાલના મોડલ સામાન્ય રીતે વપરાશકર્તાનો અર્થ શું હતો તેનો અંદાજ લગાવે છે.
- અયોગ્ય વિનંતીઓને મોડલ નકારે તે માટે અમે પ્રયત્નો કર્યા હોવા છતાં, તે ક્યારેક હાનિકારક સૂચનાઓનો જવાબ આપી શકે છે અથવા પૂર્વગ્રહપૂર્ણ વર્તન બતાવી શકે છે. અમે અમુક પ્રકારની અસુરક્ષિત સામગ્રી વિશે ચેતવણી આપવા અથવા અવરોધવા માટે Moderation API નો ઉપયોગ કરી રહ્યા છીએ, પરંતુ હાલ માટે તેમાં કેટલીક ખોટી નકારાત્મક અને હકારાત્મક ઘટનાઓ રહેવાની અપેક્ષા છે. આ સિસ્ટમને સુધારવા માટે ચાલતા અમારા કાર્યમાં મદદરૂપ થવા અમે વપરાશકર્તા પ્રતિસાદ એકત્રિત કરવા ઉત્સુક છીએ.
આજે ChatGPT નું સંશોધન રિલીઝ OpenAI ની વધતી જતી સુરક્ષિત અને ઉપયોગી AI સિસ્ટમોની પુનરાવર્તિત તહેનાતી માં નવીનતમ પગલું છે. GPT‑3 અને Codex જેવા અગાઉના મોડલની તહેનાતીમાંથી મળેલા ઘણા પાઠોએ આ રિલીઝ માટે લાગુ કરાયેલા સુરક્ષા ઉપાયો વિશે માર્ગદર્શન આપ્યું છે, જેમાં હ્યુમન ફીડબેકથી રીઇન્ફોર્સમેન્ટ લર્નિંગ (RLHF) ના ઉપયોગથી હાનિકારક અને અસત્ય આઉટપુટમાં થયેલા નોંધપાત્ર ઘટાડાનો સમાવેશ થાય છે.
અમે જાણીએ છીએ કે ઉપર ચર્ચ્યા મુજબ ઘણી મર્યાદાઓ હજુ બાકી છે અને એવા ક્ષેત્રોમાં સુધારો કરવા માટે અમે નિયમિત મોડલ અપડેટ્સ કરવાની યોજના ધરાવીએ છીએ. પરંતુ અમે એવી પણ આશા રાખીએ છીએ કે ChatGPT માટે સુલભ ઇન્ટરફેસ આપવાથી અમને એવા મુદ્દાઓ પર મૂલ્યવાન વપરાશકર્તા પ્રતિસાદ મળશે જેના વિશે અમને પહેલેથી જાણ નથી.
વપરાશકર્તાઓને UI મારફતે સમસ્યાજનક મોડલ આઉટપુટ વિશે પ્રતિસાદ આપવા પ્રોત્સાહિત કરવામાં આવે છે, તેમજ ઇન્ટરફેસનો ભાગ એવા બાહ્ય સામગ્રી ફિલ્ટરમાંથી મળતા ખોટા હકારાત્મક/નકારાત્મક પરિણામો વિશે પણ. ખાસ કરીને, અમને એવા હાનિકારક આઉટપુટ અંગેનો પ્રતિસાદ રસપ્રદ લાગે છે જે વાસ્તવિક દુનિયાની, બિન-વિરોધી પરિસ્થિતિઓમાં બની શકે, તેમજ એવો પ્રતિસાદ જે અમને નવા જોખમો અને સંભવિત ઉપાયો શોધવા અને સમજવામાં મદદ કરે. તમે ChatGPT Feedback Contest(નવી વિન્ડોમાં ખૂલે છે)3 માં પ્રવેશ કરવાનો વિકલ્પ પસંદ કરી શકો છો, જેથી API ક્રેડિટમાં $500 સુધી જીતવાની તક મળે.A એન્ટ્રીઓ ChatGPT ઇન્ટરફેસમાં જોડાયેલા પ્રતિસાદ ફોર્મ દ્વારા મોકલી શકાય છે.
અમે આ રિલીઝમાંથી મળેલા પાઠોને વધુ ક્ષમતા ધરાવતી સિસ્ટમોની તહેનાતીમાં લઈને જવા ઉત્સાહિત છીએ, જેમ અગાઉની તહેનાતીએ આ રિલીઝને માર્ગદર્શન આપ્યું હતું.
ફૂટનોટ્સ
- A
ખરીદી જરૂરી નથી, જ્યાં પ્રતિબંધિત હોય ત્યાં અમાન્ય. પ્રવેશ માટે ઓછામાં ઓછા 18 વર્ષ હોવા જોઈએ. સ્પર્ધાની વિગતો માટે સત્તાવાર નિયમો(નવી વિન્ડોમાં ખૂલે છે) જુઓ.
સંદર્ભો
- 1
Stiennon, Nisan, et al. “માનવીય ફીડબેક સાથે સારાંશ શીખવું(નવી વિન્ડોમાં ખૂલે છે).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. “રિવોર્ડ મોડલ ઓવરઑપ્ટિમાઇઝેશન માટેના સ્કેલિંગ નિયમો(નવી વિન્ડોમાં ખૂલે છે).” arXiv preprint arXiv:2210.10760 (2022).
- 3
આ સ્પર્ધા માટેની પ્રેરણા ભાગે Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, અને Joy Buolamwini ના કાર્યમાંથી આવે છે. એલ્ગોરિધમિક હાનિ માટે બગ બાઉન્ટી? એલ્ગોરિધમિક હાનિની શોધ, જાહેરખબર અને નિવારણ માટે સાઇબરસિક્યુરિટી નબળાઈ ખુલાસામાંથી પાઠ. Washington, DC: Algorithmic Justice League. January 2022. ઉપલબ્ધ: https://ajl.org/bugs(નવી વિન્ડોમાં ખૂલે છે). આ ઉપરાંત Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, અને Gretchen Krueger et al. નું “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,” April 2020 પણ જુઓ. ઉપલબ્ધ: https://arxiv.org/abs/2004.07213(નવી વિન્ડોમાં ખૂલે છે). આવી સ્પર્ધાનું પહેલું ઉદાહરણ HackerOne પર જુઓ. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(નવી વિન્ડોમાં ખૂલે છે). અંતમાં, આ વિષય પર Rubinovitz, JB નું પ્રારંભિક પ્રકાશિત કાર્ય “Bias Bounty Programs as a Method of Combatting Bias in AI,” August 2018 જુઓ. ઉપલબ્ધ: https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(નવી વિન્ડોમાં ખૂલે છે).
લેખક
આભારવિદિ
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
