સૂચનાઓનું પાલન કરવા માટે લેન્ગ્વેજ મોડલોનું અલાઇનમેન્ટ

અમે અમારી અલાઇનમેન્ટ રિસર્ચ દ્વારા વિકસિત ટેક્નિક્સનો ઉપયોગ કરીને એવા લેન્ગ્વેજ મોડલો ટ્રેન કર્યા છે, જે GPT‑3 કરતાં વપરાશકર્તાના ઇરાદાઓનું પાલન કરવામાં ઘણાં વધુ સારા છે, સાથે સાથે વધુ સત્યવાદી અને ઓછા ઝેરી પણ છે. આ InstructGPT મોડલો, જે માનવોને પ્રક્રિયામાં રાખીને ટ્રેન કરવામાં આવ્યા છે, હવે અમારી API પર ડિફૉલ્ટ લેન્ગ્વેજ મોડલો તરીકે ડિપ્લોય છે.

OpenAI API GPT‑3 લેન્ગ્વેજ મોડલોથી સંચાલિત છે⁠ જે કાળજીપૂર્વક તૈયાર કરાયેલા ટેક્સ્ટ પ્રોમ્પ્ટ્સનો ઉપયોગ કરીને નેચરલ લેન્ગ્વેજ ટાસ્ક કરી શકે તે રીતે પ્રેરિત કરી શકાય છે. પરંતુ આ મોડલો એવા આઉટપુટ્સ પણ જનરેટ કરી શકે છે જે અસત્ય હોય, ઝેરી હોય અથવા હાનિકારક ભાવનાઓ દર્શાવતા હોય. એવું ભાગે એ કારણે છે કે GPT‑3ને વપરાશકર્તા ઇચ્છે તે ભાષા કાર્યને સલામત રીતે કરવા બદલે ઇન્ટરનેટ ટેક્સ્ટના મોટા ડેટાસેટ પર આગલું શબ્દ ભાખવા માટે ટ્રેન કરવામાં આવ્યું છે. બીજા શબ્દોમાં કહીએ તો, આ મોડલો તેમના વપરાશકર્તાઓ સાથે અલાઇન નથી.

અમારા મોડલોને વધુ સલામત, વધુ મદદરૂપ અને વધુ અલાઇન બનાવવા માટે, અમે હ્યુમન ફીડબેકથી રીઇન્ફોર્સમેન્ટ લર્નિંગ (RLHF)⁠ નામની એક હાલની ટેક્નિક વાપરીએ છીએ. API પર અમારા ગ્રાહકો દ્વારા સબમિટ કરાયેલા પ્રોમ્પ્ટ્સ પર,^A અમારા લેબલર્સ ઇચ્છિત મોડલ વર્તનની ડેમોન્સ્ટ્રેશન્સ આપે છે અને અમારા મોડલોના અનેક આઉટપુટ્સને ક્રમ આપે છે. પછી અમે આ ડેટાનો ઉપયોગ GPT‑3ને ફાઇન-ટ્યુન કરવા માટે કરીએ છીએ.

પરિણામરૂપે મળેલા InstructGPT મોડલો GPT‑3 કરતાં સૂચનાઓનું પાલન કરવામાં ઘણાં વધુ સારા છે. તેઓ ઓછી વાર તથ્યો ઘડે છે અને ઝેરી આઉટપુટ જનરેશનમાં થોડો ઘટાડો પણ દર્શાવે છે. અમારા લેબલર્સ અમારા 1.3B InstructGPT મોડલના આઉટપુટ્સને 175B GPT‑3 મોડલના આઉટપુટ્સ કરતાં વધુ પસંદ કરે છે, ભલે તેમાં 100x કરતાં વધુ ઓછા પેરામીટર્સ હોય. સાથે સાથે, અમે બતાવીએ છીએ કે અમારી મોડલની શૈક્ષણિક NLP મૂલ્યાંકનો પરની કામગીરી દ્વારા માપવામાં આવે તેમ GPT‑3ની ક્ષમતાઓ પર અમારે સમજૂતી કરવાની જરૂર નથી.

આ InstructGPT મોડલો, જે API પર એક વર્ષથી વધુ સમયથી બેટામાં છે, હવે અમારી API પર ઉપલબ્ધ ડિફૉલ્ટ લેન્ગ્વેજ મોડલો છે.^B અમે માનીએ છીએ કે માનવોને પ્રક્રિયામાં રાખીને લેન્ગ્વેજ મોડલોને ફાઇન-ટ્યુન કરવું તેમની સલામતી અને વિશ્વસનીયતા સુધારવા માટે એક શક્તિશાળી સાધન છે, અને અમે આ દિશામાં આગળ વધતા રહીશું.

આ પહેલી વાર છે કે અમારી અલાઇનમેન્ટ રિસર્ચ, જેને અમે ઘણા વર્ષોથી આગળ ધપાવી⁠ રહ્યા છીએ,^{1, 2, 3} અમારા પ્રોડક્ટ પર લાગુ કરવામાં આવી છે. અમારું કાર્ય તાજેતરના તે સંશોધન સાથે પણ સંબંધિત છે જે શૈક્ષણિક NLP ડેટાસેટ્સનો ઉપયોગ કરીને સૂચનાઓનું પાલન કરવા માટે લેન્ગ્વેજ મોડલોને ફાઇન-ટ્યુન કરે છે, ખાસ કરીને FLAN⁴ અને T0.⁵ અમારું કામ કરવા પાછળનો એક મુખ્ય હેતુ મદદરૂપતા અને સત્યવાદિતા વધારવાનો છે, સાથે સાથે લેન્ગ્વેજ મોડલોના નુકસાન અને પૂર્વગ્રહોને ઓછા કરવાનો છે.^{6, 7, 8, 9, 10} આ દિશામાં થયેલા અમારા અગાઉના કેટલાક સંશોધન⁠માં જાણવા મળ્યું હતું કે અમે માનવીય ડેમોન્સ્ટ્રેશન્સના નાના ક્યુરેટેડ ડેટાસેટ પર ફાઇન-ટ્યુનિંગ કરીને હાનિકારક આઉટપુટ્સ ઘટાડી શકીએ છીએ.¹¹ અન્ય સંશોધન પ્રી-ટ્રેનિંગ ડેટાસેટને ફિલ્ટર કરવા,¹² સલામતી-વિશિષ્ટ કન્ટ્રોલ ટોકન્સ,^{13, 14} અથવા મોડલ જનરેશન્સને દિશા આપવા પર કેન્દ્રિત રહ્યું છે.^{15, 16} અમે અમારી ચાલુ અલાઇનમેન્ટ રિસર્ચમાં આ અને અન્ય વિચારોનું અન્વેષણ કરી રહ્યા છીએ.

અમે પ્રથમ મૂલ્યાંકન કરીએ છીએ કે InstructGPTના આઉટપુટ્સ વપરાશકર્તાની સૂચનાઓનું કેટલું સારું પાલન કરે છે, જેમાં લેબલર્સ તેના આઉટપુટ્સની GPT‑3ના આઉટપુટ્સ સાથે તુલના કરે છે. અમે જોયું કે API પર InstructGPT અને GPT‑3 બંને મોડલોને સબમિટ કરાયેલા પ્રોમ્પ્ટ્સ પર InstructGPT મોડલોને નોંધપાત્ર રીતે વધુ પસંદ કરવામાં આવે છે. જ્યારે અમે GPT‑3 પ્રોમ્પ્ટમાં એક પ્રિફિક્સ ઉમેરીએ છીએ જેથી તે “instruction-following mode”માં પ્રવેશે, ત્યારે પણ આ સાચું રહે છે.

અમારા મોડલોની સલામતી માપવા માટે, અમે મુખ્યત્વે જાહેર રીતે ઉપલબ્ધ ડેટાસેટ્સ પરની હાલની મેટ્રિક્સનો એક સમૂહ વાપરીએ છીએ. GPT‑3ની સરખામણીએ, InstructGPT ઓછી અનુરૂપ ખોટી વાતો ઉત્પન્ન કરે છે (TruthfulQA¹⁷ અનુસાર) અને ઓછું ઝેરી છે (RealToxicityPrompts¹⁸ અનુસાર). અમે અમારી API પ્રોમ્પ્ટ વિતરણ પર માનવીય મૂલ્યાંકન પણ કરીએ છીએ અને જોયું કે InstructGPT ઓછી વાર તથ્યો ઘડે છે (“hallucinates”) અને વધુ યોગ્ય આઉટપુટ્સ જનરેટ કરે છે.^C

અંતમાં, અમે જોયું કે અમારી ગ્રાહક વિતરણ પર InstructGPTના આઉટપુટ્સ FLAN⁴ અને T0⁵ ના આઉટપુટ્સ કરતાં વધુ પસંદ કરવામાં આવે છે. આ દર્શાવે છે કે FLAN અને T0ને ટ્રેન કરવા માટે વપરાયેલ ડેટા, મુખ્યત્વે શૈક્ષણિક NLP કાર્યો, ડિપ્લોય કરાયેલા લેન્ગ્વેજ મોડલોનો વાસ્તવમાં કેવી રીતે ઉપયોગ થાય છે તેનું સંપૂર્ણ પ્રતિનિધિત્વ કરતું નથી.

InstructGPT મોડલોને ટ્રેન કરવા માટે, અમારી મુખ્ય ટેક્નિક હ્યુમન ફીડબેકથી રીઇન્ફોર્સમેન્ટ લર્નિંગ (RLHF)⁠ છે, જે એક એવી પદ્ધતિ છે જેને અમારી અગાઉની અલાઇનમેન્ટ રિસર્ચમાં અમે આગળ વધારવામાં મદદ કરી હતી. આ ટેક્નિક અમારા મોડલોને ફાઇન-ટ્યુન કરવા માટે માનવીય પસંદગીઓને રિવોર્ડ સિગ્નલ તરીકે વાપરે છે, જે મહત્વપૂર્ણ છે કારણ કે અમે ઉકેલવા ઇચ્છતા સલામતી અને અલાઇનમેન્ટના પ્રશ્નો જટિલ અને વિષયક છે, અને તેઓ સરળ સ્વચાલિત મેટ્રિક્સથી સંપૂર્ણપણે સમાઈ જતા નથી.

અમે પ્રથમ અમારી API પર સબમિટ કરાયેલા પ્રોમ્પ્ટ્સ પર માનવો દ્વારા લખાયેલી ડેમોન્સ્ટ્રેશન્સનો ડેટાસેટ એકત્ર કરીએ છીએ અને તેનો ઉપયોગ અમારા સુપરવાઇઝ્ડ લર્નિંગ બેસલાઇન્સને ટ્રેન કરવા માટે કરીએ છીએ. પછી, API પ્રોમ્પ્ટ્સના મોટા સમૂહ પર બે મોડલ આઉટપુટ્સ વચ્ચે માનવો દ્વારા લેબલ કરાયેલ તુલનાઓનો ડેટાસેટ એકત્ર કરીએ છીએ. ત્યારબાદ અમે આ ડેટાસેટ પર એક રિવોર્ડ મોડલ (RM) ટ્રેન કરીએ છીએ જેથી અમારા લેબલર્સ કયો આઉટપુટ પસંદ કરશે તેની આગાહી કરી શકાય. અંતે, અમે આ RMને રિવોર્ડ ફંક્શન તરીકે વાપરીએ છીએ અને PPO algorithm⁠ નો ઉપયોગ કરીને આ રિવોર્ડ મહત્તમ કરવા માટે અમારી GPT‑3 પોલિસીને ફાઇન-ટ્યુન કરીએ છીએ.

આ પ્રક્રિયાને સમજવાનો એક રસ્તો એ છે કે તે GPT‑3માં પહેલેથી રહેલી ક્ષમતાઓને “unlock” કરે છે, પરંતુ માત્ર પ્રોમ્પ્ટ એન્જિનિયરિંગથી બહાર લાવવી મુશ્કેલ હતી: એવું એ કારણે છે કે અમારી ટ્રેનિંગ પ્રક્રિયાની મોડલને નવી ક્ષમતાઓ શીખવવાની ક્ષમતા પ્રી-ટ્રેનિંગ દરમિયાન શીખવામાં આવેલા મુદ્દાઓની સરખામણીએ મર્યાદિત છે, કારણ કે તે મોડલ પ્રી-ટ્રેનિંગની સરખામણીએ 2%થી ઓછા કમ્પ્યુટ અને ડેટાનો ઉપયોગ કરે છે.

આ અભિગમની એક મર્યાદા એ છે કે તે “અલાઇનમેન્ટ ટેક્સ” લાવે છે: મોડલોને માત્ર ગ્રાહક કાર્યો પર અલાઇન કરવાથી કેટલાક અન્ય શૈક્ષણિક NLP કાર્યો પર તેમની કામગીરી ખરાબ થઈ શકે છે. આ અનિચ્છનીય છે કારણ કે જો અમારી અલાઇનમેન્ટ ટેક્નિક્સ લોકો માટે મહત્વપૂર્ણ કાર્યો પર મોડલોને ખરાબ બનાવે, તો વ્યવહારમાં તેમની અપનાવવાની શક્યતા ઓછી રહે છે. અમે એક સરળ અલ્ગોરિધમિક ફેરફાર શોધ્યો છે જે આ અલાઇનમેન્ટ ટેક્સને ઓછો કરે છે: RL ફાઇન-ટ્યુનિંગ દરમિયાન અમે GPT‑3ને ટ્રેન કરવા માટે વપરાયેલા મૂળ ડેટાનો નાનો ભાગ મિક્સ કરીએ છીએ, અને આ ડેટા પર સામાન્ય લોગ લાઈકલીહૂડ મહત્તમીકરણનો ઉપયોગ કરીને ટ્રેન કરીએ છીએ.^D આ સલામતી અને માનવીય પસંદગીઓ પરની કામગીરીને લગભગ જાળવી રાખે છે, સાથે સાથે શૈક્ષણિક કાર્યો પરની કામગીરીમાં ઘટાડો પણ ઓછો કરે છે, અને કેટલાંક કિસ્સાઓમાં તો GPT‑3 બેસલાઇનને પણ પાછળ મૂકે છે.

અમારી પ્રક્રિયા અમારા મોડલોના વર્તનને અમારા લેબલર્સની પસંદગીઓ સાથે અલાઇન કરે છે, જે સીધો જ અમારા મોડલોને ટ્રેન કરવા માટે વપરાતા ડેટા બનાવે છે, અને અમે સંશોધકો, જે લખિત સૂચનાઓ, ચોક્કસ ઉદાહરણો પર સીધો પ્રતિસાદ અને અનૌપચારિક વાતચીત દ્વારા લેબલર્સને માર્ગદર્શન આપીએ છીએ. તે અમારા ગ્રાહકો અને અમારી API નીતિઓમાં નિહિત પસંદગીઓથી પણ પ્રભાવિત થાય છે. અમે એવા લેબલર્સ પસંદ કર્યા જેમણે સંવેદનશીલ પ્રોમ્પ્ટ્સને ઓળખવા અને તેનો પ્રતિસાદ આપવા માટેની ક્ષમતા અંગેની સ્ક્રીનિંગ ટેસ્ટમાં સારો દેખાવ કર્યો હતો. તેમ છતાં, ડેટા પર પ્રભાવના આ વિવિધ સ્ત્રોતો એ ખાતરી આપતા નથી કે અમારા મોડલો કોઈ વધુ વ્યાપક જૂથની પસંદગીઓ સાથે અલાઇન છે.

આની તપાસ માટે અમે બે પ્રયોગો કર્યા. પ્રથમ, અમે GPT‑3 અને InstructGPTનું મૂલ્યાંકન હેલ્ડ-આઉટ લેબલર્સ^E દ્વારા કર્યું, જેમણે કોઈપણ ટ્રેનિંગ ડેટા બનાવ્યું નહોતું, અને અમે જોયું કે આ લેબલર્સ InstructGPT મોડલોના આઉટપુટ્સને લગભગ એ જ દરે પસંદ કરે છે જેમ અમારા ટ્રેનિંગ લેબલર્સ કરે છે. બીજું, અમે અમારા કેટલાક લેબલર્સના ડેટા પર રિવોર્ડ મોડલો ટ્રેન કર્યા, અને જોયું કે તેઓ લેબલર્સના અન્ય અલગ સમૂહની પસંદગીઓની આગાહી કરવા માટે સારી રીતે સામાન્યકરણ કરે છે. આ સૂચવે છે કે અમારા મોડલો માત્ર અમારા ટ્રેનિંગ લેબલર્સની પસંદગીઓ પર જ ઓવરફિટ થયા નથી. જોકે, આ મોડલો વપરાશકર્તાઓના વધુ વ્યાપક જૂથો પર કેવી રીતે કાર્ય કરે છે, અને એવા ઇનપુટ્સ પર કેવી રીતે કાર્ય કરે છે જ્યાં માનવો ઇચ્છિત વર્તન અંગે અસહમત હોય છે, તેનો અભ્યાસ કરવા માટે વધુ કામની જરૂર છે.

મહત્ત્વપૂર્ણ પ્રગતિ છતાં, અમારા InstructGPT મોડલો સંપૂર્ણપણે અલાઇન અથવા સંપૂર્ણપણે સલામત થવાથી હજુ ઘણાં દૂર છે; તેઓ હજુ પણ ઝેરી અથવા પૂર્વગ્રહપૂર્ણ આઉટપુટ્સ જનરેટ કરે છે, તથ્યો ઘડે છે, અને સ્પષ્ટ પ્રોમ્પ્ટિંગ વિના યૌન અને હિંસક સામગ્રી જનરેટ કરે છે. પરંતુ મશીન લર્નિંગ સિસ્ટમની સલામતી માત્ર મૂળભૂત મોડલોના વર્તન પર જ નહીં, પરંતુ આ મોડલો કેવી રીતે ડિપ્લોય થાય છે તેના પર પણ આધાર રાખે છે. અમારી APIની સલામતીને ટેકો આપવા માટે, અમે લાઇવ થાય તે પહેલાં સંભવિત એપ્લિકેશનોની સમીક્ષા⁠(નવી વિન્ડોમાં ખૂલે છે) કરવાનું, અસુરક્ષિત પૂર્ણતાઓ શોધવા માટે કન્ટેન્ટ ફિલ્ટર્સ આપવાનું અને દુરુપયોગ માટે દેખરેખ રાખવાનું ચાલુ રાખીશું.

અમારા મોડલોને વપરાશકર્તાની સૂચનાઓનું પાલન કરવાનું ટ્રેન કરવાનો એક ઉપઉત્પાદન એ છે કે જો તેમને અસુરક્ષિત આઉટપુટ્સ જનરેટ કરવાની સૂચના આપવામાં આવે તો તેઓ દુરુપયોગ માટે વધુ સંવેદનશીલ બની શકે છે. આ ઉકેલવા માટે અમારા મોડલોને કેટલીક સૂચનાઓનો ઇનકાર કરવો જરૂરી છે; વિશ્વસનીય રીતે આવું કરવું એ એક મહત્વપૂર્ણ ખુલ્લી સંશોધન સમસ્યા છે, જેને ઉકેલવા માટે અમે ઉત્સાહિત છીએ.

આગળ, ઘણા કિસ્સાઓમાં સરેરાશ લેબલરની પસંદગી સાથે અલાઇન કરવું ઇચ્છનીય ન હોઈ શકે. ઉદાહરણ તરીકે, જ્યારે એવો ટેક્સ્ટ જનરેટ થાય જે અલ્પસંખ્યક જૂથને અસમાનપણે અસર કરે, ત્યારે તે જૂથની પસંદગીઓને વધુ વજન આપવું જોઈએ. હાલમાં, InstructGPTને અંગ્રેજીમાં સૂચનાઓનું પાલન કરવા માટે ટ્રેન કરવામાં આવે છે; તેથી, તે અંગ્રેજી બોલતા લોકોના સાંસ્કૃતિક મૂલ્યો તરફ પૂર્વગ્રહિત છે. અમે લેબલર્સની પસંદગીઓ વચ્ચેના ભેદ અને અસહમતિને સમજવા માટે સંશોધન કરી રહ્યા છીએ જેથી અમે અમારા મોડલોને વધુ ચોક્કસ વસ્તીના મૂલ્યો પર કન્ડિશન કરી શકીએ. વધુ સામાન્ય રીતે, મોડલ આઉટપુટ્સને ચોક્કસ માનવોના મૂલ્યો સાથે અલાઇન કરવાથી સામાજિક અસર ધરાવતા મુશ્કેલ પસંદગીઓ ઊભી થાય છે, અને અંતે આ નિર્ણયો લેવા માટે અમારે જવાબદાર અને સમાવેશી પ્રક્રિયાઓ સ્થાપિત કરવી પડશે.

આ અમારી અલાઇનમેન્ટ રિસર્ચનો અમારા પ્રોડક્ટ પરનો પહેલો ઉપયોગ છે. અમારા પરિણામો બતાવે છે કે આ ટેક્નિક્સ સામાન્ય હેતુવાળી AI સિસ્ટમોને માનવીય ઇરાદાઓ સાથેના અલાઇનમેન્ટમાં નોંધપાત્ર સુધારો કરવા માટે અસરકારક છે. જોકે, આ તો માત્ર શરૂઆત છે: અમે આ ટેક્નિક્સને આગળ ધપાવતા રહીશું જેથી અમારા વર્તમાન અને ભવિષ્યના મોડલોનું અલાઇનમેન્ટ માનવો માટે સલામત અને ઉપયોગી ભાષા સાધનો તરફ વધુ સુધરે.

જો તમને આ સંશોધન દિશાઓમાં રસ હોય, તો અમે ભરતી કરી રહ્યા છીએ⁠(નવી વિન્ડોમાં ખૂલે છે)!