અમે GPT‑4 બનાવ્યું છે, જે OpenAIના ડીપ લર્નિંગનું સ્કેલિંગ વધારવાના પ્રયત્નમાં નવીનતમ માઇલસ્ટોન છે. GPT‑4 એક મોટું મલ્ટીમોડલ મોડલ છે (જે છબી અને લખાણ ઇનપુટ્સ સ્વીકારે છે અને લખાણ આઉટપુટ્સ આપે છે) જે, વાસ્તવિક દુનિયાની ઘણી પરિસ્થિતિઓમાં માનવો કરતાં ઓછી ક્ષમતા ધરાવતું હોવા છતાં, વિવિધ વ્યાવસાયિક અને શૈક્ષણિક બેન્ચમાર્ક્સ પર માનવ-સ્તરનું પ્રદર્શન દર્શાવે છે. ઉદાહરણ તરીકે, તે સિમ્યુલેટેડ bar exam માં પરીક્ષા આપનારા લોકોના ટોચના 10% જેટલા સ્કોર સાથે પાસ થાય છે; તેની સામે, GPT‑3.5નો સ્કોર નીચલા 10% જેટલો હતો. અમે 6 મહિના સુધી વિરોધી પરીક્ષણ કાર્યક્રમમાંથી મળેલા પાઠો તથા ChatGPTના આધારે GPT‑4ને પુનરાવર્તિત રીતે align કર્યું છે, જેના પરિણામે factuality, steerability અને guardrailsની બહાર જવાનું નકારવામાં અમારી અત્યાર સુધીની શ્રેષ્ઠ પરિણામો મળ્યાં છે (જોકે સંપૂર્ણથી ઘણાં દૂર).
ગયા બે વર્ષમાં, અમે અમારી સંપૂર્ણ ડીપ લર્નિંગ સ્ટેક ફરીથી બનાવી અને Azure સાથે મળીને અમારા વર્કલોડ માટે શરૂઆતથી સુપરકમ્પ્યુટરનું સહ-ડિઝાઇન કર્યું. એક વર્ષ પહેલાં, અમે GPT‑3.5 ને સિસ્ટમના પ્રથમ “ટેસ્ટ રન” તરીકે ટ્રેઇન કર્યું હતું. અમે કેટલીક ભૂલો શોધી અને સુધારી અને અમારી સૈદ્ધાંતિક પાયાને વધુ મજબૂત બનાવ્યા. તેના પરિણામે, અમારી GPT‑4 ટ્રેનિંગ રન (ઓછામાં ઓછું અમારા માટે!) અદ્વિતીય રીતે સ્થિર રહી, અને તે અમારું પહેલું મોટું મોડલ બન્યું જેના ટ્રેનિંગ પ્રદર્શનની અમે અગાઉથી ચોક્કસ આગાહી કરી શક્યા. જેમ જેમ અમે વિશ્વસનીય સ્કેલિંગ પર ધ્યાન કેન્દ્રિત રાખીએ છીએ, તેમ તેમ ભવિષ્યની ક્ષમતાઓની વધુ પહેલાંથી આગાહી અને તૈયારી કરવામાં મદદરૂપ થાય તેવી અમારી પદ્ધતિને વધુ પરિષ્કૃત કરવાની અમારી ઇચ્છા છે—જેને અમે સલામતી માટે નિર્ણાયક માનીએ છીએ.
અમે ChatGPT અને API મારફતે GPT‑4ની લખાણ ઇનપુટ ક્ષમતા (એક વેટલિસ્ટ સાથે) રિલીઝ કરી રહ્યા છીએ. છબી ઇનપુટ ક્ષમતાને વધુ વ્યાપક ઉપલબ્ધતા માટે તૈયાર કરવા, અમે શરૂઆતમાં એકમાત્ર ભાગીદાર(નવી વિન્ડોમાં ખૂલે છે) સાથે નજીકથી સહકાર કરી રહ્યા છીએ. અમે OpenAI Evals(નવી વિન્ડોમાં ખૂલે છે) ને પણ ઓપન-સોર્સ કરી રહ્યા છીએ, જે AI મોડલ પ્રદર્શનના સ્વચાલિત મૂલ્યાંકન માટેનું અમારું ફ્રેમવર્ક છે, જેથી કોઈપણ વ્યક્તિ અમારા મોડલોમાં રહેલી ખામીઓ રિપોર્ટ કરી શકે અને આગળના સુધારાઓ માટે માર્ગદર્શન મળી શકે.
સામાન્ય વાતચીતમાં GPT‑3.5 અને GPT‑4 વચ્ચેનો ફરક સૂક્ષ્મ હોઈ શકે છે. કાર્યની જટિલતા પૂરતી મર્યાદા સુધી પહોંચે ત્યારે ફરક સ્પષ્ટ થાય છે—GPT‑4 વધુ વિશ્વસનીય, વધુ સર્જનાત્મક છે, અને GPT‑3.5 કરતાં ઘણી વધુ સૂક્ષ્મ સૂચનાઓ સંભાળી શકે છે.
બંને મોડલો વચ્ચેનો તફાવત સમજવા માટે, અમે વિવિધ બેન્ચમાર્ક્સ પર પરીક્ષણ કર્યું, જેમાં મૂળ માનવો માટે રચાયેલ પરીક્ષાઓના સિમ્યુલેશનનો પણ સમાવેશ થાય છે. અમે તાજેતરની જાહેરમાં ઉપલબ્ધ પરીક્ષાઓનો ઉપયોગ કર્યો હતો (ઓલિમ્પિયાડ્સ અને AP ફ્રી રિસ્પોન્સ પ્રશ્નોના કેસમાં) અથવા 2022–2023ની પ્રેક્ટિસ પરીક્ષાઓની આવૃત્તિઓ ખરીદી હતી. આ પરીક્ષાઓ માટે અમે કોઈ વિશિષ્ટ ટ્રેનિંગ કર્યું નહોતું. પરીક્ષાઓમાંના થોડા પ્રશ્નો ટ્રેનિંગ દરમિયાન મોડલે જોયા હતા, પરંતુ અમને લાગે છે કે પરિણામો પ્રતિનિધિરૂપ છે—વિગતો માટે અમારી તકનીકી રિપોર્ટ(નવી વિન્ડોમાં ખૂલે છે) જુઓ.
આંતરિક સંદર્ભ 1
અમે GPT‑4નું મૂલ્યાંકન પરંપરાગત બેન્ચમાર્ક્સ પર પણ કર્યું જે મશીન લર્નિંગ મોડલો માટે રચાયા છે. GPT‑4 હાલના મોટા ભાષા મોડલો ઉપરાંત, મોટાભાગના state-of-the-art (SOTA) મોડલો કરતાં પણ ઘણું સારું પ્રદર્શન કરે છે, જેમાં બેન્ચમાર્ક-વિશિષ્ટ કારીગરી અથવા વધારાના ટ્રેનિંગ પ્રોટોકોલ્સ સામેલ હોઈ શકે છે:
ઘણા હાલના ML બેન્ચમાર્ક્સ અંગ્રેજીમાં લખાયેલા છે. અન્ય ભાષાઓમાં ક્ષમતાનો પ્રારંભિક અંદાજ મેળવવા માટે, અમે MMLU બેન્ચમાર્ક—57 વિષયો આવરી લેતા 14,000 મલ્ટિપલ-ચોઇસ પ્રશ્નોની શ્રેણી—Azure Translate નો ઉપયોગ કરીને અનેક ભાષાઓમાં અનુવાદિત કર્યો (જુઓ પરિશિષ્ટ). પરીક્ષણ કરાયેલી 26માંથી 24 ભાષાઓમાં, GPT‑4 GPT‑3.5 અને અન્ય LLMs (Chinchilla, PaLM)ના અંગ્રેજી-ભાષા પ્રદર્શન કરતાં સારું કરે છે, જેમાં Latvian, Welsh, અને Swahili જેવી ઓછી સંસાધનવાળી ભાષાઓ પણ સામેલ છે:
અમે GPT‑4 નો આંતરિક ઉપયોગ પણ કર્યો છે, support, sales, content moderation અને programming જેવી કામગીરીઓ પર મોટા પ્રભાવ સાથે. અમે તેનો ઉપયોગ માનવોને AI આઉટપુટ્સનું મૂલ્યાંકન કરવામાં સહાય કરવા માટે પણ કરી રહ્યા છીએ, જે અમારી alignment strategy ના બીજા તબક્કાની શરૂઆત કરે છે.
GPT‑4 લખાણ અને છબીઓનો પ્રોમ્પ્ટ સ્વીકારી શકે છે, જે—માત્ર-લખાણ સેટિંગની સમાન રીતે—વપરાશકર્તાને કોઈપણ વિઝન અથવા ભાષા કાર્ય નિર્ધારિત કરવાની પરવાનગી આપે છે. ખાસ કરીને, તે લખાણ આઉટપુટ્સ (પ્રાકૃતિક ભાષા, કોડ વગેરે) પેદા કરે છે જ્યારે ઇનપુટ્સમાં લખાણ અને છબીઓ મિશ્રિત હોય છે. લખાણ અને ફોટોગ્રાફ્સ, ડાયાગ્રામ્સ અથવા સ્ક્રીનશોટ્સ ધરાવતા દસ્તાવેજો સહિત અનેક ક્ષેત્રોમાં GPT‑4 માત્ર-લખાણ ઇનપુટ્સ પર જેવું કરે છે તેવી જ ક્ષમતાઓ દર્શાવે છે. ઉપરાંત, તેને માત્ર-લખાણ ભાષા મોડલો માટે વિકસાવાયેલી ટેસ્ટ-સમય તકનીકો, જેમ કે ફ્યુ-શોટ અને ચેન-ઓફ-થોટ(નવી વિન્ડોમાં ખૂલે છે) પ્રોમ્પ્ટિંગથી વધારી શકાય છે. છબી ઇનપુટ્સ હજી સંશોધન પૂર્વદર્શન છે અને જાહેરમાં ઉપલબ્ધ નથી.
અમે પ્રમાણભૂત શૈક્ષણિક વિઝન બેન્ચમાર્ક્સની સંકુચિત શ્રેણી પર GPT‑4નું મૂલ્યાંકન કરીને તેના પ્રદર્શનની પૂર્વઝાંખી આપીએ છીએ. જોકે, આ આંકડા તેની ક્ષમતાની સંપૂર્ણ વ્યાપ્તિ દર્શાવતા નથી, કારણ કે અમે સતત નવા અને રોમાંચક કાર્યો શોધી રહ્યા છીએ જે મોડલ સંભાળી શકે છે. અમે ટૂંક સમયમાં વધુ વિશ્લેષણો અને મૂલ્યાંકન આંકડા, તેમજ ટેસ્ટ-સમય તકનીકોના પ્રભાવની સવિસ્તર તપાસ રજૂ કરવાની યોજના ધરાવીએ છીએ.
આંતરિક ફૂટનોટA
અમે AIsના વર્તનને વ્યાખ્યાયિત કરવું વિશેની અમારી પોસ્ટમાં દર્શાવેલી યોજનાના દરેક પાસા પર કામ કરી રહ્યા છીએ, જેમાં steerability પણ સામેલ છે. નક્કી verbosity, tone અને style ધરાવતા પરંપરાગત ChatGPT વ્યક્તિત્વની બદલે, ડેવલપર્સ (અને ટૂંક સમયમાં ChatGPT વપરાશકર્તાઓ) હવે “system” સંદેશમાં તે દિશાઓ વર્ણવીને તેમની AIની શૈલી અને કાર્ય નિર્ધારિત કરી શકે છે. System messages API વપરાશકર્તાઓને મર્યાદાઓની અંદર(નવી વિન્ડોમાં ખૂલે છે) તેમના વપરાશકર્તાઓનો અનુભવ નોંધપાત્ર રીતે કસ્ટમાઇઝ કરવાની મંજૂરી આપે છે. અમે અહીં સુધારા કરતા રહીશું (અને ખાસ કરીને જાણીએ છીએ કે system messages વર્તમાન મોડલને “જેલબ્રેક” કરવાની સૌથી સરળ રીત છે, એટલે કે, મર્યાદાઓનું પાલન પરફેક્ટ નથી), પરંતુ અમે તમને તેને અજમાવવા અને તમારો પ્રતિસાદ આપવા પ્રોત્સાહિત કરીએ છીએ.
તેની ક્ષમતાઓ હોવા છતાં, GPT‑4માં પહેલાંના GPT મોડલો જેવી જ મર્યાદાઓ છે. સૌથી મહત્વપૂર્ણ એ છે કે તે હજુ સંપૂર્ણ રીતે વિશ્વસનીય નથી (તે તથ્યો “hallucinate” કરે છે અને રિઝનિંગ ભૂલો કરે છે). ભાષા મોડલના આઉટપુટ્સનો ઉપયોગ કરતી વખતે, ખાસ કરીને ઉચ્ચ-દાવવાળા સંદર્ભોમાં, ખૂબ કાળજી રાખવી જોઈએ, અને ચોક્કસ પ્રોટોકોલ (જેમ કે માનવીય સમીક્ષા, વધારાના સંદર્ભ સાથે ગ્રાઉન્ડિંગ, અથવા આવા ઉપયોગો ટાળવા) નિર્ધારિત use-caseની જરૂરિયાતોને અનુરૂપ હોવો જોઈએ.
હજુ પણ વાસ્તવિક સમસ્યા હોવા છતાં, GPT‑4 અગાઉના મોડલોની સરખામણીએ hallucinations નોંધપાત્ર રીતે ઘટાડે છે (જે પોતે દરેક iteration સાથે સુધરતા આવ્યા છે). અમારી આંતરિક વિરોધી factuality evaluations પર GPT‑4 અમારી નવીનતમ GPT‑3.5 કરતાં 40% વધુ સ્કોર કરે છે:
TruthfulQA જેવા બાહ્ય બેન્ચમાર્ક્સ પર અમે પ્રગતિ કરી છે, જે મોડલની તથ્યને વિરોધી રીતે પસંદ કરાયેલા ખોટા નિવેદનોના સમૂહથી અલગ કરવાની ક્ષમતા ચકાસે છે. આ પ્રશ્નો તથ્યાત્મક રીતે ખોટા પણ આંકડાકીય રીતે આકર્ષક જવાબો સાથે જોડાયેલા હોય છે.
આ કાર્યમાં GPT‑4 બેઝ મોડલ GPT‑3.5 કરતાં માત્ર થોડું જ સારું છે; જોકે, RLHF પોસ્ટ-ટ્રેનિંગ પછી (અમે GPT‑3.5 સાથે જે જ પ્રક્રિયા વાપરી હતી તે લાગુ કરીને) મોટો અંતર જોવા મળે છે. નીચેના કેટલાક ઉદાહરણોમાં જોવા મળે છે કે GPT‑4 સામાન્ય કહેવતો પસંદ કરવાનું ટાળે છે (you can’t teach an old dog new tricks), છતાં તે સૂક્ષ્મ વિગતો ચૂકી શકે છે (Elvis Presley કોઈ અભિનેતાનો પુત્ર નહોતો).
મોડલના આઉટપુટ્સમાં વિવિધ પૂર્વગ્રહો હોઈ શકે છે—અમે તેમાં પ્રગતિ કરી છે પરંતુ હજુ ઘણું કરવાનું બાકી છે. અમારી તાજેતરની બ્લોગ પોસ્ટ મુજબ, અમે જે AI સિસ્ટમો બનાવીએ છીએ તેમાં વાજબી ડિફૉલ્ટ વર્તન હોય જે વપરાશકર્તાઓના વિશાળ વર્ગના મૂલ્યો પ્રતિબિંબિત કરે, તે સિસ્ટમોને વ્યાપક મર્યાદાઓની અંદર કસ્ટમાઇઝ કરી શકાય, અને આ મર્યાદાઓ કેવી હોવી જોઈએ તેના પર જનમતા મેળવી શકાય તેવો અમારો ઉદ્દેશ છે.
GPT‑4 ને તેના મોટાભાગના ડેટા જ્યાં સુધી સમાપ્ત થાય છે (September 2021) તે પછી થયેલી ઘટનાઓ અંગે સામાન્ય રીતે જ્ઞાન નથી, અને તે પોતાના અનુભવમાંથી શીખતું નથી. તે ક્યારેક સરળ રિઝનિંગ ભૂલો કરી શકે છે જે અનેક ક્ષેત્રોમાંની તેની ક્ષમતા સાથે સુસંગત લાગતી નથી, અથવા વપરાશકર્તાની સ્પષ્ટ ખોટી વાતોને સ્વીકારવામાં અતિશય ભોળું બની શકે છે. અને કેટલીકવાર તે કઠિન સમસ્યાઓમાં મનુષ્યો જેવી જ રીતે નિષ્ફળ પણ થઈ શકે છે, જેમ કે તે બનાવે છે તે કોડમાં સુરક્ષા નબળાઈઓ દાખલ કરવી.
GPT‑4 તેની આગાહીઓમાં આત્મવિશ્વાસપૂર્વક ખોટું પણ હોઈ શકે છે, જ્યારે ભૂલ થવાની શક્યતા હોય ત્યારે કામને ફરી ચકાસવામાં પૂરતું ધ્યાન ન આપતું. રસપ્રદ રીતે, મૂળ પ્રી-ટ્રેઇન્ડ મોડલ ખૂબ જ calibrated છે (જવાબમાં તેનું અનુમાનિત confidence સામાન્ય રીતે સાચું હોવાની સંભાવના સાથે મેળ ખાતું હોય છે). જોકે, અમારી હાલની પોસ્ટ-ટ્રેનિંગ પ્રક્રિયા દ્વારા આ calibration ઘટે છે.
અમે GPT‑4 ને વધુ સુરક્ષિત અને ટ્રેનિંગની શરૂઆતથી જ વધુ aligned બનાવવા માટે પુનરાવર્તિત સુધારાઓ કર્યા છે, જેમાં pretraining ડેટાની પસંદગી અને ફિલ્ટરિંગ, મૂલ્યાંકનો અને નિષ્ણાત સંકળાણ, મોડલ સલામતી સુધારાઓ, અને મોનિટરિંગ તથા અમલનો સમાવેશ થાય છે.
GPT‑4 પહેલાંના મોડલો જેવા જ જોખમો ઊભા કરે છે, જેમ કે હાનિકારક સલાહ, બગી કોડ, અથવા અચોક્કસ માહિતી ઉત્પન્ન કરવી. જોકે, GPT‑4ની વધારાની ક્ષમતાઓ નવા જોખમ વિસ્તારો પણ ઊભા કરે છે. આ જોખમોની વ્યાપ્તિ સમજવા માટે, અમે AI alignment risks, cybersecurity, biorisk, trust and safety, અને international security જેવા ક્ષેત્રોના 50થી વધુ નિષ્ણાતોને મોડલનું adversarial પરીક્ષણ કરવા જોડ્યા. તેમની શોધોએ ખાસ કરીને અમને ઊંચા-જોખમના એવા ક્ષેત્રોમાં મોડલ વર્તન ચકાસવામાં મદદ કરી જેને મૂલ્યાંકન કરવા નિષ્ણાતી જરૂરી છે. આ નિષ્ણાતોના પ્રતિસાદ અને ડેટાએ મોડલ માટેના અમારા ઉપશમન અને સુધારાઓમાં યોગદાન આપ્યું; ઉદાહરણ તરીકે, અમે GPT‑4ની જોખમી રસાયણો સંશ્લેષિત કરવાની વિનંતીઓને નકારવાની ક્ષમતા સુધારવા માટે વધારાનો ડેટા એકત્ર કર્યો છે.
GPT‑4 RLHF ટ્રેનિંગ દરમિયાન વધારાનો સલામતી રિવોર્ડ સિગ્નલ સમાવે છે જેથી હાનિકારક આઉટપુટ્સ (અમારી વપરાશ માર્ગદર્શિકા(નવી વિન્ડોમાં ખૂલે છે) મુજબ વ્યાખ્યાયિત) ઘટાડીને મોડલને આવા કન્ટેન્ટ માટેની વિનંતીઓને નકારવા ટ્રેઇન કરી શકાય. સલામતી-સંબંધિત પ્રોમ્પ્ટ્સ પર સલામતી મર્યાદાઓ અને completion styleનું મૂલ્યાંકન કરનાર GPT‑4 ઝીરો-શોટ ક્લાસિફાયર દ્વારા રિવોર્ડ આપવામાં આવે છે. મોડલ માન્ય વિનંતીઓને પણ નકારી ન દે તે માટે, અમે વિવિધ સ્ત્રોતોમાંથી વૈવિધ્યસભર ડેટાસેટ એકત્ર કરીએ છીએ (જેમ કે લેબલ કરાયેલ પ્રોડક્શન ડેટા, માનવીય red-teaming, મોડલ-જનરેટેડ પ્રોમ્પ્ટ્સ) અને સલામતી રિવોર્ડ સિગ્નલ (ધનાત્મક અથવા ઋણાત્મક મૂલ્ય સાથે) મંજૂર અને અમંજૂર બંને કેટેગરીઝ પર લાગુ કરીએ છીએ.
અમારા ઉપશમનોએ GPT‑3.5ની સરખામણીએ GPT‑4ના ઘણા સલામતી ગુણધર્મોમાં નોંધપાત્ર સુધારો કર્યો છે. અમે GPT‑3.5ની સરખામણીએ અમંજૂર કન્ટેન્ટ માટેની વિનંતીઓને પ્રતિસાદ આપવાની મોડલની વૃત્તિમાં 82% ઘટાડો કર્યો છે, અને GPT‑4 સંવેદનશીલ વિનંતીઓને (જેમ કે મેડિકલ સલાહ અને self-harm) અમારી નીતિઓ અનુસાર 29% વધુ વાર પ્રતિસાદ આપે છે.
એકંદરે, અમારી મોડલ-સ્તરની હસ્તક્ષેપો હાનિકારક વર્તન બહાર લાવવાનું વધુ મુશ્કેલ બનાવે છે, પરંતુ એવું કરવું હજુ પણ શક્ય છે. ઉપરાંત, એવી “જેલબ્રેક્સ” હજુ પણ અસ્તિત્વમાં છે જે અમારી વપરાશ માર્ગદર્શિકાનું ઉલ્લંઘન કરતી સામગ્રી પેદા કરે છે. AI સિસ્ટમોમાં “રિસ્ક પર ટોકન” વધે તેમ, આ હસ્તક્ષેપોમાં અત્યંત ઊંચી વિશ્વસનીયતા હાંસલ કરવી અગત્યની બનશે; હાલ માટે, આ મર્યાદાઓને દુરુપયોગની દેખરેખ જેવી ડીપ્લોયમેન્ટ-સમયની સલામતી તકનીકો સાથે પૂરક બનાવવું મહત્વનું છે.
GPT‑4 અને તેના અનુગામી મોડલોમાં સમાજને લાભદાયક તથા હાનિકારક બંને રીતે નોંધપાત્ર અસર કરવાની ક્ષમતા છે. સંભવિત પ્રભાવોને કેવી રીતે સમજવા અને આંકવા તે સુધારવા માટે અમે બાહ્ય સંશોધકો સાથે સહકાર કરી રહ્યા છીએ, તેમજ ભવિષ્યની સિસ્ટમોમાં ઊભી થઈ શકે તેવી જોખમી ક્ષમતાઓ માટે મૂલ્યાંકનો બનાવી રહ્યા છીએ. GPT‑4 અને અન્ય AI સિસ્ટમોના સંભવિત સામાજિક અને આર્થિક પ્રભાવ વિશે અમારી વિચારસરણી અમે ટૂંક સમયમાં વધુ શેર કરીશું.
અગાઉના GPT મોડલોની જેમ, GPT‑4 બેઝ મોડલને દસ્તાવેજમાં આગળનો શબ્દ અનુમાનવા માટે ટ્રેઇન કરવામાં આવ્યું હતું, અને તેને જાહેરમાં ઉપલબ્ધ ડેટા (જેમ કે ઇન્ટરનેટ ડેટા) તેમજ અમે લાઇસન્સ લીધેલા ડેટા વડે ટ્રેઇન કરવામાં આવ્યું હતું. આ ડેટા વેબ-સ્કેલ કોર્પસ છે જેમાં ગણિતના પ્રશ્નોના સાચા અને ખોટા ઉકેલો, નબળું અને મજબૂત રિઝનિંગ, સ્વ-વિરોધાભાસી અને સુસંગત નિવેદનો, તેમજ વિવિધ વિચારધારાઓ અને વિચારોનું પ્રતિનિધિત્વ સામેલ છે.
અત્યારે, પ્રશ્ન સાથે પ્રોમ્પ્ટ કરવામાં આવે ત્યારે, બેઝ મોડલ વપરાશકર્તાના આશયથી ઘણાં દૂર એવા અનેક પ્રકારના પ્રતિસાદ આપી શકે છે. તેને guardrailsની અંદર વપરાશકર્તાના આશય સાથે align કરવા માટે, અમે reinforcement learning with human feedback (RLHF) નો ઉપયોગ કરીને મોડલના વર્તનને fine-tune કરીએ છીએ.
નોંધો કે મોડલની ક્ષમતાઓ મુખ્યત્વે પ્રી-ટ્રેનિંગ પ્રક્રિયામાંથી આવે છે—RLHF પરીક્ષા પ્રદર્શન સુધારતું નથી (સક્રિય પ્રયત્ન વિના, તે હકીકતમાં તેને બગાડે છે). પરંતુ મોડલનું steering પોસ્ટ-ટ્રેનિંગ પ્રક્રિયામાંથી આવે છે—પ્રશ્નોના જવાબ આપવા જોઈએ એટલું જાણવામાં પણ બેઝ મોડલને પ્રોમ્પ્ટ એન્જિનિયરિંગની જરૂર પડે છે.
GPT‑4 પ્રોજેક્ટનું મોટું કેન્દ્રબિંદુ એવી ડીપ લર્નિંગ સ્ટેક બનાવવાનું રહ્યું છે જે અનુમાનિત રીતે સ્કેલ થાય. તેનું મુખ્ય કારણ એ છે કે GPT‑4 જેવા ખૂબ મોટા ટ્રેનિંગ રન્સ માટે વ્યાપક મોડલ-વિશિષ્ટ tuning કરવું શક્ય નથી. અમે એવી ઇન્ફ્રાસ્ટ્રક્ચર અને ઑપ્ટિમાઇઝેશન વિકસાવ્યું છે જે અનેક સ્કેલ્સ પર ખૂબ અનુમાનિત વર્તન ધરાવે છે. આ સ્કેલેબિલિટી ચકાસવા માટે, અમે 10,000x ઓછા compute વાપરી એ જ પદ્ધતિથી ટ્રેઇન કરેલા મોડલોમાંથી extrapolate કરીને અમારી આંતરિક કોડબેઝ (ટ્રેનિંગ સેટનો ભાગ નથી) પર GPT‑4નું અંતિમ loss અગાઉથી ચોક્કસ રીતે અનુમાનિત કર્યું:
હવે જ્યારે અમે ટ્રેનિંગ દરમિયાન optimize કરતા મેટ્રિક (loss)ની ચોક્કસ આગાહી કરી શકીએ છીએ, ત્યારે અમે વધુ સમજાય એવા મેટ્રિક્સની આગાહી કરવાની પદ્ધતિશાસ્ત્ર વિકસાવવાનું શરૂ કરી રહ્યા છીએ. ઉદાહરણ તરીકે, અમે HumanEval(નવી વિન્ડોમાં ખૂલે છે) ડેટાસેટના એક ઉપસમૂહ પર પાસ દરની સફળતાપૂર્વક આગાહી કરી, 1,000x ઓછા compute વાપરતા મોડલોમાંથી extrapolate કરીને:
કેટલીક ક્ષમતાઓ હજુ પણ આગાહી કરવી મુશ્કેલ છે. ઉદાહરણ તરીકે, Inverse Scaling Prize એવી સ્પર્ધા હતી જેમાં મોડલ compute વધતા ખરાબ થતો મેટ્રિક શોધવાનો હતો, અને hindsight neglect(નવી વિન્ડોમાં ખૂલે છે) વિજેતાઓમાંનો એક હતો. તાજેતરના અન્ય પરિણામની(નવી વિન્ડોમાં ખૂલે છે) જેમ જ, GPT‑4 આ પ્રવૃત્તિને ઉલટાવે છે:
અમને લાગે છે કે ભવિષ્યની મશીન લર્નિંગ ક્ષમતાઓની ચોક્કસ આગાહી કરવી સલામતીનો એક મહત્વપૂર્ણ ભાગ છે, જેને તેના સંભવિત પ્રભાવની સરખામણીએ લગભગ પૂરતું ધ્યાન મળતું નથી (જોકે અમને અનેક સંસ્થાઓના પ્રયત્નોથી પ્રોત્સાહન મળ્યું છે). ભવિષ્યની સિસ્ટમોમાંથી શું અપેક્ષા રાખવી તે અંગે સમાજને વધુ સારી માર્ગદર્શિકા આપે તેવી પદ્ધતિઓ વિકસાવવા માટે અમે અમારા પ્રયત્નો વધારી રહ્યા છીએ, અને અમને આશા છે કે આ ક્ષેત્રમાં તે એક સામાન્ય લક્ષ્ય બનશે.
અમે OpenAI Evals(નવી વિન્ડોમાં ખૂલે છે) ને ઓપન-સોર્સ કરી રહ્યા છીએ, જે GPT‑4 જેવા મોડલોનું મૂલ્યાંકન કરવા માટે બેન્ચમાર્ક્સ બનાવવા અને ચલાવવા માટેનું અમારું સોફ્ટવેર ફ્રેમવર્ક છે, સાથે તેમના પ્રદર્શનને નમૂના-દર-નમૂના તપાસવાની સુવિધા સાથે. અમે Evals નો ઉપયોગ અમારા મોડલોનો વિકાસ માર્ગદર્શિત કરવા માટે કરીએ છીએ (ખામીઓ ઓળખવા અને રિગ્રેશન અટકાવવા બંને માટે), અને અમારા વપરાશકર્તાઓ તેનો ઉપયોગ મોડલ આવૃત્તિઓમાં પ્રદર્શન ટ્રૅક કરવા માટે કરી શકે છે (જે હવે નિયમિતપણે બહાર આવશે) તથા પ્રોડક્ટ ઇન્ટિગ્રેશનો વિકસાવવા માટે કરી શકે છે. ઉદાહરણ તરીકે, Stripe એ તેમના GPT‑સંચાલિત દસ્તાવેજીકરણ સાધનની ચોકસાઈ માપવા માટે માનવીય મૂલ્યાંકનોને પૂરક બનાવવા Evals નો ઉપયોગ કર્યો છે.
કારણ કે બધો કોડ ઓપન-સોર્સ છે, Evals કસ્ટમ મૂલ્યાંકન લોજિક(નવી વિન્ડોમાં ખૂલે છે) અમલમાં મૂકવા માટે નવી ક્લાસેસ લખવાનું સમર્થન કરે છે. જોકે, અમારા પોતાના અનુભવમાં ઘણા બેન્ચમાર્ક્સ થોડા “ટેમ્પ્લેટ્સ”માંથી એકને અનુસરે છે, તેથી અમે આંતરિક રીતે સૌથી ઉપયોગી સાબિત થયેલા ટેમ્પ્લેટ્સ પણ સામેલ કર્યા છે(નવી વિન્ડોમાં ખૂલે છે) (જેમાં “model-graded evals” માટેનો ટેમ્પ્લેટ પણ છે—અમને જાણવા મળ્યું છે કે GPT‑4 પોતાનું કામ ચકાસવામાં આશ્ચર્યજનક રીતે સક્ષમ છે). સામાન્ય રીતે, નવું eval બનાવવાની(નવી વિન્ડોમાં ખૂલે છે) સૌથી અસરકારક રીત એમાંથી કોઈ એક ટેમ્પ્લેટને instantiate કરવી અને સાથે ડેટા આપવી રહેશે. બીજા લોકો આ ટેમ્પ્લેટ્સ અને વધુ સામાન્ય રીતે Evals થી શું બનાવી શકે તે જોવા માટે અમે ઉત્સાહિત છીએ.
અમને આશા છે કે Evals બેન્ચમાર્ક્સ શેર કરવા અને ક્રાઉડસોર્સ કરવા માટેનું માધ્યમ બનશે, જે નિષ્ફળતાના શક્ય તેટલા વિશાળ પ્રકારો અને કઠિન કાર્યોનું પ્રતિનિધિત્વ કરે. અનુસરવા જેવી એક મિસાલ તરીકે, અમે લોજિક પઝલ્સ(નવી વિન્ડોમાં ખૂલે છે) eval બનાવ્યું છે જેમાં દસ પ્રોમ્પ્ટ્સ છે જ્યાં GPT‑4 નિષ્ફળ જાય છે. Evals હાલના બેન્ચમાર્ક્સ અમલમાં મૂકવા સાથે પણ સુસંગત છે; અમે ઉદાહરણ તરીકે શૈક્ષણિક બેન્ચમાર્ક્સ અમલમાં મૂકતી અને CoQA(નવી વિન્ડોમાં ખૂલે છે)ના (નાના ઉપસમૂહો) ઇન્ટિગ્રેટ કરતી કેટલીક નોટબુક્સ(નવી વિન્ડોમાં ખૂલે છે) સામેલ કરી છે.
અમે સૌને આમંત્રિત કરીએ છીએ કે તેઓ અમારા મોડલોનું પરીક્ષણ કરવા માટે Evals નો ઉપયોગ કરે અને સૌથી રસપ્રદ ઉદાહરણો સબમિટ કરે. અમને વિશ્વાસ છે કે Evals અમારા મોડલોનો ઉપયોગ કરવા અને તેમના પર નિર્માણ કરવા માટેની પ્રક્રિયાનો અભિન્ન ભાગ બનશે, અને અમે સીધા યોગદાન, પ્રશ્નો અને પ્રતિસાદ(નવી વિન્ડોમાં ખૂલે છે)નું સ્વાગત કરીએ છીએ.
ChatGPT Plus સબ્સ્ક્રાઇબરોને ઉપયોગ મર્યાદા સાથે chatgpt.com(નવી વિન્ડોમાં ખૂલે છે) પર GPT‑4 ઍક્સેસ મળશે. પ્રેક્ટિસમાં માંગ અને સિસ્ટમ પ્રદર્શનના આધારે અમે ચોક્કસ ઉપયોગ મર્યાદા સમાયોજિત કરીશું, પરંતુ અમારી ક્ષમતા પર ગંભીર મર્યાદા રહેશે તેવી અપેક્ષા છે (જોકે અમે આવનારા મહિનાઓમાં સ્કેલ અપ અને ઑપ્ટિમાઇઝ કરીશું).
અમે જોતા ટ્રાફિક પેટર્ન પર આધાર રાખીને, વધુ-વોલ્યુમ GPT‑4 ઉપયોગ માટે અમે નવું સબ્સ્ક્રિપ્શન સ્તર રજૂ કરી શકીએ; અને અમને આશા છે કે ક્યારેક સબ્સ્ક્રિપ્શન વિના લોકોને પણ GPT‑4 અજમાવી શકે એટલા મફત GPT‑4 ક્વેરીઝ આપી શકીશું.
GPT‑4 API ઍક્સેસ મેળવવા માટે (જે gpt-3.5-turbo જેવી જ ChatCompletions API(નવી વિન્ડોમાં ખૂલે છે) વાપરે છે), કૃપા કરીને અમારી વેટલિસ્ટ માટે સાઇન અપ કરો. અમે આજે કેટલાક ડેવલપર્સને આમંત્રિત કરવાનું શરૂ કરીશું, અને ક્ષમતા અને માંગ વચ્ચે સંતુલન રાખવા માટે ધીમે ધીમે વિસ્તારશું. જો તમે AIના સામાજિક પ્રભાવ અથવા AI alignment મુદ્દાઓનો અભ્યાસ કરતા સંશોધક હો, તો તમે અમારી Researcher Access Program મારફતે સહાયિત ઍક્સેસ માટે પણ અરજી કરી શકો છો.
એકવાર તમને ઍક્સેસ મળી જાય પછી, તમે gpt-4 મોડલને માત્ર ટેક્સ્ટ વિનંતીઓ કરી શકો છો (છબી ઇનપુટ્સ હજી મર્યાદિત alpha માં છે), જેને અમે સમય જતાં નવી આવૃત્તિઓ બનાવીએ તેમ અમારી ભલામણ કરેલી સ્થિર મોડલ પર આપમેળે અપડેટ કરીશું (તમે gpt-4-0314 કૉલ કરીને હાલની આવૃત્તિને pin કરી શકો છો, જેને અમે June 14 સુધી સપોર્ટ કરીશું). કિંમત પ્રતિ 1k prompt tokens માટે $0.03 અને પ્રતિ 1k completion tokens માટે $0.06 છે. ડિફૉલ્ટ rate limits પ્રતિ મિનિટ 40k tokens અને પ્રતિ મિનિટ 200 વિનંતીઓ છે.
gpt-4 ની context length 8,192 tokens છે. અમે અમારી 32,768-context (લગભગ 50 પાનાં જેટલો ટેક્સ્ટ) આવૃત્તિ gpt-4-32k માટે પણ મર્યાદિત ઍક્સેસ આપી રહ્યા છીએ, જેને પણ સમય જતાં આપમેળે અપડેટ કરવામાં આવશે (હાલની આવૃત્તિ gpt-4-32k-0314, June 14 સુધી સપોર્ટેડ). કિંમત પ્રતિ 1K prompt tokens માટે $0.06 અને પ્રતિ 1k completion tokens માટે $0.12 છે. લાંબા context માટે મોડલની ગુણવત્તા સુધારવાનું અમે હજુ ચાલુ રાખ્યું છે અને તમારી use-case માટે તે કેવી રીતે પ્રદર્શન કરે છે તેના પર પ્રતિસાદ અમને ગમશે. ક્ષમતાના આધારે અમે 8K અને 32K એન્જિનો માટેની વિનંતીઓ અલગ ગતિએ પ્રોસેસ કરી રહ્યા છીએ, તેથી તમને તેમની ઍક્સેસ અલગ-અલગ સમયે મળી શકે છે.
અમને આશા છે કે GPT‑4 અનેક એપ્લિકેશનોને શક્તિ આપીને લોકોના જીવનમાં સુધારો લાવવા માટે મૂલ્યવાન સાધન બનશે. હજુ ઘણું કામ બાકી છે, અને મોડલ પર નિર્માણ, અન્વેષણ અને યોગદાન આપતી સમુદાયની સામૂહિક મહેનત દ્વારા આ મોડલને વધુ સારું બનાવવા માટે અમે આતુર છીએ.
MMLU પ્રશ્નોના ઉદાહરણો, અન્ય ભાષાઓમાં અનુવાદિત. નોંધો, અમે સુસંગત પસંદગી ટોકન્સ (A–D) વાપરીએ છીએ:
ફૂટનોટ્સ
- A
અમે આ બેન્ચમાર્કનું મૂલ્યાંકન in-context ટ્રેનિંગ સેટમાંથી 4 ઉદાહરણો સાથે Chain-Of-Thought prompting વડે કરીએ છીએ. ચોક્કસ પ્રોમ્પ્ટ validation set પર tune કરવામાં આવ્યો હતો.
References
- 1
P. Arredondo (Casetext/Stanford CodeX), D. Katz (Stanford CodeX), M. Bommarito (Stanford CodeX), S. Gao (Casetext). Further analysis is available in the paper(નવી વિન્ડોમાં ખૂલે છે).
