10 જૂન, 2025 નો અપડેટ: OpenAI o3‑pro હવે ChatGPT માં Pro વપરાશકર્તાઓ માટે, તેમજ અમારી API માં ઉપલબ્ધ છે. OpenAI o1‑pro ની જેમ, o3‑pro અમારા સૌથી બુદ્ધિશાળી મોડલ OpenAI o3 નું એક સંસ્કરણ છે, જે વધુ સમય વિચારવા અને સૌથી વિશ્વસનીય જવાબો આપવા માટે બનાવવામાં આવ્યું છે. સંપૂર્ણ વિગતો અમારી release notes(નવી વિન્ડોમાં ખૂલે છે) માં મળી શકે છે.
આજે, અમે OpenAI o3 અને o4-mini, રિલીઝ કરી રહ્યા છીએ, જે પ્રતિભાવ આપતાં પહેલાં વધુ સમય વિચારવા માટે તાલીમબદ્ધ અમારા o-series મોડલ્સની નવીનતમ આવૃત્તિઓ છે. આ આજ સુધીના અમારા સૌથી બુદ્ધિશાળી મોડલ્સ છે, જે જિજ્ઞાસુ વપરાશકર્તાઓથી લઈને અદ્યતન સંશોધકો સુધી સૌ માટે ChatGPT ની ક્ષમતાઓમાં એક મોટો ફેરફાર દર્શાવે છે. પ્રથમ વખત, અમારા રિઝનિંગ મોડલ્સ ChatGPT ની અંદરના દરેક ટૂલનો એજન્ટિક રીતે ઉપયોગ કરી શકે છે અને તેને જોડીને કામ કરી શકે છે. તેમાં વેબ શોધ, Python વડે અપલોડ કરેલી ફાઇલો અને અન્ય ડેટાનું વિશ્લેષણ, દૃશ્ય ઇનપુટ્સ પર ઊંડું રિઝનિંગ અને છબીઓનું જનરેશન પણ સામેલ છે. મહત્વપૂર્ણ રીતે, આ મોડલ્સને ક્યારે અને કેવી રીતે ટૂલ્સનો ઉપયોગ કરવો તે અંગે રિઝનિંગ કરવા માટે તાલીમ આપવામાં આવી છે, જેથી વધુ જટિલ સમસ્યાઓ ઉકેલવા માટે સામાન્ય રીતે એક મિનિટથી ઓછા સમયમાં યોગ્ય આઉટપુટ ફોર્મેટમાં વિગતવાર અને વિચારીને આપેલા જવાબો મળી શકે. આ તેમને અનેક પાસાવાળા પ્રશ્નોને વધુ અસરકારક રીતે ઉકેલવા સક્ષમ બનાવે છે, જે તમારા તરફથી સ્વતંત્ર રીતે કાર્યો પાર પાડી શકે એવા વધુ એજન્ટિક ChatGPT તરફનું એક પગલું છે. અત્યાધુનિક રિઝનિંગ અને સંપૂર્ણ ટૂલ ઍક્સેસની સંયુક્ત શક્તિ શૈક્ષણિક benchmarks અને વાસ્તવિક કાર્યો બંનેમાં નોંધપાત્ર રીતે મજબૂત પ્રદર્શન આપે છે, અને બુદ્ધિશક્તિ તથા ઉપયોગિતા બંનેમાં એક નવું ધોરણ સ્થાપે છે.
OpenAI o3 અમારું સૌથી શક્તિશાળી રિઝનિંગ મોડલ છે, જે કોડિંગ, ગણિત, વિજ્ઞાન, દૃશ્ય ગ્રહણ અને અન્ય ક્ષેત્રોમાં અત્યાધુનિક સીમાને આગળ ધપાવે છે. તે Codeforces, SWE-bench (કસ્ટમ મોડલ-વિશિષ્ટ સ્કૅફોલ્ડ બનાવ્યા વિના) અને MMMU સહિતના બેન્ચમાર્ક્સ પર નવું SOTA સ્થાપે છે. અનેક પાસાઓવાળા વિશ્લેષણની જરૂર પડતી અને જેના જવાબો તરત સ્પષ્ટ ન હોય એવા જટિલ પ્રશ્નો માટે તે આદર્શ છે. છબીઓ, ચાર્ટ્સ અને ગ્રાફિક્સનું વિશ્લેષણ કરવા જેવા દૃશ્ય કાર્યોમાં તે ખાસ મજબૂત પ્રદર્શન કરે છે. બાહ્ય નિષ્ણાતોના મૂલ્યાંકનમાં, મુશ્કેલ વાસ્તવિક કાર્યો પર o3, OpenAI o1 કરતાં 20 ટકા ઓછી મોટી ભૂલો કરે છે. ખાસ કરીને પ્રોગ્રામિંગ, બિઝનેસ/કન્સલ્ટિંગ અને સર્જનાત્મક વિચારો જેવા ક્ષેત્રોમાં તે ઉત્તમ સાબિત થાય છે. પ્રારંભિક ટેસ્ટર્સે વિચારસાથી તરીકે તેની વિશ્લેષણાત્મક કડકાઈને હાઇલાઇટ કરી અને ખાસ કરીને બાયોલોજી, ગણિત અને એન્જિનિયરિંગના સંદર્ભોમાં નવી ધારણાઓ ઊભી કરવાની અને તેમનું સમીક્ષાત્મક મૂલ્યાંકન કરવાની તેની ક્ષમતાને રેખાંકિત કરી.
OpenAI o4-mini ઝડપી, ખર્ચ-કાર્યક્ષમ રિઝનિંગ માટે ઑપ્ટિમાઇઝ કરાયેલું નાનું મોડલ છે. તે પોતાના કદ અને ખર્ચ માટે ખાસ કરીને ગણિત, કોડિંગ અને દૃશ્ય કાર્યોમાં નોંધપાત્ર પ્રદર્શન હાંસલ કરે છે. AIME 2024 અને 2025 પર તે બેન્ચમાર્ક કરાયેલું શ્રેષ્ઠ પ્રદર્શન કરતું મોડલ છે. કમ્પ્યુટરની ઍક્સેસ AIME પરીક્ષાની મુશ્કેલીને અર્થપૂર્ણ રીતે ઘટાડે છે, છતાં અમને નોંધપાત્ર લાગ્યું કે Python interpreter ની ઍક્સેસ સાથે o4-mini AIME 2025 પર 99.5% pass@1 (100% consensus@8) હાંસલ કરે છે. આ પરિણામોની ટૂલ ઍક્સેસ વિના મોડલોના પ્રદર્શન સાથે સરખામણી ન કરવી જોઈએ, પરંતુ ઉપલબ્ધ ટૂલ્સનો o4-mini કેટલો અસરકારક ઉપયોગ કરે છે તેનું આ એક ઉદાહરણ છે. ટૂલ ઉપયોગથી AIME 2025 પર o3 પણ સમાન સુધારા દર્શાવે છે (98.4% pass@1, 100% consensus@8).
નિષ્ણાત મૂલ્યાંકનમાં, o4-mini તેના પૂર્વવર્તી o3‑mini કરતાં non-STEM કાર્યો તેમજ data science જેવા ક્ષેત્રોમાં પણ વધુ સારું પ્રદર્શન કરે છે. તેની કાર્યક્ષમતાના કારણે, o4-mini o3 કરતાં નોંધપાત્ર ઊંચી ઉપયોગ મર્યાદાઓને સપોર્ટ કરે છે, જેથી રિઝનિંગથી લાભ મેળવનારા પ્રશ્નો માટે તે ઊંચા વોલ્યુમ અને ઊંચા થ્રૂપુટ માટે મજબૂત વિકલ્પ બને છે. બાહ્ય નિષ્ણાત મૂલ્યાંકનકારોએ બંને મોડલ્સને તેમના પૂર્વવર્તીઓ કરતાં વધુ સારી instruction following અને વધુ ઉપયોગી, ચકાસી શકાય એવા જવાબો દર્શાવતા ગણાવ્યા, કારણ કે તેમની બુદ્ધિમત્તામાં સુધારો થયો છે અને વેબ સ્રોતોનો સમાવેશ થયો છે. અમારા અગાઉના રિઝનિંગ મોડલ્સની આવૃત્તિઓની સરખામણીએ, આ બંને મોડલ્સ વધુ સ્વાભાવિક અને સંવાદાત્મક લાગશે, ખાસ કરીને જ્યારે તેઓ જવાબોને વધુ વ્યક્તિગત અને સંબંધિત બનાવવા માટે સ્મૃતિ અને ભૂતકાળની વાતચીતનો ઉલ્લેખ કરે છે.
મલ્ટીમોડલ
કોડિંગ
બધા SWE-bench મૂલ્યાંકન રન્સ n=477 માન્ય કરાયેલ કાર્યોના નિશ્ચિત ઉપસેટનો ઉપયોગ કરે છે, જેને અમારી આંતરિક infrastructure પર માન્ય કરવામાં આવ્યા છે.
Instruction following અને એજન્ટિક ટૂલ ઉપયોગ
બધા મોડલ્સનું મૂલ્યાંકન ઊંચી ‘reasoning effort’ સેટિંગ્સ પર કરવામાં આવે છે, જે ChatGPT માં ‘o4-mini-high’ જેવી variants સમાન છે.
OpenAI o3 ના વિકાસ દરમિયાન, અમે જોયું છે કે મોટા પાયાના રીઇન્ફોર્સમેન્ટ લર્નિંગ માં GPT‑series pretraining માં જોવા મળતો જ “વધુ compute = વધુ સારું પ્રદર્શન” ટ્રેન્ડ જોવા મળે છે. સ્કેલિંગનો માર્ગ ફરી અનુસરીને, આ વખતે RL માં, અમે training compute અને inference-time reasoning બંનેમાં એક વધારાના order of magnitude જેટલી વૃદ્ધિ કરી છે, છતાં પણ સ્પષ્ટ performance gains જોયા છે. આથી માન્ય થાય છે કે મોડલ્સને જેટલું વધુ વિચારવાની છૂટ મળે તેટલું તેમનું પ્રદર્શન સુધરતું રહે છે. OpenAI o1 જેવી જ latency અને cost પર, o3 ChatGPT માં વધુ ઊંચું પ્રદર્શન આપે છે, અને અમે ખાતરી કરી છે કે જો તેને વધુ સમય વિચારવા દઈએ, તો તેનો પ્રદર્શન વધુ વધતું રહે છે.
અમે બંને મોડલ્સને રીઇન્ફોર્સમેન્ટ લર્નિંગ દ્વારા ટૂલ્સનો ઉપયોગ કરવા માટે પણ તાલીમ આપી, માત્ર ટૂલ્સ કેવી રીતે વાપરવા તે નહીં, પરંતુ ક્યારે વાપરવા તે અંગે પણ રિઝનિંગ શીખવ્યું. ઇચ્છિત પરિણામોના આધારે ટૂલ્સનો ઉપયોગ કરવાની તેમની ક્ષમતા તેમને ખુલ્લી પરિસ્થિતિઓમાં વધુ સક્ષમ બનાવે છે, ખાસ કરીને દૃશ્ય રિઝનિંગ અને બહુ-પગથિયાવાળા workflows ધરાવતી પરિસ્થિતિઓમાં. પ્રારંભિક ટેસ્ટર્સે જણાવ્યું મુજબ, આ સુધારો શૈક્ષણિક benchmarks અને વાસ્તવિક કાર્યો બંનેમાં દેખાય છે.
પ્રથમ વખત, આ મોડલ્સ તેમના chain of thought માં સીધી રીતે છબીઓને સંકલિત કરી શકે છે. તેઓ માત્ર છબીને જોતા નથી, પરંતુ તેની સાથે વિચારે છે. આથી સમસ્યા ઉકેલવાની એક નવી શ્રેણી ખુલ્લી પડે છે, જેમાં દૃશ્ય અને ટેક્સ્ટ આધારિત રિઝનિંગનું સંયોજન થાય છે, અને જે multimodal benchmarks માં તેમના અત્યાધુનિક પ્રદર્શનથી પ્રતિબિંબિત થાય છે.
લોકો વ્હાઇટબોર્ડનો ફોટો, પાઠ્યપુસ્તકનું આલેખન અથવા હાથથી દોરેલું સ્કેચ અપલોડ કરી શકે છે, અને મોડલ તેને સમજાવી શકે છે, ભલે છબી ધૂંધળી, ઊંધી અથવા નીચી ગુણવત્તાની હોય. ટૂલ ઉપયોગ સાથે, મોડલ્સ તરત જ છબીઓમાં ફેરફાર કરી શકે છે, જેમ કે તેને ફેરવવી, ઝૂમ કરવી અથવા રૂપાંતરિત કરવી, અને આ બધું તેમની રિઝનિંગ પ્રક્રિયાનો ભાગ બને છે.
આ મોડલ્સ visual perception કાર્યો પર શ્રેષ્ઠ-વર્ગની ચોકસાઈ આપે છે, જેના કારણે તે અગાઉ પહોંચની બહાર રહેલા પ્રશ્નો ઉકેલી શકે છે. વધુ જાણવા માટે visual reasoning research blog જુઓ.
OpenAI o3 અને o4-mini ને ChatGPT ની અંદરના ટૂલ્સની સંપૂર્ણ ઍક્સેસ છે, તેમજ API માં ફંક્શન કોલિંગ મારફતે તમારા પોતાના કસ્ટમ ટૂલ્સની પણ. આ મોડલ્સને સમસ્યાઓ કેવી રીતે ઉકેલવી તે અંગે રિઝનિંગ કરવા માટે તાલીમ આપવામાં આવી છે, જેથી તે વિગતવાર અને વિચારીને આપેલા જવાબો યોગ્ય આઉટપુટ ફોર્મેટમાં ઝડપથી આપવા માટે ક્યારે અને કેવી રીતે ટૂલ્સનો ઉપયોગ કરવો તે પસંદ કરી શકે. સામાન્ય રીતે આ કામ એક મિનિટથી ઓછા સમયમાં થાય છે.
ઉદાહરણ તરીકે, વપરાશકર્તા પૂછે: “કૅલિફોર્નિયામાં ઉનાળામાં ઊર્જાનો ઉપયોગ ગયા વર્ષની તુલનામાં કેવો રહેશે?” મોડલ જાહેર utility data માટે વેબ પર શોધ કરી શકે, forecast બનાવવા Python code લખી શકે, graph અથવા image બનાવી શકે, અને આગાહીની પાછળના મુખ્ય ઘટકોને સમજાવી શકે, સાથે અનેક tool calls ને જોડીને કામ કરી શકે. રિઝનિંગ મોડલ્સને મળતી માહિતી અનુસાર પ્રતિક્રિયા આપવા અને જરૂરી હોય ત્યારે દિશા બદલવાની ક્ષમતા આપે છે. ઉદાહરણ તરીકે, તે search providers ની મદદથી વેબ પર ઘણી વાર શોધ કરી શકે, પરિણામો જોઈ શકે અને વધુ માહિતીની જરૂર હોય તો નવી શોધ કરી શકે.
આ લવચીક, વ્યૂહાત્મક અભિગમ મોડલ્સને એવા કાર્યો હલ કરવા દે છે, જેઓ માટે મોડલના built-in knowledge થી પરે અદ્યતન માહિતી, વિસ્તૃત રિઝનિંગ, synthesis અને વિવિધ modality માં output generation ની જરૂર પડે છે.
બધા ઉદાહરણો OpenAI o3 સાથે પૂર્ણ કરવામાં આવ્યા હતા.
OpenAI o3
OpenAI o1
OpenAI o3 શોધનો ઉપયોગ કર્યા વિના યોગ્ય જવાબ આપે છે, જ્યારે o1 યોગ્ય જવાબ આપવામાં નિષ્ફળ જાય છે.
ખર્ચ-કાર્યક્ષમ રિઝનિંગને આગળ વધારવું.
ખર્ચ સામે પ્રદર્શન: o3‑mini અને o4-mini
ખર્ચ સામે પ્રદર્શન: o1 અને o3
OpenAI o3 અને o4-mini અમે ક્યારેય રિલીઝ કરેલા સૌથી બુદ્ધિશાળી મોડલ્સ છે, અને તે તેમના પૂર્વવર્તી OpenAI o1 અને o3‑mini કરતાં ઘણીવાર વધુ કાર્યક્ષમ પણ છે. ઉદાહરણ તરીકે, 2025 AIME ગણિત સ્પર્ધામાં o3 માટે ખર્ચ-પ્રદર્શન અત્યાધુનિક સીમા o1 કરતાં સ્પષ્ટ રીતે વધુ સારી છે, અને તે જ રીતે o4-mini ની સીમા o3‑mini કરતાં સ્પષ્ટ રીતે વધુ સારી છે. વધુ સામાન્ય રીતે, અમને અપેક્ષા છે કે મોટાભાગના વાસ્તવિક ઉપયોગોમાં o3 અને o4-mini અનુક્રમે o1 અને o3‑mini કરતાં વધુ બુદ્ધિશાળી અને ઓછી કિંમતી બંને સાબિત થશે.
મોડલ ક્ષમતાઓમાં દરેક સુધારો સુરક્ષામાં સમકક્ષ સુધારાની માંગ કરે છે. OpenAI o3 અને o4-mini માટે, અમે અમારા safety training data ને સંપૂર્ણપણે ફરી બનાવ્યું છે, જેમાં biological threats (biorisk), malware generation અને jailbreaks જેવા ક્ષેત્રોમાં નવા refusal prompts ઉમેર્યા છે. આ નવા data ના કારણે o3 અને o4-mini એ અમારા આંતરિક refusal benchmarks પર મજબૂત પ્રદર્શન હાંસલ કર્યું છે, જેમ કે instruction hierarchy અને jailbreaks. મોડલ refusals માં મજબૂત પ્રદર્શન ઉપરાંત, અમે frontier risk ક્ષેત્રોમાં જોખમી prompts ને ચિહ્નિત કરવા માટે system-level mitigations પણ વિકસાવ્યા છે. image generation માં અમારા અગાઉના કાર્યની જેમ, અમે માનવદ્વારા લખાયેલી અને સમજાય તેવી safety specifications પરથી કામ કરતું reasoning LLM monitor તાલીમબદ્ધ કર્યું. biorisk પર લાગુ કરતાં, આ monitor એ અમારી human red‑teaming campaign માં આશરે 99% વાતચીતને સફળતાપૂર્વક ચિહ્નિત કરી.
અમે બંને મોડલ્સને આજ સુધીના અમારા સૌથી કડક safety program સાથે stress test કર્યા. અમારી અપડેટ થયેલી પ્રિપેરડનેસ ફ્રેમવર્ક અનુસાર, અમે o3 અને o4-mini નું Framework દ્વારા આવરી લેવાયેલા ત્રણ tracked capability ક્ષેત્રોમાં મૂલ્યાંકન કર્યું: biological and chemical, cybersecurity અને AI self-improvement. આ મૂલ્યાંકનોના પરિણામોના આધારે, અમે નક્કી કર્યું છે કે o3 અને o4‑mini બંને Framework ની "High" threshold થી આ ત્રણેય શ્રેણીમાં નીચે જ રહે છે. આ મૂલ્યાંકનોના વિગતવાર પરિણામો અમે જોડાયેલા સિસ્ટમ કાર્ડ.
અમે એક નવો પ્રયોગ પણ શેર કરી રહ્યા છીએ: Codex CLI, એક હળવું કોડિંગ એજન્ટ જેને તમે તમારા ટર્મિનલમાંથી ચલાવી શકો છો. તે સીધું તમારા કમ્પ્યુટર પર કામ કરે છે અને o3 અને o4-mini જેવા મોડલ્સની રિઝનિંગ ક્ષમતાઓને મહત્તમ કરવા માટે બનાવવામાં આવ્યું છે, સાથે GPT‑4.1 જેવા વધારાના API મોડલ્સ માટે આવનારા સપોર્ટ સાથે.
તમે command line પરથી multimodal reasoning ના લાભો મેળવી શકો છો, મોડલને screenshots અથવા low fidelity sketches આપીને, અને સાથે તમારા code ની સ્થાનિક ઍક્સેસ જોડીને. અમે તેને અમારા મોડલ્સને વપરાશકર્તાઓ અને તેમના કમ્પ્યુટર્સ સાથે જોડતી એક લઘુત્તમ interface તરીકે જોીએ છીએ. Codex CLI આજે github.com/openai/codex(નવી વિન્ડોમાં ખૂલે છે) પર સંપૂર્ણપણે open-source છે.
આ સાથે, અમે Codex CLI અને OpenAI મોડલ્સનો ઉપયોગ કરતી પ્રોજેક્ટ્સને સપોર્ટ કરવા માટે $1 million ની પહેલ શરૂ કરી રહ્યા છીએ. અમે API credits સ્વરૂપે $25,000 USD ના વધારા પ્રમાણે grant માટેની અરજીઓનું મૂલ્યાંકન કરી સ્વીકારશું. પ્રસ્તાવો અહીં સબમિટ કરી શકાય છે.
ChatGPT Plus, Pro અને Team વપરાશકર્તાઓને આજથી મોડલ સિલેક્ટરમાં o3, o4-mini અને o4-mini-high જોવા મળશે, જે o1, o3‑mini અને o3‑mini‑high ને બદલી દેશે. ChatGPT Enterprise અને Edu વપરાશકર્તાઓને એક અઠવાડિયામાં ઍક્સેસ મળશે. Free વપરાશકર્તાઓ પોતાનો પ્રશ્ન સબમિટ કરતાં પહેલાં composer માં 'Think' પસંદ કરીને o4-mini અજમાવી શકે છે. તમામ પ્લાનમાં rate limits અગાઉના મોડલ સેટ જેવી જ રહેશે.
અમને આશા છે કે અમે થોડા અઠવાડિયામાં સંપૂર્ણ ટૂલ સપોર્ટ સાથે OpenAI o3‑pro રિલીઝ કરીશું. હાલ માટે Pro વપરાશકર્તાઓ હજુ પણ o1‑pro ઍક્સેસ કરી શકે છે.
o3 અને o4-mini બંને આજે ડેવલપર્સ માટે ચેટ કમ્પ્લીશન્સ API અને Responses API મારફતે પણ ઉપલબ્ધ છે (કેટલાક ડેવલપર્સને આ મોડલ્સ ઍક્સેસ કરવા માટે તેમની સંસ્થાઓનું વેરિફિકેશન કરવું(નવી વિન્ડોમાં ખૂલે છે) પડશે). Responses API રિઝનિંગ સારાંશો, વધુ સારું પ્રદર્શન માટે function calls આસપાસ reasoning tokens જાળવી રાખવાની ક્ષમતા આપે છે અને ટૂંક સમયમાં મોડલના રિઝનિંગમાં web search, file search અને code interpreter જેવા built-in tools ને પણ સપોર્ટ કરશે. શરૂઆત કરવા માટે, અમારા દસ્તાવેજો જુઓ(નવી વિન્ડોમાં ખૂલે છે) અને વધુ અપડેટ્સ માટે જોડાયેલા રહો.
આજના અપડેટ્સ બતાવે છે કે અમારા મોડલ્સ કઈ દિશામાં આગળ વધી રહ્યા છે: અમે o-series ની વિશિષ્ટ રિઝનિંગ ક્ષમતાઓને GPT‑series ની વધુ સ્વાભાવિક સંવાદ ક્ષમતાઓ અને ટૂલ ઉપયોગ સાથે એકીકૃત કરી રહ્યા છીએ. આ શક્તિઓને એક સાથે લાવીને, અમારા ભવિષ્યના મોડલ્સ સક્રિય ટૂલ ઉપયોગ અને અદ્યતન સમસ્યા-નિવારણ સાથે અવિરત, સ્વાભાવિક વાતચીતને સપોર્ટ કરશે.
28 જુલાઈ, 2025 નો અપડેટ: SWE-Lancer dataset અને પરિણામો 17 જુલાઈ, 2025 મુજબ અપડેટ કરવામાં આવ્યા છે, અને અહીં ઉપલબ્ધ છે: https://github.com/openai/preparedness(નવી વિન્ડોમાં ખૂલે છે) અને અમારા સિસ્ટમ કાર્ડ્સ માં. આ અપડેટ એવા ઘણા મુદ્દાઓ ઉકેલે છે, જે કમાયેલા dollars ના પરિણામોને અસર કરી રહ્યા હતા, અને execution દરમિયાન internet connectivity ની આવશ્યકતા દૂર કરે છે, જેથી મોડલ પ્રદર્શનની ફેરફારશીલતાનો એક મુખ્ય સ્ત્રોત દૂર થાય છે.
16 એપ્રિલ, 2025 નો અપડેટ: Charxiv-r અને Mathvista પર o3 માટેના પરિણામો અપડેટ કરવામાં આવ્યા છે, જેથી મૂળ મૂલ્યાંકનમાં હાજર ન રહેલા system prompt બદલાવને પ્રતિબિંબિત કરી શકાય.
લેખક
ફૂટનોટ્સ
* tau-bench eval ના આંકડા variance ઘટાડવા માટે 5 runs માં સરેરાશ લેવાયા છે અને કોઈપણ custom tools અથવા prompting વિના ચલાવવામાં આવ્યા છે. અમને જાણવા મળ્યું કે tau-bench retail rollouts માં user model ભૂલોની સંભાવના વધુ હોય છે. છાયાંકિત બાર માટેના આંકડા user model તરીકે GPT-4.1 સાથે ચલાવવામાં આવ્યા છે કારણ કે instruction following માં તે GPT-4o કરતાં નોંધપાત્ર રીતે વધુ સારું છે.
* SWE-bench 256k મહત્તમ context length નો ઉપયોગ કરે છે, જે o4-mini માટે solve rate ને લગભગ 3% સુધારે છે અને o3 ના solve rate પર <1% અસર કરે છે. અમે એવા 23 samples ને પણ બહાર રાખીએ છીએ જે અમારી આંતરિક infrastructure પર ચલાવી શકાય એવા નથી.
** browsing સક્રિય હોય ત્યારે, મોડલ ક્યારેક ઑનલાઇન ચોક્કસ જવાબો શોધી શકે છે, ઉદાહરણ તરીકે, dataset ના sample problems ધરાવતા blog posts વાંચીને. browsing દરમિયાન મોડલ cheating કરે તેવી ચિંતાઓ ઘટાડવા માટે અમે બે વ્યૂહરચનાઓ અપનાવીએ છીએ:
અમે એવા domains બ્લોક કર્યા જેનેમાંથી મોડલ અગાઉ cheating કરતું જોયું છે.
દરેક પ્રયાસમાં બધા tokens ની તપાસ કરવા માટે અમે monitor તરીકે reasoning model નો ઉપયોગ કર્યો, જેથી શંકાસ્પદ વર્તન ઓળખી શકાય. શંકાસ્પદ વર્તનની વ્યાખ્યા છે "એવું પેજ, ફાઇલ અથવા snippet, જેનો મુખ્ય હેતુ આ ચોક્કસ પ્રશ્નનો ચોક્કસ જવાબ આપવાનો હોય—જેમ કે સત્તાવાર grading key, લીક થયેલ “solutions” gist, અથવા સમાપ્ત જવાબને શબ્દશઃ ઉદ્ધૃત કરતી ચર્ચા." નિર્દોષ વર્તનની વ્યાખ્યા છે "એવો કોઈપણ અધિકૃત સ્રોત જેને એક કાળજીપૂર્વકનો માણસ જોઈ શકે (documentation, manuals, scholarly papers, વિશ્વસનીય articles), ભલે તેમાં સહયોગરૂપે સાચો જવાબ હોય." monitor જેને rollout ને શંકાસ્પદ ગણાવે તે બધા પ્રયાસો ખોટા ગણાય છે. આ ચેકમાં નિષ્ફળ ગયેલા મોટાભાગના samples એવા પ્રશ્નો હતા જેના ચોક્કસ ઉકેલ ઇન્ટરનેટના અનેક સ્ત્રોતો પર HLE થી અસંબંધિત રીતે ઉપલબ્ધ હતા.
અંતમાં, browsing સાથેના અમારા મૂલ્યાંકન OpenAI API માં સંપૂર્ણપણે પુનરુત્પાદિત ન પણ થઈ શકે, કારણ કે ChatGPT અને OpenAI API વચ્ચે search engine backends માં તફાવત છે. આ પરિણામો ChatGPT વપરાશકર્તા અનુભવનું પ્રતિનિધિત્વ કરવા માટે છે, પરંતુ માંગ મુજબ search configuration સમય સાથે બદલાઈ શકે છે.
યોગદાનકારો
Aaditya Singh, Aaron Schlesinger, Adam Fry, Adam Lerer, Adam Perelman, Adam Walker, Ahmed El-Kishky, Aidan Clark, Aidan McLaughlin, Aiden Low, Akila Welihinda, Akshay Nathan, Aleksander Madry, Aleksandra Spyra, Alex Karpenko, Alex Neitz, Alex Tachard Passos, Alex Wei, Alexander Prokofiev, Alexander Zielenski, Alexandra Barr, Alexey Ivanov, Alexi Christakis, Alfred Xue, Allison Tam, Ally Bennett, Ally Bennett , Amelia Liu, Amy McDonald Sandjideh, Ananya Kumar, Andre Saraiva, Andrea Vallone, Andrew Chen, Andrew Duberstein, Andrew Gibiansky, Andrew Kondrich, Andrew Tulloch, Andrey Mishchenko, Andy Applebaum, Andy Wang, Angela Baek, Annie Wei, Anting Shen, Antoine Pelisse, Anuj Saharan, Arun Vijayvergiya, Ashley Tyra, Ashvin Nair, Avi Nayak, Avital Oliver, Behrooz Ghorbani, Belinda Truong, Ben Sokolowsky, Beth Hoover, Bo Xu, Boaz Barak, Bohan Zhang, Borys Minaiev, Botao Hao, Bowen Baker, Bowen Cheng, Brandon McKinzie, Brandon Wang, Brian Hsu, Brian Yang, Brian Yu, Brian Zhang, Camillo Lugaresi, Carolina Paz, Carpus Chang, Cary Bassin , Cary Hudson, Casey Chu, Chak Li, Charles Zhao, Charlie Jatt, Charlotte Cole, Chelsea Voss, Chen Shen, Chengxu Zhuang, Chris Colby, Chris Hallacy , Chris Koch, Christina Kaplan, Christina Kim, Colin Reid, Colin Wei, Cristina Scheau, D. Sculley, Damien Deville, Dan Roberts, Dana Palmie, Dane Stuckey, Daniel Levine, David Hu, David Martin, David Robinson, David Sasaki, Davis Wu, Derek Chen, Dibya Bhattacharjee, Dimitris Tsipras, Dinghua Li, DJ Strouse, dmed Medina, Drew Hintz, Eddie Zhang, Edmund Wong, Elaine Ya Le, Eli Yani , Elizabeth Proehl, Emily Sokolova, Enoch Cheung, Eri Schwartz, Eric Mitchell, Eric Ning, Eric Sigler, Eric Wallace, Eugenio Panero, Evan Mays, Evgenii Nikishin, Fan Wang, Fangyuan Li, Filippo Raso, Foivos Tsimpourlas, Fouad Matin, Francis Song, Francis Zhang, Gary Yang, Gene Oden, Giambattista Parascandolo, Gildas Chabot, Grace Kim, Grace Zhao, Greg Brockman, Gregory Valiant, Guillaume Leclerc, Hadi Salman, Haitang Hu, Hannah Sheahan, Hao Sheng, Haoyu Wang, Henrique Ponde de Oliveira Pinto, Henry Aspegren, Heqing Yan, Hessam Bagherinezhad, Hongyu Ren, Hunter Lightman, Hyeonwoo Noh, Ian Kivlichan, Ian Sohl, Ignasi Clavera, Ikai Lan, Ilge Akkaya, Ilya Kostrikov, Irina Kofman, Isa Fulford, Jake Brill, Jakub Pachocki, James Betker, James Lee, James Qin, Jamie Kiros, Jason Ai, Jay Wang, Jean Harb, Jeff Mickey, Jeffrey Han, Jeffrey Wang, Jeremy Chen, Jerry Tworek, Jessica Liang, Jessica Shieh, Ji Lin, Jiahui Yu, Jianfeng Wang, Jie Tang, Jihan Yin, Jing Li, Joanne Jang, Joel Morris, Johannes Ferstad, Johannes Heidecke, John Fishbein, Jon Okun, Jonathan Gordon, Joost Huizinga, Jos Kraaijeveld, Joseph Mo, Josh Lawson , Josh Tobin, Junhua Mao, Kai Chen, Kai Hayashi, Karan Singhal, Karina Nguyen, Katy Shi, Kelly Stirman, Kenji Hata, Kenny Nguyen, Keren Gu-Lemberg, Kevin Gladstone, Kevin King, Kevin Liu, Kevin Lu, Kevin Park, Kevin Stone, Kevin Weil, Kevin Whinnery, Kevin Yu, Kote Mushegiani, Kristen Ying, Kristian Georgiev, Kshitij Gupta, Kyle Kosic, Lama Ahmad, Larry Lv, Lauren Itow, Lauren Yang, Lee Byron, Leo Chen, Leo Liu, Leon Maksin, Leyton Ho, Li Jing, Liang Xiong, Lin Yang, Linden Li, Lorenz Kuhn, Louis Feuvrier, Lu Zhang, Łukasz Kaiser, Mahmoud Eariby, Maja Trębacz, Manas Joglekar, Manoli Liodakis, Manuka Stratta, Mark Chen, Mark Hudnall, Mark Sun, Mark Wang, Martin Li, Marvin Zhang, Mateusz Litwin, Matt Jones, Matt Lim, Max Johnson, Max Schwarzer, Mayank Gupta, Meghan Shah, Mengqing Wang, Mengyuan Yan, Mia Glaese, Michael Bolin, Michael Lampe, Michael Malek, Michael Sharman, Michael Zhang, Michele Wang, Michelle Pokrass, Miguel Oom Temudo de Castro, Mihai Florian, Mike McClay, Mike Trpcic, Miki Habryn, Miles Wang, Ming Chen, Mingxuan Wang, Minnia Feng, Mitchell Gordon, Mo Bavarian, Mostafa Rohaninejad, Nacho Soto, Nakul Khanna, Nat McAleese, Natalie Staudacher, Natan LaFontaine, Neel Ajjarapu, Nick Felt, Nick Turley, Nikil Pancha, Nikita Mikhaylin, Niko Felix, Nikunj Handa, Ning Liu, Nishant Rai, Noah Jorgensen, Noam Brown, Oleg Boiko, Oleg Murk, Olivia Watkins, Olivier Godement, Oona Gleeson, Paul Ashbourne, Pavel Belov, Peter Flockhart, Peter Hoeschele, Peter Zhokhov, Philip Pronin, Phillip Guo, Phoebe Thacker, Prafulla Dhariwal, Prashanth R, Rachel Dias, Rahul Arora, Rajkumar Samuel, Rasmus Rygaard, Ravi Teja Mullapudi, Raymond Li, Raz Gaon, Reah Miyara, Reiichiro Nakano, Reimar Leike, Rennie Song, Rhythm Garg, RJ Marsan, Robert Xiong, Robin Brown, Roman Tsiupa, Rui Shu, Ruslan Nigmatullin, Saachi Jain, Saagar Patel, Sam Altman, Sam Toizer, Sam Toyer, Samir Ahmed, Samuel Miserendino, Samuel Wolrich , Sandhini Agarwal, Santiago Hernández, Sarah Dong, Savannah Heon, Scott Ethersmith, Scott Mayer McKinney, Sean Fitzgerald, Sever Banesiu, Shamez Hemani, Shengjia Zhao, Shengli Hu, Shibani Santurkar, Shreyas Krishnaswamy, Shuchao Bi, Shunyu Yao, Shuyuan Zhang, Simón Posada Fishman, Spencer Papay, Spug Golden, Srinivas Narayanan, Stanley Hsieh, Stephen Logsdon, Sundeep Tirumalareddy, Tal Stramer, Tao Wang, Tao Xin, Taylor Gordon, Tejal Patwardhan, Thibault Sottiaux, Tina Sriskandarajah, Tony Casparro, Tony Zhao, Trevor Creech, Uzair Navid Iftikhar, Valerie Qi, Vineet Kosaraju, Vishal Kuo, Vitchyr Pong, Vivek Verma, Vlad Petrov, Wenda Zhou, Wenlei Xie, Wenting Zhan, Will DePue, Will Ellsworth, William Sheu, Wyatt Thompson, Yaming Lin, Yann Dubois, Yaodong Yu, Yara Khakbaz, Yash Patil, Yifan Wu, Yilong Qin, Yining Chen, Yirui Zhang, Yo Shavit , Young Cha, Yunyun Wang, Yushi Wang, Zack Sultan, Zehao Dou, Zewei Chu, Zheng Shao, Zhigang Wang, Zhishuai Zhang, Zihao Zhang