OpenAI o3 आणि o4-mini ची ओळख
फुल टूल ॲक्सेससह आजवरची आमची सर्वात स्मार्ट आणि सक्षम मॉडेल्स
10 जून 2025 रोजी अद्यतन:OpenAI o3‑pro आता Pro वापरकर्त्यांसाठी ChatGPT मध्ये तसेच आमच्या API मध्ये उपलब्ध आहे. OpenAI o1‑pro प्रमाणे, o3‑pro हे आमच्या सर्वात बुद्धिमान मॉडेल, OpenAI o3 चे एक आवृत्ती आहे, जे जास्त वेळ विचार करण्यासाठी आणि सर्वात विश्वासार्ह प्रतिसाद देण्यासाठी डिझाइन केलेले आहे. संपूर्ण तपशील आमच्या रिलीज नोट्स(नवीन विंडोमध्ये उघडेल)मध्ये आढळू शकतात.
आज, आम्ही OpenAI o3 आणि o4-mini रीलिझ करत आहोत, जे आमच्या o-सीरीजमधील नवीनतम मॉडेल्स आहेत, जे प्रतिसाद देण्यापूर्वी अधिक वेळ विचार करण्यासाठी प्रशिक्षित आहेत. हे आतापर्यंत आम्ही रीलिझ केलेले सर्वात हुशार मॉडेल्स आहेत, जे कुतूहल असलेल्या वापरकर्त्यांपासून ते प्रगत संशोधकांपर्यंत सर्वांसाठी ChatGPT च्या क्षमतांमध्ये मोठा बदल दर्शवतात. पहिल्यांदाच, आमचे रीझनिंग मॉडेल्स एजंटिक पद्धतीने ChatGPT मधील प्रत्येक साधन वापरू आणि एकत्र करू शकतात—यात वेब शोधणे, अपलोड केलेल्या फाइल्स आणि इतर डेटा Python वापरून विश्लेषण करणे, व्हिज्युअल इनपुटवर सखोल रीझनिंग करणे, आणि इमेजेस तयार करणे यांचा समावेश आहे. महत्त्वाचे म्हणजे, हे मॉडेल्स साधने कधी आणि कशी वापरायची, योग्य आउटपुट फॉरमॅटमध्ये सविस्तर आणि विचारपूर्वक उत्तर तयार करण्यासाठी, सहसा एका मिनिटापेक्षा कमी वेळात, अधिक जटिल समस्या सोडविणे, याबाबत रीझनिंगसाठी प्रशिक्षित आहेत. यामुळे ते बहुपर्यायी प्रश्न अधिक प्रभावीपणे हाताळू शकतात, जे अधिक एजंटिक ChatGPT कडे एक पाऊल आहे जे तुमच्या वतीने स्वतंत्रपणे कार्ये पार पाडू शकते. अत्याधुनिक रीझनिंगची संयुक्त शक्ती पूर्ण साधन प्रवेशासह शैक्षणिक बेंचमार्क्स आणि वास्तविक जगातील कार्यांमध्ये लक्षणीय मजबूत कार्यक्षमता दर्शवते, जी बुद्धिमत्ता आणि उपयुक्ततेसाठी नवीन मानक ठरवते.
OpenAI o3 हे आमचे सर्वात शक्तिशाली तर्कसंगत मॉडेल आहे जे कोडिंग, गणित, विज्ञान, दृश्य धारणा आणि बरेच काही पार करते. हे कोडफोर्सेस, SWE-बेंच (कस्टम मॉडेल-विशिष्ट स्कॅफोल्ड न बांधता) आणि MMMU यांसह बेंचमार्क्सवर नवीन स्टेट-ऑफ-द-आर्ट (SOTA) सेट करते. बहुआयामी विश्लेषण आवश्यक असलेल्या आणि ज्यांची उत्तरे लगेच स्पष्ट होत नाहीत अशा कॉम्प्लेक्स क्वेरीजसाठी हे आदर्श आहे. प्रतिमा, चार्ट्स आणि ग्राफिक्सचे विश्लेषण करण्यासारख्या व्हिज्युअल टास्क्समध्ये याची कामगिरी विशेषतः मजबूत आहे. बाह्य तज्ज्ञांच्या मूल्यांकनांमध्ये, कठीण आणि प्रत्यक्ष जगातील कामांवर o3 कडून OpenAI o1 पेक्षा 20 टक्के कमी मोठ्या चुका झाल्या आहेत—विशेषतः प्रोग्रॅमिंग, Business/कन्सल्टिंग आणि क्रिएटिव आयडिएशन या क्षेत्रांत o3 उत्कृष्ट कामगिरी करत आहे. सुरुवातीच्या परीक्षकांनी त्याच्या विश्लेषणात्मक कठोरतेला विचार भागीदार म्हणून अधोरेखित केले आणि नवीन गृहीतके उत्पन्न करण्याची आणि त्यांचे टीकात्मक मूल्यांकन करण्याची क्षमता - विशेषतः जीवशास्त्र, गणित आणि अभियांत्रिकी संदर्भात - यावर भर दिला.
OpenAI o4-mini हे एक लहान मॉडेल आहे जे जलद, खर्च-कार्यक्षम तर्कासाठी ऑप्टिमाइझ केलेले आहे—हे त्याच्या आकार आणि किंमतीसाठी विशेषतः गणित, कोडिंग, आणि दृश्य कामांमध्ये उल्लेखनीय कामगिरी करते. AIME 2024 आणि 2025 वर हे सर्वोत्तम कामगिरी करणारे बेंचमार्क्ड मॉडेल आहे. कॉम्प्युटरचा प्रवेश AIME परीक्षेची कठीणता लक्षणीयरीत्या कमी करतो, तरीही आम्हाला हे विशेष लक्षात आले की पायथन इंटरप्रिटरचा प्रवेश दिल्यास o4-mini ने AIME 2025 वर 99.5% pass@1 (100% consensus@8) साध्य केले आहे. टूल प्रवेश नसलेल्या मॉडेल्सच्या कामगिरीशी या निकालांची तुलना करू नये; तरीही हे o4-mini उपलब्ध टूल्सचा किती प्रभावी वापर करते याचे एक उदाहरण आहे. टूल वापरामुळे AIME 2025 वर o3 मध्येही तत्सम सुधारणा दिसतात (98.4% pass@1, 100% consensus@8).
तज्ज्ञांच्या मूल्यांकनांमध्ये, o4-mini ने नॉन-STEM टास्क्स तसेच डेटा सायन्ससारख्या डोमेन्समध्ये तुमच्या पूर्वसुरी o3‑mini पेक्षा चांगली कामगिरी केली आहे. त्याच्या कार्यक्षमतेमुळे, o4-mini हे o3 पेक्षा लक्षणीयरीत्या जास्त वापरक्षमतांना सपोर्ट करते, त्यामुळे तर्काचा फायदा होणाऱ्या प्रश्नांसाठी हे एक दमदार हाय-वॉल्यूम, हाय-थ्रुपुट पर्याय ठरते. बाह्य तज्ञ मूल्यांकनकर्त्यांनी दोन्ही मॉडेल्स ला सुधारित सूचनांचे पालन आणि त्यांच्या पूर्ववर्ती मॉडेल्सपेक्षा अधिक उपयुक्त, सुधारित बुद्धिमत्ता आणि वेब स्रोतांच्या समावेशामुळे. पडताळणीयोग्य प्रतिसाद दर्शविणारे म्हणून रेटिंग दिले. आमच्या आधीच्या रीझनिंग मॉडेल्सच्या आवृत्त्यांशी तुलना करता, ही दोन्ही मॉडेल्स अधिक नैसर्गिक आणि संभाषणात्मक वाटतील—विशेषतः त्या स्मृती आणि मागील संभाषणांचा संदर्भ घेतात, ज्यामुळे प्रतिसाद अधिक वैयक्तिकृत आणि सुसंगत होतात.
मल्टिमोडल
कोडिंग
सर्व SWE-बेंच इव्हॅल्युएशन रन आमच्या इंटरनल इन्फ्रास्ट्रक्चरवर व्हॅलिडेट केलेल्या n=477 व्हेरिफाइड टास्क्सच्या फिक्स्ड सबसेटवर चालवले जातात.
इन्स्ट्रक्शन फॉलोइंग आणि एजेंटिक टूल यूज
सर्व मॉडेल्सचे मूल्यांकन उच्च ‘तर्क करण्याच्या एफर्ट’ सेटिंग्सवर केले जाते—ChatGPT मधील ‘o4-mini-high’ सारख्या व्हेरियंट्सप्रमाणे.
OpenAI o3 च्या विकासादरम्यान, आम्हाला असे आढळून आले आहे की मोठ्या प्रमाणात मजबुतीकरण शिक्षण GPT‑सिरीज प्रीट्रेनिंगमध्ये आढळलेल्या "अधिक गणना = चांगले कार्यप्रदर्शन" ट्रेंडसारखेच प्रदर्शित करते. स्केलिंग मार्गाचा शोध घेऊन—यावेळी RL मध्ये—आम्ही प्रशिक्षण गणना आणि अनुमान-वेळ तर्क या दोन्हीमध्ये परिमाणाचा अतिरिक्त क्रम पुढे नेला आहे, तरीही स्पष्ट कामगिरीतील वाढ दिसून येते, हे प्रमाणित करते की मॉडेल्सना विचार करण्याची परवानगी दिली की त्यांची कामगिरी सुधारत राहते. OpenAI o1 सह समान प्रलंबित आणि खर्चात, o3 ChatGPT मध्ये उच्च कार्यक्षमता प्रदान करते—आणि आम्ही हे प्रमाणित केले आहे की जर आपण त्याला जास्त वेळ विचार करू दिला तर त्याची कार्यक्षमता वाढतच राहते.
आम्ही दोन्ही मॉडेल्सना मजबुतीकरण शिक्षणाद्वारे साधनांचा वापर करण्याचे प्रशिक्षण दिले—त्यांना केवळ साधने कशी वापरायची हे शिकवले नाही तर ती कधी वापरायची याबद्दल तर्कशक्ती वापरायला शिकवले. इच्छित परिणामांवर आधारित साधने वापरण्याची त्यांची क्षमता त्यांना ओपन-एंडेड परिस्थितींमध्ये अधिक सक्षम बनवते — विशेषतः ज्यामध्ये दृश्य तर्क आणि बहु-चरण कार्यप्रवाह असतात. सुरुवातीच्या परीक्षकांनी नोंदवल्याप्रमाणे, ही सुधारणा शैक्षणिक बेंचमार्क आणि वास्तविक-जगातील कामांमध्ये दिसून येते.

पहिल्यांदाच, ही मॉडेल्स त्यांच्या चेन ऑफ थॉटमध्ये प्रतिमाेस थेट इंटिग्रेट करू शकतात. ती फक्त प्रतिमा पाहत नाहीत—तर त्यासोबत विचार करतात. हे प्रॉब्लेम-सॉल्विंगचा एक नवा वर्ग उघडते, जो व्हिज्युअल आणि टेक्स्च्युअल रीझनिंग एकत्र करतो—त्यांच्या मल्टिमोडल बेंचमार्क्सवरील स्टेट-ऑफ-द-आर्ट परफॉर्मन्समध्ये हे दिसते.
लोक व्हाईटबोर्डचा फोटो, टेक्स्टबुक डायग्राम किंवा हाताने काढलेले स्केच अपलोड करू शकतात, आणि मॉडेल त्याचा अर्थ लावू शकते—प्रतिमा ब्लरी, उलटी किंवा कमी क्वालिटीची असली तरी. टूलच्या वापरासह, मॉडेल्स प्रतिमांना त्वरित हाताळू शकतात—त्यांच्या तर्क प्रक्रियेचा भाग म्हणून त्यांना फिरवणे, झूम करणे किंवा रूपांतरित करणे.
हे मॉडेल दृश्य धारणा कार्यांमध्ये सर्वोत्तम अचूकता प्रदान करतात, ज्यामुळे ते पूर्वी आवाक्याबाहेर असलेले प्रश्न सोडवू शकतात. अधिक जाणून घेण्यासाठी व्हिज्युअल रिझनिंग रिशोध ब्लॉग वाचा.
OpenAI o3 आणि o4-mini ना ChatGPT मधील टूल्सना फुल प्रवेश आहे, तसेच API मध्ये फंक्शन कॉलिंगद्वारे तुमच्या कस्टम टूल्सनाही. ही मॉडेल्स समस्या कशा सोडवायच्या यावर तर्क करण्यासाठी प्रशिक्षित आहेत; योग्य आउटपुट फॉरमॅटमध्ये सविस्तर आणि विचारपूर्वक उत्तरे पटकन देण्यासाठी—साधारण एका मिनिटाच्या आत—कोणते टूल कधी आणि कसे वापरायचे ते निवडतात.
उदाहरणार्थ, एखादा वापरकर्ता विचारू शकतो: "कॅलिफोर्नियामध्ये उन्हाळ्यातील ऊर्जा वापर गेल्या वर्षीच्या तुलनेत कसा असेल?" मॉडेल वेबवर पब्लिक युटिलिटी डेटा शोध करू शकते, फोरकास्ट तयार करण्यासाठी पायथन कोड लिहू शकते, ग्राफ किंवा प्रतिमा उत्पन्न करू शकते, आणि भाकितामागील मुख्य घटक समजावू शकते—मल्टिपल टूल कॉल्स चेन करून. तर्कामुळे मॉडेल्सना समोर येणाऱ्या माहितीनुसार आवश्यक तेव्हा प्रतिक्रिया देऊन पिव्हट करता येते. उदाहरणार्थ, ते शोध प्रोव्हायडर्सच्या मदतीने वेबवर अनेक वेळा शोध करू शकतात, निकाल पाहू शकतात, आणि अधिक माहिती हवी असल्यास नवे शोध करून पाहू शकतात.
या लवचिक, धोरणात्मक दृष्टिकोनामुळे मॉडेल्सना अशा कामांना सामोरे जाण्याचा प्रवेश करण्यासाठी ज्यांना मॉडेलच्या अंगभूत ज्ञानाच्या पलीकडे, विस्तारित तर्क, संश्लेषण आणि विविध पद्धतींमध्ये आउटपुट निर्मितीच्या पलीकडे अद्ययावत माहितीची आवश्यकता असते.
सर्व उदाहरणे OpenAI o3 ने पूर्ण करण्यात आली.
OpenAI o3
OpenAI o1
OpenAI o3 शोध न वापरता योग्य प्रतिसाद देते, तर o1 योग्य प्रतिसाद देण्यात अपयशी ठरते.
किफायतशीर तर्काचा विकास
किंमत विरुद्ध परफॉर्मन्स: o3‑mini आणि o4-mini


किंमत विरुद्ध परफॉर्मन्स: o1 आणि o3


OpenAI o3 आणि o4-mini ही आम्ही कधीही रिलीज केलेली सर्वात बुद्धिमान मॉडेल्स आहेत, आणि अनेकदा ती त्यांच्या पूर्वसुरी OpenAI o1 आणि o3‑mini पेक्षा अधिक कार्यक्षमही असतात. उदाहरणार्थ, 2025 AIME गणित स्पर्धेत, o3 चा कॉस्ट-परफॉर्मन्स फ्रंटियर o1 पेक्षा स्पष्टपणे सुधारतो, आणि तसंच, o4-mini चा फ्रंटियर o3‑mini पेक्षा स्पष्टपणे सुधारतो. एकंदरीत, आम्हाला अपेक्षा आहे की बहुतेक वास्तविक वापरासाठी, o3 आणि o4-mini अनुक्रमे o1 आणि o3‑mini पेक्षा अधिक स्मार्ट आणि स्वस्त असतील.
मॉडेल क्षमतांमध्ये होणारी प्रत्येक सुधारणा सुरक्षिततेतील सुधारणांची पूर्तता करते. OpenAI o3 आणि o4-mini साठी, आम्ही आमचा सुरक्षा प्रशिक्षण डेटा पूर्णपणे पुन्हा तयार केला, जैविक धोके (बायोरिस्क), मालवेअर निर्मिती आणि जेलब्रेक यासारख्या क्षेत्रांमध्ये नवीन नकार प्रॉम्प्ट जोडले अहेत. या अद्यतनित डेटामुळे o3 आणि o4-मिनी आमच्या अंतर्गत नकार बेंचमार्कवर (उदा., सूचना पदानुक्रम, जेलब्रेक) मजबूत कामगिरी साध्य करू शकले आहेत. मॉडेल रिफ्युजसाठी चांगल्या कामगिरीव्यतिरिक्त, आम्ही सीमावर्ती जोखीम क्षेत्रांमध्ये धोकादायक प्रॉम्प्ट ओळखण्यासाठी सिस्टम-स्तरीय शमन देखील विकसित केले आहेत. प्रतिमा जनरेशन मधील आमच्या पूर्वीच्या कामाप्रमाणेच, आम्ही एक रिझनिंग LLM मॉनिटर प्रशिक्षित केला जो मानवी-लिखित आणि अर्थपूर्ण सुरक्षा वैशिष्ट्यांवर आधारित काम करतो. बायोरिस्कवर लागू केल्यावर, या मॉनिटरने आमच्या मानवी रेड-टीमिंग मोहिमेतील ~99% संभाषणे यशस्वीरित्या फ्लॅग केली.
आम्ही आमच्या आतापर्यंतच्या सर्वात कठोर सुरक्षा कार्यक्रमासह दोन्ही मॉडेल्सच्या स्ट्रेस टेस्ट केल्या. आमच्या अद्यतन केलेल्या प्रीपरेडनेस फ्रेमवर्क नुसार, आम्ही फ्रेमवर्कमध्ये समाविष्ट असलेल्या तीन ट्रॅक केलेल्या क्षमता क्षेत्रांमध्ये o3 आणि o4-miniचे मूल्यांकन केले: जैविक आणि रासायनिक, सायबर सुरक्षा आणि AI स्वयं-सुधारणा. या मूल्यांकनांच्या निकालांवर आधारित, आम्ही असे निर्धारित केले आहे की o3 आणि o4‑mini दोन्ही तिन्ही श्रेणींमध्ये फ्रेमवर्कच्या "उच्च" मर्यादेपेक्षा खाली राहतात. आम्ही या मूल्यांकनांचे तपशीलवार निकाल सोबतच्या सिस्टम कार्ड मध्ये प्रकाशित केले आहेत.
आम्ही एक नवीन प्रयोग देखील सामायिक करत आहोत: कोडेक्स CLI, एक हलके कोडिंग एजंट जो आपण तुमच्या टर्मिनलवरून चालवू शकता. हे थेट तुमच्या संगणकावर कार्य करते आणि GPT‑4.1 सारख्या अतिरिक्त API मॉडेल्ससाठी आगामी सपोर्टसह o3 आणि o4-mini सारख्या मॉडेल्सची तर्क क्षमता जास्तीत जास्त करण्यासाठी डिझाइन केलेले आहे.
तुम्ही कमांड लाइनवरून मॉडेलला स्क्रीनशॉट्स किंवा लो-फिडेलिटी स्केचेस पास करून, आणि तुमच्या कोडला लोकली प्रवेश देऊन, मल्टिमोडल तर्काचे फायदे घेऊ शकता. आम्ही याला आमची मॉडेल्स वापरकर्ते आणि त्यांच्या कॉम्प्युटर्सशी कनेक्ट करण्यासाठी एक मिनिमल इंटरफेस म्हणून पाहतो. कोडेक्स CLI github.com/openai/codex(नवीन विंडोमध्ये उघडेल) येथे पूर्णपणे ओपन-सोर्स आहे आज.
यासोबतच, कोडेक्स CLI आणि OpenAI मॉडेल्स वापरणाऱ्या प्रोजेक्ट्सना सपोर्ट करण्यासाठी आम्ही $1 मिलियनचे इनिशिएटिव्ह सुरू करत आहोत. आम्ही ग्रँट्ससाठीच्या अर्जांचे $25,000 USD च्या इन्क्रिमेंट्समध्ये API क्रेडिट्सच्या स्वरूपात मूल्यांकन करून स्वीकृती देऊ. प्रस्ताव येथे प्रस्तुत केले जाऊ शकतात.
ChatGPT प्लस, Pro, आणि Team वापरकर्त्यांना आजपासून मॉडेल सेलेक्टरमध्ये o3, o4-mini, आणि o4-mini-high दिसतील; हे o1, o3‑mini, आणि o3‑mini‑high ची बदली करतील. ChatGPT एंटरप्राइझ आणि Edu वापरकर्त्यांना एका आठवड्यात प्रवेश मिळेल. Free वापरकर्ते त्यांच्या क्वेरी सबमिट करण्यापूर्वी कम्पोझरमध्ये 'विचार करा' निवडून o4-mini वापरून पाहू शकतात. सर्व योजनांवरील रेट लिमिट्स मागील मॉडेल सेटप्रमाणेच अपरिवर्तित आहेत.
काही आठवड्यांत पूर्ण टूल सपोर्टसह OpenAI o3‑pro रिलीज करण्याची आम्ही अपेक्षा करतो. सध्या Pro वापरकर्त्यांना o1‑pro अजूनही प्रवेश करता येईल.
o3 आणि o4-mini हे दोन्ही आज गप्पा कम्प्लीशन API आणि प्रतिसाद API द्वारे विकसकांसाठी उपलब्ध आहेत (काही विकसकांना या मॉडेल्समध्ये प्रवेश मिळवण्यासाठी त्यांच्या संस्थांची सत्यापित करा(नवीन विंडोमध्ये उघडेल) आवश्यक आहे). प्रतिसाद API तर्क सारांशांना सपोर्ट देते, फंक्शनच्या आसपास तर्क token जतन करण्याची क्षमता चांगल्या कामगिरीसाठी कॉल करते आणि लवकरच मॉडेलच्या युक्तिवादात वेब शोध, फाइल शोध आणि कोड इंटरप्रिटर सारख्या अंगभूत साधनांना सपोर्ट देईल. प्रारंभ करण्यासाठी, आमचे दस्तऐवज एक्सप्लोर करणे(नवीन विंडोमध्ये उघडेल) आणि अधिक अद्यतनांसाठी लक्ष ठेवा.
आजची अद्यतने आमचे मॉडेल्स कोणत्या दिशेने जात आहेत हे प्रतिबिंबित करतात: आम्ही o-सिरीजच्या विशेष तर्क क्षमतांना GPT‑सिरीजच्या नैसर्गिक संभाषण क्षमता आणि साधन वापरासह एकत्रित करत आहोत. या सर्व सामर्थ्यांना एकत्र आणून, आमची भावी मॉडेल्स सहज, नैसर्गिक संभाषणांसोबत प्रोॲक्टिव्ह टूल यूज आणि ॲडव्हान्स्ड प्रॉब्लेम-सॉल्विंगला सपोर्ट करतील.
28 जुलै 2025 रोजी अद्यतन:17 जुलै 2025 रोजी अपडेट केलेले SWE-Lancer डेटासेट आणि निकाल, येथे उपलब्ध आहेत: https://github.com/openai/preparedness(नवीन विंडोमध्ये उघडेल)आणि आमच्या सिस्टम कार्ड्समध्ये. हे अपडेट डॉलर्स मिळवलेल्या निकालांवर परिणाम करणाऱ्या अनेक समस्यांचे निराकरण करते आणि अंमलबजावणी दरम्यान इंटरनेट कनेक्टिव्हिटीची आवश्यकता काढून टाकते, मॉडेल कामगिरीतील परिवर्तनशीलतेचा प्राथमिक स्रोत काढून टाकते.
16 एप्रिल 2025 रोजी अद्यतन: Charxiv-rआणि Mathvista वरील o3 चे निकाल मूळ मूल्यांकनात नसलेल्या सिस्टम प्रॉम्प्ट बदल प्रतिबिंबित करण्यासाठी अद्यतनित केले गेले.
लेखक
फूटनोट्स
* टाऊ-बेंच मुल्यांकन क्रमांक 5 धावांमध्ये सरासरी काढले जातात जेणेकरून भिन्नता कमी होईल, आणि कोणत्याही सानुकूल साधनांशिवाय किंवा प्रॉम्प्टिंगशिवाय चालवले जातात. आम्हाला आढळले की टाऊ-बेंच रिटेल रोलआउट्स वापरकर्ता मॉडेल त्रुटींसाठी अधिक प्रवण आहेत. छायांकित बारसाठी क्रमांक GPT-4.1 वापरकर्ता मॉडेल म्हणून चालवले जातात कारण ते सूचनांचे पालन करण्यात GPT-4o पेक्षा लक्षणीय चांगले आहे.
* SWE-बेंच 256k कमाल संदर्भ लांबी वापरते, ज्यामुळे o4-mini चा सॉल्व्ह रेट सुमारे 3% ने सुधारतो आणि o3 च्या सॉल्व्ह रेटवर <1% ने परिणाम होतो. आम्ही आमच्या अंतर्गत पायाभूत सुविधांवर चालवता येणार नाहीत असे 23 नमुने देखील वगळतो.
** ब्राउझिंग सक्षम करताना, मॉडेल कधीकधी ऑनलाइन अचूक उत्तरे शोधू शकते, उदाहरणार्थ, डेटासेटमधील नमुना समस्यांसह ब्लॉग पोस्ट वाचून. आम्ही दोन धोरणासह ब्राउझ करताना मॉडेल फसवणूक
भूतकाळात ज्यातून मॉडेलने चीटिंग केले आहे असे आम्ही पाहिलेले ब्लॉक केलेले डोमेन.
संशयास्पद वर्तन ओळखण्यासाठी प्रत्येक प्रयत्नात सर्व token तपासण्यासाठी मॉनिटर म्हणून रिझनिंग मॉडेल वापरले. संशयास्पद वर्तनाची व्याख्या "एक पृष्ठ, फाइल किंवा स्निपेट म्हणून केली जाते ज्याचा मुख्य उद्देश या विशिष्ट प्रश्नाचे अचूक उत्तर प्रदान करणे आहे—उदा., अधिकृत ग्रेडिंग की, लीक झालेले "उपाय" सारांश, किंवा पूर्ण उत्तराचे शब्दशः उद्धृत करणारी चर्चा." सौम्य वर्तनाची व्याख्या "एक परिश्रमशील मानव सल्ला घेऊ शकणारा कोणताही अधिकृत संसाधन (दस्तऐवज, मॅन्युअल, विद्वत्तापूर्ण पेपर्स, प्रतिष्ठित लेख) जरी त्यात योगायोगाने योग्य उत्तर असले तरीही" अशी केली जाते. मॉनिटरने रोलआउट संशयास्पद मानलेले कोणतेही प्रयत्न चुकीचे मानले जातात. या तपासणीद्वारे अयशस्वी झालेले बहुतेक नमुने असे होते ज्यांचे अचूक समाधान अनेक इंटरनेट स्रोतांवर उपलब्ध होते HLE शी संबंधित नाही.
शेवटी, ChatGPT आणि OpenAI API मधील शोध इंजिन बॅकएंडमधील फरकामुळे, ब्राउझिंगसह आमचे मूल्यांकन OpenAI API मध्ये पूर्णपणे पुनरुत्पादित करता येणार नाही. हे निकाल ChatGPT वापरकर्ता अनुभवाचे प्रतिनिधित्व करण्यासाठी आहेत, परंतु मागणीनुसार, शोध कॉन्फिगरेशन कालांतराने बदलू शकते.
योगदानकर्ते
Aaditya Singh, Aaron Schlesinger, Adam Fry, Adam Lerer, Adam Perelman, Adam Walker, Ahmed El-Kishky, Aidan Clark, Aidan McLaughlin, Aiden Low, Akila Welihinda, Akshay Nathan, Aleksander Madry, Aleksandra Spyra, Alex Karpenko, Alex Neitz, Alex Tachard Passos, Alex Wei, Alexander Prokofiev, Alexander Zielenski, Alexandra Barr, Alexey Ivanov, Alexi Christakis, Alfred Xue, Allison Tam, Ally Bennett, Ally Bennett , Amelia Liu, Amy McDonald Sandjideh, Ananya Kumar, Andre Saraiva, Andrea Vallone, Andrew Chen, Andrew Duberstein, Andrew Gibiansky, Andrew Kondrich, Andrew Tulloch, Andrey Mishchenko, Andy Applebaum, Andy Wang, Angela Baek, Annie Wei, Anting Shen, Antoine Pelisse, Anuj Saharan, Arun Vijayvergiya, Ashley Tyra, Ashvin Nair, Avi Nayak, Avital Oliver, Behrooz Ghorbani, Belinda Truong, Ben Sokolowsky, Beth Hoover, Bo Xu, Boaz Barak, Bohan Zhang, Borys Minaiev, Botao Hao, Bowen Baker, Bowen Cheng, Brandon McKinzie, Brandon Wang, Brian Hsu, Brian Yang, Brian Yu, Brian Zhang, Camillo Lugaresi, Carolina Paz, Carpus Chang, Cary Bassin , Cary Hudson, Casey Chu, Chak Li, Charles Zhao, Charlie Jatt, Charlotte Cole, Chelsea Voss, Chen Shen, Chengxu Zhuang, Chris Colby, Chris Hallacy , Chris Koch, Christina Kaplan, Christina Kim, Colin Reid, Colin Wei, Cristina Scheau, D. Sculley, Damien Deville, Dan Roberts, Dana Palmie, Dane Stuckey, Daniel Levine, David Hu, David Martin, David Robinson, David Sasaki, Davis Wu, Derek Chen, Dibya Bhattacharjee, Dimitris Tsipras, Dinghua Li, DJ Strouse, dmed Medina, Drew Hintz, Eddie Zhang, Edmund Wong, Elaine Ya Le, Eli Yani , Elizabeth Proehl, Emily Sokolova, Enoch Cheung, Eri Schwartz, Eric Mitchell, Eric Ning, Eric Sigler, Eric Wallace, Eugenio Panero, Evan Mays, Evgenii Nikishin, Fan Wang, Fangyuan Li, Filippo Raso, Foivos Tsimpourlas, Fouad Matin, Francis Song, Francis Zhang, Gary Yang, Gene Oden, Giambattista Parascandolo, Gildas Chabot, Grace Kim, Grace Zhao, Greg Brockman, Gregory Valiant, Guillaume Leclerc, Hadi Salman, Haitang Hu, Hannah Sheahan, Hao Sheng, Haoyu Wang, Henrique Ponde de Oliveira Pinto, Henry Aspegren, Heqing Yan, Hessam Bagherinezhad, Hongyu Ren, Hunter Lightman, Hyeonwoo Noh, Ian Kivlichan, Ian Sohl, Ignasi Clavera, Ikai Lan, Ilge Akkaya, Ilya Kostrikov, Irina Kofman, Isa Fulford, Jake Brill, Jakub Pachocki, James Betker, James Lee, James Qin, Jamie Kiros, Jason Ai, Jay Wang, Jean Harb, Jeff Mickey, Jeffrey Han, Jeffrey Wang, Jeremy Chen, Jerry Tworek, Jessica Liang, Jessica Shieh, Ji Lin, Jiahui Yu, Jianfeng Wang, Jie Tang, Jihan Yin, Jing Li, Joanne Jang, Joel Morris, Johannes Ferstad, Johannes Heidecke, John Fishbein, Jon Okun, Jonathan Gordon, Joost Huizinga, Jos Kraaijeveld, Joseph Mo, Josh Lawson , Josh Tobin, Junhua Mao, Kai Chen, Kai Hayashi, Karan Singhal, Karina Nguyen, Katy Shi, Kelly Stirman, Kenji Hata, Kenny Nguyen, Keren Gu-Lemberg, Kevin Gladstone, Kevin King, Kevin Liu, Kevin Lu, Kevin Park, Kevin Stone, Kevin Weil, Kevin Whinnery, Kevin Yu, Kote Mushegiani, Kristen Ying, Kristian Georgiev, Kshitij Gupta, Kyle Kosic, Lama Ahmad, Larry Lv, Lauren Itow, Lauren Yang, Lee Byron, Leo Chen, Leo Liu, Leon Maksin, Leyton Ho, Li Jing, Liang Xiong, Lin Yang, Linden Li, Lorenz Kuhn, Louis Feuvrier, Lu Zhang, Łukasz Kaiser, Mahmoud Eariby, Maja Trębacz, Manas Joglekar, Manoli Liodakis, Manuka Stratta, Mark Chen, Mark Hudnall, Mark Sun, Mark Wang, Martin Li, Marvin Zhang, Mateusz Litwin, Matt Jones, Matt Lim, Max Johnson, Max Schwarzer, Mayank Gupta, Meghan Shah, Mengqing Wang, Mengyuan Yan, Mia Glaese, Michael Bolin, Michael Lampe, Michael Malek, Michael Sharman, Michael Zhang, Michele Wang, Michelle Pokrass, Miguel Oom Temudo de Castro, Mihai Florian, Mike McClay, Mike Trpcic, Miki Habryn, Miles Wang, Ming Chen, Mingxuan Wang, Minnia Feng, Mitchell Gordon, Mo Bavarian, Mostafa Rohaninejad, Nacho Soto, Nakul Khanna, Nat McAleese, Natalie Staudacher, Natan LaFontaine, Neel Ajjarapu, Nick Felt, Nick Turley, Nikil Pancha, Nikita Mikhaylin, Niko Felix, Nikunj Handa, Ning Liu, Nishant Rai, Noah Jorgensen, Noam Brown, Oleg Boiko, Oleg Murk, Olivia Watkins, Olivier Godement, Oona Gleeson, Paul Ashbourne, Pavel Belov, Peter Flockhart, Peter Hoeschele, Peter Zhokhov, Philip Pronin, Phillip Guo, Phoebe Thacker, Prafulla Dhariwal, Prashanth R, Rachel Dias, Rahul Arora, Rajkumar Samuel, Rasmus Rygaard, Ravi Teja Mullapudi, Raymond Li, Raz Gaon, Reah Miyara, Reiichiro Nakano, Reimar Leike, Rennie Song, Rhythm Garg, RJ Marsan, Robert Xiong, Robin Brown, Roman Tsiupa, Rui Shu, Ruslan Nigmatullin, Saachi Jain, Saagar Patel, Sam Altman, Sam Toizer, Sam Toyer, Samir Ahmed, Samuel Miserendino, Samuel Wolrich , Sandhini Agarwal, Santiago Hernández, Sarah Dong, Savannah Heon, Scott Ethersmith, Scott Mayer McKinney, Sean Fitzgerald, Sever Banesiu, Shamez Hemani, Shengjia Zhao, Shengli Hu, Shibani Santurkar, Shreyas Krishnaswamy, Shuchao Bi, Shunyu Yao, Shuyuan Zhang, Simón Posada Fishman, Spencer Papay, Spug Golden, Srinivas Narayanan, Stanley Hsieh, Stephen Logsdon, Sundeep Tirumalareddy, Tal Stramer, Tao Wang, Tao Xin, Taylor Gordon, Tejal Patwardhan, Thibault Sottiaux, Tina Sriskandarajah, Tony Casparro, Tony Zhao, Trevor Creech, Uzair Navid Iftikhar, Valerie Qi, Vineet Kosaraju, Vishal Kuo, Vitchyr Pong, Vivek Verma, Vlad Petrov, Wenda Zhou, Wenlei Xie, Wenting Zhan, Will DePue, Will Ellsworth, William Sheu, Wyatt Thompson, Yaming Lin, Yann Dubois, Yaodong Yu, Yara Khakbaz, Yash Patil, Yifan Wu, Yilong Qin, Yining Chen, Yirui Zhang, Yo Shavit , Young Cha, Yunyun Wang, Yushi Wang, Zack Sultan, Zehao Dou, Zewei Chu, Zheng Shao, Zhigang Wang, Zhishuai Zhang, Zihao Zhangयुन्युन वांग, युशी वांग, झॅक सुलतान, झेहाओ डौ, झेवेई चू, झेंग शाओ, झिगांग वांग, झिशुआई झांग, झिहाओ झांग