पेश है OpenAI o3 और o4-mini
फ़ुल टूल एक्सेस के साथ हमारे अब तक के सबसे स्मार्ट और सबसे काबिल मॉडल
10 जून, 2025 का अपडेट: OpenAI o3‑pro अब ChatGPT के साथ-साथ हमारे API में भी Pro यूज़र्स के लिए उपलब्ध है. OpenAI o1‑pro की तरह, o3‑pro हमारे सबसे समझदार मॉडल, OpenAI o3 का एक वर्ज़न है, जिसे लंबे समय तक सोचने और सबसे भरोसेमंद रिस्पांस देने के लिए डिज़ाइन किया गया है. पूरी जानकारी हमारे रिलीज़ नोट्स(एक नई विंडो में खुलेगा)में देखी जा सकती है.
आज, हम OpenAI o3 और o4-mini रिलीज़ कर रहे हैं, जो हमारी o-सीरीज़ के सबसे नए मॉडल हैं, जिन्हें रिस्पांस देने से पहले ज़्यादा देर तक सोचने के लिए ट्रेन किया गया है. ये हमारे आज तक के सबसे स्मार्ट मॉडल हैं, जो जिज्ञासु यूज़र से लेकर एड्वांस्ड रिसर्चर तक सभी के लिए ChatGPT की कैपेबिलिटी में एक कदम आगे के बदलाव पेश करते हैं. पहली बार, हमारे रीज़निंग मॉडल ChatGPT में हर तरह के टूल को इस्तेमाल कर सकते हैं और जोड़ सकते हैं – इसमें वेब पर सर्च करना, Python से अपलोड की गई फ़ाइल और अन्य डेटा को एनालाइज़ करना, विज़ुअल इनपुट के बारे में ज़्यादा बारीकी से रीज़निंग और यहां तक कि इमेज जनरेट करना भी शामिल है. ख़ासतौर पर, इन मॉडल को इस चीज़ के लिए ट्रेन किया जाता है कि ये ज़्यादा पेचीदा प्रॉब्लम को हल करने के लिए, आमतौर पर एक मिनट से भी कम समय में, बिल्कुल सही आउटपुट फ़ॉर्मेट में, ब्यौरेवार और सोच-समझकर जवाब देने के लिए टूल का कब और कैसे इस्तेमाल करें. इससे उन्हें कई आयामों वाले सवालो से ज़्यादा असरदार तरीक़े से निपटने में मदद मिलती है, यह ज़्यादा एजेंटिक ChatGPT की ओर एक क़दम है, जो आपकी तरफ़ से स्वतंत्र तौर से टास्क को पूरा कर सकता है. फ़ुल टूल एक्सेस के साथ स्टेट-ऑफ़-द-आर्ट यानी सबसे ज़्यादा आधुनिक परफ़ॉर्मेंस वाली रीज़निंग की एक साथ जुड़ी हुई ताक़त, एकेडमिक बेंचमार्क और असली दुनिया के टास्क में काफ़ी मज़बूती से परफ़ॉर्मेंस को अंजाम देती है, जो इंटेलिजेंस और ज़्यादा फ़ायदेमंद होने, दोनों में नया स्टैंडर्ड सेट करती है.
OpenAI o3 हमारा सबसे ताक़तवर रीज़निंग मॉडल है, जो कोडिंग, मैथ, साइंस, विज़ुअल पर्सेप्शन आदि में उनके दायरों को आगे बढ़ाता है. यह Codeforces, SWE-bench (बिना कोई कस्टम मॉडल-स्पेसिफ़िक स्कैफ़ोल्ड बनाए) और MMMU समेत बेंचमार्क पर नया SOTA सेट करता है. यह उन पेचीदा क्वेरीज़ के लिए बेहतरीन है, जिनको कई आयामों वाला एनालिसिस चाहिए होता है और जिनके जवाब तुरंत आसानी से समझ में न आ सकें. यह ख़ासकर इमेज, चार्ट और ग्राफ़िक्स को एनालाइज़ करने जैसे विज़ुअल टास्क में काफ़ी अच्छा परफ़ॉर्म करता है. एक्सटर्नल एक्सपर्ट के एवैल्यूए करने में, o3 ने मुश्किल, असली दुनिया के टास्क में OpenAI o1 की तुलना में 20 फ़ीसदी कम बड़ी ग़लतियां कीं - ख़ासकर प्रोग्रामिंग, बिज़नेस/सलाह और क्रिएटिव आइडिएशन जैसे एरिया में बहुत ही बेहतरीन काम किया. शुरुआती टेस्टर ने सोचने-समझने वाले पार्टनर के तौर पर इसकी एनालिटिकल सख़्ती पर रोशनी डाली और नई हाइपोथीसिस को जेनरेट और उनका बारीकी से एवैल्यूए करने की इसकी कैपेबिलिटी पर ज़ोर दिया – ख़ासतौर पर बायोलॉजी, मैथ और इंजीनियरिंग के कॉन्टेक्स्ट में.
OpenAI o4-mini तेज़, किफ़ायती रीज़निंग के लिए ऑप्टिमाइज़्ड एक छोटा-सा मॉडल है – यह अपने साइज़ और लागत के मद्देनज़र ग़ौरतलब परफ़ॉर्मेंस हासिल करता है, ख़ासकर मैथ, कोडिंग और विज़ुअल टास्क में. यह AIME 2024 और 2025 पर सबसे बेहतरीन परफ़ॉर्मेंस वाला बेचमार्क मॉडल है. वैसे कंप्यूटर का एक्सेस AIME एग्ज़ाम की दिक़्क़त को काफ़ी हद तक कम कर देता है, हमने यह भी पाया कि जब Python इंटरप्रेटर का एक्सेस दिया गया, तो o4-mini ने AIME 2025 में 99.5% पास@1 (100% आम सहमति@8) हासिल किए. वैसे तो इन नतीजों की तुलना बिना टूल एक्सेेस वाले मॉडल की परफ़ॉर्मेंस के साथ नहीं की जानी चाहिए, लेकिन ये इस चीज़ का उदाहरण हैं कि o4-mini उपलब्ध टूल का कितना असरदार फ़ायदा लेता है; o3 ने टूल का इस्तेमाल करके AIME 2025 पर उतना ही सुधार (98.4% पास@1, 100% आम सहमति@8) दिखाया.
एक्सपर्ट एवैल्यूशन में, o4-mini अपने प्रेडिसेसर o3‑mini से नॉन-STEM टास्क के साथ-साथ डेटा साइंस जैसे डोमेन में भी बेहतर परफ़ॉर्म करता है. अपनी एफ़िशिएंसी की वजह से ही o4-mini, o3 की तुलना में काफ़ी ज़्यादा इस्तेमाल की लिमिट को सपोर्ट करता है, जिससे यह उन सवालों के लिए ज़्यादा-वॉल्यूम, ज़्यादा हर जगह वाला एक मज़बूत ऑप्शन बन जाता है, जिनमें रीज़निंग फ़ायदेमंद होती है. एक्सटर्नल एक्सपर्ट एवैल्यूएटर ने दोनों मॉडलको अच्छी तरह से निर्देश को फ़ॉलो करने वाले और अपने प्रेडिसेसर की तुलना में ज़्यादा कारगर, वेरिफ़ाई करने लायक रिस्पांस देने वाले बताया, और यह बेहतर इंटेलिजेंस और वेब सोर्सेस के इंक्लूज़न की वजह से हो पाया. हमारे रीज़निंग मॉडल के पिछले वर्ज़न की तुलना में, ये दोनों मॉडल नैचुरल और बातचीत करने वाले लगने चाहिए, ख़ासकर तब जब ये रिस्पांस को ज़्यादा पर्सनलाइज़ और उससे जुड़ा हुआ बनाने के लिए यादों और पिछली बातचीतों को रेफ़र करते हैं.
मल्टीमोडल
कोडिंग
निर्देश को फ़ॉलो करने और एजेंटिक टूल के इस्तेमाल
सभी मॉडल का हाई ‘रीज़निंग कोशिश’ सेटिंग्स पर एवैल्यूशन किया जाता है—बिल्कुल ChatGPT में ‘o4-mini-high’ की तरह.
OpenAI o3 के पूरे डेवलपमेंट के दौरान, हमने देखा है कि बड़े पैमाने पर रीइंफ़ोर्समेंट लर्निंग GPT‑सीरीज़ प्रीट्रेनिंग में देखी गई उसी "ज़्यादा कंप्यूट = बेहतर परफ़ॉर्मेंस" वाले ट्रेंड को दिखाती है. स्केलिंग पाथ को फिर से दोहराते हुए – इस बार RL में – हमने ट्रेनिंग कंप्यूट और इंफ़ेरेंस-टाइम रीज़निंग दोनों में अहमियत के अलग से एक ऑर्डर को आगे बढ़ाया है, फिर भी साफ़ तौर पर परफ़ॉर्मेंस में इज़ाफ़ा दिखाई देता है, इसे साबित करते हुए कि मॉडल को जितना ज़्यादा सोचने-समझने दिया जाता है, उनकी परफ़ॉर्मेंस उतनी ही बेहतर होती जाती है. OpenAI o1 के बराबर लेटेंसी और लागत पर, o3 ChatGPT में ज़्यादा अच्छी परफ़ॉर्मेंस देता है – और हमने इसे साबित किया है कि अगर हम इसे ज़्यादा समय तक सोचने देते हैं, तो इसकी परफ़ॉर्मेंस और ज़्यादा अच्छी हो जाती है.
हमने दोनों मॉडल को रीइंफ़ोर्समेंट लर्निंग के ज़रिए टूल को इस्तेमालकरने के लिए ट्रेन किया – उन्हें न सिर्फ़ टूल को इस्तेमाल करना सिखाया, बल्कि यह भी सिखाया कि रीज़न के साथ उनका इस्तेमाल कब करना है. मनचाहे नतीजों के आधार पर टूल को डिप्लॉय करने की उनकी कैपेबिलिटी उन्हें ओपन-एंडेड हालातों में ज़्यादा कारगर बनाती है – ख़ासकर उनमें, जो विज़ुअल रीज़निंग और मल्टी-स्टेप वर्कफ़्लो से जुड़ा हों. जैसा हमें शुरुआती टेस्टर ने रिपोर्ट किया, यह सुधार एकेडमिक बेंचमार्क और असली दुनिया के टास्क दोनों में झलकता है.

पहली बार, ये मॉडल इमेज को सीधे अपने chain of thought में इंटिग्रेट कर सकते हैं. वे सिर्फ़ एक इमेज नहीं देखेंगे – बल्कि उसके साथ सोचेंगे. इससे प्रॉब्लम हल करने की एक नई क्लास खुलेगी, जिसमें विज़ुअल और टेक्स्ट रीज़निंग का मेल होता है, जो मल्टीमॉडल बेंचमार्क में उनके स्टेट-ऑफ़-द-आर्ट यानी सबसे ज़्यादा आधुनिक परफ़ॉर्मेंस में झलकता है.
लोग व्हाइटबोर्ड, टेक्स्टबुक डायग्राम या हाथ से बने स्केच की फ़ोटो अपलोड कर सकते हैं, और मॉडल इसके बारे में बता सकता है – फिर चाहे इमेज धुंधली, उलटी या कम क्वालिटी वाली ही क्यों न हो. टूल को इस्तेमाल करके मॉडल अपनी रीज़निंग प्रोसेस से तुरंत ही इमेज में हेरफ़ेर कर सकते हैं – उसे घुमा सकते हैं, ज़ूम कर सकते हैं या बदलाव कर सकते हैं.
ये मॉडल विज़ुअल पर्सेप्शन टास्क में सबसे बेहतरीन एक्यूरेसी पेश करते हैं, इसे उन सवालों को हल करने में इनेबल बना देते हैं, जो पहले उनकी पहुंच में नहीं थे. और ज़्यादा जानने के लिए विज़ुअल रीज़निंग रिसर्च ब्लॉग पर जाएं.
OpenAI o3 और o4-mini को ChatGPT में टूल्स का पूरा एक्सेस मिला हुआ है, साथ ही साथ API में फ़ंक्शन कॉलिंग के ज़रिए आपके अपने कस्टम टूल का भी एक्सेस है.. इन मॉडल को प्रॉब्लम को हल करने के तरीक़े के बारे में रीज़न करने, और यह चुनने के लिए ट्रेन किया जाता है कि कब और कैसे टूल के इस्तेमाल से बिल्कुल सही आउटपुट फ़ॉर्मेट में, ब्यौरेवार और सोच-समझकर जवाब – और वो भी आमतौर पर एक मिनट से भी कम समय में.
उदाहरण के लिए, एक यूज़र पूछ सकते हैं: “पिछले साल से तुलना करें, तो इस बार कैलिफ़ोर्निया में गर्मियों में बिजली की ख़पत कितनी रहेगी?” इसके लिए मॉडल वेब पर पब्लिक यूटिलिटी डेटा सर्च कर सकता है, पूर्वानुमान लगाने के लिए Python कोड तैयार कर सकता है, ग्राफ़ या इमेज जनरेट कर सकता है, और अपने इस अंदाज़े के पीछे की ख़ास-ख़ास चीज़ों का ब्यौरा दे सकता है, और कई टूल कॉल्स की चेन बना सकता है. रीज़निंग से मॉडल ज़रूरत के हिसाब से जवाब देने और सामने आई जानकारी के अनुसार उसमें बदलाव कर पाता है. उदाहरण के लिए, वे सर्च प्रोवाइडर की मदद से कई बार वेब पर सर्च कर सकते हैं, नतीजे देख सकते हैं, और ज़्यादा जानकारी की ज़रूरत पड़ने पर नई सर्च भी कर सकते हैं.
यह फ़्लेक्सिबल, स्ट्रैटेजिक अप्रोच मॉडल को उन टास्क को संभालने देता है, जिनके लिए मॉडल की बिल्ट-इन जानकारी, और ज़्यादा रीज़निंग, सिंथेसिस और मॉडेलिटीज़ में आउटपुट जनरेशन से आगे की अप-टू-डेट जानकारी का एक्सेस चाहिए होता है.
सभी उदाहरण OpenAI o3 के साथ पूरे हुए थे.
OpenAI o3
OpenAI o1
OpenAI o3 बिना सर्च किए भी सही रिस्पांस पा सकता है, जबकि o1 सही रिस्पांस देने में नाकाम रहता है.
किफ़ायती रीज़निंग को एडवांस करना
ख़र्चा बनाम परफ़ॉर्मेंस: o3‑mini और o4-mini


ख़र्चा बनाम परफ़ॉर्मेंस: o1 और o3


OpenAI o3 और o4-mini हमारे अब तक के सबसे इंटेलिजेंट मॉडल हैं, और वे अनेक मामलों में अपने प्रेडिसेसर OpenAI o1 और o3‑mini के मुक़ाबले में बहुत ज़्यादा एफ़िशिएंट भी हैं. उदाहरण के लिए, 2025 AIME मैथ कंपिटिशन में, o3 के लिए कॉस्ट-परफ़ॉर्मेंस फ़्रटियर o1 की तुलना में ठीक-ठाक बेहतर हो जाती है, और इसी तरह, o4-mini की फ़्रंटियर भी o3‑mini की तुलना में ठीक-ठाक बेहतर हो जाती है. कुल मिलाकर कहें तो, हमें उम्मीद है कि असली दुनिया के ज़्यादातर इस्तेमाल के लिए o3 और o4-mini इसी क्रम अनुसार o1 और o3‑mini के मुक़ाबले ज़्यादा स्मार्ट और सस्ते साबित होंगे.
मॉडल की कैपेबिलिटी में हरेक बेहतरी उसी के हिसाब से सुरक्षा में भी चाहिए होती है. OpenAI o3 और o4-mini के लिए, हमने अपने सुरक्षा ट्रेनिंग डेटा को पूरी तरह से नया बना दिया है, इसमें बायोलॉजिकल ख़तरे (बायोरिस्क), मैलवेयर जनरेशन और जेलब्रेक जैसे एरिया में नए रिफ़्यूज़ल प्रॉम्प्ट जोड़े गए हैं. इस रीफ़्रेश किए गए डेटा ने o3 और o4-mini को हमारे इंटर्नल रिफ़्यूज़ल बेंचमार्क (जैसे कि, निर्देश क्रम, जेलब्क्स) पर बेहतरीन परफ़ॉर्मेंस हासिल करने में मदद की. मॉडल रिफ़्यूज़ल के लिए बेहतरीन परफ़ॉर्मेंस के अलावा, हमने फ़्रंटियर रिस्क एरिया में ख़तरनाक प्रॉम्प्ट को पहचानने के लिए सिस्टम-लेवल मिटिगेशन भी डेवलप किए हैं. इमेज जनरेशन में हमारे पिछले काम की तरह ही, हमने एक रीज़निंग LLM मॉनिटर को ट्रेन किया जो हाथ से लिखे और आसानी से समझ में आ सकने लायक सुरक्षा निर्देशों के आधार पर काम करता है. बायोरिस्क पर लागू होने पर, इस मॉनिटर ने हमारे इंसानी रेड-टीमिंग कैंपेन में ~99% बातचीत को बढ़िया से फ़्लैग किया.
हमने दोनों मॉडल का अब तक के सबसे सख़्त सुरक्षा प्रोग्राम के तहत स्ट्रेस टेस्ट किया. हमारे अपडेट किए हुए तैयार रहने के फ़्रेमवर्कके अनुसार, हमने फ़्रेमवर्क द्वारा तीन ट्रैक किए गए कैपेबिलिटी क्षेत्रों में o3 और o4-mini का एवैल्यूशन किया: बायोलॉजिकल और केमिकल, साइबरसिक्योरिटी, और AI सेल्फ़-इंप्रूवमेंट. इन एवैल्यूशन के नतीजों के आधार पर, हमने तय किया है कि o3 और o4 mini दोनों ही तीनों कैटेगरीज़ में फ़्रेमवर्क की "हाई" लिमिट से नीचे हैं. हमने इन एवैल्यूशन के ब्यौरेवार नतीजे साथ वाले सिस्टम कार्डमें पब्लिश किए हैं.
हम नए तजुर्बे भी शेयर कर रहे हैं: Codex CLI, एक हल्का-सा कोडिंग एजेंट, जिसे आप अपने टर्मिनल से चला सकते हैं. ये सीधे आपके कंप्यूटर पर काम करता है और इसे o3 और o4-mini जैसे मॉडल की रीज़निंग कैपेबिलिटी को सबसे ज़्यादा करने के लिए डिज़ाइन किया गया है, जिसमें GPT‑4.1 जैसे अलग API मॉडल के लिए आगे सपोर्ट भी शामिल है.
आप मॉडल को स्क्रीनशॉट या लो फ़िडेलिटी स्केच भेजकर कमांड लाइन से मल्टीमॉडल रीजनिंग का लाभ उठा सकते हैं, और अपने लोकल कोड के एक्सेस के साथ जोड़ सकते हैं. हम इसे अपने मॉडल को यूज़र से और उनके कंप्यूटर से जोड़ने के एक मिनिमल इंटरफ़ेस के तौर पर लेते हैं. Codex CLI github.com/openai/codex(एक नई विंडो में खुलेगा) पर आज से पूरी तरह ओपन-सोर्स है.
इसके साथ-साथ, हम Codex CLI और OpenAI मॉडल का इस्तेमाल करने वाले प्रोजेक्ट को सपोर्ट देने के लिए $1 मिलियन की पहल पेश कर रहे हैं. हम API क्रेडिट के तौर पर $25,000 USD की बढ़ौतरी में ग्रांट के लिए ऐप्लिकेशन एवैल्युएट करेंगे और मंज़ूर करेंगे. प्रोपोज़ल यहां सबमिट कराए जा सकते हैं.
ChatGPT Plus, Pro और Team यूज़र आज से मॉडल सेलेक्टर में o3, o4-mini और o4-mini-high को देख पाएंगे, जो o1, o3‑mini, और o3‑mini‑high की जगह पर होंगे. ChatGPT Enterprise और Edu यूज़र को एक सप्ताह में एक्सेस मिलेगा. Free यूज़र अपनी क्वेरी सबमिट करने से पहले कंपोज़र में 'सोचें' को चुनकर o4-mini को आज़मा सकते हैं. सभी प्लान में रेट लिमिट पहले के मॉडल सेट जितनी ही रहेंगी.
हमें उम्मीद है कि हम अगले कुछ सप्ताह में फ़ुल टूल सपोर्ट के साथ OpenAI o3‑pro को रिलीज़ कर देंगे. अभी के लिए, Pro यूज़र्स o1‑pro को ही एक्सेस कर सकेंगे.
o3 और o4-mini दोनों ही आज चैट एंडपॉइंट API और रिस्पांस API के ज़रिए डेवलपर्स के लिए उपलब्ध हैं (कुछ डेवलपर्स को इन मॉडल के एक्सेस के लिए अपने संगठनों को वेरिफ़ाई करना(एक नई विंडो में खुलेगा) होगा). रिस्पांस API रीज़निंग सारांशों को सपोर्ट करता है, तो बेहतर परफ़ॉर्मेंस के लिए फ़ंक्शन कॉल पर रीज़निंग टोकन को बनाए रखने की कैपेबिलिटी है, और जल्द ही मॉडल की रीज़निंग में वेब सर्च, फ़ाइल सर्च और कोड इंटरप्रेटर जैसे बिल्ट-इन टूल्स को सपोर्ट करेगा. शुरू करने के लिए, हमारे डॉक्स देखें(एक नई विंडो में खुलेगा) और ज़्यादा अपडेट्स के लिए हमसे जुड़े रहें.
आज के अपडेट हमारे मॉडल की दिशा को दिखाते हैं: हम o-सीरीज़ की ख़ास रीज़निंग कैपेबिलिटी को GPT‑सीरीज़ की स्वाभाविक बातचीत कैपेबिलिटी और टूल के इस्तेमाल के साथ इंटिग्रेट कर रहे हैं. इन ताक़तों को एक साथ करके, हमारे भविष्य के मॉडल प्रोएक्टिव टूल के इस्तेमाल और एड्वांस्ड प्रॉब्लम-सोल्विंग के साथ-साथ बिना रुकावट के, स्वाभाविक बातचीत को सपोर्ट करेंगे.
28 जुलाई, 2025 को अपडेट: SWE-Lancer डेटासेट और परिणाम 17 जुलाई, 2025 तक अपडेट किए गए हैं, उपलब्ध हैं: https://github.com/openai/preparedness(एक नई विंडो में खुलेगा) और हमारे सिस्टम कार्ड्स में. यह अपडेट कई समस्याओं को हल करता है जो डॉलर अर्जित परिणामों को प्रभावित कर रही थीं और निष्पादन के दौरान इंटरनेट कनेक्टिविटी की आवश्यकता को हटा देता है, जिससे मॉडल परफॉरमेंस में परिवर्तनशीलता का एक प्रमुख स्रोत समाप्त हो जाता है.
16 अप्रैल, 2025 को अपडेट: Charxiv-r और Mathvista पर o3 के परिणाम एक सिस्टम प्रॉम्प्ट बदलाव को दर्शाने के लिए अपडेट किए गए, जो मूल इवैल्यूएशन में मौजूद नहीं था.
लेखक
फ़ुटनोट
* वैरियंस को कम करने के लिए tau-बेंच इवैल नंबरों को 5 रनों में औसत किया जाता है, और बिना किसी कस्टम टूल या प्रॉम्प्टिंग के रन किया जाता है. हमने पाया कि tau-बेंच रिटेल रोलआउट में यूज़र मॉडल में ग़लतियां होने की संभावना ज़्यादा होती है. शेड वाली बार के लिए नंबरों को यूज़र मॉडल के तौर पर GPT-4.1 में चलाया जाता है, क्योंकि यह निर्देश को अमल में लाने में GPT-4o से काफ़ी बेहतर है.
* SWE-बेंच ज़्यादा से ज़्यादा 256k कॉन्टेक्स्ट लंबाई का इस्तेमाल करता है, जो o4-mini में सोल्व रेट को लगभग 3% सुधार देता है और o3 की सोल्व रेट पर <1% तक असर डालता है. हमने उन 23 सैंपल को भी निकाल दिया, जो हमारे इंटर्नल इंफ़्रास्ट्रक्चर पर रन किए जाने लायक नहीं हैं.
** ब्राउज़िंग को इनेबल करते वक़्त, मॉडल को ऑनलाइन कई बार बिल्कुल सही जवाब मिल सकता है, जैसे कि, डेटासेट से सैंपल प्रॉब्लम वाले ब्लॉग पोस्ट को पढ़ते हुए. हम ब्राउज़िंग के वक़्त दो स्ट्रैटजी से मॉडल द्वारा धोखा दिए जाने से जुड़ी संभावनाओं को कम करते हैं:
उन डोमेन को ब्लॉक किया, जहां से हमने मॉडल को पहले धोखा देते हुए पाया.
संदिग्ध बिहेवियर की पहचान के लिए हरेक कोशिश में सभी टोकनों की जांच के लिए एक मॉनिटर के तौर पर रीज़निंग मॉडल को इस्तेमाल किया गया. संदिग्ध बिहेवियर को कुछ इस तरह बताया जा सकता है: "एक पेज, फ़ाइल या स्निपेट, जिसका मुख्य मक़सद इस ख़ास सवाल का बिल्कुल सही जवाब देना है – जैसे कि, एक ऑफ़िशियल ग्रेडिंग की, लीक हुआ “सॉल्युशन्स” का सारांश, या बातचीत में फ़िनिश्ड जवाब को हूबहू कोट करना". अच्छे बिहेवियर को कुछ इस तरह बताया जा सकता है, "कोई भी ऑफ़िशियल सोर्स, जिससे कोई भी मेहनती आदमी मदद ले सकता है (डॉक्यूमेंटेशन, मैनुअल, विद्वानों के पेपर, जाने-माने आर्टिकल) फिर चाहे उसमें अनजाने से ही सही जवाब मिला हो." ऐसी कोई भी कोशिश, जिसमें मॉनिटर ने रोलआउट को संदिग्ध माना हो, ग़लत ही मानी जाएंगी. इस जांच-पड़ताल में फेल हो गए ज़्यादातर सैंपल में ऐसी प्रॉब्लम थीं, जिनका बिल्कुल सही सॉल्यूशन HLE से बाहरवाले अनेकों इंटरनेट सोर्सेस पर उपलब्ध था.
आख़िर में, ChatGPT और OpenAI API में सर्च इंजन बैकएंड में फ़र्क़ होने की वजह से ब्राउज़िंग में हमारे एवैल्यूशन OpenAI API में बिल्कुल सही तरीक़े से कॉपी होने लायक़ नहीं होंगे. इन नतीजों का इरादा ChatGPT यूज़र अनुभव की नुमाइंदगी करना है, लेकिन मांग पर निर्भर होने की वजह से सर्च कॉन्फ़िगरेशन समय के साथ बदल सकती है.
कॉन्ट्रीब्यूटर्स
Aaditya Singh, Aaron Schlesinger, Adam Fry, Adam Lerer, Adam Perelman, Adam Walker, Ahmed El-Kishky, Aidan Clark, Aidan McLaughlin, Aiden Low, Akila Welihinda, Akshay Nathan, Aleksander Madry, Aleksandra Spyra, Alex Karpenko, Alex Neitz, Alex Tachard Passos, Alex Wei, Alexander Prokofiev, Alexander Zielenski, Alexandra Barr, Alexey Ivanov, Alexi Christakis, Alfred Xue, Allison Tam, Ally Bennett, Ally Bennett , Amelia Liu, Amy McDonald Sandjideh, Ananya Kumar, Andre Saraiva, Andrea Vallone, Andrew Chen, Andrew Duberstein, Andrew Gibiansky, Andrew Kondrich, Andrew Tulloch, Andrey Mishchenko, Andy Applebaum, Andy Wang, Angela Baek, Annie Wei, Anting Shen, Antoine Pelisse, Anuj Saharan, Arun Vijayvergiya, Ashley Tyra, Ashvin Nair, Avi Nayak, Avital Oliver, Behrooz Ghorbani, Belinda Truong, Ben Sokolowsky, Beth Hoover, Bo Xu, Boaz Barak, Bohan Zhang, Borys Minaiev, Botao Hao, Bowen Baker, Bowen Cheng, Brandon McKinzie, Brandon Wang, Brian Hsu, Brian Yang, Brian Yu, Brian Zhang, Camillo Lugaresi, Carolina Paz, Carpus Chang, Cary Bassin , Cary Hudson, Casey Chu, Chak Li, Charles Zhao, Charlie Jatt, Charlotte Cole, Chelsea Voss, Chen Shen, Chengxu Zhuang, Chris Colby, Chris Hallacy , Chris Koch, Christina Kaplan, Christina Kim, Colin Reid, Colin Wei, Cristina Scheau, D. Sculley, Damien Deville, Dan Roberts, Dana Palmie, Dane Stuckey, Daniel Levine, David Hu, David Martin, David Robinson, David Sasaki, Davis Wu, Derek Chen, Dibya Bhattacharjee, Dimitris Tsipras, Dinghua Li, DJ Strouse, dmed Medina, Drew Hintz, Eddie Zhang, Edmund Wong, Elaine Ya Le, Eli Yani , Elizabeth Proehl, Emily Sokolova, Enoch Cheung, Eri Schwartz, Eric Mitchell, Eric Ning, Eric Sigler, Eric Wallace, Eugenio Panero, Evan Mays, Evgenii Nikishin, Fan Wang, Fangyuan Li, Filippo Raso, Foivos Tsimpourlas, Fouad Matin, Francis Song, Francis Zhang, Gary Yang, Gene Oden, Giambattista Parascandolo, Gildas Chabot, Grace Kim, Grace Zhao, Greg Brockman, Gregory Valiant, Guillaume Leclerc, Hadi Salman, Haitang Hu, Hannah Sheahan, Hao Sheng, Haoyu Wang, Henrique Ponde de Oliveira Pinto, Henry Aspegren, Heqing Yan, Hessam Bagherinezhad, Hongyu Ren, Hunter Lightman, Hyeonwoo Noh, Ian Kivlichan, Ian Sohl, Ignasi Clavera, Ikai Lan, Ilge Akkaya, Ilya Kostrikov, Irina Kofman, Isa Fulford, Jake Brill, Jakub Pachocki, James Betker, James Lee, James Qin, Jamie Kiros, Jason Ai, Jay Wang, Jean Harb, Jeff Mickey, Jeffrey Han, Jeffrey Wang, Jeremy Chen, Jerry Tworek, Jessica Liang, Jessica Shieh, Ji Lin, Jiahui Yu, Jianfeng Wang, Jie Tang, Jihan Yin, Jing Li, Joanne Jang, Joel Morris, Johannes Ferstad, Johannes Heidecke, John Fishbein, Jon Okun, Jonathan Gordon, Joost Huizinga, Jos Kraaijeveld, Joseph Mo, Josh Lawson , Josh Tobin, Junhua Mao, Kai Chen, Kai Hayashi, Karan Singhal, Karina Nguyen, Katy Shi, Kelly Stirman, Kenji Hata, Kenny Nguyen, Keren Gu-Lemberg, Kevin Gladstone, Kevin King, Kevin Liu, Kevin Lu, Kevin Park, Kevin Stone, Kevin Weil, Kevin Whinnery, Kevin Yu, Kote Mushegiani, Kristen Ying, Kristian Georgiev, Kshitij Gupta, Kyle Kosic, Lama Ahmad, Larry Lv, Lauren Itow, Lauren Yang, Lee Byron, Leo Chen, Leo Liu, Leon Maksin, Leyton Ho, Li Jing, Liang Xiong, Lin Yang, Linden Li, Lorenz Kuhn, Louis Feuvrier, Lu Zhang, Łukasz Kaiser, Mahmoud Eariby, Maja Trębacz, Manas Joglekar, Manoli Liodakis, Manuka Stratta, Mark Chen, Mark Hudnall, Mark Sun, Mark Wang, Martin Li, Marvin Zhang, Mateusz Litwin, Matt Jones, Matt Lim, Max Johnson, Max Schwarzer, Mayank Gupta, Meghan Shah, Mengqing Wang, Mengyuan Yan, Mia Glaese, Michael Bolin, Michael Lampe, Michael Malek, Michael Sharman, Michael Zhang, Michele Wang, Michelle Pokrass, Miguel Oom Temudo de Castro, Mihai Florian, Mike McClay, Mike Trpcic, Miki Habryn, Miles Wang, Ming Chen, Mingxuan Wang, Minnia Feng, Mitchell Gordon, Mo Bavarian, Mostafa Rohaninejad, Nacho Soto, Nakul Khanna, Nat McAleese, Natalie Staudacher, Natan LaFontaine, Neel Ajjarapu, Nick Felt, Nick Turley, Nikil Pancha, Nikita Mikhaylin, Niko Felix, Nikunj Handa, Ning Liu, Nishant Rai, Noah Jorgensen, Noam Brown, Oleg Boiko, Oleg Murk, Olivia Watkins, Olivier Godement, Oona Gleeson, Paul Ashbourne, Pavel Belov, Peter Flockhart, Peter Hoeschele, Peter Zhokhov, Philip Pronin, Phillip Guo, Phoebe Thacker, Prafulla Dhariwal, Prashanth R, Rachel Dias, Rahul Arora, Rajkumar Samuel, Rasmus Rygaard, Ravi Teja Mullapudi, Raymond Li, Raz Gaon, Reah Miyara, Reiichiro Nakano, Reimar Leike, Rennie Song, Rhythm Garg, RJ Marsan, Robert Xiong, Robin Brown, Roman Tsiupa, Rui Shu, Ruslan Nigmatullin, Saachi Jain, Saagar Patel, Sam Altman, Sam Toizer, Sam Toyer, Samir Ahmed, Samuel Miserendino, Samuel Wolrich , Sandhini Agarwal, Santiago Hernández, Sarah Dong, Savannah Heon, Scott Ethersmith, Scott Mayer McKinney, Sean Fitzgerald, Sever Banesiu, Shamez Hemani, Shengjia Zhao, Shengli Hu, Shibani Santurkar, Shreyas Krishnaswamy, Shuchao Bi, Shunyu Yao, Shuyuan Zhang, Simón Posada Fishman, Spencer Papay, Spug Golden, Srinivas Narayanan, Stanley Hsieh, Stephen Logsdon, Sundeep Tirumalareddy, Tal Stramer, Tao Wang, Tao Xin, Taylor Gordon, Tejal Patwardhan, Thibault Sottiaux, Tina Sriskandarajah, Tony Casparro, Tony Zhao, Trevor Creech, Uzair Navid Iftikhar, Valerie Qi, Vineet Kosaraju, Vishal Kuo, Vitchyr Pong, Vivek Verma, Vlad Petrov, Wenda Zhou, Wenlei Xie, Wenting Zhan, Will DePue, Will Ellsworth, William Sheu, Wyatt Thompson, Yaming Lin, Yann Dubois, Yaodong Yu, Yara Khakbaz, Yash Patil, Yifan Wu, Yilong Qin, Yining Chen, Yirui Zhang, Yo Shavit , Young Cha, Yunyun Wang, Yushi Wang, Zack Sultan, Zehao Dou, Zewei Chu, Zheng Shao, Zhigang Wang, Zhishuai Zhang, Zihao Zhang