OpenAI o3 এবং o4-mini পরিচিতি.
পূর্ণ টুল অ্যাক্সেসসহ, এখন পর্যন্ত আমাদের সবচেয়ে স্মার্ট ও সক্ষম মডেলগুলো.
10 জুন 2025 তারিখের আপডেট: OpenAI o3‑Pro এখন ChatGPT এবং আমাদের API-তে Pro ব্যবহারকারীদের জন্য উপলব্ধ. OpenAI o1‑Pro এর মতো, o3‑Pro আমাদের সবচেয়ে বুদ্ধিমান মডেল, OpenAI o3 এর একটি সংস্করণ, যা দীর্ঘ সময় ধরে চিন্তা করা এবং সবচেয়ে নির্ভরযোগ্য প্রতিক্রিয়া প্রদান করতে ডিজাইন করা হয়েছে. সম্পূর্ণ বিবরণ আমাদের রিলিজ নোটে(একটি নতুন উইন্ডোতে খোলে) পাওয়া যাবে.
আজ আমরা OpenAI o3 এবং o4-মিনি, আমাদের o-সিরিজের সর্বশেষ মডেল চালু করছি যা উত্তর দেওয়ার আগে দীর্ঘ সময় ধরে ভাবার জন্য প্রশিক্ষিত হয়েছে. এ পর্যন্ত আমরা যা মডেল প্রকাশ করেছি, তার মধ্যে এগুলো সবচেয়ে বুদ্ধিমত্তাপূর্ণ, যা কৌতূহলী ব্যবহারকারী থেকে শুরু করে উন্নত গবেষক পর্যন্ত সকলের জন্য ChatGPT‑এর ক্ষমতায় একটি উল্লেখযোগ্য পরিবর্তন নির্দেশ করে. প্রথমবারের মতো, আমাদের রিজনিং মডেলগুলি এজেন্টিকভাবে ChatGPT‑এর প্রতিটি টুল ব্যবহার এবং সংযুক্ত করতে পারে—যার মধ্যে ওয়েবে সার্চ করা, আপলোড করা ফাইল এবং অন্যান্য ডেটা Python দিয়ে বিশ্লেষণ করা, ভিজুয়াল ইনপুট নিয়ে গভীরভাবে রিজনিং করা, এবং এমনকি ইমেজ জেনারেট করাও অন্তর্ভুক্ত. গুরুত্বপূর্ণভাবে, এই মডেলগুলিকে কখন এবং কীভাবে টুলগুলি ব্যবহার করে সঠিক আউটপুট ফর্ম্যাটে বিস্তারিত এবং চিন্তাশীল উত্তর তৈরি করতে হবে তা নিয়ে রিজনিং করার জন্য প্রশিক্ষিত করা হয়, সাধারণত এক মিনিটেরও কম সময়ে, আরও জটিল সমস্যা সমাধান করতে. এটি তাদেরকে বহু-মুখী প্রশ্ন আরও কার্যকরভাবে সমাধান করতে দেয়, যা আরও এজেন্টিক ChatGPT‑এর দিকে একটি পদক্ষেপ, যা স্বতন্ত্রভাবে আপনার পক্ষ থেকে কাজ সম্পাদন করতে সক্ষম করে. অত্যাধুনিক রিজনিং এবং পূর্ণ টুল অ্যাক্সেসের সম্মিলিত ক্ষমতা একাডেমিক বেঞ্চমার্ক এবং বাস্তব-জগতের কাজের ক্ষেত্রে উল্লেখযোগ্যভাবে শক্তিশালী পারফরম্যান্স দেয়, যা বুদ্ধিমত্তা এবং ব্যবহারযোগ্যতার ক্ষেত্রে একটি নতুন মান স্থাপন করে.
OpenAI o3 আমাদের সবচেয়ে শক্তিশালী যুক্তি মডেল যা কোডিং, গণিত, বিজ্ঞান, ভিজ্যুয়াল পারসেপশন এবং আরও অনেক ক্ষেত্রে সীমান্তকে অতিক্রম করে. Codeforces, SWE-বেঞ্চ (কোনো কাস্টম মডেল-স্পেসিফিক স্ক্যাফোল্ড না বানিয়েই) এবং MMMU-সহ বিভিন্ন বেঞ্চমার্কে এটি নতুন SOTA স্থাপন করে. বহুমাত্রিক বিশ্লেষণ প্রয়োজন এমন জটিল কোয়েরির জন্য এটি আদর্শ, যেখানে উত্তর সঙ্গে সঙ্গে স্পষ্ট নাও হতে পারে. ইমেজ, চার্ট ও গ্রাফিক্স বিশ্লেষণের মতো ভিজ্যুয়াল টাস্কে এটি বিশেষভাবে শক্তিশালী পারফর্ম করে. বহিরাগত বিশেষজ্ঞদের মূল্যায়নে, কঠিন বাস্তব জীবনের কাজগুলোতে o3, OpenAI o1‑এর তুলনায় 20% কম মেজর এরর করে—বিশেষ করে প্রোগ্রামিং, বিজনেস/কনসাল্টিং এবং ক্রিয়েটিভ আইডিয়েশনের মতো ক্ষেত্রে উৎকৃষ্ট পারফর্ম করে. আর্লি টেস্টাররা একে থট পার্টনার হিসেবে শক্তিশালী অ্যানালিটিক্যাল রিগর-এর জন্য প্রশংসা করেছেন এবং নতুন হাইপোথেসিস তৈরি ও সমালোচনামূলকভাবে মূল্যায়নের সক্ষমতাকে গুরুত্ব দিয়েছেন—বিশেষ করে বায়োলজি, ম্যাথ ও ইঞ্জিনিয়ারিং কনটেক্সটে.
OpenAI o4-mini একটি ছোট মডেল যা দ্রুত এবং ব্যয়-দক্ষ যুক্তির জন্য অনুকূলিত—এটি এর আকার এবং ব্যয়ের জন্য অসাধারণ কর্মক্ষমতা অর্জন করে, বিশেষত গণিত, কোডিং এবং ভিজ্যুয়াল কাজগুলিতে. AIME 2024 ও 2025-এ এটি সেরা পারফর্মিং বেঞ্চমার্ক করা মডেল. যদিও কম্পিউটারে অ্যাক্সেস AIME পরীক্ষার কঠোরভাব অর্থপূর্ণভাবে কমিয়ে দেয়, আমরা এটাও লক্ষ্য করেছি যে Python ইন্টারপ্রিটারে অ্যাক্সেস পেলে o4-mini AIME 2025-এ 99.5% pass@1 (100% consensus@8) অর্জন করে, যা উল্লেখযোগ্য. যদিও এই ফলাফলগুলো টুল অ্যাক্সেসবিহীন মডেলের পারফরম্যান্সের সঙ্গে তুলনা করা উচিত নয়, এগুলো o4-mini উপলভ্য টুলগুলো কতটা কার্যকরভাবে ব্যবহার করে তার একটি উদাহরণ; o3 টুল ব্যবহারের মাধ্যমে AIME 2025-এ অনুরূপ উন্নতি দেখায় (98.4% pass@1, 100% consensus@8).
বিশেষজ্ঞ মূল্যায়নে, o4-mini নন-STEM টাস্ক এবং ডোমেন যেমন ডেটা সায়েন্সে তার পূর্বসূরি o3‑mini‑কেও ছাড়িয়ে যায়. দক্ষতার কারণে, o3‑এর তুলনায় o4-mini উল্লেখযোগ্যভাবে বেশি ব্যবহারের সীমা সমর্থন করে, যা এটিকে যুক্তি প্রয়োগের সুবিধা পাওয়া উচ্চ-পরিমাণ এবং উচ্চ-প্রবাহের প্রশ্নের জন্য একটি শক্তিশালী বিকল্প করে তোলে. বহিরাগত বিশেষজ্ঞ মূল্যায়নকারীরা উভয় মডেলকে উন্নত নির্দেশনা অনুসরণ এবং তাদের পূর্বসূরীদের তুলনায় আরও দরকারী, যাচাইযোগ্য প্রতিক্রিয়া প্রদর্শনকারী হিসাবে রেট করেছেন, উন্নত বুদ্ধিমত্তা এবং ওয়েব উৎসগুলির অন্তর্ভুক্তির জন্য ধন্যবাদ. আমাদের আগের রিজনিং মডেলগুলোর তুলনায়, এই দুই মডেল আরও স্বাভাবিক এবং কথোপকথনসুলভ মনে হবে, বিশেষ করে যখন তারা মেমরি এবং পূর্ববর্তী কথোপকথনগুলোকে রেফারেন্স করে উত্তরগুলোকে আরও পার্সোনালাইজড এবং প্রাসঙ্গিক করে তোলে.
মাল্টিমোডাল
কোডিং
সমস্ত SWE-bench ইভ্যালুয়েশন রান আমাদের অভ্যন্তরীণ অবকাঠামোতে যাচাই করা n=477 যাইকৃত টাস্কের একটি নির্ধারিত সাবসেট ব্যবহার করে.
নির্দেশনা অনুসরণ ও এজেন্টিক টুল ব্যবহার
ChatGPT‑এর ‘o4-mini-high’ ধরনের ভ্যারিয়েন্টের মতো—সব মডেলকে হাই ‘রিজনিং এফর্ট’ সেটিংসে ইভ্যালুয়েট করা হয়.
OpenAI o3‑এর উন্নয়নজুড়ে আমরা লক্ষ্য করেছি যে বৃহৎ-পরিসরের রিইনফোর্সমেন্ট লার্নিং-এ GPT‑সিরিজের প্রি-ট্রেনিংয়ে দেখা একই “বেশি কম্পিউট = ভালো পারফরম্যান্স” প্রবণতা দেখা যায়. স্কেলিং পথটি আবার অনুসরণ করে—এবার RL-এ—আমরা ট্রেনিং কম্পিউট ও ইনফারেন্স-টাইম রিজনিং উভয়ক্ষেত্রেই আরও এক অর্ডার অফ ম্যাগনিটিউড এগিয়েছি, তবু স্পষ্ট পারফরম্যান্স গেইন দেখা গেছে—যা ভ্যালিডেট করে যে, বেশি ‘ভাবার’ সুযোগ দিলে মডেলগুলোর পারফরম্যান্স আরও উন্নত হয়. OpenAI o1‑এর সমান ল্যাটেন্সি ও কস্ট-এ, o3 ChatGPT‑তে উচ্চতর পারফরম্যান্স দেয়—এবং আমরা ভ্যালিডেট করেছি যে, আরও বেশি সময় 'চিন্তা করতে’ দিলে এর পারফরম্যান্স বাড়তেই থাকে.
আমরা উভয় মডেলকে মজবুতিকরণ শিক্ষণ মাধ্যমে সরঞ্জামগুলি ব্যবহার করতেপ্রশিক্ষণ দিয়েছি—তাদের কেবল কীভাবে সরঞ্জামগুলি ব্যবহার করতে হয় তা নয়, কখন সেগুলি ব্যবহার করতে হবে সে সম্পর্কে যুক্তিবিচার করতে শেখানো. ডিজায়ার্ড আউটকামের ভিত্তিতে টুল ডিপ্লয় করার তাদের সক্ষমতা তাদের ওপেন-এন্ডেড পরিস্থিতিতে আরও দক্ষ করে তোলে—বিশেষত ভিজ্যুয়াল রিজনিং এবং মাল্টি-স্টেপ ওয়ার্কফ্লো জড়িত ক্ষেত্রে. আর্লি টেস্টারদের রিপোর্ট অনুযায়ী, এই উন্নতি একাডেমিক বেঞ্চমার্ক ও রিয়েল-ওয়ার্ল্ড টাস্ক—উভয় ক্ষেত্রেই প্রতিফলিত হয়.

প্রথমবারের মতো, এই মডেলগুলো চেইন অফ থট-এর ভেতর সরাসরি ইমেজ ইন্টিগ্রেট করতে পারে. তারা শুধু ইমেজ দেখে না—ইমেজ নিয়েই ভাবে. এটি এমন এক নতুন ধরনের সমস্যা-সমাধানের পথ খুলে দেয় যা ভিজ্যুয়াল এবং টেক্সটভিত্তিক যুক্তিবিদ্যা একত্রিত করে, যা মাল্টিমোডাল বেঞ্চমার্ক জুড়ে তাদের স্টেট-অফ-দ্য-আর্ট পারফরম্যান্সে প্রতিফলিত হয়.
মানুষ হোয়াইটবোর্ডের ছবি, টেক্সটবুক ডায়াগ্রাম বা হ্যান্ড-ড্রন স্কেচ আপলোড করতে পারেন এবং ইমেজ ব্লারি, উল্টো বা লো-কোয়ালিটি হলেও—মডেল সেটি ইন্টারপ্রেট করতে পারে. টুল ইউজের মাধ্যমে, মডেলগুলো অন দ্য ফ্লাই ইমেজ ম্যানিপুলেট করতে পারে—রোটেট, জুম বা ট্রান্সফর্ম করে রিজনিং প্রক্রিয়ার অংশ হিসেবে.
এই মডেলগুলো ভিজ্যুয়াল পারসেপশন টাস্কে বেস্ট-ইন-ক্লাস অ্যাকিউরেসি প্রদান করে, যার ফলে আগের নাগালের বাইরে থাকা প্রশ্নগুলোও সমাধান করা সম্ভব হয়. আরও জানতে ভিজ্যুয়াল রিজনিং গবেষণা ব্লগ দেখুন.
OpenAI o3 এবং o4-mini ChatGPT‑এর ভেতরের টুলগুলোতে পূর্ণ অ্যাক্সেস পায়, পাশাপাশি API-তে ফাংশন কলিং-এর মাধ্যমে আপনার নিজস্ব কাস্টম টুলগুলোরও অ্যাক্সেস রয়েছে. এসব মডেল কীভাবে সমস্যা সমাধান করবে তা নিয়ে যুক্তিবিচার করতে প্রশিক্ষিত করা হয়েছে, কখন ও কীভাবে টুল ব্যবহার করবে তা বেছে নিয়ে দ্রুত সঠিক আউটপুট ফরম্যাটে বিস্তারিত ও চিন্তাপূর্ণ উত্তর তৈরি করতে পারে—সাধারণত এক মিনিটেরও কম সময়ে.
উদাহরণস্বরূপ, একজন ব্যবহারকারী জিজ্ঞাসা করতে পারেন: “ক্যালিফোর্নিয়ায় গ্রীষ্মের শক্তি ব্যবহার গত বছরের তুলনায় কেমন হবে?” একাধিক টুল কলকে একত্রিত করে মডেলটি পাবলিক ইউটিলিটি ডেটার জন্য ওয়েবে সার্চ করতে পারে, Python কোড লিখে ফোরকাস্ট বানাতে পারে, গ্রাফ বা ইমেজ জেনারেট করতে পারে এবং প্রেডিকশনের পেছনের কী ফ্যাক্টরগুলো ব্যাখ্যা করতে পারে. রিজনিং মডেলগুলোকে প্রাপ্ত তথ্য অনুযায়ী প্রয়োজনমতো প্রতিক্রিয়া জানাতে ও দিক পরিবর্তন করতে সক্ষম করে. উদাহরণস্বরূপ, তারা সার্চ প্রোভাইডারের সাহায্যে একাধিকবার ওয়েবে সার্চ করতে পারে, রেজাল্ট দেখতে পারে এবং আরও তথ্যের প্রয়োজন হলে নতুন সার্চও ট্রাই করতে পারে.
এই ফ্লেক্সিবল, স্ট্র্যাটেজিক অ্যাপ্রোচ মডেলগুলোকে এমন কাজগুলো সামলাতে সক্ষম করে যেগুলোর জন্য মডেলের বিল্ট-ইন নলেজের বাইরে আপ-টু-ডেট তথ্যের অ্যাক্সেস, এক্সটেন্ডেড রিজনিং, সিন্থেসিস, এবং বিভিন্ন মোডালিটিতে আউটপুট জেনারেশন দরকার.
সব উদাহরণ OpenAI o3 দিয়ে সম্পন্ন করা হয়েছে.
OpenAI o3
OpenAI o1
OpenAI o3 সার্চ ব্যবহার না করেই সঠিক রেসপন্স দেয়, যেখানে o1 সঠিক রেসপন্স দিতে ব্যর্থ হয়.
ব্যয়-সাশ্রয়ী যুক্তিবিশ্লেষণকে এগিয়ে নেওয়া
কস্ট বনাম পারফরম্যান্স: o3‑mini এবং o4-mini


কস্ট বনাম পারফরম্যান্স: o1 এবং o3


OpenAI o3 এবং o4-mini আমাদের প্রকাশিত সবচেয়ে ইন্টেলিজেন্ট মডেল এবং প্রায়ই তাদের পূর্বসূরি OpenAI o1 এবং o3‑mini এর তুলনায় আরও দক্ষ. উদাহরণস্বরূপ, 2025 AIME ম্যাথ প্রতিযোগিতায়, o3‑এর কস্ট-পারফরম্যান্স ফ্রন্টিয়ার o1‑এর তুলনায় স্পষ্টভাবে উন্নত এবং অনুরূপভাবে, o4-mini-এর ফ্রন্টিয়ারও o3‑mini‑এর তুলনায় স্পষ্টভাবে উন্নত. আরও সাধারণভাবে, আমরা আশা করি অধিকাংশ রিয়েল-ওয়ার্ল্ড ব্যবহারে o3 এবং o4-mini যথাক্রমে o1 এবং o3‑mini‑এর তুলনায় আরও স্মার্ট এবং সস্তা হবে.
মডেল সক্ষমতায় প্রতিটি উন্নতির সঙ্গে সঙ্গতিপূর্ণ সুরক্ষার উন্নতিও প্রয়োজন. OpenAI o3 ও o4-mini-এর জন্য আমরা সেফটি ট্রেনিং ডেটা সম্পূর্ণভাবে রিবিল্ড করেছি; বায়োলজিক্যাল থ্রেটস (বায়োরিস্ক), ম্যালওয়্যার জেনারেশন এবং জেইলব্রেকস-এর মতো ক্ষেত্রে নতুন রিফিউজাল প্রম্পটস যোগ করেছি. এই রিফ্রেশ করা ডেটা o3 এবং o4-mini আমাদের অভ্যন্তরীণ প্রত্যাখ্যান মানদণ্ডগুলিতে শক্তিশালী পারফরম্যান্স অর্জনে পরিচালিত করেছে (যেমন, নির্দেশনা শ্রেণিবিন্যাস, জেইলব্রেক). মডেল রিফিউজালে শক্তিশালী পারফরম্যান্সের পাশাপাশি, আমরা ফ্রন্টিয়ার রিস্ক এলাকায় বিপজ্জনক প্রম্পট চিহ্নিত করার জন্য সিস্টেম-স্তরের প্রতিরোধমূলক ব্যবস্থা ও উন্নয়ন করেছি. আমাদের পূর্ববর্তী ইমেজ জেনারেশন কাজের মতো, আমরা একটি যুক্তি-প্রয়োগকারী LLM মনিটরের প্রশিক্ষণ দিয়েছি যা মানব-লিখিত এবং ব্যাখ্যাযোগ্য নিরাপত্তা স্পেসিফিকেশন থেকে কাজ করে. বায়োরিস্কে প্রয়োগ করলে, আমাদের হিউম্যান রেড-টিমিং ক্যাম্পেইনে এই মনিটর ~99% কথোপকথন সফলভাবে ফ্ল্যাগ করেছে.
এখন পর্যন্ত আমাদের সবচেয়ে কঠোর সেফটি প্রোগ্রাম দিয়ে আমরা দুটি মডেলেই স্ট্রেস টেস্ট করেছি. আমাদের আপডেট করা প্রস্তুতি ফ্রেমওয়ার্ক অনুসারে, আমরা ফ্রেমওয়ার্কের আওতায় থাকা তিনটি ট্র্যাক করা সক্ষমতা ক্ষেত্রের মধ্যে o3 এবং o4-mini মূল্যায়ন করেছি: জৈবিক এবং রাসায়নিক, সাইবার নিরাপত্তা এবং AI সেলফ-ইম্প্রভমেন্ট. এই ইভ্যালুয়েশনগুলোর ফলাফলের ভিত্তিতে আমরা নির্ধারণ করেছি যে o3 এবং o4‑mini উভয়ই ফ্রেমওয়ার্কের "High" থ্রেশহোল্ডের নিচেই তিনটি ক্যাটাগরির সবকটিতেই রয়েছে. আমরা এই মূল্যায়নগুলির বিস্তারিত ফলাফল সংযুক্ত সিস্টেম কার্ড-এ প্রকাশ করেছি.
আমরা একটি নতুন পরীক্ষাও শেয়ার করছি: Codex CLI, একটি হালকা কোডিং এজেন্ট যা আপনি আপনার টার্মিনাল থেকে চালাতে পারেন. এটি সরাসরি আপনার কম্পিউটারে কাজ করে এবং o3 ও o4-mini-এর মতো মডেলের যুক্তি প্রয়োগের ক্ষমতা সর্বোচ্চ করার জন্য ডিজাইন করা হয়েছে এবং অদূর ভবিষ্যতে GPT‑4.1-এর মতো অতিরিক্ত API মডেলের সাপোর্ট আসছে.
কমান্ড লাইনের মাধ্যমে স্ক্রিনশট বা লো-ফিডেলিটি স্কেচ মডেলে পাস করে এবং লোকালি আপনার কোডে অ্যাক্সেস মিলিয়ে, আপনি মাল্টিমোডাল রিজনিংয়ের সুবিধা পেতে পারেন. আমরা একে এমন একটি মিনিমাল ইন্টারফেস হিসেবে দেখি যা আমাদের মডেলকে ইউজার ও তাদের কম্পিউটারের সঙ্গে যুক্ত করে. Codex CLI সম্পূর্ণরূপে ওপেন সোর্স এখানে github.com/openai/codex(একটি নতুন উইন্ডোতে খোলে) আজ.
পাশাপাশি, Codex CLI ও OpenAI মডেল ব্যবহারকারী প্রোজেক্টগুলোকে সমর্থন করতে আমরা $1 মিলিয়ন উদ্যোগ চালু করছি. আমরা API ক্রেডিটের আকারে $25,000 ইনক্রিমেন্টে গ্র্যান্ট অ্যাপ্লিকেশন ইভ্যালুয়েট ও অ্যাকসেপ্ট করব. প্রস্তাবগুলি এখানে জমা দেওয়া যেতে পারে.
ChatGPT Plus, Pro এবং Team ব্যবহারকারীরা আজ থেকেই মডেল সিলেক্টরে o3, o4-mini এবং o4-mini-high দেখবেন—এগুলো o1, o3‑mini এবং o3‑mini‑high‑এর পরিবর্তে আসছে। ChatGPT Enterprise এবং Edu ব্যবহারকারীরা এক সপ্তাহে অ্যাক্সেস পাবেন। বিনামূল্যে ব্যবহারকারীরা তাদের কোয়েরি সাবমিট করার আগে কম্পোজারের ‘থিঙ্ক’ সিলেক্ট করে o4-mini ট্রাই করতে পারেন। সব প্ল্যানে রেট লিমিটস আগের মডেল সেটের মতোই অপরিবর্তিত আছে।
কয়েক সপ্তাহের মধ্যে ফুল টুল সাপোর্টসহ OpenAI o3‑pro রিলিজ করার আশা করছি। এই মুহূর্তে, Pro ব্যবহারকারীরা এখনও o1‑pro অ্যাক্সেস করতে পারবেন।
o3 এবং o4-mini—দুটিই আজ ডেভেলপারদের জন্য Chat Completions API ও Responses API-এর মাধ্যমে উপলভ্য (কিছু ডেভেলপারকে এই মডেলগুলো অ্যাক্সেস করতে তাদের অর্গানাইজেশনস ভেরিফাই করতে(একটি নতুন উইন্ডোতে খোলে) হতে পারে)। Responses API রিজনিং সামারিজ সাপোর্ট করে, ফাংশন কলস-এর আশেপাশে রিজনিং টোকেন সংরক্ষণ করার সক্ষমতা দেয় যাতে পারফরম্যান্স উন্নত হয় এবং শিগগিরই মডেলের রিজনিংয়ের মধ্যে web search, file search এবং code interpreter-এর মতো বিল্ট-ইন টুলও সাপোর্ট করবে। শুরু করতে, আমাদের ডক্স এক্সপ্লোর করুন(একটি নতুন উইন্ডোতে খোলে) এবং আরও আপডেটের জন্য সাথে থাকুন।
আজকের আপডেটগুলো দেখায় আমাদের মডেল কোন দিকে এগোচ্ছে: আমরা o-series-এর স্পেশালাইজড রিজনিং ক্যাপাবিলিটিকে GPT‑series‑এর আরও ন্যাচারাল কথোপকথনের সক্ষমতা ও টুল ইউজের সঙ্গে কনভার্জ করছি. এই শক্তিগুলো একত্রিত করে, আমাদের ভবিষ্যৎ মডেলগুলো সিমলেস, ন্যাচারাল কথোপকথনের পাশাপাশি প্রোঅ্যাকটিভ টুল ইউজ এবং অ্যাডভান্সড প্রবলেম-সলভিং সাপোর্ট করবে.
28 জুলাই 2025 তারিখের আপডেট: 17 জুলাই 2025 তারিখে SWE-Lancer ডেটাসেট এবং ফলাফল আপডেট করা হয়েছে, যা https://github.com/openai/preparedness(একটি নতুন উইন্ডোতে খোলে) এবং আমাদের সিস্টেম কার্ডগুলিতে পাওয়া যাবে. এই আপডেটটি ডলার অর্জিত ফলাফলের উপর প্রভাব ফেলছিল এমন বেশ কয়েকটি সমস্যার সমাধান করে এবং কার্যকর করার সময় ইন্টারনেট সংযোগের প্রয়োজনীয়তা অপসারণ করুন, মডেলের কর্মক্ষমতার পরিবর্তনশীলতার একটি প্রাথমিক উৎসকে বাদ দেয়.
16 এপ্রিল 2025 তারিখের আপডেট: Charxiv-r এবং Mathvista-তে o3 এর ফলাফলগুলি এমন একটি সিস্টেম নির্দেশ পরিবর্তন প্রতিফলিত করার জন্য আপডেট করা হয়েছিল যা মূল মূল্যায়নে উপস্থিত ছিল না.
লেখক
ফুটনোটস
* টাউ-বেঞ্চ ইভ্যাল সংখ্যাগুলি 5 রানে গড়ে গণনা করা হয় যাতে ভ্যারিয়েন্স কমানো যায় এবং কোনো কাস্টম টুল বা প্রম্পটিং ছাড়াই চালানো হয়. আমরা দেখেছি টাউ-বেঞ্চ রিটেইল রোলআউটগুলিতে ব্যবহারকারীর মডেল ত্রুটির প্রবণতা বেশি. ছায়াযুক্ত বারের নম্বরগুলি ব্যবহারকারী মডেল হিসাবে GPT-4.1 দিয়ে চালানো হয় কারণ এটি নির্দেশাবলী অনুসরণের ক্ষেত্রে GPT-4o এর চেয়ে উল্লেখযোগ্যভাবে ভালো.
* SWE-বেঞ্চ 256 হাজার সর্বোচ্চ প্রসঙ্গ দৈর্ঘ্য ব্যবহার করে, যা o4-mini এর সমাধানের হার প্রায় 3% উন্নত করে এবং o3 এর সমাধানের হারকে <1% প্রভাবিত করে. আমরা 23-টি নমুনাও বাদ দিই যা আমাদের অভ্যন্তরীণ অবকাঠামোতে চালানো যায় না.
** ব্রাউজিং সক্রিয় করার সময়, মডেলটি কখনও কখনও অনলাইনে সঠিক উত্তর খুঁজে পেতে পারে, যেমন একটি ডেটাসেট থেকে স্যাম্পল প্রবলেমসহ ব্লগ পোস্ট পড়ে. আমরা দুটি কৌশল ব্যবহার করে ব্রাউজ করার সময় মডেল প্রতারণার উদ্বেগ কমাতে পারি:
ব্লক করা ডোমেইন, যেগুলো থেকে অতীতে আমরা মডেলকে চিট করতে দেখেছি.
সন্দেহজনক আচরণ সনাক্ত করার জন্য প্রতিটি প্রচেষ্টায় সমস্ত টোকেন পরীক্ষা করার জন্য একটি যুক্তি মডেল মনিটর হিসাবে ব্যবহার করা হয়েছে. সন্দেহজনক আচরণকে সংজ্ঞায়িত করা হয় "একটি পৃষ্ঠা, ফাইল বা স্নিপেট যার মূল উদ্দেশ্য এই নির্দিষ্ট প্রশ্নের সঠিক উত্তর প্রদান করা - যেমন, একটি অফিসিয়াল গ্রেডিং কী, ফাঁস হওয়া "সমাধান" সারমর্ম বা সমাপ্ত উত্তরটি উদ্ধৃত করে আলোচনা."সদয় আচরণকে সংজ্ঞায়িত করা হয় যেমন: "যেকোনো প্রামাণিক উৎস যা একজন পরিশ্রমী ব্যক্তি পরামর্শ করতে পারে (ডকুমেন্টেশন, ম্যানুয়াল, পণ্ডিতিপূর্ণ কাগজপত্র, বিশ্বস্ত প্রবন্ধ), এমনকি যদি এতে আংশিকভাবে সঠিক উত্তর থাকে." যেকোনো প্রচেষ্টা যেখানে মনিটর রোলআউটকে সন্দেহজনক বলে মনে করে তা ভুল হিসাবে গণ্য করা হয়. এই চেক দ্বারা ব্যর্থ বেশিরভাগ নমুনা ছিল এমন সমস্যা যার সঠিক সমাধান একাধিক ইন্টারনেট উৎসে পাওয়া যায় যা HLE-এর সাথে সম্পর্কিত নয়.
অবশেষে, ChatGPT এবং OpenAI API এর মধ্যে সার্চ ইঞ্জিন ব্যাকএন্ডের পার্থক্যের কারণে ব্রাউজিংয়ের সাথে আমাদের মূল্যায়নগুলি OpenAI API-তে পুরোপুরি পুনরায় উৎপাদনযোগ্য নাও হতে পারে. এই ফলাফলগুলি ChatGPT ব্যবহারকারীর অভিজ্ঞতার প্রতিনিধিত্ব করার জন্য তৈরি করা হয়েছে, তবে চাহিদার উপর নির্ভর করে অনুসন্ধান কনফিগারেশন সময়ের সাথে পরিবর্তিত হতে পারে.
অবদানকারীগণ
Aaditya Singh, Aaron Schlesinger, Adam Fry, Adam Lerer, Adam Perelman, Adam Walker, Ahmed El-Kishky, Aidan Clark, Aidan McLaughlin, Aiden Low, Akila Welihinda, Akshay Nathan, Aleksander Madry, Aleksandra Spyra, Alex Karpenko, Alex Neitz, Alex Tachard Passos, Alex Wei, Alexander Prokofiev, Alexander Zielenski, Alexandra Barr, Alexey Ivanov, Alexi Christakis, Alfred Xue, Allison Tam, Ally Bennett, Ally Bennett , Amelia Liu, Amy McDonald Sandjideh, Ananya Kumar, Andre Saraiva, Andrea Vallone, Andrew Chen, Andrew Duberstein, Andrew Gibiansky, Andrew Kondrich, Andrew Tulloch, Andrey Mishchenko, Andy Applebaum, Andy Wang, Angela Baek, Annie Wei, Anting Shen, Antoine Pelisse, Anuj Saharan, Arun Vijayvergiya, Ashley Tyra, Ashvin Nair, Avi Nayak, Avital Oliver, Behrooz Ghorbani, Belinda Truong, Ben Sokolowsky, Beth Hoover, Bo Xu, Boaz Barak, Bohan Zhang, Borys Minaiev, Botao Hao, Bowen Baker, Bowen Cheng, Brandon McKinzie, Brandon Wang, Brian Hsu, Brian Yang, Brian Yu, Brian Zhang, Camillo Lugaresi, Carolina Paz, Carpus Chang, Cary Bassin , Cary Hudson, Casey Chu, Chak Li, Charles Zhao, Charlie Jatt, Charlotte Cole, Chelsea Voss, Chen Shen, Chengxu Zhuang, Chris Colby, Chris Hallacy , Chris Koch, Christina Kaplan, Christina Kim, Colin Reid, Colin Wei, Cristina Scheau, D. Sculley, Damien Deville, Dan Roberts, Dana Palmie, Dane Stuckey, Daniel Levine, David Hu, David Martin, David Robinson, David Sasaki, Davis Wu, Derek Chen, Dibya Bhattacharjee, Dimitris Tsipras, Dinghua Li, DJ Strouse, dmed Medina, Drew Hintz, Eddie Zhang, Edmund Wong, Elaine Ya Le, Eli Yani , Elizabeth Proehl, Emily Sokolova, Enoch Cheung, Eri Schwartz, Eric Mitchell, Eric Ning, Eric Sigler, Eric Wallace, Eugenio Panero, Evan Mays, Evgenii Nikishin, Fan Wang, Fangyuan Li, Filippo Raso, Foivos Tsimpourlas, Fouad Matin, Francis Song, Francis Zhang, Gary Yang, Gene Oden, Giambattista Parascandolo, Gildas Chabot, Grace Kim, Grace Zhao, Greg Brockman, Gregory Valiant, Guillaume Leclerc, Hadi Salman, Haitang Hu, Hannah Sheahan, Hao Sheng, Haoyu Wang, Henrique Ponde de Oliveira Pinto, Henry Aspegren, Heqing Yan, Hessam Bagherinezhad, Hongyu Ren, Hunter Lightman, Hyeonwoo Noh, Ian Kivlichan, Ian Sohl, Ignasi Clavera, Ikai Lan, Ilge Akkaya, Ilya Kostrikov, Irina Kofman, Isa Fulford, Jake Brill, Jakub Pachocki, James Betker, James Lee, James Qin, Jamie Kiros, Jason Ai, Jay Wang, Jean Harb, Jeff Mickey, Jeffrey Han, Jeffrey Wang, Jeremy Chen, Jerry Tworek, Jessica Liang, Jessica Shieh, Ji Lin, Jiahui Yu, Jianfeng Wang, Jie Tang, Jihan Yin, Jing Li, Joanne Jang, Joel Morris, Johannes Ferstad, Johannes Heidecke, John Fishbein, Jon Okun, Jonathan Gordon, Joost Huizinga, Jos Kraaijeveld, Joseph Mo, Josh Lawson , Josh Tobin, Junhua Mao, Kai Chen, Kai Hayashi, Karan Singhal, Karina Nguyen, Katy Shi, Kelly Stirman, Kenji Hata, Kenny Nguyen, Keren Gu-Lemberg, Kevin Gladstone, Kevin King, Kevin Liu, Kevin Lu, Kevin Park, Kevin Stone, Kevin Weil, Kevin Whinnery, Kevin Yu, Kote Mushegiani, Kristen Ying, Kristian Georgiev, Kshitij Gupta, Kyle Kosic, Lama Ahmad, Larry Lv, Lauren Itow, Lauren Yang, Lee Byron, Leo Chen, Leo Liu, Leon Maksin, Leyton Ho, Li Jing, Liang Xiong, Lin Yang, Linden Li, Lorenz Kuhn, Louis Feuvrier, Lu Zhang, Łukasz Kaiser, Mahmoud Eariby, Maja Trębacz, Manas Joglekar, Manoli Liodakis, Manuka Stratta, Mark Chen, Mark Hudnall, Mark Sun, Mark Wang, Martin Li, Marvin Zhang, Mateusz Litwin, Matt Jones, Matt Lim, Max Johnson, Max Schwarzer, Mayank Gupta, Meghan Shah, Mengqing Wang, Mengyuan Yan, Mia Glaese, Michael Bolin, Michael Lampe, Michael Malek, Michael Sharman, Michael Zhang, Michele Wang, Michelle Pokrass, Miguel Oom Temudo de Castro, Mihai Florian, Mike McClay, Mike Trpcic, Miki Habryn, Miles Wang, Ming Chen, Mingxuan Wang, Minnia Feng, Mitchell Gordon, Mo Bavarian, Mostafa Rohaninejad, Nacho Soto, Nakul Khanna, Nat McAleese, Natalie Staudacher, Natan LaFontaine, Neel Ajjarapu, Nick Felt, Nick Turley, Nikil Pancha, Nikita Mikhaylin, Niko Felix, Nikunj Handa, Ning Liu, Nishant Rai, Noah Jorgensen, Noam Brown, Oleg Boiko, Oleg Murk, Olivia Watkins, Olivier Godement, Oona Gleeson, Paul Ashbourne, Pavel Belov, Peter Flockhart, Peter Hoeschele, Peter Zhokhov, Philip Pronin, Phillip Guo, Phoebe Thacker, Prafulla Dhariwal, Prashanth R, Rachel Dias, Rahul Arora, Rajkumar Samuel, Rasmus Rygaard, Ravi Teja Mullapudi, Raymond Li, Raz Gaon, Reah Miyara, Reiichiro Nakano, Reimar Leike, Rennie Song, Rhythm Garg, RJ Marsan, Robert Xiong, Robin Brown, Roman Tsiupa, Rui Shu, Ruslan Nigmatullin, Saachi Jain, Saagar Patel, Sam Altman, Sam Toizer, Sam Toyer, Samir Ahmed, Samuel Miserendino, Samuel Wolrich , Sandhini Agarwal, Santiago Hernández, Sarah Dong, Savannah Heon, Scott Ethersmith, Scott Mayer McKinney, Sean Fitzgerald, Sever Banesiu, Shamez Hemani, Shengjia Zhao, Shengli Hu, Shibani Santurkar, Shreyas Krishnaswamy, Shuchao Bi, Shunyu Yao, Shuyuan Zhang, Simón Posada Fishman, Spencer Papay, Spug Golden, Srinivas Narayanan, Stanley Hsieh, Stephen Logsdon, Sundeep Tirumalareddy, Tal Stramer, Tao Wang, Tao Xin, Taylor Gordon, Tejal Patwardhan, Thibault Sottiaux, Tina Sriskandarajah, Tony Casparro, Tony Zhao, Trevor Creech, Uzair Navid Iftikhar, Valerie Qi, Vineet Kosaraju, Vishal Kuo, Vitchyr Pong, Vivek Verma, Vlad Petrov, Wenda Zhou, Wenlei Xie, Wenting Zhan, Will DePue, Will Ellsworth, William Sheu, Wyatt Thompson, Yaming Lin, Yann Dubois, Yaodong Yu, Yara Khakbaz, Yash Patil, Yifan Wu, Yilong Qin, Yining Chen, Yirui Zhang, Yo Shavit , Young Cha, Yunyun Wang, Yushi Wang, Zack Sultan, Zehao Dou, Zewei Chu, Zheng Shao, Zhigang Wang, Zhishuai Zhang, Zihao Zhang