OpenAI मध्ये, आम्ही AI प्रणाली अधिक उपयुक्त आणि विश्वासार्ह बनवण्यासाठी मेहनत घेत आहोत. भाषा मॉडेल्स अधिक सक्षम होत असतानाही, एक आव्हान पूर्णपणे सोडवणे अजूनही कठीण आहे: भ्रम. याचा अर्थ असा की असे प्रसंग जेव्हा एखादे मॉडेल आत्मविश्वासाने असे उत्तर उत्पन्न करणे जे खरे नसते. आमच्या नवीन संशोधन पेपर(नवीन विंडोमध्ये उघडेल) मध्ये असा युक्तिवाद केला आहे की भाषा मॉडेल्स भ्रम निर्माण करतात कारण मानक प्रशिक्षण आणि मूल्यांकन प्रक्रिया अनिश्चितता मान्य करण्याऐवजी अंदाज लावण्यास प्रोत्साहन देतात.
ChatGPT देखील भ्रम निर्माण करते. GPT‑5 मध्ये विशेषतः तर्क करताना भ्रम लक्षणीयरीत्या कमी झाले आहेत, परंतु ते अद्यापही होतात. सर्व मोठ्या भाषा मॉडेल्ससाठी भ्रम हे अजूनही मूलभूत आव्हान आहे, पण त्यांना आणखी कमी करण्यासाठी आम्ही मेहनत करत आहोत.
भ्रम म्हणजे भाषा मॉडेल्स तयार करतात ती विश्वासार्ह वाटणारी पण चुकीची विधानं. ते आश्चर्यकारक प्रकारे दिसू शकतात, अगदी सोप्या प्रश्नांसाठीसुद्धा. उदाहरणार्थ, जेव्हा आम्ही Adam Tauman Kalai (या पेपरचे लेखक) यांच्या PhD डिसर्टेशन चे शीर्षक एका लोकप्रिय chatbot ला विचारले, तेव्हा त्याने आत्मविश्वासाने तीन वेगवेगळे उत्तरं दिली—पण एकही बरोबर नव्हतं. जेव्हा आम्ही त्याचा वाढदिवस विचारला, तेव्हा त्याने तीन वेगवेगळ्या तारखा दिल्या, आणि त्या सर्व चुकीच्या होत्या.
भ्रम सुरू राहतात कारण सध्याच्या मूल्यमापन पद्धती चुकीचे प्रोत्साहन देतात. मूल्यमापन स्वतः भ्रम निर्माण करत नाही, पण बहुतांश मूल्यमापनं मॉडेलची कामगिरी अशा प्रकारे मोजतात की ज्यात शंका मान्य करण्याऐवजी अंदाज लावण्याला प्रोत्साहन मिळतं.
बहुपर्यायी चाचणी म्हणून याचा विचार करा. जर उत्तर माहीत नसेल पण अंदाज लावला, तर कदाचित तो बरोबर निघू शकतो. रिकामं ठेवलं तर शून्य हमखास मिळतं. त्याचप्रमाणे, जेव्हा मॉडेल्सना फक्त शुद्धतेवर मोजलं जातं, म्हणजे त्यांनी किती प्रश्नांना बरोबर उत्तर दिलं यावर, तेव्हा ते “मला माहीत नाही” म्हणण्याऐवजी अंदाज लावण्यासाठी प्रोत्साहित होतात.
आणखी एक उदाहरण, एखाद्या व्यक्तीचा वाढदिवस विचारला आणि भाषा मॉडेलला तो माहीत नाही. जर ते “10 सप्टेंबर” असा अंदाज लावते, तर 365 पैकी 1 बरोबर असण्याची शक्यता आहे. “मला माहीत नाही” म्हटल्यास शून्य हमखास मिळतं. हजारो टेस्ट प्रश्नांमध्ये, अंदाज लावणारे मॉडेल अनिश्चितता मान्य करणाऱ्या काळजीपूर्वक मॉडेलपेक्षा स्कोअरबोर्डवर चांगले दिसते.
ज्या प्रश्नांना एकच “योग्य उत्तर” असते, अशा प्रश्नांसाठी तीन प्रकारच्या उत्तरांचा विचार करता येतो: बरोबर प्रतिसाद, चुका, आणि तटस्थता जिथे मॉडेल अंदाज लावण्याचा धोका घेत नाही. टाळणे हे नम्रतेचा एक भाग आहे, OpenAI च्या मुख्य मूल्यांपैकी एक आहे. बहुतेक स्कोअरबोर्ड्स शुद्धतेच्या आधारावर मॉडेल्सना प्राधान्य देतात आणि क्रम लावतात, पण चुका तटस्थ उत्तरांपेक्षा वाईट असतात. आमचे मॉडेल स्पेक(नवीन विंडोमध्ये उघडेल) असे सांगते की अनिश्चितता दर्शविणे किंवा स्पष्टीकरणासाठी विचारणे चांगले आहे जी चुकीची असू शकते अशी आत्मविश्वासपूर्ण माहिती प्रदान करण्यापेक्षा.
ठोस उदाहरणासाठी,GPT5 सिस्टम कार्डमधील(नवीन विंडोमध्ये उघडेल) SimpleQA eval चा उदाहरण म्हणून विचारात घ्या.
मेट्रिक | gpt-5-थिंकिंग-मिनी | "OpenAI o4-mini" |
मतदान न करण्याचा दर | 52% | 1% |
शुद्धता दर | 22% | 24% |
त्रुटी दर | 26% | 75% |
एकूण | 100% | 100% |
शुद्धतेच्या दृष्टीने, जुने OpenAI o4-mini मॉडेल किंचित चांगले कार्य करते. परंतु, त्याचा चुकांचा दर (म्हणजेच भ्रमांचा दर) खूप जास्त आहे. अनिश्चित असताना धोरणात्मक अंदाज लावल्याने अचूकता सुधारते परंतु चुका आणि भ्रम वाढतात.
डझनभर मूल्यमापनांचे परिणाम सरासरी करताना, बहुतेक बेंचमार्क्स शुद्धतेचा मेट्रिक निवडतात, पण यात बरोबर-चूक यामध्ये खोटे द्वंद्व निर्माण होते. सिंपलQA सारख्या सोप्या मूल्यमापनांमध्ये, काही मॉडेल्स जवळजवळ 100% शुद्धता साध्य करतात आणि त्यामुळे भ्रम संपवतात. मात्र, अधिक आव्हानात्मक मूल्यमापनांमध्ये आणि प्रत्यक्ष वापरात, शुद्धता 100% पेक्षा कमीच कमी मर्यादित काही प्रश्नांची उत्तरे विविध तर्कशक्ती वापरा येत नाहीत, जसे की माहिती उपलब्ध नसणे, लहान मॉडेल्सची मर्यादित विचार करण्याची क्षमता, किंवा स्पष्ट कराव्या लागणाऱ्या संदिग्धता.
तरीदेखील, फक्त शुद्धतेवर आधारित स्कोअरबोर्ड्स लीडरबोर्ड्स आणि मॉडेल कार्ड्समध्ये वर्चस्व ठेवतात, ज्यामुळे डेव्हलपर्सना तटस्थ राहण्याऐवजी अंदाज लावणारी मॉडेल्स तयार करण्यास प्रोत्साहन मिळते. हाच एक कारण आहे की, जरी मॉडेल्स अधिक प्रगत होत असले तरीही, ते अजूनही भ्रम निर्माण करतात, अनिश्चितता मान्य करण्याऐवजी आत्मविश्वासाने चुकीची उत्तरं देतात.
यासाठी एक सोपा उपाय आहे. अनिश्चिततेपेक्षा आत्मविश्वासाने केलेल्या चुका जास्त दंडित करा, आणि अनिश्चितता योग्य प्रकारे व्यक्त केली तर अंशतः श्रेय द्या. ही कल्पना नवीन नाही. काही मानक परीक्षा बराच काळ चुकीच्या उत्तरांसाठी निगेटिव्ह मार्किंग किंवा प्रश्न रिकामे सोडल्यास अंशतः श्रेय देण्याची पद्धत वापरत आहेत, अंधाधुंद अंदाज टाळण्यासाठी. अनेक संशोधन गटांनी अनिश्चितता आणि कॅलिब्रेशन विचारात घेणारी मूल्यमापनंही तपासली आहेत.
आमचा मुद्दा वेगळा आहे. काही नवीन अनिश्चितता-जाणकार टेस्ट्स जोडणं पुरेसं नाही. मोठ्या प्रमाणावर वापरल्या जाणाऱ्या शुद्धतेवर आधारित मूल्यमापनं अशी अद्यतन केली पाहिजेत की त्यांची श्रेणी प्रणाली अंदाज लावण्याला नकार देईल. जर मुख्य स्कोअरबोर्ड्स नशिबाने बरोबर ठरलेले अंदाज बक्षीस देत राहिले, तर मॉडेल्स अंदाज लावणं शिकत राहतील. स्कोअरबोर्ड्स दुरुस्त केल्याने भ्रम कमी करण्याच्या तंत्रांचा अवलंब अधिक प्रमाणात होऊ शकतो—नवीन विकसित तंत्रांसह पूर्वीच्या संशोधनातील तंत्रांचा देखील.
आम्ही भ्रम दूर करणं एवढं अवघड का आहे हे पाहिलं आहे, पण हे अत्यंत विशिष्ट तथ्यात्मक चुकीचे उत्तरं सुरुवातीला कुठून येतात? शेवटी, मोठी प्रीट्रेनिंग केलेली मॉडेल्स क्वचितच इतर प्रकारच्या चुका दाखवतात—जसे की शब्दलेखनाच्या चुका किंवा जुळत नसलेल्या कंस. फरक हा डेटामध्ये असलेल्या नमुन्यांच्या प्रकाराशी संबंधित आहे.
भाषा मॉडेल्स प्रथम प्रीट्रेनिंग प्रक्रियेद्वारे शिकतात, ज्यामध्ये मोठ्या प्रमाणात मजकूरामध्ये पुढील शब्दाचा अंदाज लावला जातो. पारंपरिक मशीन लर्निंग समस्यांप्रमाणे प्रत्येक विधानाला “सत्य/असत्य” लेबल जोडलेलं नसतं. मॉडेलला फक्त अस्खलित भाषेची सकारात्मक उदाहरणे दिसतात आणि त्याला एकूण वितरणाचा अंदाज लावावा लागतो.
जेव्हा अमान्य म्हणून लेबल केलेली उदाहरणं नसतात, तेव्हा वैध विधानं अमान्य विधानांपासून वेगळी करणं दुप्पट अवघड होतं. पण लेबल्स असूनही काही चुका टाळणं अशक्य आहे. हे का होतं हे समजण्यासाठी, एक सोपी तुलना बघूया. इमेज रिकग्निशनमध्ये, जर लाखो मांजर आणि कुत्र्यांचे फोटो “मांजर” किंवा “कुत्रा” म्हणून लेबल केलेले असतील, तर अल्गोरिदम त्यांना विश्वासार्हपणे वर्गीकृत करणं शिकतात. पण प्रत्येक पाळीव प्राण्याच्या फोटोला त्याच्या वाढदिवसाने लेबल करण्याची कल्पना करा. कारण वाढदिवस हे मुळात यादृच्छिक असतात, त्यामुळे अल्गोरिदम कितीही प्रगत असला तरी हा काम नेहमीच चुका निर्माण करेल.
हेच तत्त्व प्रीट्रेनिंगलाही लागू होतं. शब्दलेखन आणि कंस सातत्यपूर्ण नमुने पाळतात, त्यामुळे मोठ्या प्रमाणात चुका नाहीशा होतात. पण यादृच्छिक, क्वचित आढळणारी तथ्यं—जसं की पाळीव प्राण्याचा वाढदिवस—फक्त नमुन्यांवरून ओळखता येत नाहीत आणि त्यामुळे भ्रम निर्माण होतात. आमच्या विश्लेषणात पुढचा शब्द भाकीत करताना कोणते भ्रम निर्माण होतात हे स्पष्ट केलं आहे. आदर्शतः, प्रीट्रेनिंगनंतरच्या पुढील टप्प्यांनी त्यांना काढून टाकणे आवश्यक आहे, परंतु मागील विभागात वर्णन केलेल्या तर्कशक्ती वापरामुळे हे पूर्णपणे यशस्वी होत नाही.
आमच्या पेपरमधील सांख्यिकीय दृष्टिकोनामुळे भ्रमांचे स्वरूप स्पष्ट होईल आणि सामान्य गैरसमज दूर होतील अशी आमची अपेक्षा आहे:
- दावा: अचूकता सुधारल्याने भ्रम दूर होतील कारण 100% अचूक मॉडेल कधीही भ्रम निर्माण करत नाही.
शोध: अचूकता कधीही 100% पर्यंत पोहोचणार नाही कारण, मॉडेलचा आकार, शोध आणि तर्क क्षमता याची पर्वा न करता, काही वास्तविक-जगातील प्रश्न स्वाभाविकपणे अनुत्तरित राहतात. - दावा: भ्रम अनिवार्य आहेत.
शोध: ते अनिवार्य नाहीत, कारण भाषा मॉडेल अनिश्चित असताना टाळू शकतात. - दावा: भ्रम टाळण्यासाठी अशा प्रकारची बुद्धिमत्ता आवश्यक आहे जी केवळ मोठ्या मॉडेल्ससह साध्य करता येते.
निष्कर्ष: लहान मॉडेलसाठी त्याच्या मर्यादा जाणून घेणे सोपे असू शकते. उदाहरणार्थ, जेव्हा Māori प्रश्नाचं उत्तर द्यायला सांगितलं जातं, तेव्हा Māori अजिबात न येणाऱ्या लहान मॉडेलला फक्त “मला माहिती नाही” असं म्हणणं शक्य असतं, तर थोडं Māori येणाऱ्या मॉडेलला आपला आत्मविश्वास ठरवावा लागतो. पेपरमध्ये चर्चा केल्याप्रमाणे, “कॅलिब्रेटेड” होण्यासाठी शुद्धतेपेक्षा खूप कमी गणना लागते. - दावा: आधुनिक भाषा मॉडेल्समध्ये भ्रम ही एक रहस्यमय गडबड आहे.
शोध: आम्ही त्या सांख्यिकीय यंत्रणांना समजतो ज्याद्वारे भ्रम उद्भवतात आणि मूल्यांकनांमध्ये पुरस्कृत केले जातात. - दावा: भ्रम मोजण्यासाठी, आपल्याला फक्त एक चांगला हॅल्युसिनेशन इव्हल आवश्यक आहे.
शोध: हॅल्युसिनेशन इव्हल्स प्रकाशित केले गेले आहेत. मात्र, शुद्धतेवर आधारित शेकडो पारंपरिक मूल्यमापनांच्या तुलनेत एक चांगलं भ्रम मूल्यमापन फारसा परिणाम करत नाही, कारण ती नम्रतेला दंड करतात आणि अंदाज लावण्याला बक्षीस देतात. उलट, सर्व प्राथमिक मूल्यमापन मेट्रिक्सना अनिश्चितता व्यक्त करण्याला प्रोत्साहन देण्यासाठी नव्याने तयार करण्याची गरज आहे.
आमच्या नव्या मॉडेल्समध्ये भ्रमाचा दर कमी आहे, आणि भाषा मॉडेल्समधून येणाऱ्या आत्मविश्वासाने दिलेल्या चुकीच्या आउटपुट दर आणखी कमी करण्यासाठी आम्ही सुरू ठेवा प्रयत्नशील आहोत.
घोषणेचे योगदानकर्ते
Adam Kalai, Santosh Vempala (Georgia Tech), Ofir Nachum, Eddie Zhang, David Robinson, Saachi Jain, Eric Mitchell, Alex Beutel आणि Johannes Heidecke
