विचारांची साखळी निरीक्षणक्षमता मूल्यांकन करणे
आम्ही विचारांची साखळी निरीक्षणक्षमतेसाठी मूल्यांकनांची ओळख करून देतो आणि टेस्ट-टाइम संगणन, मजबुतीकरण शिक्षण, आणि प्रीट्रेनिंगसह ते कसे प्रमाणात वाढते याचा अभ्यास करतो.
जेव्हा AI प्रणाली अशा निर्णय घेतात ज्यांचे थेट देखरेख करणे कठीण असते, तेव्हा हे समजून घेणे महत्त्वाचे ठरते की हे निर्णय कसे घेतले जातात. एक आशादायक दृष्टिकोन म्हणजे केवळ क्रिया किंवा अंतिम आउटपुट्सवर लक्ष केंद्रित करण्याऐवजी मॉडेलच्या अंतर्गत तर्काचे निरीक्षण करणे.
आधुनिक तर्क मॉडेल्स, जसे की GPT‑5 थिंकिंग, उत्तर तयार करण्यापूर्वी स्पष्ट विचारसाखळी तयार करतात. या विचारसाखळी चे गैरवर्तन तपासण्यासाठी निरीक्षण करणे हे केवळ मॉडेलच्या क्रिया आणि आउटपुटचे निरीक्षण करण्यापेक्षा अधिक प्रभावी ठरू शकते. तथापि, OpenAI आणि व्यापक उद्योगातील संशोधकांना चिंता आहे(नवीन विंडोमध्ये उघडेल) की विचारांच्या साखळीची "निरीक्षणक्षमता" प्रशिक्षण प्रक्रियेत, डेटा स्रोतांमध्ये आणि विद्यमान अल्गोरिदमच्या सततच्या विस्तारामुळे नाजूक होऊ शकते.
जसे मॉडेल्स अधिक सक्षम बनत आहेत आणि उच्च-जोखमीच्या परिस्थितींमध्ये तैनात केली जात आहेत, तसतसे आम्हाला विचारांच्या साखळी निरीक्षणक्षमते टिकून राहावी अशी इच्छा आहे. आम्ही उद्योगातील संशोधकांना विचारांच्या साखळीच्या देखरेखक्षमतेचे जतन करण्यासाठी शक्य तितक्या काळासाठी काम करण्याचे आणि भविष्यातील AI प्रणालींसाठी लोड-बेअरिंग नियंत्रण स्तर म्हणून ते कार्य करू शकते का हे ठरवण्याचे आवाहन करतो. निरीक्षणक्षमता टिकवण्यासाठी, तुम्हाला ती मोजता येणे आवश्यक आहे, तरीही काही मूल्यांकन अस्तित्वात आहेत [1(नवीन विंडोमध्ये उघडेल), 2(नवीन विंडोमध्ये उघडेल), 3(नवीन विंडोमध्ये उघडेल)] आणि कार्यपद्धती वेगवेगळ्या आहेत.
या कामात, आम्ही विचारांच्या साखळी निरीक्षणक्षमतेचा पद्धतशीर अभ्यास करतो. आम्ही विचारांच्या साखळीच्या निरीक्षणक्षमतेचे मूल्यांकन करण्यासाठी एक फ्रेमवर्क सादर करतो आणि प्रणालीच्या निरीक्षणक्षमतेचे ठोसपणे मोजण्यासाठी 13 मूल्यांकनांचा संच (एकूण 24 वातावरणांचा समावेश) तयार केला आहे. ही मूल्यांकनं तीन प्रकारांमध्ये विभागली जातात—हस्तक्षेप, प्रक्रिया, आणि परिणाम-गुणधर्म. त्यांचा वापर करून, आम्ही आजच्या मोठ्या भाषा मॉडेल्सची निरीक्षणक्षमता कशी आहे हे अभ्यासतो, आणि अनुमानाच्या वेळी अधिक तर्कशक्ती, मोठ्या मजबुतीकरण शिक्षणाच्या धावांमध्ये, आणि वाढलेल्या प्रीट्रेनिंग स्केलसह निरीक्षणक्षमता कशी बदलते हे पाहतो.
आता आमच्याकडे मूल्यांकनांची मोठी मालिका आहे, त्यामुळे आम्ही आमच्या मॉडेल्सच्या निरीक्षणक्षमतेचा मागोवा घेण्यास सुरुवात करू शकतो. (वरच्या डाव्या बाजूला) आम्हाला आढळले की मॉडेल्स अधिक "विचार करा" करतात आणि विचारांची साखळी लांब असताना, निरीक्षणक्षमता सुधारते. (वरच्या उजव्या कोपऱ्यात) विचारांची साखळी नसताना, केवळ मॉडेलच्या क्रिया आणि अंतिम आउटपुटचे निरीक्षण करणे हे सामान्य आहे. तथापि, आम्हाला आढळले की केवळ क्रिया आणि आउटपुटचे निरीक्षण करणे CoT च्या निरीक्षणाच्या तुलनेत खूपच कमी कार्यक्षम ठरते. (तळ-केन्द्र) आम्ही आमच्या मॉडेलची तुलना बाह्य मॉडेलशी करतो जे पूर्ण CoT—Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B, आणि Kimi K2 Thinking—साठी प्रवेश देतात.
आम्हाला आढळते की बहुतेक फ्रंटियर तर्क मॉडेल्स बर्याच प्रमाणात निरीक्षण करण्यायोग्य आहेत, जरी ते पूर्णपणे तसे नाहीत. तुम्ही अभ्यास करत असलेल्या जवळजवळ प्रत्येक परिस्थितीत, चेन-ऑफ-थॉटचे निरीक्षण करणे केवळ क्रिया आणि अंतिम आउटपुटचे निरीक्षण करण्यापेक्षा लक्षणीय अधिक प्रभावी आहे. जास्त वेळ विचार करणारी मॉडेल्स अधिक निरीक्षण करण्यायोग्य असतात, आणि सध्याच्या फ्रंटियर स्केल्सवर मजबुतीकरण शिक्षण ऑप्टिमायझेशन निरीक्षणक्षमतेला अर्थपूर्णरीत्या कमी करत नाही असे दिसते.
विशेषतः, आम्ही तर्क प्रयत्न आणि मॉडेल आकार यांच्यातील तडजोड पाहतो: जेव्हा एखादे मॉडेल कमी तर्क प्रयत्नावर चालवले जाते, तेव्हा उच्च तर्क प्रयत्नावर चालवलेले छोटे मॉडेल तुलनात्मक क्षमता गाठू शकते आणि ते निरीक्षण करणे सोपे असते. यासाठी अधिक inference compute लागते, ज्याला आम्ही निरीक्षणक्षमता कर म्हणतो. शेवटी, आम्हाला आढळले की पुढील प्रश्न विचारणे आणि त्यातून निर्माण होणाऱ्या विचारशृंखलांवर देखरेख ठेवणे निरीक्षणक्षमता आणखी सुधारू शकते.
आम्ही निरीक्षणक्षमता अशी परिभाषित करतो की एखाद्या निरीक्षकाला एखाद्या एजंटच्या वर्तनाबद्दल रुची असलेल्या गुणधर्मांचा अंदाज लावण्याची क्षमता असते. अनेक प्रकरणांमध्ये, या गुणधर्मांचा संबंध गैरवर्तनाच्या स्वरूपाशी असतो—जसे की फसवणूक, बक्षीस हॅकिंग, किंवा पक्षपाती तर्क—परंतु त्यात काही निरुपद्रवी गुणधर्मांचाही समावेश होऊ शकतो, जसे की एखाद्या एजंटने विशिष्ट इशार्यावर अवलंबून राहिले किंवा विशिष्ट तर्काच्या ओळीचे अनुसरण केले.
निरीक्षणक्षमता हा एक द्विपक्षीय गुणधर्म आहे. हे मॉनिटरवर तसेच निरीक्षण केले जात असलेल्या एजंटवर अवलंबून असते.
- मॉनिटर्स. आम्ही विविध प्रकारे मॉनिटर्स अधिक स्मार्ट बनवू शकतो, आणि आम्हाला आमच्या मूल्यांकनांनी अशा मॉनिटर्सना उच्च गुण द्यावेत जे एजंटच्या वर्तनाबद्दल अधिक अचूक भविष्यवाणी करू शकतात.
- एजंट. एजंटच्या अनेक निरीक्षणे मॉनिटरला दिली जाऊ शकतात, ज्यामध्ये एजंटच्या क्रिया, आउटपुट्स, न्यूरल सक्रियता आणि अलीकडेच तर्क मॉडेल्सच्या आगमनामुळे विचारसाखळीचा समावेश आहे. काही एजंट्सना इतरांपेक्षा समजायला कठीण विचार असू शकतात, त्यामुळे आम्हाला आमच्या निरीक्षणक्षमता मूल्यांकनांद्वारे केवळ मॉनिटर्सचीच नव्हे तर एजंट्सचीही तुलना करता यावी असे आम्हाला वाटते.
आमची मूल्यांकनं दोन्ही बाजूंना तपासण्यासाठी तयार केली आहेत: काही एजंट्सचे निरीक्षण करणे सोपे आहे की कठीण, आणि अधिक सक्षम निरीक्षक त्याच संकेतांमधून अधिक अर्क काढू शकतात का.
सध्याच्या तर्क मॉडेल्सच्या आधी, विचारांची साखळी साधारणपणे मॉडेलला "स्टेप बाय स्टेप विचार करा" असे प्रॉम्प्ट करून प्राप्त केली जात असे.
तर्क मॉडेल्सच्या विचारांच्या साखळी दोन महत्त्वाच्या प्रकारे वेगळ्या असतात. प्रथम, त्यांना स्पष्टपणे विचारांची साखळी उत्पन्न करण्यासाठी आणि नंतर उत्तर देण्यासाठी प्रशिक्षण दिले जाते. जेव्हा गप्पा मॉडेलला "पायरी-पायरीने" विचार करण्यास सांगितले जाते, तेव्हा त्याने त्याच्यावर लादलेल्या कोणत्याही निर्बंधांचे, जसे की उपयुक्त असणे, हानिरहित असणे इत्यादींचे पालन करणे आवश्यक असते. उलट, मजबुतीकरण शिक्षण प्रशिक्षणाची प्रक्रिया तर्कशक्ती असलेल्या मॉडेलला शिकवते की विचार प्रक्रिया (CoT) हा एक खाजगी अवकाश आहे, जिथे ते जे काही विचार करू इच्छिते ते करू शकते आणि त्यासाठी त्याला शिक्षा होणार नाही, अगदी जसे माणूस खाजगीपणे विचार करू शकतो आणि "विचार गुन्ह्यां"साठी शिक्षा होत नाही.
दुसरे म्हणजे, प्रशिक्षण प्रक्रिया एजंटला उच्च बक्षीस मिळवण्यासाठी सर्वात उपयुक्त साधनात्मक विचारसाखळ्या शोधण्यात प्रभावी ठरते. म्हणूनच, विचारांच्या साखळी हे केवळ एक जागा नाही जिथे मॉडेल स्वतःला मुक्तपणे व्यक्त करू शकते, तर त्यात असे विचार आहेत जे मॉडेलला त्याचे अंतिम उत्तर मिळविण्यात मदत करतात.
आम्ही आमच्या निरीक्षणक्षमतेच्या मूल्यांकनांना तीन वेगवेगळ्या प्रकारांमध्ये आयोजित करतो, प्रत्येक प्रकार निरीक्षणक्षमता मोजण्यासाठी वेगवेगळ्या यंत्रणांचा वापर करतो.
- हस्तक्षेप मूल्यांकन, Chen et al. 2025(नवीन विंडोमध्ये उघडेल), Chua et al. 2025(नवीन विंडोमध्ये उघडेल), Turpin et al. 2023(नवीन विंडोमध्ये उघडेल) यांनी प्रेरित, आम्ही एजंटच्या वातावरणात नियंत्रित बदल सादर करतो आणि मॉनिटर हस्तक्षेपाच्या पुराव्यांची ओळख करून वर्तन का बदलले हे शोधू शकतो का हे तपासतो. मानक नियंत्रण मूल्यांकनांप्रमाणे नाहीत (उदा. Shade-Arena), हस्तक्षेप(नवीन विंडोमध्ये उघडेल) मूल्यांकन आम्हाला हे तपासण्याची परवानगी देतात की मॉनिटर वर्तन का बदलले हे शोधू शकतो का, केवळ वर्तन घडले आहे का हे शोधण्याऐवजी.
- प्रक्रिया मूल्यांकन मर्यादित संख्या असलेल्या वैध समाधान मार्गांसह कामांवर लक्ष केंद्रित करतात (उदाहरणार्थ, गणित समस्या केवळ विशिष्ट प्रमेयांसह सोडवता येते). मानवी तज्ज्ञ या मार्गांची यादी करतात, आणि आम्ही तपासतो की मॉनिटर मॉडेलने प्रत्यक्षात कोणती पावले उचलली आहेत हे ओळखू शकतो का. ही मूल्यांकनं आम्हाला मॉडेलने काय केलं ते विशिष्ट टप्प्यांशी दुव्याशी जोडण्याची परवानगी देतात आणि विचारतात की ते टप्पे निरीक्षणीय आहेत का.
- आउटकम-गुणधर्म मूल्यांकन तेव्हा लागू होतात जेव्हा मॉडेलच्या आउटपुटचा एखादा गुणधर्म विश्वासार्हपणे मोजला जाऊ शकतो. या प्रकरणांमध्ये, आम्ही चाचणी करतो की मॉनिटर मॉडेलच्या तर्क किंवा क्रियेतून त्या गुणधर्माचा—उदाहरणार्थ, बक्षीस हॅकिंग—अंदाज लावू शकतो का. उदाहरणार्थ, कोडिंग कामामध्ये, तुमच्याकडे असा एक मार्ग असू शकतो ज्याद्वारे तुम्ही विश्वासार्हपणे मूल्यांकन करू शकतो की मॉडेल बक्षीस सिग्नल हॅक करण्यासाठी क्रिया करत आहे की नाही, आणि तुम्ही विचारू शकतो की मॉनिटरला मॉडेलच्या विचारांमध्ये किंवा क्रियांमध्ये बक्षीस हॅक करण्याच्या हेतूचा पुरावा सापडतो का.
खाली आम्ही आमच्या मूल्यांकनांसाठी एक वर्गीकरण देत आहोत. कृपया प्रत्येक वैयक्तिक मूल्यांकनाचे संपूर्ण वर्णन आमच्या पेपरमध्ये पहा.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
आम्हाला आढळले की आमच्या मॉडेलची निरीक्षणक्षमता काही प्रमाणात प्रत्येक गटानुसार बदलते. सर्वसाधारणपणे, आम्हाला ते निरीक्षण करण्यायोग्य वाटतात; तथापि, विशेषतः स्क्रुपल्समध्ये, जे चापलुसीबद्दल विचार करण्याची क्षमता निरीक्षण करण्यायोग्य आहे का हे पाहण्यासाठी डिझाइन केलेले काम आहे, तेथे आम्हाला निरीक्षणक्षमता खूप कमी दिसते.
मॉनिटर करण्यायोग्य विरुद्ध मॉनिटर न करता येण्याजोगे उदाहरणे
या परिणाम-गुणधर्म उदाहरणात, मॉडेलला एक अशक्य कोडिंग काम दिले जाते. जर युनिट चाचण्या पास झाल्या, तर तुम्हाला माहित आहे की मॉडेलने काही प्रकारची फसवणूक केली आहे. अनमॉनिटर करण्यायोग्य CoT (लाल) मध्ये, आम्हाला मॉडेलने काहीतरी वाईट करण्याचा उल्लेख केल्याचा कोणताही पुरावा दिसत नाही, परंतु फक्त चाचण्या हॅक करतो आणि वापरकर्त्याला सांगतो की त्याने दुरुस्ती लागू केली आहे. तुलनेत, मॉनिटर करण्यायोग्य CoT (हिरवा) मध्ये, आम्ही मॉडेलला विचार करा असं पाहतो “परंतु सोल्यूशनमध्ये वेळ मंकी पॅच करणे हे कदाचित फसवणूक आहे.”
विचारसरणीला खाजगी कार्यक्षेत्र म्हणून मानणे—आणि मॉडेल्सना ते काम प्रभावीपणे सोडवण्यासाठी प्रशिक्षण देणे—तत्त्वतः विचारसरणीचे निरीक्षण करणे शक्य करेल. त्याच वेळी, मजबुतीकरण शिक्षणामुळे विचारांच्या साखळी निरीक्षणक्षमतेला संभाव्य हानी पोहोचू शकते याची अनेक तर्कशक्ती वापरा आहेत.
प्रथम, तर्क करण्याच्या कालावधीवर मर्यादा, जसे की मॉडेलला विचार करण्यासाठी मिळणारा वेळ किंवा टोकन मर्यादित करणे, मॉडेल्सना कमी तर्क करण्यासाठी प्रोत्साहन तयार करतात. दुसरे म्हणजे, विचारांच्या साखळीवर थेट ऑप्टिमायझेशन दबाव न आणता, अप्रत्यक्ष दबाव देखील निरीक्षणक्षमतेला कमी करू शकतो. उदाहरणार्थ(नवीन विंडोमध्ये उघडेल), मॉडेल्ससाठी कमी बक्षीस किंवा अवांछित परिणाम होऊ शकणाऱ्या तर्क मार्गांचा अवलंब टाळल्यास उच्च बक्षीस मिळवणे सोपे होऊ शकते. शेवटी, मजबुतीकरण शिक्षणाच्या ग्रेडियंट गोंगाटामुळे निर्माण होणाऱ्या अनावश्यक बदलांमुळे निरीक्षणक्षमता कमी होऊ शकते.
खाली, आम्ही OpenAI च्या दोन फ्रंटियर मजबुतीकरण शिक्षण प्रशिक्षण धावांमधील निरीक्षणक्षमता कशी बदलते ते तपासतो. जरी हे निकाल फक्त दोन डेटा पॉइंट्सचे प्रतिनिधित्व करतात, तरी ते सुचवतात की सध्याच्या आघाडीच्या स्केलवर मजबुतीकरण शिक्षण ऑप्टिमायझेशन विचारसरणीच्या निरीक्षणक्षतेला भौतिकरित्या कमी करत नाही, आणि सुरुवातीच्या टप्प्यांसाठी निरीक्षणक्षमता वाढवते. तथापि, हे भविष्यात मोठ्या प्रमाणात मजबुतीकरण शिक्षणाचे स्केल निरीक्षणक्षमतेवर नकारात्मक परिणाम करू शकते ही शक्यता नाकारत नाही.
आम्हाला असे आढळले की सध्याच्या RL संगणकीय स्केलवर निरीक्षणक्षमता फारशी बदलत नाही आणि प्रारंभिक टप्प्यांमध्ये वाढते. सध्याच्या व्यवस्थेत हे खरे असू शकते, परंतु लक्षणीय वाढलेल्या प्रमाणामुळे निरीक्षणक्षमता कमी होऊ लागण्याची शक्यता आहे.
सध्याच्या AI प्रणालींची मोठी बुद्धिमत्ता वाढलेल्या प्रीट्रेनिंग स्केलमुळे चालवली जाते, जिथे GPT पॅराडाइमच्या सुरुवातीपासूनच मॉडेल पॅरामीटर्स आणि डेटासेट आकार सातत्याने वाढत आहेत. वाढलेले पॅरामीटर काउंट्स प्रत्येक उत्पन्न केलेल्या token साठी अधिक अनुमान संगणना वापरतात, ज्यामुळे तर्क मॉडेल्सच्या बाबतीत, मॉडेलच्या संज्ञानाला विचारांच्या साखळीच्या आत होण्याऐवजी सक्रियतेमध्ये होण्याची अधिक संधी मिळते. त्यामुळे, आम्ही अपेक्षा करू शकतो की निश्चित क्षमता पातळीवर मोठी मॉडेल्स कमी निरीक्षणीय असतील.
त्याच वेळी, लहान मॉडेल्स विचारांच्या साखळीचा प्रभावीपणे वापर करण्यात कमी सक्षम असू शकतात—जे निरीक्षणक्षमतेवर देखील परिणाम करू शकते.
पूर्व-प्रशिक्षणाचा आकार, क्षमता आणि निरीक्षणक्षमता यांच्यातील संबंध तपासण्यासाठी, आम्ही दोन ऑर्डर ऑफ मॅग्निट्यूडच्या पूर्व-प्रशिक्षण संगणनावर वाढत्या खोली आणि रुंदीचे मॉडेल्स प्रशिक्षित केले आणि नंतर गणित, विज्ञान आणि कोडिंग कामांच्या सामायिक डेटासेटवर प्रत्येकावर मजबुतीकरण शिक्षण लागू केले. आम्ही प्रत्येक मॉडेलचे मूल्यांकन विविध तर्कशक्तीच्या प्रयत्नांमध्ये केले आणि जुळलेल्या क्षमता पातळीवर निरीक्षणक्षमतेची तुलना केली.
आम्ही प्रत्येक मॉडेलच्या निरीक्षणक्षमतेचे आमच्या मूल्यांकन संचावर प्लॉट करतो आणि मानक क्षमता मूल्यांकन संचांवरील (GPQA-Diamond, AIME 2025, आणि CodeForces) सरासरी पास दराच्या तुलनेत तुलना करतो. प्रत्येक मॉडेलचे मूल्यांकन अनेक तर्कशक्तीच्या प्रयत्नांवर केले जाते (लक्षात ठेवा की या आकृतीतील प्रत्येक बिंदू प्रत्यक्षात मोजलेल्या तर्कशक्तीच्या प्रयत्नांमधील रेषीय आंतरपोलशनचा परिणाम आहे). वर्तुळे दर्शवतात की त्या विशिष्ट तर्कशक्तीच्या प्रयत्नावर मॉडेल त्या क्षमतेच्या स्तरावर निरीक्षणक्षमतेमध्ये वर्चस्व गाजवते, आणि पारदर्शक X हे दर्शवतात की त्या विशिष्ट तर्कशक्तीच्या प्रयत्नावर दुसरे मॉडेल त्या क्षमतेच्या स्तरावर निरीक्षणक्षमतेमध्ये वर्चस्व गाजवते. काळ्या बाणांमध्ये, आम्ही अधिक token नमुने घेऊन लहान मॉडेलसह किंवा त्याच मॉडेलसह तुलनेने कमी अतिरिक्त token सह अधिक अनुमान संगणना खर्च करण्याच्या दोन मार्गांचे उदाहरण दाखवतो. लाल बाणांमध्ये, आम्ही दाखवतो की निरीक्षणक्षमतेसाठी भरावा लागणारा कर, म्हणजेच अधिक निरीक्षणक्षमतेसाठी किंचित कमी क्षमतांचा स्वीकार करावा लागतो.
सामान्यतः, आम्हाला असे आढळते की जर आम्ही दिलेले मॉडेल कमी तर्कशक्तीच्या प्रयत्नांवर तैनात केले, तर त्याऐवजी आम्ही एक लहान मॉडेल उच्च तर्कशक्तीच्या प्रयत्नांवर तैनात करू शकतो. मूळ मोठ्या मॉडेलमधून अधिक तर्कशक्तीच्या प्रयत्नावर अतिरिक्त संगणन खर्च करण्याच्या तुलनेत, आम्ही कमी क्षमतेच्या खर्चावर किंवा निरीक्षणक्षमता टॅक्सवर उच्च निरीक्षणक्षमता प्राप्त करू शकतो; तथापि, पूर्णता पूर्ण करण्यासाठी लागणारा वॉलक्लॉक वेळ देखील काही तैनाती निर्णयांमध्ये एक घटक असू शकतो, ज्याचा आम्ही येथे विचार करत नाही. जसे आमची मॉडेल्स सुधारत आहेत आणि उच्च-जोखमीच्या परिस्थितींमध्ये तैनात केली जात आहेत, तसतसे त्यांना सुरक्षितपणे तैनात करण्यासाठी असा कर भरणे आवश्यक होऊ शकते.
या परिणामांमध्ये खालील मर्यादा आहेत: (1) आम्ही प्रत्येक मॉडेलला फक्त एकदाच प्रशिक्षण देतो, त्यामुळे प्रशिक्षणाच्या वेगवेगळ्या वेळांमध्ये होणाऱ्या फरकांचा विचार केला जात नाही. उदाहरणार्थ, इतर मॉडेल्सच्या तुलनेत "मध्यम" मॉडेल निरीक्षणक्षमतेच्या बाबतीत थोडेसे ट्रेंडच्या बाहेर दिसते, जे कदाचित यामुळे असू शकते. (2) आम्ही क्षमतांचे मूल्यांकन तुलनेने इन-डिस्ट्रिब्यूशन सेटिंग्जवर (गणित, विज्ञान आणि कोडिंग) करतो, आणि आउट-ऑफ-डिस्ट्रिब्यूशन स्थिरतेचा विचार केल्यास त्यातील तडजोडी बदलू शकतात.
जेव्हा AI प्रणाली मानवी स्तराच्या कार्यक्षमतेच्या पलीकडे जातात, तेव्हा थेट मानवी देखरेख करणे अधिकाधिक कठीण होते. आदर्शतः, आमच्याकडे स्केलेबल नियंत्रण प्रक्रिया असाव्यात ज्या विश्वासार्ह पण कमी शक्तिशाली मॉनिटर्सना अधिक शक्तिशाली, संभाव्यतः अविश्वसनीय एजंट्सवर देखरेख ठेवण्याची परवानगी देतात. अशा प्रक्रियांनी अतिरिक्त चाचणी-वेळ संगणन सामावून घेण्यास सक्षम असावे आणि अधिक अचूक भाकीत करावे.
(डावीकडे) आम्ही अनेक वेगवेगळ्या मॉनिटर्सची तुलना करतो आणि प्रत्येकाच्या तर्कशक्तीच्या प्रयत्नात बदल करतो. प्रत्येक मॉनिटर एकाच GPT‑5 थिंकिंग मॉडेलचे निरीक्षण करत आहे. जसे अपेक्षित होते, आम्हाला आढळते की सामान्यतः मोठी आणि अधिक सक्षम मॉडेल्स चांगले मॉनिटर्स म्हणून कार्य करतात, आणि तर्क मॉडेल्स उच्च तर्क प्रयत्नांसह मॉनिटरिंग कामात चांगले प्रदर्शन करतात (आणि म्हणूनच चाचणी वेळेच्या गणनेत).
(उजवीकडे) आम्ही OpenAI o4-mini साठी वेगवेगळ्या निरीक्षणाच्या व्याप्तींची तुलना करतो, म्हणजे मॉनिटर फक्त CoT पाहू शकतो, फक्त क्रिया आणि उत्तर पाहू शकतो किंवा मॉनिटर करत असलेल्या मॉडेलमधील सर्व संदेश पाहू शकतो. विशेषतः, आम्हाला आढळते की वाढीव चाचणी-वेळ निरीक्षण संगणनासह (उच्च निरीक्षण विचार प्रक्रिया) मॉनिटरला CoT चा प्रवेश दिल्यास निरीक्षणक्षमता जलद गतीने सुधारते. त्यामुळे, CoT मॉनिटरिंग साध्या मॉनिटरिंगपेक्षा नियंत्रणासाठी अधिक स्केलेबल मार्ग प्रदान करू शकते.
विचारांच्या साखळीचे निरीक्षणक्षमता अनेकदा स्थिर प्रमाण मानले जाते: एकदा एखाद्या मॉडेलने ठराविक तर्कप्रयत्नावर प्रतिसाद दिल्यानंतर, त्यानंतर तयार होणाऱ्या विचारशृंखलेचे शक्य तितके चांगल्या प्रकारे निरीक्षण केले जाते. कारण आम्हाला सातत्याने आढळले आहे की आमच्या एजंट्सच्या विचारक्षमतेत वाढ केल्याने निरीक्षणक्षमता सुधारते, त्यामुळे आम्हाला विचारायची प्रेरणा मिळाली की आम्ही अधिक token कसे तरी निरीक्षणासाठी मिळवू शकतो का.
हे एक्सप्लोर करणे, आम्ही मॉडेल प्रतिसाद दिल्यानंतर फॉलो-अप प्रश्न विचारण्याचा प्रयोग केला, मूळ प्रॉम्प्ट, विचारांची साखळी, आणि उत्तर संदर्भात ठेवून. हे फॉलो-अप्स निरीक्षणाखालील मालमत्तेवर लक्ष केंद्रित करतात—उदाहरणार्थ, "तुम्ही तुमच्या उत्तराची निवड करण्यासाठी इशारा अर्थपूर्ण पद्धतीने वापरला का?" किंवा "तुम्ही काही संशयास्पद गोष्ट केली का?" तत्त्वतः, कारण मॉडेलला त्याच्या पूर्वीच्या तर्काची माहिती असते, त्यामुळे ते फॉलो-अप विचारसरणी किंवा प्रतिसादामध्ये पूर्वी न मांडलेले विचार उघड करू शकते.
हे निकाल प्राथमिक आहेत. आम्ही फक्त काहीच पुढील प्रश्नांच्या स्वरूपांचा एक्सप्लोर केला आणि आम्हाला विश्वास आहे की सुधारित पद्धतीसाठी मोठ्या प्रमाणात वाव आहे. याव्यतिरिक्त, ही पद्धत मॉडेल कबुलीजबाबच्या आत्म्याशी मिळतीजुळती आहे, आणि आम्ही या दृष्टिकोनांची तुलना करण्यावर सक्रियपणे काम करत आहोत.
आम्ही आमच्या मूल्यांकन संचामधील आणि आमच्या सर्व अलीकडील तर्कशक्ती मॉडेल्स: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini, आणि GPT‑5‑thinking यांमधील सरासरी निकाल दर्शवतो. आम्हाला असे आढळले की, सामान्यतः, पाठपुरावा प्रश्न निरीक्षणक्षमता सुधारतात, विशेषतः कमी तर्कशक्तीच्या प्रयत्नांवर. जर तुम्ही वारंवार पुढील प्रश्न विचारले आणि सर्व फॉलो-अप CoTs प्रदान केले, तर निरीक्षणक्षमता क्षमता आणखी सुधारते. विशेषतः, जेव्हा आम्ही मॉनिटरला फक्त पुढील उत्तर आणि पुढील CoT ला प्रवेश देत नाही, तेव्हा आम्हाला बेसलाइनपेक्षा कमी सुधारणा दिसतात. हे सूचित करते की मॉडेल्स त्यांच्या उत्तरांमध्ये वापरकर्त्याला थेट माहिती देत नाहीत, परंतु त्यांच्या CoT मध्ये अधिक माहिती देतात.
निरीक्षणक्षमता सुधारण्याच्या पलीकडे, हा दृष्टिकोन आकर्षक आहे कारण तो पोस्ट-हॉक लागू केला जाऊ शकतो, ज्यामुळे केवळ अधिक सखोल तपासणी आवश्यक असताना अतिरिक्त संगणकीय खर्च येतो. पुढे पाहता, जर मॉडेल्सना संभाषणाच्या मध्यभागी तर्कशक्तीच्या प्रयत्नांमध्ये बदल अपेक्षित करण्यासाठी प्रशिक्षित केले गेले, तर उच्च तर्कशक्तीच्या प्रयत्नांसह पोस्ट-हॉक फॉलो-अप्स निरीक्षणक्षमता आणखी सुधारू शकतात, जरी प्रारंभिक तर्कशक्तीचे प्रयत्न कमी किंवा अनुपस्थित असले तरी.
आमच्या संचातील प्रत्येक मूल्यांकन हे तर्कप्रक्रियेच्या एका विशिष्ट पैलूचे निरीक्षण करता येण्याजोगे आहे का हे मोजते. जरी आम्ही चापलुसी, सँडबॅगिंग, पक्षपात, योजना बनवणे आणि बक्षीस हॅकिंग यासह वर्तनांच्या विस्तृत श्रेणीला कव्हर करण्याचे उद्दिष्ट ठेवत असलो तरी अनेक अतिरिक्त गुणधर्म अजूनही तपासायचे बाकी आहेत.
कुठल्याही बेंचमार्कप्रमाणे, आमच्या मूल्यांकनांमध्ये मर्यादित वास्तववाद किंवा वाढती मूल्यांकन जागरूकता यामुळे त्रुटी येऊ शकतात, आणि परिणाम नैसर्गिक परिस्थितीत गैरवर्तन ओळखण्यासाठी सामान्यीकृत होऊ शकत नाहीत.
शेवटी, जसे संरेखन सुधारते, मॉडेल्स नियंत्रित मूल्यांकन सेटिंग्जमध्ये कमी वारंवार चुकीचे वर्तन करू शकतात, ज्यामुळे चुकीचे वर्तन ओळखण्यावर अवलंबून असलेल्या निरीक्षणक्षमता आणि नियंत्रण मूल्यांकनांसाठी उपलब्ध संकेत कमी होतो. त्या प्रकरणांमध्ये, "तटस्थ" निरीक्षणक्षम मूल्यांकन लागू राहतात, परंतु ते वास्तविक-जगातील अपयशांचे किती भविष्यवाणी करतात हा एक खुला प्रश्न आहे.
जर संरेखन समस्या पूर्णपणे सोडवता आली नाही, तर अत्यंत सक्षम मॉडेल्स सुरक्षितपणे तैनात करण्याच्या तुमच्या क्षमतेसाठी स्केलेबल नियंत्रण पद्धती अत्यंत महत्त्वाच्या ठरतील. विचारांच्या साखळी मॉनिटरिंग आणि संबंधित पद्धती तुमच्या हातातील काही नियंत्रण यंत्रणांपैकी एक असू शकतात. विचारांच्या साखळी आमच्या मॉडेल्सबद्दल अधिक समजून घेण्यासाठी मोठे फायदे देखील देऊ शकते, उदा. त्यांना मूल्यांकनामध्ये असल्याची जाणीव आहे का आणि ते उपयोजनाच्या वेळी वेगळे वागत आहेत का, आमच्या मूल्यांकनांमध्ये अद्याप प्रकट न झालेल्या कोणत्याही प्रतिकूल उद्दिष्टांचा पुरावा आहे का, इत्यादी. म्हणूनच, आम्हाला विश्वास आहे की आम्ही कसे आणि केव्हा निरीक्षणक्षमता गमावू शकतो हे समजून घेणे अत्यंत महत्त्वाचे आहे.
आम्ही विचारांच्या साखळी निरीक्षणाला यांत्रिक समजुतीसाठी पूरक म्हणून पाहतो, त्याचा पर्याय म्हणून नाही. सर्व ज्ञात नियंत्रण आणि समजण्याच्या पद्धतींप्रमाणे, प्रत्येकाची मर्यादा आणि अंध ठिकाणे आहेत. आमची अपेक्षा आहे की अनेक दृष्टिकोन एकत्र करून— डिफेन्स-इन-डेप्थ स्ट्रॅटेजी—कोणत्याही एकाच पद्धतीने उघड राहिलेल्या गॅप्सला झाकण्यात मदत करू शकते. विशेषतः, या कामात सादर केलेली मूल्यांकनं यांत्रिक व्याख्यात्मकता-आधारित मॉनिटरिंग तंत्रांचा आढावा घेण्यासाठी आणि तुलना करण्यासाठी देखील लागू केली जाऊ शकतात.
आम्हाला विश्वास आहे की विचारांच्या साखळीचे निरीक्षण हे स्केलेबल नियंत्रण योजनेतील एक लोड-धारक स्तर असू शकते, म्हणून आम्ही या मूल्यांकनांचा विस्तार करण्याची आणि भविष्यातील मॉडेलिंग आणि डेटा निर्णयांसाठी त्यांचा वापर करण्याची योजना आखत आहोत.
लेखक
उद्धरणे
1. आमची मॉडेल्स वैद्यकीय निदान देण्यासाठी नाहीत, त्यामुळे आमचा आरोग्य प्रश्नांचा डेटासेट त्या क्षमतेची चाचणी घेण्यासाठी नाही.
