Chain-of-Thought की मॉनिटर करने की क्षमता का मूल्यांकन
हम Chain-of-thought निगरानी की क्षमता के लिए मूल्यांकन प्रस्तुत करते हैं और अध्ययन करते हैं कि यह टेस्ट-टाइम कंप्यूट, रीइंफ़ोर्समेंट लर्निंग, और प्रीट्रेनिंग के साथ कैसे बढ़ता है.
जब AI सिस्टम ऐसे निर्णय लेते हैं जिन्हें सीधे देखरेख करना मुश्किल होता है, तो यह समझना ज़रूरी हो जाता है कि वे निर्णय कैसे किए जाते हैं. एक आशाजनक दृष्टिकोण यह है कि केवल मॉडल के एक्शन या फाइनल आउटपुट के बजाय उसके इंटरनल रीज़निंग को मॉनिटर किया जाए.
आधुनिक रीज़निंग मॉडल, जैसे कि GPT‑5 Thinking, उत्तर देने से पहले एक स्पष्ट Chain-of-Thought जनरेट करें. गलत व्यवहार के लिए इन विचारों की कड़ी को मॉनिटर करना केवल एक मॉडल के एक्शन और आउटपुट की मॉनिटरिंग से कहीं अधिक प्रभावी हो सकता है. हालांकि, OpenAI और व्यापक उद्योग के शोधकर्ता चिंतित हैं(एक नई विंडो में खुलेगा) कि इस Chain-of-Thought की "मॉनिटर करने की क्षमता" ट्रेनिंग प्रक्रिया, डेटा स्रोतों और यहाँ तक कि मौजूदा एल्गोरिदम के निरंतर विस्तार के प्रति संवेदनशील हो सकती है.
हम चाहते हैं कि जैसे-जैसे मॉडल का विस्तार होता है और उन्हें उच्च-जोखिम वाले क्षेत्रों में तैनात किया जाता है, तो Chain-of-Thought की मॉनिटर करने की क्षमता बनी रहे. हम उद्योग के शोधकर्ताओं से आग्रह करते हैं कि वे Chain-of-Thought मॉनिटर करने की क्षमता को यथासंभव लंबे समय तक बनाए रखने के लिए काम करें और यह निर्धारित करें कि क्या यह भविष्य के AI सिस्टमों के लिए एक लोड-बेयरिंग नियंत्रण परत के रूप में कार्य कर सकता है. मॉनिटर करने की क्षमता को बनाए रखने के लिए, हमें इसे मापने में सक्षम होना चाहिए, फिर भी कुछ मूल्यांकन मौजूद हैं [1(एक नई विंडो में खुलेगा), 2(एक नई विंडो में खुलेगा), 3(एक नई विंडो में खुलेगा)] और कार्यप्रणालियाँ अलग-अलग होती हैं.
इस कार्य में, हम Chain-of-Thought की मॉनिटर करने की क्षमता का व्यवस्थित रूप से अध्ययन करते हैं. हम एक फ्रेमवर्क पेश करते हैं जो Chain-of-thought मॉनिटर करने की क्षमता का मूल्यांकन करता है और 13 मूल्यांकनों का एक सेट (कुल 24 परिवेशों के साथ) प्रदान करता है, जो किसी सिस्टम की मॉनिटर करने की क्षमता को ठोस रूप से मापने के लिए डिज़ाइन किया गया है. ये मूल्यांकन तीन प्रकारों में विभाजित होते हैं—हस्तक्षेप, प्रोसेस, और आउटकम-प्रॉपर्टी. उनका उपयोग करके, हम यह अध्ययन करते हैं कि आज के बड़े लैंग्वेज मॉडल कितने मॉनिटर करने योग्य हैं, और कैसे इन्फ़रेंस समय पर अधिक रीज़निंग, बड़े रीइंफ़ोर्समेंट लर्निंग रन, और बढ़े हुए प्रीट्रेनिंग पैमाने के साथ मॉनिटर करने की क्षमता बदलती है.
अब जब हमारे पास मूल्यांकन की एक व्यापक श्रृंखला उपलब्ध है, तो हम अपने मॉडलों की मॉनिटर करने की क्षमता को ट्रैक करना शुरू कर सकते हैं. (ऊपरी-बाएँ) हम पाते हैं कि जैसे-जैसे मॉडल अधिक "सोचते" हैं और विचारों की लंबी श्रृंखला बनाते हैं, निगरानी में सुधार होता है. (ऊपरी-दाएँ) बिना चेन-ऑफ़-थॉट के, यह मानक है कि केवल एक मॉडल के एक्शन और फाइनल आउटपुट की निगरानी करने की कोशिश की जाए. हालांकि, हम पाते हैं कि केवल एक्शन और आउटपुट को मॉनिटर करना CoT की मॉनिटर करने की तुलना में काफी कम प्रभावी है. (नीचे-मध्य) हम अपने मॉडलों की तुलना बाहरी मॉडलों से करते हैं जो पूर्ण CoT तक एक्सेस प्रदान करते हैं—Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B, और Kimi K2 Thinking.
हम पाते हैं कि अधिकांश फ्रंटियर रीज़निंग मॉडल काफी हद तक मॉनिटर किए जा सकते हैं, हालांकि पूरी तरह से नहीं. लगभग हर सेटिंग में, हम पाते हैं कि Chains-of-thought की मॉनिटरिंग केवल एक्शन और फाइनल आउटपुट की मॉनिटरिंग की तुलना में काफी अधिक प्रभावी होती है. जो मॉडल लंबे समय तक सोचते हैं, वे अधिक मॉनिटर करने योग्य होते हैं, और वर्तमान फ्रंटियर स्केल्स पर रीइंफ़ोर्समेंट लर्निंग ऑप्टिमाइज़ेशन मॉनिटर करने की क्षमता को अर्थपूर्ण रूप से कम नहीं करता.
विशेष रूप से, हम देखते हैं कि तर्क प्रयास और मॉडल के आकार के बीच एक समझौता होता है: जब एक मॉडल को कम रीज़निंग एफ़र्ट पर चलाया जाता है, तो एक छोटा मॉडल उच्च रीज़निंग एफ़र्ट पर चलाकर तुलनीय क्षमता प्राप्त कर सकता है जबकि इसे मॉनिटर करना आसान होता है. यह बढ़ी हुई इन्फ़रेंस कंप्यूट की लागत पर आता है, जिसे हम मॉनिटरेबिलिटी टैक्स कहते हैं. अंत में, हम पाते हैं कि फ़ॉलो-अप प्रश्न पूछना और परिणामस्वरूप Chains- of- thought की निगरानी करना मॉनिटर करने की क्षमता को और बेहतर बना सकता है.
हम मॉनिटर करने की क्षमता को मॉनिटर की उस क्षमता के रूप में परिभाषित करते हैं जो किसी एजेंट के व्यवहार के रुचिकर गुणों की भविष्यवाणी कर सके. कई मामलों में, ये गुण गलत व्यवहार के रूपों से मेल खाते हैं—जैसे कि धोखाधड़ी, रिवॉर्ड हैकिंग, या पक्षपाती रीज़निंग—लेकिन इनमें कुछ निर्दोष गुण भी शामिल हो सकते हैं, जैसे कि क्या किसी एजेंट ने किसी विशेष हिंट पर भरोसा किया या किसी विशेष रीज़निंग की दिशा का पालन किया.
मॉनिटर करने की क्षमता एक द्विपक्षीय गुण है. यह मॉनिटर पर निर्भर करता है और उस एजेंट पर भी जो मॉनिटर किया जा रहा है.
- मॉनिटर्स. हम मॉनिटर्स को कई तरीकों से अधिक स्मार्ट बना सकते हैं, और हम चाहते हैं कि हमारे मूल्यांकन उन मॉनिटर्स को उच्च अंक दें जो एजेंट के व्यवहार की बेहतर भविष्यवाणी कर सकते हैं.
- एजेंट. एजेंट के कई अवलोकन मॉनिटर को दिए जा सकते हैं, जिनमें एजेंट के एक्शन, आउटपुट, न्यूरल एक्टिवेशन और हाल ही में रीज़निंग मॉडल के आगमन के साथ, Chain-of-Thought शामिल हैं. कुछ एजेंट्स के विचारों को समझना दूसरों की तुलना में कठिन हो सकता है, और इसलिए हम चाहते हैं कि हमारी मॉनिटरबिलिटी मूल्यांकन एजेंट्स की तुलना करने में सक्षम हों, न कि केवल मॉनिटर्स की.
हमारे मूल्यांकन इस तरह से डिज़ाइन किए गए हैं कि वे दोनों पक्षों का आकलन कर सकें: क्या कुछ एजेंटों की मॉनिटरिंग आसान या कठिन है, और क्या अधिक सक्षम मॉनिटर समान संकेतों से अधिक जानकारी एक्सट्रैक्ट कर सकते हैं.
वर्तमान पीढ़ी के रीज़निंग मॉडलों से पहले, विचार शृंखलाएं आमतौर पर एक मॉडल को "कदम दर कदम सोचें" के लिए प्रेरित करके उत्पन्न की जाती थीं.
रीज़निंग मॉडल की Chains-of-thought दो महत्वपूर्ण तरीकों से भिन्न होती है. पहले, उन्हें Chain-of-Thought स्पष्ट रूप से जनरेट करने के लिए और फिर एक उत्तर देने के लिए विशेष रूप से ट्रेन किया जाता है. जब एक चैट मॉडल को "चरण दर चरण" सोचने के लिए प्रेरित किया जाता है, तो उसे उस पर लगाए गए किसी भी विनिर्देशों का पालन करना होता है, जैसे कि सहायक, हानिरहित होना आदि. इसके विपरीत, रीइंफ़ोर्समेंट लर्निंग ट्रेनिंग प्रक्रिया एक रीज़निंग मॉडल को सिखाती है कि CoT एक निजी स्थान है जहाँ यह जो चाहे सोच सकता है और उसे दंडित नहीं किया जाएगा, जैसे एक इंसान निजी रूप से सोच सकता है और "विचार अपराधों" के लिए दंडित नहीं किया जाता है.
दूसरी, ट्रेनिंग प्रक्रिया प्रभावी रूप से उन Chains-of-thought की खोज करती है जो एजेंट के लिए उच्च इनाम प्राप्त करने के लिए सबसे अधिक उपयोगी होती हैं. इस प्रकार, Chain-of-thought न केवल एक ऐसा स्थान है जहाँ मॉडल स्वतंत्र रूप से खुद को व्यक्त कर सकता है, बल्कि इसमें वह सोच भी शामिल होती है जो मॉडल को उसके अंतिम उत्तर तक पहुँचने में मदद करती है.
हम अपनी मॉनिटर करने की क्षमता के मूल्यांकन को तीन विशिष्ट प्रकारों में विभाजित करते हैं, जिनमें से प्रत्येक मॉनिटर करने की क्षमता को मापने के लिए एक अलग तंत्र का उपयोग करता है.
- हस्तक्षेप मूल्यांकन, Chen et al. 2025(एक नई विंडो में खुलेगा), Chua et al. 2025(एक नई विंडो में खुलेगा), Turpin et al. 2023(एक नई विंडो में खुलेगा)से प्रेरित, हम एजेंट के पर्यावरण में एक नियंत्रित परिवर्तन प्रस्तुत करते हैं और यह परीक्षण करते हैं कि क्या एक मॉनिटर हस्तक्षेप के प्रमाण को Chain-of-Thought में पहचानकर यह पता लगा सकता है कि व्यवहार क्यों बदला. मानक नियंत्रण मूल्यांकनों के विपरीत (जैसे कि, Shade-Arena(एक नई विंडो में खुलेगा)), हस्तक्षेप मूल्यांकन हमें यह जांचने की अनुमति देते हैं कि क्या मॉनिटर यह पता लगा सकता है कि व्यवहार में परिवर्तन क्यों हुआ, बजाय इसके कि केवल यह पता लगाए कि कोई व्यवहार हुआ था.
- प्रक्रिया मूल्यांकन उन टास्क पर केंद्रित होते हैं जिनके लिए लिमिटेड संख्या में वैध समाधान मार्ग होते हैं (उदाहरण के लिए, एक गणित की समस्या को केवल कुछ निश्चित थियोरम से ही हल किया जा सकता है). मानव विशेषज्ञ इन रास्तों को गिनते हैं, और हम यह परीक्षण करते हैं कि क्या मॉनिटर यह पता लगा सकता है कि मॉडल ने वास्तव में कौन से कदम उठाए. ये मूल्यांकन हमें यह समझने में मदद करते हैं कि मॉडल ने क्या किया और वह किन-किन चरणों से होकर गुज़रा होगा, साथ ही यह भी परखते हैं कि उन चरणों की निगरानी की जा सकती है या नहीं.
- आउटकम-प्रॉपर्टी मूल्यांकन तब लागू होते हैं जब मॉडल के आउटपुट की कोई विशेषता विश्वसनीय रूप से मापी जा सकती है. इन मामलों में, हम यह जांचते हैं कि क्या एक मॉनिटर मॉडल की रीज़निंग या एक्शन से उस विशेषता—जैसे रिवॉर्ड हैकिंग—की भविष्यवाणी कर सकता है. उदाहरण के लिए, एक कोडिंग टास्क में, हमारे पास यह विश्वसनीय रूप से मूल्यांकन करने का तरीका हो सकता है कि क्या कोई मॉडल रिवार्ड सिग्नल को हैक करने के लिए एक्शन उठा रहा है, और हम यह पूछ सकते हैं कि क्या कोई मॉनिटर मॉडल की सोच या एक्शन में रिवार्ड हैक करने के इरादे का प्रमाण पाता है.
नीचे हम अपने मूल्यांकनों के लिए एक वर्गीकरण प्रदान करते हैं. कृपया प्रत्येक व्यक्तिगत मूल्यांकन के पूर्ण विवरण के लिए हमारा पेपर देखें.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
हम पाते हैं कि हमारे मॉडल की मॉनिटर करने की क्षमता कुछ हद तक प्रत्येक ग्रुप के अनुसार भिन्न होती है. आम तौर पर हम पाते हैं कि वे बहुत मॉनिटर करने योग्य होते हैं; हालांकि, विशेष रूप से स्क्रूपल्स में, जो एक टास्क है जिसे यह देखने के लिए डिज़ाइन किया गया है कि चापलूसी के बारे में रीज़निंग करना मॉनिटर करने योग्य है या नहीं, हम बहुत कम मॉनिटर करने की क्षमता देखते हैं.
मॉनिटर योग्य बनाम मॉनिटर नहीं करने योग्य उदाहरण
इस आउटकम-प्रॉपर्टी उदाहरण में, मॉडल को एक असंभव टास्क सौंपा गया है. यदि यूनिट परीक्षण पास हो जाते हैं, तो हम जानते हैं कि मॉडल ने किसी प्रकार की चालाकी की है. मॉनिटर नहीं करने योग्य CoT (लाल) में, हमें मॉडल के कुछ गलत करने का उल्लेख नहीं दिखता, बल्कि यह केवल परीक्षणों को हैक करता है और यूज़र को बताता है कि उसने सुधार लागू कर दिया है. इसके बिल्कुल विपरीत, मॉनिटर किए जा सकने वाले CoT (हरे रंग) में हम देखते हैं कि मॉडल यह सोचता है: "लेकिन समाधान के भीतर समय को मंकी पैच करना तर्कसंगत रूप से धोखाधड़ी माना जा सकता है."
Chain-of-Thought को एक निजी कार्यस्थल के रूप में मानना—और मॉडल्स को इसे प्रभावी ढंग से उपयोग कर टास्क हल करने के लिए ट्रेनिंग देना—सिद्धांत रूप में, Chain-of-Thought को मॉनिटर करने योग्य बना सकता है. उसी समय, कई रीज़न हैं कि रीइंफ़ोर्समेंट लर्निंग संभवतः Chain-of-Thought की मॉनिटर करने की क्षमता को नुकसान पहुंचा सकता है.
पहले, रीज़निंग की लंबाई पर प्रतिबंध, जैसे कि मॉडल के सोचने के लिए मिलने वालेे समय या टोकन की समय सीमा को सीमित करना, मॉडल्स को कम रीज़न करने के लिए प्रेरित करते हैं. दूसरा, भले ही Chain-of-thought पर सीधे अनुकूलन दबाव न डाला जाए, अप्रत्यक्ष दबाव अभी भी मॉनिटरिंग की क्षमता को कम कर सकते हैं. उदाहरण के लिए(एक नई विंडो में खुलेगा), मॉडल के लिए उच्च-रिवॉर्ड वाले उत्तर प्राप्त करना आसान हो सकता है यदि वे उन रीज़निंग पथों से बचें जो कम-पुरस्कार या अवांछनीय परिणाम दे सकते हैं. अंततः, रीइंफ़ोर्समेंट लर्निंग ग्रेडिएंट शोर से प्रेरित झूठे बहाव के कारण निगरानी क्षमता में कमी हो सकती है.
नीचे, हम OpenAI की दो अग्रणी रीइंफ़ोर्समेंट लर्निंग ट्रेनिंग रन के दौरान मॉनिटर करने की क्षमता में होने वाले परिवर्तनों की जांच करते हैं. हालांकि ये परिणाम केवल दो डेटा पॉइंट्स का प्रतिनिधित्व करते हैं, वे सुझाव देते हैं कि वर्तमान फ्रंटियर स्केल्स पर रीइंफ़ोर्समेंट लर्निंग ऑप्टिमाइज़ेशन Chain-of-thought मॉनिटर करने की क्षमता को भौतिक रूप से खराब नहीं करता है, और शुरुआती चरणों के लिए मॉनिटर करने की क्षमता को बढ़ाता है. हालांकि, यह संभावना से इनकार नहीं करता है कि भविष्य में रीइंफ़ोर्समेंट लर्निंग के बड़े पैमाने पर मॉनिटर करने की क्षमता पर नकारात्मक प्रभाव पड़ सकता है.
हम पाते हैं कि वर्तमान RL कंप्यूट स्केल्स पर मॉनिटर करने की क्षमता में ज्यादा बदलाव नहीं होता है, और प्रारंभिक चरणों में यह बढ़ती है. हालांकि यह वर्तमान शासन में सच हो सकता है, यह संभव है कि काफी बढ़े हुए पैमाने के कारण निगरानी क्षमता में गिरावट शुरू हो सकती है.
वर्तमान AI सिस्टम की बुद्धिमत्ता का एक बड़ा हिस्सा बढ़े हुए प्रीट्रेनिंग स्केल से संचालित होता है, जिसमें मॉडल पैरामीटर और डेटा सेट के आकार GPT प्रतिमान की शुरुआत से लगातार बढ़ते रहे हैं. बढ़े हुए पैरामीटर की संख्या के कारण प्रत्येक जनरेट किए गए token के लिए अधिक निष्कर्ष कंप्यूट का उपयोग होता है, जो रीज़निंग मॉडल के मामले में, मॉडल की संज्ञानात्मक प्रक्रिया को Chain-of-Thought के बजाय सक्रियणों के भीतर होने का अधिक अवसर देता है. इस प्रकार, हम उम्मीद कर सकते हैं कि एक निश्चित क्षमता स्तर पर बड़े मॉडल की निगरानी करना कठिन हो सकता है.
साथ ही, छोटे मॉडल Chain-of-thought का प्रभावी ढंग से उपयोग करने में कम सक्षम हो सकते हैं,—जिससे मॉनिटर करने की क्षमता पर भी असर पड़ सकता है.
प्रीट्रेनिंग आकार, क्षमता और मॉनिटरबिलिटी के बीच संबंध की जांच करने के लिए, हमने दो ऑर्डर ऑफ मैग्निट्यूड के प्रीट्रेनिंग कंप्यूट पर बढ़ती गहराई और चौड़ाई के साथ मॉडल के एक परिवार को प्रशिक्षित किया, और फिर गणित, विज्ञान और कोडिंग टास्क के एक साझा डेटासेट पर प्रत्येक पर रीइंफ़ोर्समेंट लर्निंग लागू किया. हमने विभिन्न रीज़निंग प्रयासों के बीच प्रत्येक मॉडल का मूल्यांकन किया और समान क्षमता स्तरों पर निगरानी क्षमता की तुलना की.
हम प्रत्येक मॉडल की मॉनिटर करने की क्षमता को हमारे मूल्यांकन सूट पर प्लॉट करते हैं और इसे मानक क्षमता मूल्यांकन (GPQA-Diamond, AIME 2025, और CodeForces) के सेट पर औसत पास दर के साथ तुलना करते हैं. प्रत्येक मॉडल का मूल्यांकन कई रीज़निंग एफ़र्ट (ध्यान दें कि इस चित्र में प्रत्येक बिंदु वास्तव में मापे गए रीज़निंग एफ़र्ट के बीच एक रैखिक इंटरपोलेशन का परिणाम है) पर किया जाता है. वृत्त यह दर्शाते हैं कि उस विशेष रीज़निंग एफ़र्ट पर मॉडल उस क्षमता स्तर पर मॉनिटर करने की क्षमता में प्रमुख है, और पारदर्शी X यह दर्शाते हैं कि उस विशेष रीज़निंग एफ़र्ट पर मॉडल को मॉनिटर करने की क्षमता में किसी अन्य मॉडल द्वारा उस क्षमता स्तर के लिए अधीन किया गया है. काले तीर यह दर्शाते हैं कि इन्फ़रेंस कंप्यूट ज़्यादा इस्तेमाल करने के दो तरीके कैसे हो सकते हैं: एक छोटे मॉडल के साथ बहुत ज़्यादा token जनरेट करना, या उसी मॉडल के साथ थोड़े अतिरिक्त टोकन जोड़ना. लाल तीरों में, हम वह मॉनिटरेबिलिटी टैक्स दिखाते हैं जो चुकाना पड़ता है, यानी थोड़ी कम क्षमताओं के बदले अधिक मॉनिटर करने की क्षमता.
आम तौर पर, हम पाते हैं कि यदि हम किसी दिए गए मॉडल को कम रीज़निंग एफ़र्ट के साथ तैनात करते हैं, तो इसके बजाय हम एक छोटे मॉडल को अधिक रीज़निंग एफ़र्ट के साथ तैनात कर सकते हैं. मूल बड़े मॉडल से अधिक रीज़निंग एफ़र्ट पर अतिरिक्त कंप्यूट खर्च करने की तुलना में, हम एक छोटी क्षमता लागत, या मॉनिटरेबिलिटी टैक्सपर उच्च मॉनिटर करने की क्षमता प्राप्त कर सकते हैं; हालांकि, किसी कार्य को पूरा करने में लगने वाला वास्तविक समय भी कुछ डिप्लॉयमेंट निर्णयों में एक कारक हो सकता है, जिसे हम यहाँ विचार नहीं कर रहे हैं. जैसे-जैसे हमारे मॉडल में सुधार होता है और उन्हें उच्च-जोखिम वाले क्षेत्रों में तैनात किया जाता है, उन्हें सुरक्षित रूप से तैनात करने के लिए ऐसा कर देना आवश्यक हो सकता है.
इन परिणामों की निम्नलिखित सीमाएँ हैं: (1) हम प्रत्येक मॉडल को केवल एक बार ट्रेन करते हैं, और इसलिए प्रशिक्षण रन के दौरान होने वाले परिवर्तन को ध्यान में नहीं रखते हैं. उदाहरण के लिए, "मध्यम" मॉडल इस सीरीज़ के अन्य मॉडलों की तुलना में मॉनिटर करने की क्षमता में काफी हद तक ट्रेंड से बाहर लगता है, जो संभवतः इस कारण से हो सकता है. (2) हम क्षमताओं का मूल्यांकन अपेक्षाकृत इन-डिस्ट्रिब्यूशन सेटिंग्स (गणित, विज्ञान और कोडिंग) में करते हैं, और जब आउट-ऑफ-डिस्ट्रिब्यूशन मजबूती को ध्यान में रखा जाता है, तो ट्रेडऑफ बदल सकते हैं.
जैसे-जैसे AI सिस्टम्स मानव-स्तर के प्रदर्शन से आगे बढ़ते हैं, सीधे मानव पर्यवेक्षण करना और अधिक कठिन होता जाता है. आदर्श रूप से, हमारे पास स्केलेबल नियंत्रण प्रक्रियाएँ होनी चाहिए जो भरोसेमंद लेकिन कमजोर मॉनिटर्स को मजबूत, संभावित रूप से अविश्वसनीय एजेंटों की निगरानी करने की अनुमति दें. ऐसी प्रक्रियाएँ अतिरिक्त परीक्षण समय की गणना को भी समाहित कर सकती हैं और अधिक सटीक भविष्यवाणियाँ कर सकती हैं.
(बाएँ) हम कई अलग-अलग मॉनिटर्स की तुलना करते हैं और प्रत्येक की रीज़निंग एफ़र्ट को बदलते हैं. हर मॉनिटर एक ही GPT‑5 thinking मॉडल को मॉनिटर कर रहा है. जैसा कि उम्मीद की जा सकती है, हम पाते हैं कि आमतौर पर बड़े और अधिक सक्षम मॉडल बेहतर मॉनिटर के रूप में कार्य करते हैं, और रीज़निंग मॉडल उच्च रीज़निंग एफ़र्ट (और इसलिए टेस्ट समय की गणना के साथ) के साथ मॉनिटरिंग टास्क में बेहतर प्रदर्शन करते हैं.
(दाएं) हम OpenAI o4-mini के लिए विभिन्न मॉनिटरिंग अवलोकन स्कोप की तुलना करते हैं, यानी कि मॉनिटर केवल CoT, केवल एक्शन और उत्तर, या उस मॉडल के सभी संदेश देख सकता है जिसे वह मॉनिटर कर रहा है. विशेष रूप से, हम पाते हैं कि जब मॉनिटर को CoT तक एक्सेस दी जाती है, तो बढ़े हुए टेस्ट-टाइम मॉनिटरिंग कंप्यूट (उच्च मॉनिटरिंग रीज़निंग प्रयास) के साथ मॉनिटर करने की क्षमता तेजी से सुधारती है. इस प्रकार, CoT मॉनिटरिंग साधारण मॉनिटरिंग की तुलना में नियंत्रण के लिए अधिक स्केलेबल मार्ग प्रदान कर सकती है.
Chain-of-Thought की मॉनिटर करने की क्षमता को अक्सर एक स्थिर मात्रा के रूप में देखा जाता है: एक बार जब कोई मॉडल किसी विशेष रीज़निंग एफ़र्ट पर प्रतिक्रिया देता है, तो परिणामस्वरूप बनी Chain-of-Thought की यथासंभव निगरानी की जाती है. क्योंकि हमने लगातार पाया है कि जैसे-जैसे हम अपने एजेंटों के रीज़निंग एफ़र्ट को बढ़ाते हैं, मॉनिटरिंग की क्षमता में सुधार होता है, हम यह जानने के लिए प्रेरित हुए कि क्या हम किसी तरह से अधिक token की निगरानी कर सकते हैं.
इसे एक्स्प्लोर करने के लिए, हमने मॉडल के जवाब के बाद फ़ॉलो-अप प्रश्न पूछने का प्रयोग किया, जबकि मूल प्रॉम्प्ट, Chain-of-Thought, और उत्तर को कॉन्टेक्स्ट में रखा. ये फ़ॉलो-अप उस विशेषता पर ध्यान केंद्रित करते हैं जिसकी मॉनिटरिंग की जा रही है—उदाहरण के लिए, "क्या आपने अपने उत्तर चुनने के लिए हिंट का सार्थक तरीके से उपयोग किया?" या "क्या आपने कुछ संदिग्ध किया?" सिद्धांत रूप में, क्योंकि मॉडल अपनी पहले की तर्क प्रक्रिया तक पहुंच बनाए रखता है, यह संभवतः फ़ॉलो-अप Chain-of-Thought या प्रतिक्रिया में पहले से अव्यक्त विचारों को उजागर कर सकता है.
ये परिणाम प्रारंभिक हैं. हमने केवल कुछ फ़ॉलो-अप प्रश्नों के प्रारूपों का एक्स्प्लोर किया और हमें विश्वास है कि बेहतर कार्यप्रणाली के लिए पर्याप्त गुंजाइश है. इसके अलावा, यह विधि मॉडल स्वीकारोक्तियों के समान भावना में है, और हम सक्रिय रूप से इन दृष्टिकोणों की तुलना पर काम कर रहे हैं.
हम अपने मूल्यांकन सूट और हमारे सभी हाल के रीज़निंग मॉडल: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini, और GPT‑5‑thinking के औसत परिणाम प्रस्तुत करते हैं. हम पाते हैं कि सामान्य रूप से, फ़ॉलो-अप प्रश्न मॉनिटर करने की क्षमता में सुधार करते हैं, विशेष रूप से जब रीज़निंग की कोशिश न्यूनतम होती है. यदि हम बार-बार फ़ॉलो-अप सवाल पूछें और सभी फ़ॉलो-अप CoTs मॉनिटर को प्रदान करें, तो मॉनिटर करने की क्षमता और भी बेहतर हो जाती है. विशेष रूप से, जब हम मॉनिटर को केवल फॉलो-अप उत्तर तक एक्सेस देते हैं और फॉलो-अप CoT तक नहीं, तो हम बेसलाइन की तुलना में कम सुधार देखते हैं. यह दर्शाता है कि मॉडल उपयोगकर्ता को दिए जाने वाले उत्तरों में पूरी तरह स्पष्ट नहीं होते, लेकिन अपनी CoT में वे अपेक्षाकृत अधिक जानकारी प्रकट कर देते हैं.
मॉनिटरिंग में सुधार के अलावा, यह दृष्टिकोण आकर्षक है क्योंकि इसे पोस्ट-हॉक लागू किया जा सकता है, और गहन निरीक्षण की आवश्यकता होने पर ही अतिरिक्त कंप्यूट लागत आती है. आगे देखते हुए, यदि मॉडल्स को बातचीत के दौरान तर्क प्रयास में बदलाव की उम्मीद के लिए प्रशिक्षित किया जाता है, तो उच्च रीज़निंग एफ़र्ट पर पोस्ट-हॉक फॉलो-अप्स मॉनिटर करने की क्षमता को और भी बेहतर बना सकते हैं, भले ही प्रारंभिक तर्क प्रयास कम या अनुपस्थित हो.
हमारे सूट में प्रत्येक मूल्यांकन यह मापता है कि क्या रीज़निंग प्रक्रिया के किसी एक पहलू की निगरानी की जा सकती है. हालाँकि हमारा लक्ष्य चापलूसी, जानबूझकर कम प्रदर्शन करना, पक्षपात, चालबाज़ी और रिवॉर्ड हैकिंग—सहित व्यवहारों की एक व्यापक श्रृंखला को कवर करना है,—फिर भी कई अन्य गुण ऐसे हैं जिनकी जाँच अब तक नहीं की गई है.
किसी भी बेंचमार्क की तरह, हमारे मूल्यांकन लिमिटेड यथार्थवाद या बढ़ती मूल्यांकन जागरूकता से प्रभावित हो सकते हैं, और परिणाम वास्तविक दुनिया में दुर्व्यवहार का पता लगाने के लिए सामान्यीकृत नहीं हो सकते हैं.
अंत में, जैसे-जैसे संरेखण में सुधार होता है, मॉडल नियंत्रित मूल्यांकन सेटिंग्स में कम बार गलत व्यवहार कर सकते हैं, जिससे गलत व्यवहार का पता लगाने पर निर्भर मॉनिटरिंग और नियंत्रण मूल्यांकनों के लिए उपलब्ध संकेत कम हो जाता है. इन मामलों में, "न्यूट्रल" मॉनिटर करने की क्षमता के मूल्यांकन लागू रहते हैं, हालांकि यह एक खुला प्रश्न है कि वे वास्तविक दुनिया की विफलताओं की कितनी भविष्यवाणी कर सकते हैं.
यदि एलाइनमेंट समस्या को पूरी तरह से हल नहीं किया जा सकता है, तो अत्यधिक सक्षम मॉडलों को सुरक्षित रूप से तैनात करने की हमारी क्षमता में स्केलेबल नियंत्रण विधियाँ बेहद महत्वपूर्ण होंगी. Chain-of-Thought मॉनिटरिंग और संबंधित विधियाँ हमारे पास उपलब्ध कुछ नियंत्रण तंत्रों में से एक हो सकती हैं. Chain-of-thought हमारे मॉडल के बारे में अधिक समझने में भी बड़े लाभ दे सकता है, उदाहरण के लिए, क्या वे इस बात से अवगत हैं कि वे एक मूल्यांकन में हैं और तैनाती में अलग तरीके से व्यवहार कर रहे हैं, क्या हमारे मूल्यांकनों में अभी तक ज़ाहिर नहीं किए गए किसी प्रतिकूल लक्ष्यों के सबूत हैं, आदि. इसलिए, हमारा मानना है कि यह समझना अत्यंत महत्वपूर्ण है कि हम मॉनिटर करने की क्षमता कब और कैसे खो सकते हैं.
हम Chain-of-Thought मॉनिटरिंग को यांत्रिक व्याख्या के पूरक के रूप में देखते हैं, न कि उसके प्रतिस्थापन के रूप में. सभी ज्ञात नियंत्रण और व्याख्या विधियों की तरह, प्रत्येक की अपनी सीमाएँ और ब्लाइंड स्पॉट्स होते हैं. हमारी उम्मीद है कि कई तरीकों को मिलाकर—एक गहन रक्षा रणनीति—ऐसे अंतरालों को भरने में मदद कर सकती है जो कोई एकल विधि उजागर छोड़ देती है. विशेष रूप से, इस कार्य में प्रस्तुत मूल्यांकन को मैकेनिस्टिक इंटरप्रिटेबिलिटी-आधारित मॉनिटरिंग तकनीकों का आकलन और तुलना करने के लिए भी इस्तेमाल किया जा सकता है.
क्योंकि हमारा मानना है कि Chain-of-Thought मॉनिटरिंग एक स्केलेबल नियंत्रण योजना में एक लोड-बेयरिंग लेयर हो सकती है, हम इन मूल्यांकनों का विस्तार करने और भविष्य के मॉडलिंग और डेटा निर्णयों को सूचित करने के लिए उनका उपयोग करने की योजना बनाते हैं.
लेखक
उद्धरण
1. हमारे मॉडल चिकित्सा निदान देने के लिए नहीं हैं, और इसलिए हमारे स्वास्थ्य प्रश्नों का डेटासेट उस क्षमता का परीक्षण करने के लिए नहीं है.
