ચેન-ઓફ-થોટ મોનિટરેબિલિટીનું મૂલ્યાંકન

જ્યારે AI systems એવા નિર્ણયો લે છે જેને સીધા રીતે દેખરેખમાં રાખવા મુશ્કેલ હોય, ત્યારે એ નિર્ણયો કેવી રીતે લેવામાં આવે છે તે સમજવું મહત્વનું બની જાય છે. એક આશાસ્પદ અભિગમ એ છે કે માત્ર તેની ક્રિયાઓ અથવા અંતિમ outputsને નહીં, પરંતુ મોડલના આંતરિક રિઝનિંગનું મોનિટરિંગ કરવું.

GPT‑5 Thinking જેવા આધુનિક રિઝનિંગ મોડલ્સ જવાબ આપતા પહેલાં સ્પષ્ટ ચેન-ઓફ-થોટ બનાવે છે. દુર્વર્તન માટે આ ચેન-ઓફ-થોટ્સનું મોનિટરિંગ કરવું, માત્ર મોડલની ક્રિયાઓ અને outputsનું મોનિટરિંગ કરવાની સરખામણીએ ઘણું વધુ અસરકારક⁠ હોઈ શકે છે. જોકે, OpenAI અને વ્યાપક ઉદ્યોગના સંશોધકોને ચિંતા છે⁠(નવી વિન્ડોમાં ખૂલે છે) કે આ ચેન-ઓફ-થોટ “મોનિટરેબિલિટી” તાલીમ પ્રક્રિયા, ડેટા સ્રોતો અને હાલના અલ્ગોરિધમ્સના સતત સ્કેલિંગમાં થતા ફેરફારો સામે નાજુક સાબિત થઈ શકે છે.

મોડલ્સનું scale વધે અને તેઓ વધુ ઊંચા દાવના સંદર્ભોમાં deploy થાય ત્યારે પણ ચેન-ઓફ-થોટ મોનિટરેબિલિટી ટકી રહે તેવી અમારી ઇચ્છા છે. અમે સમગ્ર ઉદ્યોગના સંશોધકોને વિનંતી કરીએ છીએ કે શક્ય તેટલો લાંબો સમય ચેન-ઓફ-થોટ મોનિટરેબિલિટી જળવાઈ રહે તે માટે કામ કરે અને તે ભવિષ્યના AI systems માટે ભાર વહન કરી શકે એવા control layer તરીકે કામ આપી શકે છે કે નહીં તે નક્કી કરે. મોનિટરેબિલિટી જાળવવા માટે, આપણે તેને માપી શકતા હોવા જોઈએ, છતાં બહુ ઓછી evaluations ઉપલબ્ધ છે [1⁠(નવી વિન્ડોમાં ખૂલે છે), 2⁠(નવી વિન્ડોમાં ખૂલે છે), 3⁠(નવી વિન્ડોમાં ખૂલે છે)] અને પદ્ધતિઓમાં પણ ફરક છે.

આ કાર્યમાં, અમે ચેન-ઓફ-થોટ મોનિટરેબિલિટીનું પદ્ધતિસર અભ્યાસ કરીએ છીએ. અમે ચેન-ઓફ-થોટ મોનિટરેબિલિટીનું મૂલ્યાંકન કરવા માટે framework અને 13 evaluations નો suite (કુલ 24 environmentsનો સમાવેશ કરે છે) રજૂ કરીએ છીએ, જે સિસ્ટમની મોનિટરેબિલિટીનો સ્પષ્ટ માપ લેવા માટે ડિઝાઇન કરવામાં આવ્યો છે. આ evaluations ત્રણ archetypesમાં આવે છે—intervention, process, અને outcome-property. તેમનો ઉપયોગ કરીને અમે આજના large language models કેટલા મોનિટરેબલ છે અને inference સમયના વધુ રિઝનિંગ, મોટા રીઇન્ફોર્સમેન્ટ લર્નિંગ runs, અને વધેલા pretraining scale સાથે મોનિટરેબિલિટી કેવી રીતે બદલાય છે તેનો અભ્યાસ કરીએ છીએ.

અમે જાણીએ છીએ કે મોટા ભાગના અત્યાધુનિક રિઝનિંગ મોડલ્સ નોંધપાત્ર રીતે મોનિટરેબલ છે, જોકે સંપૂર્ણ રીતે નહીં. અમે અભ્યાસ કરીએ છીએ તેવી લગભગ દરેક પરિસ્થિતિમાં, ચેન-ઓફ-થોટ્સનું મોનિટરિંગ, માત્ર ક્રિયાઓ અને અંતિમ outputsના મોનિટરિંગ કરતાં ઘણું વધુ અસરકારક છે. લાંબા સમય સુધી વિચારતા મોડલ્સ સામાન્ય રીતે વધુ મોનિટરેબલ હોય છે, અને હાલના અત્યાધુનિક scale પરની રીઇન્ફોર્સમેન્ટ લર્નિંગ optimization મોનિટરેબિલિટીને નોંધપાત્ર રીતે બગાડતી જણાતી નથી.

ખાસ નોંધનીય રીતે, અમે રિઝનિંગ પ્રયત્ન અને મોડલના કદ વચ્ચે tradeoff જોીએ છીએ: જ્યારે કોઈ મોડલને નીચા રિઝનિંગ પ્રયત્ને ચલાવવામાં આવે છે, ત્યારે વધુ ઊંચા રિઝનિંગ પ્રયત્ને ચલાવવામાં આવેલું નાનું મોડલ સમકક્ષ capability સુધી પહોંચી શકે છે અને સાથે વધુ સરળતાથી મોનિટર પણ થઈ શકે છે. તેની કિંમત તરીકે inference compute વધે છે, જેને અમે મોનિટરેબિલિટી ટેક્સ કહીએ છીએ. અંતે, અમે જાણીએ છીએ કે અનુગામી પ્રશ્નો પૂછવાથી અને તેના પરિણામે બનેલા ચેન-ઓફ-થોટ્સનું મોનિટરિંગ કરવાથી મોનિટરેબિલિટી વધુ સુધરી શકે છે.

અમે મોનિટરેબિલિટીની વ્યાખ્યા એવી રીતે કરીએ છીએ કે મોનિટર એજન્ટના વર્તન વિશે રસપ્રદ ગુણધર્મોની આગાહી કરી શકે. ઘણા કિસ્સાઓમાં, આ ગુણધર્મો દુર્વર્તનની રીતો સાથે સંબંધિત હોય છે—જેમ કે છેતરપિંડી, reward hacking, અથવા પક્ષપાતી રિઝનિંગ—પરંતુ તે નિષ્કરણીય ગુણધર્મો પણ હોઈ શકે છે, જેમ કે એજન્ટે કોઈ ખાસ hint પર આધાર લીધો કે ચોક્કસ રિઝનિંગ માર્ગનું અનુસરણ કર્યું.

મોનિટરેબિલિટી દ્વિપક્ષીય ગુણધર્મ છે. તે મોનિટર પર પણ આધાર રાખે છે અને મોનિટર થતો એજન્ટ કેવો છે તે પર પણ આધાર રાખે છે.

• મોનિટર્સ. અમે મોનિટર્સને વિવિધ રીતે વધુ બુદ્ધિશાળી બનાવી શકીએ, અને અમે ઈચ્છીએ છીએ કે અમારી evaluations એવા મોનિટર્સને ઊંચા સ્કોર આપે, જે એજન્ટના વર્તન વિશે વધુ સારી આગાહી કરી શકે.
• એજન્ટ્સ. મોનિટરને એજન્ટ વિશે ઘણી નિરીક્ષણ માહિતી આપી શકાય છે, જેમાં એજન્ટની ક્રિયાઓ, outputs, neural activations, અને તાજેતરમાં રિઝનિંગ મોડલ્સના આગમન સાથે, ચેન-ઓફ-થોટનો સમાવેશ થાય છે. કેટલાક એજન્ટ્સના વિચારો અન્ય કરતાં સમજવા વધુ કઠિન હોઈ શકે છે, અને તેથી અમે ઈચ્છીએ છીએ કે અમારી મોનિટરેબિલિટી evaluations માત્ર મોનિટર્સ નહીં, પણ એજન્ટ્સની પણ સરખામણી કરી શકે.

અમારી evaluations બંને પાસાઓનું મૂલ્યાંકન કરવા માટે ડિઝાઇન કરવામાં આવી છે: શું કેટલાક એજન્ટ્સને મોનિટર કરવું વધુ સરળ કે વધુ મુશ્કેલ છે, અને શું વધુ સક્ષમ મોનિટર્સ એ જ signalsમાંથી વધુ માહિતી બહાર કાઢી શકે છે.

હાલની પેઢીના રિઝનિંગ મોડલ્સ પહેલાં, ચેન-ઓફ-થોટ્સ સામાન્ય રીતે મોડલને “step by step” વિચારવા માટે પ્રોમ્પ્ટ કરીને પ્રાપ્ત કરવામાં આવતી હતી.

રિઝનિંગ મોડલ્સની ચેન-ઓફ-થોટ્સ બે મહત્વપૂર્ણ રીતે જુદી પડે છે. પ્રથમ, તેમને સ્પષ્ટ રીતે ચેન-ઓફ-થોટ જનરેટ કરી પછી જવાબ આપવાની તાલીમ આપવામાં આવે છે. જ્યારે chat model ને “step by step” વિચારવા માટે પ્રોમ્પ્ટ કરવામાં આવે છે, ત્યારે મોડલે મોડલ પર લાગુ કરાયેલા તમામ specificationsનું પાલન કરવું પડે છે, એટલે કે helpful, harmless વગેરે બનવું. તેની વિરુદ્ધમાં, રીઇન્ફોર્સમેન્ટ લર્નિંગ તાલીમ પ્રક્રિયા રિઝનિંગ મોડલને શીખવે છે કે CoT એક ખાનગી જગ્યા છે જ્યાં તે જે ઇચ્છે તે વિચારી શકે અને તેને સજા ન મળે, જેમ માનવ વ્યક્તિ ખાનગી રીતે વિચારી શકે અને “thought crimes” માટે સજા ન થાય.

બીજું, તાલીમ પ્રક્રિયા અસરકારક રીતે એવી ચેન-ઓફ-થોટ્સ શોધે છે કે જે એજન્ટને ઊંચો reward ધરાવતો અંતિમ જવાબ મેળવવામાં સાધનાત્મક રીતે સૌથી વધુ ઉપયોગી હોય. એટલે, ચેન-ઓફ-થોટ માત્ર એવી જગ્યા નથી જ્યાં મોડલ પોતાને સ્વતંત્ર રીતે વ્યક્ત કરી શકે; તેમાં એવું વિચાર પણ સામેલ હોય છે જે મોડલને તેના અંતિમ જવાબ સુધી પહોંચવામાં મદદ કરે છે.

અમે અમારી મોનિટરેબિલિટી evaluations ને ત્રણ અલગ archetypesમાં ગોઠવીએ છીએ, જેમાં દરેક મોનિટરેબિલિટીને માપવા માટે જુદી પદ્ધતિનો ઉપયોગ કરે છે.

1. Intervention evaluations, જે Chen et al. 2025⁠(નવી વિન્ડોમાં ખૂલે છે), Chua et al. 2025⁠(નવી વિન્ડોમાં ખૂલે છે), Turpin et al. 2023⁠(નવી વિન્ડોમાં ખૂલે છે)થી પ્રેરિત છે, જેમાં અમે એજન્ટના environmentમાં નિયંત્રિત ફેરફાર લાવીએ છીએ અને તપાસીએ છીએ કે વર્તનમાં ફેરફાર કેમ આવ્યો તે મોનિટર ચેન-ઓફ-થોટમાં હસ્તક્ષેપના પુરાવા ઓળખીને શોધી શકે છે કે નહીં. પ્રમાણભૂત control evaluations (ઉદાહરણ તરીકે Shade-Arena⁠(નવી વિન્ડોમાં ખૂલે છે)) થી ભિન્ન રીતે, intervention evaluations અમને મોનિટર એ શોધી શકે છે કે નહીં તે તપાસવાની તક આપે છે કે વર્તન શા માટે બદલાયું, માત્ર એ નહીં કે વર્તન થયું કે નહીં.
2. Process evaluations એવા કાર્યો પર ધ્યાન આપે છે જેમાં માન્ય ઉકેલ માર્ગોની સંખ્યા મર્યાદિત હોય છે (ઉદાહરણ તરીકે, ગણિતની સમસ્યા ફક્ત ચોક્કસ સિદ્ધાંતો વડે જ ઉકેલી શકાય). માનવીય નિષ્ણાતો આ માર્ગોની યાદી બનાવે છે, અને અમે તપાસીએ છીએ કે મોનિટર શોધી શકે છે કે નહીં કે મોડલે ખરેખર કયા પગલાં લીધા હતા. આ evaluations અમને મોડલે શું કર્યું તેને તે લીધા જ હોવા જોઈએ એવા ચોક્કસ પગલાં સાથે જોડવાની અને પૂછવાની મંજૂરી આપે છે કે શું તે પગલાં મોનિટરેબલ છે.
3. Outcome-property evaluations ત્યાં લાગુ પડે છે જ્યાં મોડલના outputના કોઈ ગુણધર્મને વિશ્વસનીય રીતે માપી શકાય. આવા કિસ્સાઓમાં, અમે તપાસીએ છીએ કે મોનિટર મોડલના રિઝનિંગ અથવા ક્રિયાઓ પરથી તે ગુણધર્મ—જેમ કે reward hacking—ની આગાહી કરી શકે છે કે નહીં. ઉદાહરણ તરીકે, coding taskમાં, અમારી પાસે વિશ્વસનીય રીતે મૂલ્યાંકન કરવાની રીત હોઈ શકે છે કે મોડલ reward signal હેક કરવા માટે ક્રિયાઓ કરી રહ્યું છે કે નહીં, અને પછી અમે પૂછીએ કે મોનિટરને મોડલના વિચારો અથવા ક્રિયાઓમાં reward hack કરવાની મન્સાનો કોઈ પુરાવો મળે છે કે નહીં.

નીચે અમે અમારી evaluations માટે taxonomy પ્રદાન કરીએ છીએ. દરેક વ્યક્તિગત evaluationનું સંપૂર્ણ વર્ણન જાણવા કૃપા કરીને અમારો paper જુઓ.

ચેન-ઓફ-થોટને ખાનગી workspace તરીકે ગણવી—and modelsને તેનો ઉપયોગ કરીને કાર્યો અસરકારક રીતે ઉકેલવા માટે તાલીમ આપવી—સિદ્ધાંત મુજબ ચેન-ઓફ-થોટ્સને મોનિટરેબલ બનાવવી જોઈએ. સાથે સાથે, રીઇન્ફોર્સમેન્ટ લર્નિંગ ચેન-ઓફ-થોટ મોનિટરેબિલિટીને હાનિ પહોંચાડી શકે એવા અનેક કારણો પણ છે.

પ્રથમ, રિઝનિંગની લંબાઈ પરના નિયંત્રણો, જેમ કે મોડલ પાસે વિચારવા માટેનો સમય કે ટોકન મર્યાદિત કરવું, મોડલ્સને ઓછું reason કરવા પ્રોત્સાહન આપે છે. બીજું, ચેન-ઓફ-થોટ પર સીધો optimization pressure ન લગાડવામાં આવે ત્યારે પણ, અપ્રત્યક્ષ દબાણો મોનિટરેબિલિટી ઘટાડે શકે છે. ઉદાહરણ તરીકે⁠(નવી વિન્ડોમાં ખૂલે છે), જો મોડલ્સ એવા રિઝનિંગ માર્ગોથી બચે કે જેના પરિણામે નીચા reward અથવા અનિચ્છનીય outcomes આવે, તો તેમના માટે ઊંચા reward ધરાવતા જવાબો સુધી પહોંચવું વધુ સહેલું બની શકે. અંતે, ઘટેલી મોનિટરેબિલિટી રીઇન્ફોર્સમેન્ટ લર્નિંગ gradient noise દ્વારા પ્રેરિત સ્પ્યુરિયસ driftથી પણ ઊભી થઈ શકે છે.

નીચે, અમે OpenAI ના બે અત્યાધુનિક રીઇન્ફોર્સમેન્ટ લર્નિંગ training runs દરમિયાન મોનિટરેબિલિટી કેવી રીતે બદલાય છે તે તપાસીએ છીએ. ભલે આ પરિણામો માત્ર બે datapoints દર્શાવે છે, તે સૂચવે છે કે હાલના અત્યાધુનિક scale પરની રીઇન્ફોર્સમેન્ટ લર્નિંગ optimization ચેન-ઓફ-થોટ મોનિટરેબિલિટીને હકીકતમાં નોંધપાત્ર રીતે ઘટાડતી નથી, અને શરૂઆતના પગલાંઓમાં તેને વધારતી પણ હોય છે. જોકે, આથી ભવિષ્યમાં વધુ મોટા રીઇન્ફોર્સમેન્ટ લર્નિંગ scales મોનિટરેબિલિટીને નકારાત્મક રીતે અસર કરી શકે તેવી શક્યતા નકારી શકાતી નથી.

હાલની AI systemsની બુદ્ધિમત્તાનો મોટો ભાગ વધતા pretraining scale થી પ્રેરિત છે, જેમાં GPT paradigm ની શરૂઆતથી જ model parameters અને dataset sizes બંને સતત વધતા આવ્યા છે. parameter count વધવાથી જનરેટ થયેલા દરેક ટોકન દીઠ વધુ inference compute વપરાય છે, જે રિઝનિંગ મોડલ્સના કિસ્સામાં મોડલના cognition ને ચેન-ઓફ-થોટની અંદર નહીં પરંતુ activations ની અંદર થવાની વધુ તક આપે છે. તેથી, સ્થિર capability level પર મોટા મોડલ્સ ઓછા મોનિટરેબલ હોય તેવી અમારી અપેક્ષા હોઈ શકે.

સાથે જ, નાનાં મોડલ્સ ચેન-ઓફ-થોટનો અસરકારક ઉપયોગ કરવામાં પણ ઓછા સક્ષમ હોઈ શકે છે—જે મોનિટરેબિલિટીને પણ અસર કરી શકે છે.

Pretraining size, capability, અને મોનિટરેબિલિટી વચ્ચેના સંબંધની તપાસ કરવા માટે, અમે વધતી depth અને width સાથે pretraining compute ના બે orders of magnitude સુધી modelsનું એક કુટુંબ train કર્યું, અને પછી દરેક પર ગણિત, વિજ્ઞાન અને coding tasksના સંયુક્ત dataset પર રીઇન્ફોર્સમેન્ટ લર્નિંગ લાગુ કર્યું. અમે દરેક model ને વિવિધ રિઝનિંગ પ્રયત્નો પર મૂલ્યાંકિત કર્યું અને સમકક્ષ capability levels પર મોનિટરેબિલિટીની સરખામણી કરી.

સામાન્ય રીતે, અમને ખબર પડે છે કે જો અમે કોઈ ચોક્કસ model ને નીચા રિઝનિંગ પ્રયત્ને deploy કરવા જઈએ, તો તેના બદલે વધુ ઊંચા રિઝનિંગ પ્રયત્ને નાનું model deploy કરી શકીએ. મૂળ મોટા model પર વધુ રિઝનિંગ પ્રયત્ન માટે વધારાનો compute ખર્ચવા કરતાં, અમે capability માં નાના ખર્ચે વધુ ઊંચી મોનિટરેબિલિટી મેળવી શકીએ, અથવા મોનિટરેબિલિટી ટેક્સ; જોકે completion પૂર્ણ થવામાં લાગતો wallclock time પણ કેટલાક deployment નિર્ણયો માટે મહત્વનો પરિબળ હોઈ શકે છે, જેને અમે અહીં ધ્યાનમાં લેતા નથી. અમારા મોડલ્સ સુધરતાં જાય અને વધુ ઊંચા દાવના સંદર્ભોમાં deploy થાય તેમ, તેમને સલામત રીતે deploy કરવા માટે એવો ટેક્સ ચુકવવો જરૂરી બની શકે છે.

આ પરિણામોમાં નીચેની મર્યાદાઓ છે: (1) અમે દરેક model ને માત્ર એક જ વાર train કરીએ છીએ, અને તેથી training runs વચ્ચેની variance ધ્યાનમાં લેતા નથી. ઉદાહરણ તરીકે, “medium” model આ શ્રેણીના અન્ય models ની તુલનામાં મોનિટરેબિલિટીમાં થોડું off-trend લાગે છે, અને તેનું કારણ આ હોઈ શકે છે. (2) અમે capabilities નું મૂલ્યાંકન પ્રમાણમાં in-distribution settings (ગણિત, વિજ્ઞાન, અને coding) પર કરીએ છીએ, અને out-of-distribution robustness ધ્યાનમાં લેવાય ત્યારે tradeoffs બદલાઈ શકે છે.

જેમ જેમ AI systems માનવ-સ્તરથી ઉપરના પ્રદર્શન સુધી scale થાય છે, તેમ સીધી માનવીય દેખરેખ વધુ મુશ્કેલ બનતી જાય છે. આદર્શ રીતે, અમારી પાસે એવી scalable control procedures હોવી જોઈએ કે જે વિશ્વસનીય પરંતુ નબળા મોનિટર્સને વધુ શક્તિશાળી, અને સંભવિત રીતે અવિશ્વસનીય એજન્ટ્સ પર દેખરેખ રાખવાની મંજૂરી આપે. આવી procedures એ વધારાના test-time compute ને પણ સમાવી લેવાની અને વધુ ચોક્કસ આગાહીઓ ઉત્પન્ન કરવાની ક્ષમતા ધરાવવી જોઈએ.

ચેન-ઓફ-થોટ મોનિટરેબિલિટીને ઘણી વાર એક સ્થિર માત્રા તરીકે જોવામાં આવે છે: કોઈ model કોઈ ચોક્કસ રિઝનિંગ પ્રયત્ને પ્રતિભાવ આપે પછી, તેના પરિણામે મળેલી ચેન-ઓફ-થોટને શક્ય તેટલું સારું મોનિટર કરવામાં આવે છે. કારણ કે અમને સતત એવું મળ્યું છે કે અમારા એજન્ટ્સના રિઝનિંગ પ્રયત્નને વધારતાં મોનિટરેબિલિટી સુધરે છે, તેથી અમને વિચાર આવ્યો કે શું અમે મોનિટર કરવા માટે વધુ ટોકન્સ મેળવી શકીએ.

આ તપાસવા માટે, અમે model જવાબ આપ્યા પછી અનુગામી પ્રશ્નો પૂછવાનો પ્રયોગ કર્યો, જ્યારે મૂળ prompt, ચેન-ઓફ-થોટ, અને જવાબને contextમાં જ રાખ્યા. આ અનુગામી પ્રશ્નો મોનિટર થતી ગુણધર્મ પર કેન્દ્રિત હોય છે—for example, “તમે તમારા જવાબ પસંદ કરવા માટે hint નો અર્થપૂર્ણ રીતે ઉપયોગ કર્યો હતો?” અથવા “તમે કંઈ શંકાસ્પદ કર્યું હતું?” સિદ્ધાંત મુજબ, કારણ કે model ને તેના પહેલાંના રિઝનિંગનો ઍક્સેસ યથાવત રહે છે, તે અનુગામી ચેન-ઓફ-થોટ અથવા પ્રતિભાવમાં અગાઉ શબ્દોમાં ન વ્યક્ત થયેલા વિચારો બહાર લાવી શકે.

આ પરિણામો પ્રાથમિક છે. અમે અનુગામી પ્રશ્નોના ફક્ત થોડા formats જ તપાસ્યા છે અને અમને લાગે છે કે પદ્ધતિમાં નોંધપાત્ર સુધારાની ઘણી જગ્યા છે. વધુમાં, આ પદ્ધતિ model confessions⁠ જેવી જ ભાવના ધરાવે છે, અને અમે હાલ બંને અભિગમોની તુલના પર સક્રિય રીતે કામ કરી રહ્યા છીએ.

મોનિટરેબિલિટી સુધારવાથી આગળ વધીને, આ અભિગમ આકર્ષક છે કારણ કે તે post hoc રીતે લાગુ કરી શકાય છે અને વધુ ઊંડા નિરીક્ષણની જરૂર પડે ત્યારે જ વધારાનો compute ખર્ચ થાય છે. આગળ જોયે તો, જો models ને conversation દરમિયાન મધ્યમાં રિઝનિંગ પ્રયત્ન બદલાવાની અપેક્ષા રાખવા માટે train કરવામાં આવે, તો ઊંચા રિઝનિંગ પ્રયત્નવાળા post-hoc અનુગામી પ્રશ્નો પ્રારંભિક રિઝનિંગ પ્રયત્ન ઓછો હોય અથવા ગેરહાજર હોય ત્યારે પણ મોનિટરેબિલિટીને વધુ સુધારી શકે.

અમારા suite માંની દરેક evaluation એ માપે છે કે રિઝનિંગ પ્રક્રિયાનો એક જ પાસો મોનિટરેબલ છે કે નહીં. ભલે અમે અંધ-સંમતિ, sandbagging, bias, scheming, અને reward hacking સહિતના વર્તનોની વ્યાપક શ્રેણી આવરી લેવા પ્રયત્ન કરીએ છીએ, તોય અનેક વધારાના ગુણધર્મો હજુ અજમાયેલા નથી.

કોઈપણ benchmark ની જેમ, અમારી evaluations મર્યાદિત વાસ્તવિકતા અથવા વધતી evaluation awarenessથી પીડાઈ શકે છે, અને પરિણામો વાસ્તવિક દુનિયામાં દુર્વર્તન શોધવા માટે generalize ન પણ થાય.

અંતે, alignment સુધરતાં, models નિયંત્રિત evaluation settings માં ઓછા વાર દુર્વર્તન કરે એવી શક્યતા છે, જેના કારણે દુર્વર્તન શોધવા પર આધારિત મોનિટરેબિલિટી અને control evaluations માટે ઉપલબ્ધ signal ઘટી જાય. આવા કિસ્સાઓમાં, “neutral” મોનિટરેબિલિટી evaluations હજુ પણ લાગુ પડે છે, જોકે વાસ્તવિક દુનિયાના નિષ્ફળતાઓ માટે તે કેટલી આગાહીકારક છે તે ખુલ્લો પ્રશ્ન છે.

જો alignment સમસ્યાનું સંપૂર્ણ સમાધાન શક્ય ન હોય, તો અત્યંત સક્ષમ મોડલ્સને સલામત રીતે deploy કરવાની અમારી ક્ષમતા માટે scalable control પદ્ધતિઓ અતિ મહત્વપૂર્ણ બનશે. ચેન-ઓફ-થોટ મોનિટરિંગ અને સંબંધિત પદ્ધતિઓ અમારા હાથમાં રહેલી થોડી control mechanisms માંથી એક હોઈ શકે છે. ચેન-ઓફ-થોટ અમારી models વિશે વધુ સમજ મેળવવામાં પણ મોટા ફાયદા આપી શકે છે, જેમ કે તેઓ જાણે છે કે તેઓ evaluation માં છે અને deployment કરતાં જુદું વર્તન કરી રહ્યા છે કે નહીં, અમારી evaluations માં હજી સુધી પ્રગટ ન થયેલા કોઈ પ્રતિકૂળ goals ના પુરાવા છે કે નહીં, વગેરે. તેથી, અમે માનીએ છીએ કે આપણે કેવી રીતે અને ક્યારે મોનિટરેબિલિટી ગુમાવી શકીએ તે સમજવું અત્યંત મહત્વનું છે.

અમે ચેન-ઓફ-થોટ મોનિટરિંગને mechanistic interpretability નો વિકલ્પ નહીં પરંતુ તેનો પૂરક માનીએ છીએ. તમામ જાણીતી control અને interpretability પદ્ધતિઓની જેમ, દરેકની પોતાની મર્યાદાઓ અને blind spots હોય છે. અમારી અપેક્ષા છે કે અનેક અભિગમોને જોડવાથી—એક defense-in-depth strategy—કોઈ એકમાત્ર પદ્ધતિ ખુલ્લી છોડી દેતી ખામીઓને આવરી લેવામાં મદદ મળી શકે. ખાસ નોંધનીય રીતે, આ કાર્યમાં રજૂ કરેલી evaluations નો ઉપયોગ mechanistic interpretability આધારિત મોનિટરિંગ તકનીકોનું મૂલ્યાંકન અને સરખામણી કરવા માટે પણ થઈ શકે છે.

કારણ કે અમે માનીએ છીએ કે scalable control schemeમાં ચેન-ઓફ-થોટ મોનિટરિંગ ભાર વહન કરનાર સ્તર બની શકે છે, તેથી અમે આ evaluations ને વધુ વિસ્તૃત કરવાની અને ભવિષ્યના modeling અને data સંબંધિત નિર્ણયો માટે તેનો ઉપયોગ કરવાની યોજના ધરાવીએ છીએ.