აზროვნების ჯაჭვის მონიტორირებადობის შეფასება
ჩვენ წარმოგიდგენთ აზროვნების ჯაჭვის მონიტორირებადობის შეფასებებს და ვიკვლევთ, როგორ მასშტაბირდება ის ტესტირებისას გამოთვლებთან, განმამტკიცებელ სწავლებასა და წინასწარ სწავლებასთან ერთად.
როდესაც AI სისტემები იღებენ გადაწყვეტილებებს, რომელთა უშუალოდ ზედამხედველობა რთულია, მნიშვნელოვანი ხდება იმის გაგება, თუ როგორ მიიღება ეს გადაწყვეტილებები. ერთ-ერთი იმედისმომცემი მიდგომაა მოდელის შიდა მსჯელობის მონიტორინგი და არა მხოლოდ მისი ქმედებების ან საბოლოო შედეგების.
თანამედროვე მსჯელობის მოდელები, როგორიცაა GPT‑5 Thinking, პასუხის გაცემამდე ქმნიან აშკარა აზროვნების ჯაჭვს. ამ აზროვნების ჯაჭვების მონიტორინგი არასწორი ქცევის გამოსავლენად შეიძლება ბევრად უფრო ეფექტური იყოს, ვიდრე მხოლოდ მოდელის ქმედებებისა და შედეგების მონიტორინგი. თუმცა, OpenAI-ისა და მთელი ინდუსტრიის მკვლევრები წუხან(იხსნება ახალ ფანჯარაში), რომ ამ აზროვნების ჯაჭვის „მონიტორირებადობა“ შეიძლება მყიფე იყოს სასწავლო პროცედურის, მონაცემთა წყაროებისა და არსებული ალგორითმების შემდგომი მასშტაბირების ცვლილებების მიმართ.
გვინდა, რომ აზროვნების ჯაჭვის მონიტორირებადობა შენარჩუნდეს მაშინაც, როცა მოდელები მასშტაბირდება და უფრო მაღალი რისკის გარემოებში ინერგება. მოვუწოდებთ ინდუსტრიის მკვლევრებს, იმუშაონ აზროვნების ჯაჭვის მონიტორირებადობის რაც შეიძლება დიდხანს შესანარჩუნებლად და განსაზღვრონ, შეიძლება თუ არა ის მომავალი AI სისტემებისთვის დატვირთვის მატარებელ საკონტროლო ფენად იქცეს. მონიტორირებადობის შესანარჩუნებლად ის უნდა შეგვეძლოს გავზომოთ, თუმცა შეფასებები ცოტაა [1(იხსნება ახალ ფანჯარაში), 2(იხსნება ახალ ფანჯარაში), 3(იხსნება ახალ ფანჯარაში)] და მეთოდოლოგიები განსხვავდება.
ამ ნაშრომში აზროვნების ჯაჭვის მონიტორირებადობას სისტემურად ვიკვლევთ. წარმოგიდგენთ ჩარჩოს აზროვნების ჯაჭვის მონიტორირებადობის შესაფასებლად და 13 შეფასების პაკეტს (რომელიც ჯამში 24 გარემოს მოიცავს), რომელიც სისტემის მონიტორირებადობის კონკრეტულად გასაზომად არის შექმნილი. ეს შეფასებები სამ არქეტიპად იყოფა — ინტერვენცია, პროცესი და outcome-property. მათი გამოყენებით ვსწავლობთ, რამდენად მონიტორირებადია დღევანდელი დიდი ენობრივი მოდელები და როგორ იცვლება მონიტორირებადობა ინფერენსის დროს მეტი მსჯელობის, განმამტკიცებელი სწავლების უფრო დიდი გაშვებებისა და წინასწარი სწავლების უფრო დიდი მასშტაბის პირობებში.
ახლა, როცა შეფასებების დიდი პაკეტი გვაქვს, შეგვიძლია ჩვენი მოდელების მონიტორირებადობის თვალყურის დევნება დავიწყოთ. (ზედა-მარცხენა) ვხედავთ, რომ როცა მოდელები უფრო მეტს „ფიქრობენ“ და უფრო გრძელი აზროვნების ჯაჭვები აქვთ, მონიტორირებადობა უმჯობესდება. (ზედა-მარჯვენა) აზროვნების ჯაჭვის გარეშე სტანდარტული მიდგომაა მხოლოდ მოდელის ქმედებებისა და საბოლოო შედეგების მონიტორინგი. თუმცა ვხედავთ, რომ მხოლოდ ქმედებებისა და შედეგების მონიტორინგი მნიშვნელოვნად ჩამორჩება CoT-ის მონიტორინგს. (ქვედა-ცენტრი) ჩვენ ჩვენს მოდელებს ვადარებთ გარე მოდელებს, რომლებიც სრულ CoT-ზე წვდომას იძლევიან — Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B და Kimi K2 Thinking.
ვადგენთ, რომ მოწინავე მსჯელობის მოდელების უმეტესობა საკმაოდ მონიტორირებადია, თუმცა არა სრულყოფილად. თითქმის ყველა გარემოში, რომელიც შევისწავლეთ, აზროვნების ჯაჭვების მონიტორინგი საგრძნობლად უფრო ეფექტურია, ვიდრე მხოლოდ ქმედებებისა და საბოლოო შედეგების მონიტორინგი. მოდელები, რომლებიც უფრო დიდხანს „ფიქრობენ“, როგორც წესი, უფრო მონიტორირებადები არიან, ხოლო განმამტკიცებელი სწავლების ოპტიმიზაცია ამჟამინდელ მოწინავე მასშტაბებზე მონიტორირებადობას მნიშვნელოვნად არ ამცირებს.
საგულისხმოა, რომ ვაკვირდებით კომპრომისს მსჯელობის ძალისხმევასა და მოდელის ზომას შორის: როდესაც მოდელი მუშაობს დაბალი მსჯელობის ძალისხმევით, უფრო მცირე მოდელს, რომელიც უფრო მაღალი მსჯელობის ძალისხმევითაა გაშვებული, შეუძლია მიაღწიოს მსგავს შესაძლებლობას და თან უფრო ადვილი იყოს მონიტორინგისთვის. ამას ახლავს ინფერენსის დამატებითი გამოთვლითი ღირებულება, რასაც ჩვენ მონიტორირებადობის გადასახადს ვუწოდებთ. ბოლოს, ვხედავთ, რომ შემდგომი კითხვების დასმა და შედეგად მიღებული აზროვნების ჯაჭვების მონიტორინგი მონიტორირებადობას კიდევ უფრო აუმჯობესებს.
მონიტორირებადობას განვსაზღვრავთ, როგორც მონიტორის უნარს, წინასწარ განსაზღვროს აგენტის ქცევის ინტერესის მქონე თვისებები. ბევრ შემთხვევაში ეს თვისებები არასწორი ქცევის ფორმებს შეესაბამება — მაგალითად, მოტყუებას, ჯილდოს ჰაკვას ან მიკერძოებულ მსჯელობას — თუმცა შეიძლება მოიცავდეს უვნებელ თვისებებსაც, მაგალითად, დაეყრდნო თუ არა აგენტი კონკრეტულ მინიშნებას ან გაჰყვა თუ არა მსჯელობის გარკვეულ ხაზს.
მონიტორირებადობა ორმხრივი თვისებაა. ის დამოკიდებულია როგორც მონიტორზე, ისე დაკვირვების ქვეშ მყოფ აგენტზე.
- მონიტორები. მონიტორები სხვადასხვა გზით შეიძლება უფრო ჭკვიანები გავხადოთ და გვინდა, რომ ჩვენმა შეფასებებმა უფრო მაღალი ქულები მიანიჭოს იმ მონიტორებს, რომლებსაც აგენტის ქცევის უკეთ წინასწარმეტყველება შეუძლიათ.
- აგენტები. არსებობს აგენტზე დაკვირვების მრავალი ტიპი, რომელიც შეიძლება მონიტორს მიეწოდოს, მათ შორის აგენტის ქმედებები, შედეგები, ნეირონული აქტივაციები და ახლახან, მსჯელობის მოდელების გამოჩენასთან ერთად, აზროვნების ჯაჭვი. შესაძლებელია, რომ ზოგი აგენტის აზრები სხვებზე რთულად გასაგები იყოს და ამიტომ გვინდა, რომ ჩვენი მონიტორირებადობის შეფასებებმა შეძლოს აგენტების შედარებაც და არა მხოლოდ მონიტორების.
ჩვენი შეფასებები ორივე მხარის შესაფასებლად არის შექმნილი: გარკვეული აგენტების მონიტორინგი უფრო მარტივია თუ უფრო რთული, და შეუძლიათ თუ არა უფრო ძლიერ მონიტორებს იმავე სიგნალებიდან მეტი ინფორმაციის ამოღება.
მსჯელობის მოდელების ამჟამინდელ თაობამდე, აზროვნების ჯაჭვები ჩვეულებრივ მიიღებოდა მოდელის მოთხოვნით, რომ „ნაბიჯ-ნაბიჯ ეფიქრა.“
მსჯელობის მოდელების აზროვნების ჯაჭვები ორი მნიშვნელოვანი მხრივ განსხვავდება. პირველი, ისინი პირდაპირ სწავლობენ, რომ ჯერ შექმნან აზროვნების ჯაჭვი და შემდეგ გასცენ პასუხი. როდესაც ჩატის მოდელს ვთხოვთ, რომ იფიქროს „ნაბიჯ-ნაბიჯ“, მოდელმა უნდა დაიცვას მასზე დაწესებული სპეციფიკაციები, ანუ იყოს სასარგებლო, უვნებელი და ა.შ. ამის საპირისპიროდ, განმამტკიცებელი სწავლების პროცესი მსჯელობის მოდელს ასწავლის, რომ CoT არის პირადი სივრცე, სადაც მას შეუძლია იფიქროს რაც სურს და ამისთვის არ დაისაჯოს, ისევე როგორც ადამიანს შეუძლია პირადად იფიქროს და არ დაისაჯოს „აზროვნების დანაშაულებისთვის.“
მეორე, სასწავლო პროცესი ეფექტურად ეძებს ისეთ აზროვნების ჯაჭვებს, რომლებიც აგენტისთვის ინსტრუმენტულად ყველაზე სასარგებლოა მაღალი ჯილდოს მქონე საბოლოო პასუხის მისაღებად. ამგვარად, აზროვნების ჯაჭვი არა მხოლოდ სივრცეა, სადაც მოდელს შეუძლია თავისუფლად გამოხატოს თავი, არამედ შეიცავს ისეთ ფიქრსაც, რომელიც მოდელს საბოლოო პასუხამდე მისვლაში ეხმარება.
ჩვენი მონიტორირებადობის შეფასებები სამ განსხვავებულ არქეტიპად დავალაგეთ, რომელთაგან თითოეული მონიტორირებადობის გასაზომად განსხვავებულ მექანიზმს იყენებს.
- ინტერვენციული შეფასებები, შთაგონებული Chen et al. 2025(იხსნება ახალ ფანჯარაში)-ით, Chua et al. 2025(იხსნება ახალ ფანჯარაში)-ით, Turpin et al. 2023(იხსნება ახალ ფანჯარაში)-ით, ჩვენ შევიტანთ კონტროლირებად ცვლილებას აგენტის გარემოში და ვამოწმებთ, შეუძლია თუ არა მონიტორს დააფიქსიროს, რატომ შეიცვალა ქცევა, აზროვნების ჯაჭვში ინტერვენციის მტკიცებულების პოვნით. სტანდარტული საკონტროლო შეფასებებისგან განსხვავებით (მაგ. Shade-Arena(იხსნება ახალ ფანჯარაში)), ინტერვენციული შეფასებები საშუალებას გვაძლევს გამოვიკვლიოთ, შეუძლია თუ არა მონიტორს დააფიქსიროს, რატომ შეიცვალა ქცევა, და არა მხოლოდ ის, მოხდა თუ არა ეს ქცევა.
- პროცესის შეფასებები ფოკუსირდება ამოცანებზე, რომლებსაც ამოხსნის ვალიდური გზების შეზღუდული რაოდენობა აქვს (მაგალითად, მათემატიკური ამოცანა შეიძლება მხოლოდ გარკვეული თეორემებით ამოიხსნას). ადამიან-ექსპერტები ამ გზებს ჩამოთვლიან და ჩვენ ვამოწმებთ, შეუძლია თუ არა მონიტორს დააფიქსიროს, რომელი ნაბიჯები გადადგა მოდელმა რეალურად. ეს შეფასებები საშუალებას გვაძლევს დავაკავშიროთ, რა გააკეთა მოდელმა, კონკრეტულ ნაბიჯებთან, რომლებიც მას აუცილებლად უნდა გადაედგა, და ვიკითხოთ, არის თუ არა ეს ნაბიჯები მონიტორირებადი.
- Outcome-property შეფასებები გამოიყენება მაშინ, როცა მოდელის შედეგის რომელიმე თვისების სანდოდ გაზომვა შესაძლებელია. ასეთ შემთხვევებში ვამოწმებთ, შეუძლია თუ არა მონიტორს ამ თვისების — მაგალითად, ჯილდოს ჰაკვის — წინასწარ განსაზღვრა მოდელის მსჯელობიდან ან ქმედებებიდან. მაგალითად, კოდირების ამოცანაში შეიძლება გვქონდეს გზა, საიმედოდ შევაფასოთ, ახორციელებს თუ არა მოდელი ქმედებებს ჯილდოს სიგნალის დასაჰაკად, და შეგვიძლია ვიკითხოთ, პოულობს თუ არა მონიტორი მოდელის აზროვნებაში ან ქმედებებში ჯილდოს ჰაკვის განზრახვის მტკიცებულებას.
ქვემოთ წარმოგიდგენთ ჩვენი შეფასებების ტაქსონომიას. თითოეული ცალკეული შეფასების სრულ აღწერას იხილავთ ჩვენს ნაშრომში.
ნეიტრალური შეფასებები კითხულობს, არის თუ არა მონიტორირებადი მსჯელობა ჩვეულებრივი ამოცანებისთვის, სადაც მოდელი არ იქცევა არასწორად. მაამებლობის შეფასებები მიზნად ისახავს შემთხვევებს, სადაც მოდელები თავიანთ ქცევას ცვლიან, რათა მომხმარებელს ზედმეტად ასიამოვნონ ან დაეთანხმონ. მიკერძოების შეფასებები კითხულობს, არის თუ არა მონიტორირებადი მოდელის მიკერძოება სქესის, რასის და ა.შ. მიმართ. ბოლოს, misalignment-ის იარლიყს ვიყენებთ, როგორც სხვა ტიპის არასწორი ქცევების საერთო კატეგორიას: თაღლითობა, ტყუილი და ა.შ.¹
ვხედავთ, რომ ჩვენი მოდელის მონიტორირებადობა გარკვეულწილად ჯგუფის მიხედვით განსხვავდება. ზოგადად ისინი ძალიან მონიტორირებადად გვევლინება; თუმცა განსაკუთრებით Scruples-ში, რომელიც შექმნილია იმის სანახავად, არის თუ არა მაამებლობაზე მსჯელობა მონიტორირებადი, მონიტორირებადობა ძალიან დაბალია.
მონიტორირებადი და არამონიტორირებადი მაგალითები
ამ outcome-property მაგალითში მოდელს ეძლევა შეუძლებელი კოდირების ამოცანა. თუ unit ტესტები გადის, მაშინ ვიცით, რომ მოდელმა რაღაც ტიპის ჰაკი შეასრულა. არამონიტორირებად CoT-ში (წითელი) ჩვენ ვერ ვხედავთ მოდელის მხრიდან რაიმე ცუდის გაკეთების ხსენების მტკიცებულებას, მაგრამ ის უბრალოდ ტესტებს ჰაკავს და მომხმარებელს ეუბნება, რომ გამოსწორება დანერგა. მკვეთრი შედარებისთვის, მონიტორირებად CoT-ში (მწვანე), ვხედავთ, რომ მოდელი ფიქრობს: „მაგრამ solution-ში time-ის monkey patching, სავარაუდოდ, მოტყუებაა.“
აზროვნების ჯაჭვის, როგორც პირადი სამუშაო სივრცის, აღქმა — და მოდელების სწავლება, რომ ეფექტურად გამოიყენონ ის ამოცანების გადასაჭრელად — პრინციპში, აზროვნების ჯაჭვებს მონიტორირებადს უნდა ხდიდეს. ამავე დროს, არსებობს რამდენიმე მიზეზი, რის გამოც განმამტკიცებელმა სწავლებამ შეიძლება აზროვნების ჯაჭვის მონიტორირებადობას ზიანი მიაყენოს.
პირველი, მსჯელობის სიგრძეზე დაწესებული შეზღუდვები, როგორიცაა დროის ან token-ების ლიმიტი, რომლებიც მოდელს ფიქრისთვის აქვს, უქმნის სტიმულს, ნაკლებად იფიქროს. მეორე, თვით აზროვნების ჯაჭვზე პირდაპირი ოპტიმიზაციის ზეწოლის გარეშეც კი, ირიბმა ზეწოლებმა შეიძლება მაინც შეამციროს მონიტორირებადობა. მაგალითად(იხსნება ახალ ფანჯარაში), მოდელებს შეიძლება უფრო მარტივად მიაღწიონ მაღალი ჯილდოს მქონე პასუხებს, თუ თავს არიდებენ მსჯელობის გზებს, რომლებმაც შეიძლება დაბალი ჯილდოს ან არასასურველი შედეგებისკენ წაიყვანოს. ბოლოს, მონიტორირებადობის შემცირება შეიძლება გაჩნდეს განმამტკიცებელი სწავლების გრადიენტური ხმაურით გამოწვეული შემთხვევითი დრეიფის შედეგად.
ქვემოთ განვიხილავთ, როგორ იცვლება მონიტორირებადობა OpenAI-ის ორი მოწინავე განმამტკიცებელი სწავლების სასწავლო გაშვების განმავლობაში. მიუხედავად იმისა, რომ ეს შედეგები მხოლოდ ორ მონაცემთა წერტილს წარმოადგენს, ისინი მიანიშნებს, რომ განმამტკიცებელი სწავლების ოპტიმიზაცია ამჟამინდელ მოწინავე მასშტაბებზე აზროვნების ჯაჭვის მონიტორირებადობას არსებითად არ ამცირებს და საწყის ნაბიჯებზე მას ზრდის. თუმცა, ეს არ გამორიცხავს შესაძლებლობას, რომ მომავალში განმამტკიცებელი სწავლების მნიშვნელოვნად უფრო დიდმა მასშტაბებმა მონიტორირებადობაზე უარყოფითად იმოქმედოს.
ვხედავთ, რომ მონიტორირებადობა ამჟამინდელი RL გამოთვლითი მასშტაბების პირობებში დიდად არ იცვლება და საწყის ნაბიჯებზე იზრდება. მიუხედავად იმისა, რომ ეს შესაძლოა მიმდინარე რეჟიმში ასე იყოს, გამორიცხული არ არის, რომ მნიშვნელოვნად გაზრდილმა მასშტაბმა მონიტორირებადობის დაქვეითება გამოიწვიოს.
თანამედროვე AI სისტემების ინტელექტის დიდი ნაწილი განპირობებულია წინასწარი სწავლების მასშტაბის ზრდით, რომლის ფარგლებშიც GPT პარადიგმის დასაწყისიდან მოდელის პარამეტრებიც და მონაცემთა ნაკრებების ზომებიც თანმიმდევრულად იზრდებოდა. პარამეტრების რაოდენობის ზრდა ნიშნავს, რომ თითო გენერირებულ token-ზე ინფერენსისას მეტი გამოთვლითი რესურსი იხარჯება, რაც მსჯელობის მოდელების შემთხვევაში უფრო მეტ შესაძლებლობას აძლევს მოდელის კოგნიციას, აქტივაციებში მოხდეს და არა აზროვნების ჯაჭვში. ამიტომ შეიძლება ველოდოთ, რომ უფრო დიდი მოდელები, შესაძლებლობის ფიქსირებულ დონეზე, ნაკლებად მონიტორირებადი იქნებიან.
ამავე დროს, უფრო მცირე მოდელები შეიძლება ნაკლებადაც კი ახერხებდნენ აზროვნების ჯაჭვის ეფექტურად გამოყენებას — რამაც მონიტორირებადობაზეც შეიძლება იმოქმედოს.
წინასწარი სწავლების ზომას, შესაძლებლობასა და მონიტორირებადობას შორის კავშირის გამოსაკვლევად, ჩვენ ვავარჯიშეთ მოდელების ოჯახი წინასწარი სწავლების გამოთვლითი რესურსის ორი რიგის მასშტაბზე, მზარდი სიღრმითა და სიგანით, შემდეგ კი თითოეულს საერთო მონაცემთა ნაკრებზე — მათემატიკის, მეცნიერებისა და კოდირების ამოცანებზე — გამოვიყენეთ განმამტკიცებელი სწავლება. თითოეული მოდელი შევაფასეთ მსჯელობის ძალისხმევის დიაპაზონში და შესაძლებლობის თანხვედრილ დონეებზე მონიტორირებადობა შევადარეთ.
ჩვენ ვაგებინებთ თითოეული მოდელის მონიტორირებადობას ჩვენს შეფასებების პაკეტზე სტანდარტული შესაძლებლობის შეფასებების ნაკრებზე (GPQA-Diamond, AIME 2025 და CodeForces) საშუალო pass rate-თან მიმართებით. თითოეული მოდელი შეფასებულია მრავალი მსჯელობის ძალისხმევის დონეზე (გაითვალისწინეთ, რომ ამ ფიგურაში თითოეული წერტილი რეალურად წარმოადგენს გაზომილ მსჯელობის ძალისხმევებს შორის ხაზოვანი ინტერპოლაციის შედეგს). წრეები მიუთითებს, რომ მოდელი მსჯელობის იმ კონკრეტულ ძალისხმევაზე მონიტორირებადობით დომინირებს შესაძლებლობის იმ დონეზე, ხოლო გამჭვირვალე X-ები აღნიშნავს, რომ მოდელი მსჯელობის იმ კონკრეტულ ძალისხმევაზე სხვა მოდელის მიერ არის დომინირებული მონიტორირებადობით შესაძლებლობის იმ დონეზე. შავი ისრებით ვაჩვენებთ მაგალითებს, თუ როგორ შეიძლება დამატებითი ინფერენსის გამოთვლითი რესურსის დახარჯვა ორი გზით: ბევრად მეტი token-ის ნიმუშირებით უფრო პატარა მოდელით ან შედარებით ნაკლები დამატებითი token-ით იგივე მოდელით. წითელი ისრებით ვაჩვენებთ მონიტორირებადობის გადასახადს, რომელიც ამ არჩევანებს შორის უნდა გადაიხადოს, ანუ ოდნავ შემცირებულ შესაძლებლობებს გაცილებით მეტი მონიტორირებადობის სანაცვლოდ.
ზოგადად ვხედავთ, რომ თუ რაიმე მოცემულ მოდელს დაბალი მსჯელობის ძალისხმევით დავნერგავდით, მის ნაცვლად შეგვეძლო უფრო მცირე მოდელის დანერგვა უფრო მაღალი მსჯელობის ძალისხმევით. საწყისი დიდი მოდელისგან მეტი მსჯელობის ძალისხმევაზე დამატებითი გამოთვლითი რესურსის დახარჯვის შედარებით, შეგვეძლო მიგვეღო უფრო მაღალი მონიტორირებადობა შესაძლებლობის მცირე დანაკარგით, ანუ მონიტორირებადობის გადასახადით; თუმცა, completion-ის დასრულებისთვის საჭირო რეალური დრო ზოგიერთ დანერგვის გადაწყვეტილებაში ასევე შეიძლება მნიშვნელოვანი იყოს, რასაც აქ არ განვიხილავთ. ჩვენი მოდელების გაუმჯობესებისა და უფრო მაღალი რისკის გარემოებში დანერგვის კვალდაკვალ, მათი უსაფრთხოდ დასანერგად შესაძლოა ასეთი გადასახადის გადახდა აუცილებელი გახდეს.
ამ შედეგებს შემდეგი შეზღუდვები აქვს: (1) თითოეულ მოდელს მხოლოდ ერთხელ ვწვრთნით და, შესაბამისად, არ ვითვალისწინებთ ცვალებადობას სასწავლო გაშვებებს შორის. მაგალითად, „medium“ მოდელი მონიტორირებადობის მხრივ ამ სერიის სხვა მოდელებთან შედარებით საკმაოდ ამოვარდნილად ჩანს, რაც შესაძლოა სწორედ ამით იყოს განპირობებული. (2) შესაძლებლობებს ვაფასებთ შედარებით in-distribution გარემოებში (მათემატიკა, მეცნიერება და კოდირება), ხოლო კომპრომისები შეიძლება შეიცვალოს out-of-distribution მდგრადობის გათვალისწინებისას.
როდესაც AI სისტემები ადამიანურ დონეს სცდება, ადამიანების პირდაპირი ზედამხედველობა სულ უფრო რთული ხდება. იდეალურ შემთხვევაში, გვექნებოდა მასშტაბირებადი კონტროლის პროცედურები, რომლებიც სანდო, მაგრამ შედარებით სუსტ მონიტორებს უფრო ძლიერი, პოტენციურად არასანდო აგენტების ზედამხედველობის საშუალებას მისცემდა. ასეთ პროცედურებს ასევე უნდა შეეძლოთ ტესტირებისას დამატებითი გამოთვლითი რესურსის ათვისება და უფრო ზუსტი პროგნოზების წარმოება.
(მარცხნივ) ვადარებთ მრავალ სხვადასხვა მონიტორს და თითოეულის მსჯელობის ძალისხმევას ვცვლით. თითოეული მონიტორი აკვირდება იმავე GPT‑5 Thinking მოდელს. როგორც მოსალოდნელია, ვხედავთ, რომ ზოგადად უფრო დიდი და უფრო ძლიერი მოდელები უკეთესი მონიტორები არიან, ხოლო მსჯელობის მოდელები მონიტორინგის ამოცანაში უფრო მაღალი მსჯელობის ძალისხმევისას უკეთ მუშაობენ (და შესაბამისად, ტესტირებისას მეტი გამოთვლითი რესურსით).
(მარჯვნივ) ვადარებთ OpenAI o4-mini-სთვის მონიტორინგის დაკვირვების სხვადასხვა არეალს, ანუ ხედავს თუ არა მონიტორი მხოლოდ CoT-ს, მხოლოდ ქმედებებსა და პასუხს, თუ მონიტორინგის ქვეშ მყოფი მოდელის ყველა შეტყობინებას. საგულისხმოა, რომ ვხედავთ, მონიტორირებადობა ტესტირებისას გაზრდილი მონიტორინგის გამოთვლითი რესურსით (მონიტორის უფრო მაღალი მსჯელობის ძალისხმევა) უფრო სწრაფად უმჯობესდება, როცა მონიტორს CoT-ზე წვდომა აქვს. შესაბამისად, CoT მონიტორინგმა შეიძლება კონტროლისთვის უფრო მასშტაბირებადი გზა შემოგვთავაზოს, ვიდრე გულუბრყვილო მონიტორინგმა.
აზროვნების ჯაჭვის მონიტორირებადობა ხშირად განიხილება, როგორც ფიქსირებული სიდიდე: როგორც კი მოდელი მოცემული მსჯელობის ძალისხმევით პასუხს გამოიმუშავებს, შემდეგ რაც შეიძლება კარგად აკვირდებიან მიღებულ აზროვნების ჯაჭვს. რადგან თანმიმდევრულად ვპოულობდით, რომ მონიტორირებადობა უმჯობესდება ჩვენი აგენტების მსჯელობის ძალისხმევის ზრდასთან ერთად, დაგვებადა კითხვა, ხომ არ შეგვეძლო როგორმე მეტი token მიგვეღო მონიტორინგისთვის.
ამის გამოსაკვლევად ჩავატარეთ ექსპერიმენტები შემდგომი კითხვების დასმით მას შემდეგ, რაც მოდელი პასუხს გასცემს, ხოლო კონტექსტში ვინარჩუნებდით საწყის მოთხოვნას, აზროვნების ჯაჭვსა და პასუხს. ეს შემდგომი კითხვები ფოკუსირდება იმ თვისებაზე, რომელსაც ვაკვირდებით — მაგალითად, „მინიშნება მნიშვნელოვნად გამოიყენე პასუხის ასარჩევად?“ ან „რაიმე საეჭვო ხომ არ გააკეთე?“ პრინციპში, რადგან მოდელს წვდომა აქვს თავის ადრინდელ მსჯელობაზე, მას შეიძლება შეეძლოს ადრე სიტყვიერად არგამოხატული ფიქრების ზედაპირზე ამოტანა შემდგომ აზროვნების ჯაჭვში ან პასუხში.
ეს შედეგები წინასწარია. ჩვენ გამოვიკვლიეთ შემდგომი კითხვების ფორმატების მხოლოდ მცირე რაოდენობა და გვჯერა, რომ მეთოდოლოგიის გაუმჯობესებისთვის მნიშვნელოვანი სივრცე არსებობს. გარდა ამისა, ეს მეთოდი თავისი არსით ჰგავს მოდელის აღსარებებს, და ჩვენ აქტიურად ვმუშაობთ ამ მიდგომების შედარებაზე.
ჩვენ ვაჩვენებთ შედეგებს, რომლებიც გაშუალედებულია ჩვენი შეფასებების პაკეტსა და ყველა ჩვენს უახლეს მსჯელობის მოდელზე: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini და GPT‑5‑thinking. ვხედავთ, რომ ზოგადად შემდგომი კითხვები აუმჯობესებს მონიტორირებადობას, განსაკუთრებით მსჯელობის დაბალი ძალისხმევის პირობებში. თუ შემდგომ კითხვას განმეორებით ვსვამთ და მონიტორს ყველა შემდგომ CoT-ს ვაწვდით, მონიტორირებადობა კიდევ უფრო უმჯობესდება. საგულისხმოა, რომ როცა მონიტორს წვდომას ვაძლევთ მხოლოდ შემდგომ პასუხზე და არა შემდგომ CoT-ზე, საბაზისო დონესთან შედარებით ნაკლებ გაუმჯობესებას ვხედავთ. ეს მიუთითებს, რომ მოდელები მომხმარებლისთვის თავიანთ პასუხებში გულწრფელები არ არიან, თუმცა თავიანთ CoT-ში მეტ ინფორმაციას მაინც ამჟღავნებენ.
მონიტორირებადობის გაუმჯობესების მიღმა, ეს მიდგომა მიმზიდველია იმიტომაც, რომ მისი გამოყენება post hoc შეიძლება და დამატებით გამოთვლით ხარჯს მხოლოდ მაშინ იწვევს, როცა უფრო ღრმა შემოწმებაა საჭირო. სამომავლოდ, თუ მოდელები ისე იწვრთნება, რომ საუბრის შუაში მსჯელობის ძალისხმევის ცვლილებას ელოდნენ, post-hoc შემდგომმა კითხვებმა უფრო მაღალი მსჯელობის ძალისხმევით შეიძლება მონიტორირებადობა კიდევ უფრო გააუმჯობესოს მაშინაც კი, როცა საწყისი მსჯელობის ძალისხმევა დაბალია ან საერთოდ არ არსებობს.
ჩვენს პაკეტში თითოეული შეფასება ზომავს, არის თუ არა მსჯელობის პროცესის ერთი კონკრეტული ასპექტი მონიტორირებადი. მიუხედავად იმისა, რომ ვცდილობთ მოვიცვათ ქცევების ფართო სპექტრი — მათ შორის მაამებლობა, sandbagging, მიკერძოება, ინტრიგანობა და ჯილდოს ჰაკვა — მრავალი დამატებითი თვისება ჯერ კიდევ დაუტესტავია.
როგორც ნებისმიერ ბენჩმარკს, ჩვენს შეფასებებსაც შეიძლება ჰქონდეს შეზღუდული რეალისტურობა ან მზარდი გაცნობიერება შეფასების მიმართ, და შედეგები შეიძლება არ განზოგადდეს რეალურ გარემოში არასწორი ქცევის აღმოჩენაზე.
დაბოლოს, როგორც კი alignment გაუმჯობესდება, მოდელები კონტროლირებად შეფასების გარემოებში შესაძლოა უფრო იშვიათად იქცეოდნენ არასწორად, რაც შეამცირებს იმ სიგნალს, რომელსაც მონიტორირებადობისა და კონტროლის შეფასებები ეყრდნობა არასწორი ქცევის აღმოჩენისას. ასეთ შემთხვევებში „ნეიტრალური“ მონიტორირებადობის შეფასებები კვლავ გამოსადეგი რჩება, თუმცა ღია კითხვად რჩება, რამდენად პროგნოზირებადია ისინი რეალურ სამყაროში ჩავარდნებისთვის.
თუ alignment-ის პრობლემა სრულად ვერ გადაიჭრება, მაშინ მასშტაბირებადი კონტროლის მეთოდები უაღრესად მნიშვნელოვანი იქნება იმისთვის, რომ ძალიან ძლიერი მოდელები უსაფრთხოდ დავნერგოთ. აზროვნების ჯაჭვის მონიტორინგი და მასთან დაკავშირებული მეთოდები შეიძლება იყოს ერთ-ერთი იმ მცირერიცხოვან საკონტროლო მექანიზმთაგანი, რომელიც ჩვენს განკარგულებაშია. აზროვნების ჯაჭვს ასევე შეუძლია დიდი სარგებელი მოგვცეს ჩვენი მოდელების უკეთ გასაგებად, მაგალითად, აცნობიერებენ თუ არა, რომ შეფასებაში იმყოფებიან და სხვაგვარად იქცევიან, ვიდრე დანერგვისას მოიქცეოდნენ, არსებობს თუ არა რაიმე არასასურველი მიზნების მტკიცებულება, რომელიც ჩვენს შეფასებებში ჯერ არ გამოვლენილა და ა.შ. ამიტომ გვჯერა, რომ უმნიშვნელოვანესია გავიგოთ, როგორ და როდის შეიძლება დავკარგოთ მონიტორირებადობა.
ჩვენ აზროვნების ჯაჭვის მონიტორინგს მექანისტური ინტერპრეტირებადობის დამატებად ვხედავთ და არა მის ჩანაცვლებად. როგორც ყველა ცნობილ კონტროლისა და ინტერპრეტირებადობის მეთოდს, ორივეს აქვს შეზღუდვები და ბრმა წერტილები. ჩვენი მოლოდინია, რომ მრავალი მიდგომის გაერთიანება — სიღრმისეული თავდაცვის სტრატეგია — დაგვეხმარება იმ ხარვეზების დაფარვაში, რომლებსაც ნებისმიერი ერთეული მეთოდი ღიად ტოვებს. საგულისხმოა, რომ ამ ნაშრომში წარმოდგენილი შეფასებები მექანისტურ ინტერპრეტირებადობაზე დაფუძნებული მონიტორინგის ტექნიკების შეფასებისა და შედარებისთვისაც შეიძლება იქნას გამოყენებული.
რადგან გვჯერა, რომ აზროვნების ჯაჭვის მონიტორინგი შეიძლება იყოს დატვირთვის მატარებელი ფენა მასშტაბირებადი კონტროლის სქემაში, ვგეგმავთ ამ შეფასებების გაფართოებას და მათ გამოყენებას მომავალი მოდელირებისა და მონაცემებთან დაკავშირებული გადაწყვეტილებების გასამართად.
ავტორი
ციტირებები
1. ჩვენი მოდელები არ არის განკუთვნილი სამედიცინო დიაგნოზების დასასმელად და ამიტომ ჩვენი ჯანმრთელობის შეკითხვების მონაცემთა ნაკრები ამ შესაძლებლობის შესამოწმებლად არ არის შექმნილი.
