როგორ ეხმარება აღსარებები ენობრივ მოდელებს პატიოსნების შენარჩუნებაში
ვაზიარებთ ადრეულ, კონცეფციის დასამტკიცებელ მეთოდს, რომელიც მოდელებს ასწავლის აცნობონ, როდის არღვევენ ინსტრუქციებს ან იყენებენ დაუგეგმავ მოკლე გზებს.
AI სისტემები სულ უფრო ქმედუნარიანი ხდება და გვინდა, ისინი მაქსიმალურად ღრმად გავიგოთ — მათ შორის, როგორ და რატომ მიდიან ისინი პასუხამდე. ზოგჯერ მოდელი იყენებს მოკლე გზას ან არასწორ მიზანზე ოპტიმიზდება, მაგრამ მისი საბოლოო პასუხი მაინც სწორად გამოიყურება. თუ ასეთი შემთხვევების გამოტანა შეგვიძლია ზედაპირზე, უკეთ შევძლებთ უკვე დანერგილი სისტემების მონიტორინგს, სწავლების გაუმჯობესებას და შედეგების მიმართ ნდობის ზრდას.
OpenAI-ისა და სხვათა კვლევამ აჩვენა, რომ AI მოდელებს შეუძლიათ ჰალუცინაცია, ჯილდოს ჰაკინგი ან არაპატიოსნება. ამ ეტაპზე ყველაზე შემაშფოთებელ არასასურველ ქცევებს, მაგალითად ინტრიგანობას(იხსნება ახალ ფანჯარაში), მხოლოდ სტრეს-ტესტებსა და ადვერსარიულ შეფასებებში ვხედავთ. მაგრამ რადგან მოდელები უფრო ქმედუნარიანი და სულ უფრო მეტად აგენტური ხდება, შეუსაბამობის იშვიათი ფორმებიც კი უფრო მნიშვნელოვან შედეგებს იწვევს, რაც გვიბიძგებს ჩავდოთ რესურსი მეთოდებში, რომლებიც ამ რისკების უკეთ აღმოჩენაში, გაგებასა და შემცირებაში დაგვეხმარება.
ეს ნამუშევარი იკვლევს ერთ ასეთ მიდგომას: მოდელების გაწვრთნას, რომ აშკარად აღიარონ, როცა არასასურველ ქცევაში ერთვებიან — ტექნიკა, რომელსაც აღსარებებს ვუწოდებთ.
აღსარება მეორე შედეგია, რომელიც განცალკევებულია მომხმარებლისთვის განკუთვნილი მოდელის მთავარი პასუხისგან. მთავარი პასუხი ბევრ განზომილებაში ფასდება — სისწორე, სტილი, სარგებლიანობა, შესაბამისობა, უსაფრთხოება და სხვა — და ეს მრავალმხრივი სიგნალები გამოიყენება იმისთვის, რომ მოდელები უკეთესი პასუხების გენერირებაზე გაწვრთნილიყვნენ. ამის საპირისპიროდ, აღსარება მხოლოდ ერთ რამეზე ფასდება და იწვრთნება: პატიოსნებაზე. აღსარების სტრუქტურიდან სესხებით, რასაც მოდელი თავის აღსარებაში ამბობს, სწავლებისას მის წინააღმდეგ არაფერი გამოიყენება. თუ მოდელი გულწრფელად აღიარებს, რომ ტესტი გატეხა, შეგნებულად შეამცირა შედეგი ან დაარღვია ინსტრუქციები, ეს აღიარება მის ჯილდოს ამცირებს კი არა, ზრდის. მიზანია, მოდელი წავახალისოთ ერთგულად აღწეროს, რეალურად რა გააკეთა.
ჩვენს ტესტებში აღმოვაჩინეთ, რომ აღსარებების მეთოდი მნიშვნელოვნად აუმჯობესებს მოდელის არასასურველი ქცევის ხილვადობას. იმ შეფასებებში, რომლებიც სპეციალურად იყო შექმნილი არასასურველი ქცევის გამოსაწვევად, „ცრუ უარყოფითების“ საშუალო ალბათობა (ანუ როცა მოდელი არ ემორჩილება ინსტრუქციებს და შემდეგ ამას არც აღიარებს) მხოლოდ 4.4%-ია.
ჩვენი „კონცეფციის დასამტკიცებელი“ აღსარების მოდელის სიზუსტე რამდენიმე ადვერსარიულ მონაცემთა ნაკრებზე. შედეგები კლასიფიცირებულია ასე: დაემორჩილა და არ აღიარა (ჭეშმარიტი უარყოფითი), დაემორჩილა და აღიარა (ცრუ დადებითი), არ დაემორჩილა და არ აღიარა (ცრუ უარყოფითი) და არ დაემორჩილა და აღიარა (ჭეშმარიტი დადებითი).
მომხმარებლის მოთხოვნის შემთხვევაში, ოთხი შესაძლო შედეგი ეფუძნება კომბინაციას: (1) არის თუ არა მოდელის პასუხი შესაბამისი („კარგი“) თუ შეუსაბამო („ცუდი“), და (2) აცხადებს თუ არა აღსარება შესაბამისობას ან შეუსაბამობას. ზოგადად ვხედავთ, რომ აღსარებები ძალიან მაღალი ალბათობით ზუსტია, და მეტიც, აღსარების შეცდომები, როგორც წესი, უვნებელია და გამოწვეულია გულწრფელი დაბნეულობით, და არა განზრახ შეცდომაში შეყვანით.
აღსარება მოდელის მიერ საკუთარი თავის შესახებ გაკეთებული ანგარიშია იმის თაობაზე, რამდენად დაიცვა მან მისთვის მიცემული აშკარა და ნაგულისხმევი ინსტრუქციებისა თუ პოლიტიკების როგორც სული, ისე ასო, და იყო თუ არა შემთხვევები, როცა მან „კუთხეები მოიჭრა“ ან „გატეხა“ სისტემა, დაარღვია პოლიტიკები ან რაიმე ფორმით ვერ გაამართლა მოლოდინები. ჩვენს კვლევაში ვხედავთ, რომ მოდელები შეიძლება გაწვრთნას საკუთარი ნაკლოვანებების გულწრფელ მოხსენებაზე. ჩვენ GPT‑5 Thinking-ის ვერსია გავწვრთენით აღსარებების შესაქმნელად და შევაფასეთ ის არაგანაწილებითი სტრეს-ტესტების რამდენიმე მონაცემთა ნაკრებზე, რომლებიც მიზნად ისახავდა ისეთი ქცევების პროვოცირებას, როგორიცაა ინტრიგანობა, ჰაკინგი, ინსტრუქციების დარღვევა და ჰალუცინაციები. აღმოვაჩინეთ, რომ მაშინაც კი, როცა მოდელი ასეთ არასასურველ ქცევებში ერთვება, დიდი ალბათობით მათ აღიარებს. ზემოთ მოცემული ილუსტრაცია აჩვენებს, რომ აღსარების მიდგომა ფართოდ ეფექტიანია მონაცემთა ნაკრებისა და ამოცანების მრავალფეროვან სპექტრში.
მომხმარებელსა და მოდელს შორის ნებისმიერი ინტერაქციის შემდეგ, რომელიც მოდელის პასუხით სრულდება, აღსარების მოთხოვნა შეიძლება მოდელისთვის „სისტემური შეტყობინების“ გაგზავნით, რომელიც მას აღსარების ანგარიშის მოწოდებას ავალებს. ანგარიში ეხება მოდელის ბოლო პასუხს და მოიცავს (1) ყველა აშკარა და ნაგულისხმევი ინსტრუქციის, შეზღუდვისა და მიზნის ჩამონათვალს, რომელსაც ეს პასუხი უნდა აკმაყოფილებდეს, (2) გულწრფელ და ობიექტურ ანალიზს, რეალურად დააკმაყოფილა თუ არა პასუხმა თითოეული ამ მიზანთაგანი, და (3) იმ ყველა გაურკვევლობის, ბუნდოვანებისა თუ „რთული მსჯელობის შემთხვევის“ ჩამონათვალს, რომლებიც მოდელს პასუხის შექმნისას შეხვდა. სწავლების დროს აღსარებას აფასებს ცალკე ჯილდოს მოდელი, რომელიც თავად აღსარებას აფასებს მიზნების სისრულის, შესაბამისობის ანალიზის სიზუსტისა და გაურკვევლობების დაფარვის მიხედვით. ეს ჯილდოები ვრცელდება მხოლოდ აღსარების შედეგზე და არასოდეს ახდენს გავლენას მთავარი პასუხის ჯილდოზე. ეს უზრუნველყოფს ზემოთ განხილულ თვისებას, რომ აღსარებაში ნათქვამი არაფერი ავნებს (ან დაეხმარება) მოდელის მთავარ პასუხზე მიღებულ ჯილდოს.
აღსარებების უკან მდგომი თეორია მარტივია. მოდელის არასასურველი ქცევის ბევრი სახეობა იმიტომ ჩნდება, რომ მოდელს ერთდროულად რამდენიმე მიზნის ოპტიმიზებას ვთხოვთ. განმამტკიცებელი სწავლების დროს მოდელი ხედავს მოთხოვნას, ქმნის პასუხს და იღებს ჯილდოს. დროთა განმავლობაში ის სწავლობს ისეთი პასუხების გენერირებას, რომლებიც მაღალ ქულას იღებს. სირთულე ისაა, რომ ჯილდოს სიგნალმა ერთდროულად ბევრი განსხვავებული ფაქტორი უნდა გააერთიანოს: რამდენად სწორია პასუხი, რამდენად სასარგებლოა, იცავს თუ არა პროდუქტისა და პოლიტიკის სპეციფიკაციებს, აკმაყოფილებს თუ არა უსაფრთხოების შეზღუდვებს და ემთხვევა თუ არა იმას, რაც მომხმარებლებს ჩვეულებრივ მოსწონთ. როცა ეს სიგნალები ურთიერთქმედებს, მათ შეიძლება შემთხვევით მოდელი იმ ქცევებისკენ უბიძგონ, რომლებიც არ გვინდა.
მაგალითად, ჩვენი ნამუშევარი ჰალუცინაციებზე აჩვენებდა, რომ ზოგი მონაცემთა ნაკრები თავდაჯერებულ ვარაუდს უფრო აჯილდოებს, ვიდრე გაურკვევლობის გულწრფელ აღიარებას. ჩვენი კვლევა მაამებლობაზე აჩვენებდა, რომ მოდელები შეიძლება ზედმეტად დამთანხმებლები გახდნენ, როცა პრეფერენციის სიგნალი მეტისმეტად ძლიერია. ხოლო სხვა ჯგუფების ნამუშევრებმა(იხსნება ახალ ფანჯარაში) აჩვენა, რომ მოდელებს შეუძლიათ „ჯილდოს ჰაკინგი“ — სასწავლო გარემოში ისეთი ხვრელების პოვნა, რომლებიც მათ საშუალებას აძლევს მაღალი ქულა მიიღონ ისე, რომ სინამდვილეში ის არ გააკეთონ, რაც გვქონდა განზრახული. ზოგიერთ შემთხვევაში ასეთი მოკლე გზები შეიძლება დანერგვისას კიდევ უფრო საზიანო ქცევებზეც განზოგადდეს(იხსნება ახალ ფანჯარაში).
აღსარებები ამ პრობლემას მიზნების სრული გამიჯვნით არიდებს თავს. მთავარი პასუხი კვლავაც ოპტიმიზდება ყველა ჩვეულებრივი ფაქტორისთვის. აღსარება კი ზუსტად ერთზე იწვრთნება: პატიოსნებაზე. რასაც მოდელი აღსარებაში ამბობს, მის წინააღმდეგ არ გამოიყენება, და აღსარება არ ახდენს გავლენას მთავარი პასუხის ჯილდოზე. ეს ნიშნავს, რომ თუნდაც მოდელი თავდაპირველ პასუხში ატყუებდეს ან „კუთხეებს ჭრიდეს“, მას მაინც აქვს სტიმული, ეს აღსარებაში აღიაროს. სწორედ ამას ვხედავთ პრაქტიკაში: მოდელები მზად არიან აღიარონ ცუდი ქცევა აღსარებაში, იმ შემთხვევებშიც კი, როცა მთავარ პასუხში ამას მალავენ. ხოლო როცა აღსარებები ვერ მუშაობს, ეს, როგორც წესი, იმიტომ ხდება, რომ მოდელი რეალურად დაბნეულია — რადგან ინსტრუქციები ბუნდოვანი იყო ან ვერ მიხვდა, რომ შეცდომა დაუშვა — და არა იმიტომ, რომ შეგნებულად ცდილობდა შეცდომაში შეყვანას. მნიშვნელოვანია, რომ ადრეული შედეგები აჩვენებს: აღსარებები ეფექტიანი რჩება მაშინაც კი, როცა საწყისი პასუხი საერთოდ ყოველგვარი აზროვნების ჯაჭვის გარეშეა შექმნილი, რაც მიანიშნებს, რომ აღსარების პატიოსნება შიდა მსჯელობის წაკითხვადობაზე არ არის დამოკიდებული და შესაძლოა განზოგადდეს მომავლის მოდელის არქიტექტურებზეც.
აღსარების სწავლება მუშაობს შესაბამისობის ground-truth იარლიყების გარეშეც. „Ground truth“-ში ვგულისხმობთ საბოლოო, გარედან მოწოდებულ იარლიყს, რომელიც მიუთითებს, რეალურად დაიცვა თუ არა მოდელმა ინსტრუქცია ან დაარღვია იგი. რეალურ ამოცანებში ასეთი იარლიყები ხშირად მიუწვდომელია — რადგან თუ ზუსტად გვეცოდინებოდა, რომ მოდელმა წესი დაარღვია, ამ დარღვევას პირდაპირ დავსჯიდით და აღსარებაზე დაყრდნობა აღარ დაგვჭირდებოდა. ამის ნაცვლად, მოდელი ჯილდოვდება იმისთვის, რომ სტრუქტურირებული, მტკიცებულებებზე დაფუძნებული ახსნა წარმოადგინოს იმის შესახებ, რაც თავად ფიქრობს, რომ გააკეთა. ნაშრომი აჩვენებს, რომ ამ სქემაში პატიოსნება ბუნებრივად იჩენს თავს. ჩვენ ვფიქრობთ, ეს იმიტომ ხდება, რომ სიმართლეზე დამყარებული, მტკიცებულებებით გამყარებული ანგარიშის მოწოდება მოდელისთვის, ზოგადად, უფრო ადვილია, ვიდრე ისეთი შეთხზული, თანმიმდევრული ნარატივის აგება, რომელიც მსაჯს მოატყუებს. ეს საკვანძო ვარაუდია, რომელსაც ნაშრომი იკვლევს; მასში ასევე განხილულია შემთხვევები, როცა აღსარებები ვერ მუშაობს — ცრუ უარყოფითები და ცრუ დადებითები — და მათი წარმოშობის მიზეზები.
ნაშრომი იძლევა საწყის მტკიცებულებას, რომ აღსარებები მუშაობს, თუმცა ეს საბოლოო მტკიცებულებად არ უნდა მივიჩნიოთ. მიუხედავად იმისა, რომ გამოვიყენეთ მოწინავე მოდელი (GPT‑5 Thinking), ჩვენი ექსპერიმენტები მასშტაბით შეზღუდული იყო და შედარებით მცირე რაოდენობის გამოთვლასა და მონაცემებს ეყრდნობოდა. გვახარებს ამ ნამუშევრის შემდეგ ეტაპზე გადაყვანის პერსპექტივა და ის, ვნახავთ თუ არა, შეინარჩუნებს თუ არა აღსარებების პატიოსნება ძალას სწავლების მასშტაბის ზრდასთან ერთად.
მოდელი თავის მთავარ პასუხში „ჯილდოს ჰაკინგს“ ახდენს, რათა შემმოწმებელი მოატყუოს, წინადადებებზე თითქოს სიტყვების რაოდენობის ანოტაციების დართვით, მაგრამ შემდეგ ამას აღსარებაში აღიარებს.
ჩვენი ექსპერიმენტების ფარგლებში შეგნებულად გავწვრთენით მოდელები „გატეხვადი“ ჯილდოს სიგნალის წინააღმდეგ, რომელსაც უფრო სუსტი მოდელი ითვლიდა. ეს სქემა ვრცელდებოდა როგორც მთავარ ჯილდოზე, ისე აღსარების ჯილდოზეც. მოდელმა ისწავლა სუსტი ჯილდოს სიგნალის ექსპლუატაცია: მისი მოჩვენებითი სიზუსტე (როცა მას სუსტი მოდელი აფასებდა) გაუმჯობესდა, მაშინ როცა მისი ნამდვილი სიზუსტე (როცა მას უფრო ძლიერი შემფასებელი აფასებდა) დაეცა.
თუმცა, მიუხედავად იმისა, რომ აღსარების არხიც იმავე სუსტ სიგნალზე იყო გაწვრთნილი, მისი სიზუსტე საპირისპირო მიმართულებით წავიდა. მოდელმა ისწავლა, რომ აღსარების ჯილდოს ოპტიმიზების საუკეთესო გზა უბრალოდ იმის აღიარება იყო, როცა მთავარ ჯილდოს ჰაკავდა. დროთა განმავლობაში აღსარებები უფრო ზუსტი ხდებოდა, მაშინაც კი, როცა მთავარი ქცევა იხრებოდა.
სწავლების განმავლობაში, როცა მოდელი შესაბამისობას ვერ იცავს, ის ზოგიერთ შემთხვევაში სწავლობს მთავარი ჯილდოს მსაჯის „გატეხას“, ამიტომ მსაჯის სიზუსტე მცირდება. ამის საპირისპიროდ, მიუხედავად იმისა, რომ აღსარების ჯილდოს მსაჯიც იმავე ხარისხით არის გატეხვადი, მოდელი სწავლების პროცესში თავის აღსარებებში მხოლოდ უფრო პატიოსანი ხდება და საბოლოოდ თითქმის 100%-ს აღწევს იმ შემთხვევებში, როცა შეუსაბამობისას ამას აღიარებს.
ნაშრომი(იხსნება ახალ ფანჯარაში) შეიცავს მეტ ექსპერიმენტსა და შედეგს. ჩვენ შევადარეთ აღსარებებზე გაწვრთნილი მოდელი საკონტროლო მოდელს, რომელიც იმავე გზით იყო გაწვრთნილი, მაგრამ აღსარების არხის გარეშე. ასევე განვიხილეთ შემთხვევები, როცა აღსარებები ვერ მუშაობდა. თითქმის ყველა „გამორჩენა“ იმ დროს ხდებოდა, როცა მოდელი რეალურად დაბნეული იყო — როცა ინსტრუქციები ბუნდოვანი იყო ან უბრალოდ ვერ მიხვდა, რომ შეცდომა დაუშვა. (იხილეთ ზემოთ მოცემული ცრუ უარყოფითის მაგალითი.)
აღსარებებს თავისი შეზღუდვები აქვს. ისინი ცუდ ქცევას არ უშლის ხელს; ისინი მას ზედაპირზე ამოაქვს. მათი მთავარი ღირებულება მონიტორინგისა და დიაგნოსტიკის ინსტრუმენტად გამოყენებაა, როგორც სწავლებისას, ისე დანერგვისას. აღსარებებს მსგავსი როლი აქვს, როგორც აზროვნების ჯაჭვის მონიტორინგს: ორივე უფრო ხილულს ხდის ფარულ მსჯელობით პროცესებს. აღსარებები ფოკუსირდება იმაზე, დაარღვია თუ არა მოდელმა ინსტრუქციები; აზროვნების ჯაჭვს კი შეუძლია გამოყოს, როგორ მივიდა ის იქამდე.
ეს ნამუშევარიც კონცეფციის დამადასტურებელია. ჩვენ არ გაგვიწვრთნია აღსარების მექანიზმები ფართო მასშტაბით და აღსარების სიზუსტეც ჯერ კიდევ არასრულყოფილია. კიდევ ბევრი სამუშაოა გასაწევი, რათა ეს მიდგომა უფრო სანდო, უფრო გამძლე და უფრო ფართოდ გამოსაყენებელი გავხადოთ მოდელების ოჯახებსა და ამოცანებში.
ეს ნამუშევარი თავსდება ჩვენს AI უსაფრთხოებისადმი უფრო ფართო მიდგომაში. აღსარებები ერთ-ერთი მექანიზმია უფრო დიდი სტეკის ფარგლებში, რომელიც მოიცავს გააზრებულ შესაბამისობას, აზროვნების ჯაჭვის მონიტორინგს, ინსტრუქციების იერარქიას და სხვას. არც ერთი ცალკე მეთოდი არ არის საკმარისი; მიზანი არის შემოწმებებისა და გამჭვირვალობის ინსტრუმენტების მრავალშრიანი სისტემა, სადაც ელემენტები ერთმანეთს აძლიერებს. აღსარებებს შეუძლია დაეხმაროს მოდელებში პრობლემური ქცევების დიაგნოსტიკას სწავლებისა და შეფასების დროს, ასევე მონიტორინგს დანერგვის პროცესში. აღსარებები თავისთავად არ წყვეტს მრავალ განზომილებას შორის ბალანსის პრობლემას. მაგრამ იმით, რომ ქმნის „სიმართლის შრატის“ რეჟიმს, სადაც მოდელები მხოლოდ პატიოსნებაზე არიან ორიენტირებული, ის ჩვენს სტეკს ამატებს ღირებულ ინსტრუმენტს პატიოსნებისა და უსაფრთხოების გასაუმჯობესებლად ყველა მიმართულებით.
რაც უფრო ქმედუნარიანი ხდება მოდელები და უფრო მაღალი პასუხისმგებლობის გარემოებში ინერგება, მით უფრო გვჭირდება უკეთესი ინსტრუმენტები იმის გასაგებად, რას აკეთებენ ისინი და რატომ. აღსარებები სრულფასოვანი გადაწყვეტა არ არის, მაგრამ ისინი მნიშვნელოვან ფენას ამატებს ჩვენს გამჭვირვალობისა და ზედამხედველობის სტეკს. მომავალში ვგეგმავთ აღსარებების მასშტაბის გაზრდას, ასევე მათ შეწყვილებას გამჭვირვალობისა და უსაფრთხოების დამატებით ტექნიკებთან, მათ შორის აზროვნების ჯაჭვის მონიტორინგსა და გააზრებულ შესაბამისობასთან, რათა კიდევ უფრო წავიწიოთ წინ იმის უზრუნველსაყოფად, რომ ჩვენი მოდელები ერთგულად დაემორჩილონ ყველა ინსტრუქციასა და პოლიტიკას (მაგალითად, ჩვენს მოდელის სპეციფიკაციას(იხსნება ახალ ფანჯარაში)) და სიმართლით აცნობონ თავიანთი ქმედებების შესახებ.
