ინსტრუქციების იერარქიის გაუმჯობესება მოწინავე LLM-ებში
წარმოგიდგენთ IH-Challenge-ს, სასწავლო მონაცემთა ნაკრებს, რომელიც აძლიერებს ინსტრუქციების იერარქიას, უსაფრთხოების steerability-ს და პრომპტ ინიექციისადმი მდგრადობას.
AI სისტემები ხშირად იღებენ ინსტრუქციებს მრავალი წყაროდან. ეს შეიძლება მოიცავდეს უსაფრთხოების პოლიტიკებს system message-ებიდან, პროდუქტულ მითითებებს დეველოპერებისგან, მოთხოვნებს მომხმარებლებისგან და ინტერნეტში ნაპოვნ ინფორმაციას. მოდელების გაწვრთნა ისე, რომ მათ საიმედოდ მიანიჭონ პრიორიტეტი ყველაზე სანდო ინსტრუქციებს ამ წყაროებს შორის, უსაფრთხო დანერგვის მნიშვნელოვანი ნაწილია.
AI-ის უსაფრთხოებისა და სანდოობის მრავალი პრობლემა შეიძლება წარმოიშვას, როცა ეს პრიორიტეტიზაცია ირღვევა. მოდელებმა შეიძლება მიიღონ მოთხოვნები აკრძალულ შინაარსზე, კერძო ინფორმაციის გამჟღავნების მცდელობები ან ონლაინ მონაცემებში ჩაშენებული პრომპტ ინიექციის შეტევები. თითოეულ ასეთ სცენარში სათანადო ქცევის არქონას ერთი და იგივე ძირეული მიზეზი აქვს: მოდელმა შეიძლება არასწორ ინსტრუქციას მიჰყვეს.
როცა ეს ინსტრუქციები ერთმანეთს ეწინააღმდეგება, მოდელმა უნდა გადაწყვიტოს, რომელს მიანიჭოს პრიორიტეტი. თუ ის არასანდო ინსტრუქციას აღიქვამს ავტორიტეტულად, მოდელი შეიძლება ისე მოიქცეს, რომ დაარღვიოს პოლიტიკები ან დეველოპერისა და მომხმარებლის განზრახვა.
ჩვენ ვაჩვენებთ, რომ სწორად დაპროექტებული instruction-hierarchy ამოცანები, რომლებიც მოდელებს მათი ნდობის დონის მიხედვით ინსტრუქციების პრიორიტეტიზაციას ასწავლის, აუმჯობესებს რამდენიმე რეალურ უსაფრთხოების თვისებას. ამ ამოცანებზე გაწვრთნილი მოდელები მეტად რეაგირებენ system prompt-ებში მოცემულ უსაფრთხოების სპეციფიკაციებზე (რაც აუმჯობესებს უსაფრთხოების steerability-ს) და უფრო მდგრადები ხდებიან tool output-ებში ჩაშენებული პრომპტ ინიექციის შეტევების მიმართ.
კონფლიქტების სამართავად OpenAI-ის მოდელები გაწვრთნილია, რომ დაიცვან ინსტრუქციების მკაფიო იერარქია:
System > developer > user > tool
უფრო მაღალი პრიორიტეტის ინსტრუქციები მეტად სანდოა. მოდელმა დაბალი პრიორიტეტის ინსტრუქციებს მხოლოდ მაშინ უნდა მიჰყვეს, როცა ისინი უფრო მაღალი პრიორიტეტის შეზღუდვებს არ ეწინააღმდეგება. ეს პრინციპები აღწერილია OpenAI მოდელის სპეციფიკაციაში(იხსნება ახალ ფანჯარაში).
მაგალითად, თუ system message შეიცავს უსაფრთხოების პოლიტიკას და მომხმარებელი მოდელს სთხოვს მის დარღვევას, მოდელმა უნდა თქვას უარი. თუ tool output შეიცავს მავნე ინსტრუქციებს, მოდელმა ისინი უნდა დააიგნოროს და არა ბრძანებებად აღიქვას.
ამის სწორად შესრულება საფუძვლად უდევს უსაფრთხოებას, დაცულობასა და სანდოობას.
მარჯვენა მხარეს მოდელი სწორად მიჰყვება დეველოპერის ინსტრუქციას, რომელსაც უფრო მაღალი პრიორიტეტი აქვს, ვიდრე მომხმარებლისას, როცა ეს ორი ინსტრუქცია ერთმანეთს ეწინააღმდეგება.
განმამტკიცებელი სწავლება ბუნებრივად შეეფერება ინსტრუქციების იერარქიის სწავლებას. ჩვენ შეგვიძლია შევქმნათ საუბრების მაგალითები კონფლიქტური ინსტრუქციებით, მივაწოდოთ მოთხოვნა მოდელს, რომ უპასუხოს, და დავაჯილდოოთ ის მაშინ, როცა სწორ ინსტრუქციას მიჰყვება.
ჩვენ გამოვავლინეთ ამ მიდგომის გულუბრყვილოდ გამოყენების სამი საფრთხე:
- ინსტრუქციების მიყოლის ჩავარდნები შეიძლება ერთდროულად instruction hierarchy-ის ჩავარდნებიც იყოს: მოდელმა შეიძლება ვერ გადაჭრას ინსტრუქციების კონფლიქტი არა იმიტომ, რომ როლების იერარქია არ ესმის, არამედ იმიტომ, რომ თავად ინსტრუქციებია ზედმეტად რთული.
- ინსტრუქციებს შორის კონფლიქტები შეიძლება იყოს ნიუანსური და ზოგჯერ სუბიექტურიც. გავრცელებული მიდგომაა, რომ ცალკე LLM-მა განსაზღვროს ჯილდოები გასაწვრთნელი LLM-ისთვის, მაგრამ თავად შემფასებლებიც შეცდომისგან დაზღვეული არ არიან.
- მოდელები მიდრეკილნი არიან ისწავლონ შემოვლითი ხერხები, რომლებიც მაღალ ჯილდოს იძლევა, მაგრამ პრაქტიკაში უსარგებლოა(იხსნება ახალ ფანჯარაში). კლასიკური მაგალითია ზედმეტი უარი: მოდელებმა შეიძლება ისწავლონ უსაფრთხოების მაქსიმიზაცია მაშინაც, როცა სრულიად უვნებელ მოთხოვნებსაც უარყოფენ.
ამ სამი საფრთხის დასაძლევად ჩვენ ვქმნით IH-Challenge-ს, განმამტკიცებელი სწავლების სასწავლო მონაცემთა ნაკრებს. ჩვენ ვიცავთ შემდეგ პრინციპებს:
- ამოცანები მარტივია ინსტრუქციების შესრულების თვალსაზრისით
- ისინი ობიექტურად შემოწმებადია მარტივი Python სკრიპტით
- არ არსებობს ტრივიალური შემოვლითი ხერხები, რომლებიც ყველა ამოცანაზე მაღალ ჯილდოს უზრუნველყოფს
IH-Challenge-ის თითოეული ამოცანა არსებითად წარმოადგენს დიალოგს შემდეგი შეტყობინებებით:
- მაღალი პრივილეგიის როლიდან გამოგზავნილი ინსტრუქციული შეტყობინება, მაგალითად: „უპასუხე მხოლოდ „დიახ“ ან „არა““.
- დაბალი პრივილეგიის როლიდან გამოგზავნილი ინსტრუქციული შეტყობინება, რომელიც ცდილობს მოდელი დაარწმუნოს, დაარღვიოს უფრო მაღალი პრივილეგიის შეტყობინებაში მოცემული ინსტრუქციები.
გასაწვრთნელი მოდელი წარმოქმნის შემდეგ შეტყობინებას. ჩვენ ამოცანებს/გარემოებს ისე ვქმნით, რომ პროგრამულად შესაძლებელი იყოს შემოწმდეს, აკმაყოფილებს თუ არა მოდელის პასუხი უფრო მაღალი დონის შეზღუდვას.
ჩვენ ვწვრთნით მოდელს IH‑Challenge-ზე და ვიღებთ შიდა მოდელს, რომელსაც GPT‑5 Mini-R ვუწოდებთ, შემდეგი გაუმჯობესებებით:
- უკეთეს შედეგებს აჩვენებს instruction‑hierarchy ბენჩმარკებზე
- გაუმჯობესებული შედეგები ვრცელდება unseen და ადვერსარიულ instruction hierarchy ტესტებზე
- ინარჩუნებს საერთო სარგებლიანობას ზედმეტ უარზე გადასვლის გარეშე
სწორედ ეს ხდის ამ მიდგომას განსაკუთრებით დამაჯერებელს უსაფრთხოების თვალსაზრისით: როდესაც მოდელებს უშუალოდ ვწვრთნით, რომ IH-challenge ამოცანებზე ინსტრუქციების კონფლიქტები სწორად გადაჭრან, ვიღებთ IH-ის გაუმჯობესებებს, რომლებიც განზოგადდება ახალ შეტევებსა და ახალ სიტუაციებზე.
მდგრადობა აკადემიურ ბენჩმარკებზე
შეფასება | GPT‑5‑Mini | GPT‑5 Mini-R |
Gandalf Password (sys-user) | 0.99 | 0.99 (+0) |
Gandalf Password (dev-user) | 0.98 | 1.00 (+0.02) |
TensorTrust (sys-user) | 0.86 | 0.94 (+0.08) |
TensorTrust (dev-user) | 0.76 | 0.91 (+0.15) |
RealGuardrails (Distractors) | 0.88 | 0.95 (+0.07) |
RealGuardrails (ხელით დაწერილი) | 0.82 | 0.89 (+0.07) |
System IFEval | 0.92 | 0.96 (+0.04) |
მდგრადობა შიდა ბენჩმარკებზე
შეფასება | GPT‑5‑Mini | GPT‑5 Mini-R |
TutorJailbreak (sys-user) | 0.96 | 0.99 (+0.03) |
Tutor Jailbreak (dev-user) | 0.97 | 0.99 (+0.02) |
System <> User კონფლიქტი | 0.84 | 0.95 (+0.11) |
System <> Developer კონფლიქტი | 0.86 | 0.86 (+0) |
Developer <> User კონფლიქტი | 0.83 | 0.95 (+0.12) |
შესაძლებლობების რეგრესია არ არის
შეფასება | GPT‑5‑Mini | GPT‑5 Mini-R |
IH-Challenge (ზედმეტი უარყოფა) | 0.79 | 1.00 (+0.21) |
TensorTrust (ზედმეტი უარყოფა) | 0.91 | 0.90 (-0.01) |
GPQA Diamond | 0.83 | 0.83 (+0) |
AIME 2024 | 0.93 | 0.94 (+0.01) |
ჩატის მოგების მაჩვენებელი vs. o1 | 0.71 | 0.66 (-0.05) |
პრეფერენციის ქულა | 0.46 | 0.40 (-0.06) |
ინსტრუქციების უფრო ძლიერი იერარქია ერთდროულად იძლევა უსაფრთხოების რამდენიმე სარგებელს, მათ შორის უსაფრთხოების steerability-სა და პრომპტ ინიექციისადმი მდგრადობას.
უსაფრთხოების steerability-ს ვაფასებთ იმით, რომ system prompt-ს ვუმატებთ კატეგორიებისთვის სპეციფიკურ უსაფრთხოების სპეციფიკაციებს და შემდეგ ქცევას ვზომავთ OpenAI-ის safety Production Benchmarks-ზე (უსაფრთხოებისადმი მგრძნობიარე დიალოგების ნაკრები, რომელიც ChatGPT‑ის რეალურ გამოყენებას წარმოადგენს).
IH-ზე გაწვრთნილი მოდელი აჩვენებს სტაბილურ გაუმჯობესებას: როდესაც უსაფრთხოების სპეციფიკაცია არსებობს, ის აღწევს უარისა და უსაფრთხო დასრულების უფრო მაღალ მაჩვენებლებს აკრძალულ კატეგორიებში, რაც მიუთითებს, რომ ინსტრუქციების უფრო ძლიერი იერარქია უკეთ ეხმარება კონფლიქტების გადაჭრაში, როცა არაუსაფრთხო მოთხოვნები დაბალი პრიორიტეტის ინსტრუქციებიდან მოდის. მნიშვნელოვანია, რომ ამ გაუმჯობესებას არ ახლავს სასარგებლოობის მაჩვენებლის შესაბამისი ვარდნა (ანუ მოდელი უბრალოდ სულ უფრო მეტზე უარს არ ამბობს და ამიტომ არ ხდება ნაკლებად „სასარგებლო“).
მაგალითი იმისა, თუ როგორ უძლებს IH-ზე გაწვრთნილი მოდელი პრომპტ ინიექციებს, რომლებზეც GPT‑5 Mini (Baseline) ტყუვდება.
ინსტრუქციების იერარქია ასევე ცენტრალურია პრომპტ ინიექციის მოგერიებისთვის, როცა მავნე ინსტრუქციები tool output-ებშია ჩაშენებული. ჩვენ IH-ზე გაწვრთნილ მოდელს ვაფასებთ პრომპტ ინიექციის ორ ბენჩმარკზე — აკადემიურ ბენჩმარკ CyberSecEval 2-ზე და OpenAI-ის შიდა პრომპტ ინიექციის ბენჩმარკზე, რომელიც მოიცავს ისეთ შეტევებს, როგორიც ნაჩვენები იყო ChatGPT Atlas-ის უფრო ძველ ვერსიაზე.
საბაზისო მოდელთან შედარებით, IH-ზე გაწვრთნილი GPT‑5 Mini-R მოდელი აუმჯობესებს პრომპტ ინიექციისადმი მდგრადობას ორივე ბენჩმარკზე და ამ ექსპერიმენტებში მნიშვნელოვნად აუმჯობესებს შედეგებს ჩვენს შიდა სტატიკურ პრომპტ ინიექციის შეფასებაზე.
როდესაც მოდელები უფრო აგენტური ხდებიან — იძახებენ ხელსაწყოებს, კითხულობენ არასანდო დოკუმენტებს და რეალურ სამყაროში მოქმედებენ — სანდო ინსტრუქციებისთვის არასანდოებზე თანმიმდევრული პრიორიტეტის მინიჭების უნარი უსაფრთხოების ძირითად თვისებად იქცევა.
ეს ნაშრომი აჩვენებს, რომ IH მდგრადობის სწავლების რამდენიმე სირთულის გადალახვა შესაძლებელია ისეთი სასწავლო გარემოების დიზაინით, რომლებიც ამ სირთულეებს პირდაპირ პასუხობს. მიუხედავად იმისა, რომ ჩვენი IH-Challenge მონაცემთა ნაკრები მარტივი ჩანს, ამ გარემოებიდან ნასწავლი IH ქცევა განზოგადდება უფრო რეალისტურ, ხშირად ობიექტურად შეუფასებელ ბენჩმარკებზე.
ინსტრუქციების იერარქიის გაძლიერება არა მხოლოდ აუმჯობესებს სანდოობას, არამედ ერთდროულად ხსნის უსაფრთხოებისა და დაცულობის მრავალ სარგებელს — ეს არის საფუძველი, რომლის მნიშვნელობაც იზრდება AI სისტემების შესაძლებლობებისა და ავტონომიურობის ზრდასთან ერთად.
ამ სფეროში შემდგომი კვლევის მხარდასაჭერად, ჩვენ ვაქვეყნებთ IH‑Challenge მონაცემთა ნაკრებს აქ(იხსნება ახალ ფანჯარაში).
