ChatGPT Atlas-ის უწყვეტი გამყარება პრომპტ ინიექციის შეტევების წინააღმდეგ
ავტომატური შეტევითი ტესტირება — განმამტკიცებელი სწავლებით გაძლიერებული — გვეხმარება პროაქტიულად აღმოვაჩინოთ და გამოვასწოროთ რეალურ სამყაროში მოქმედი აგენტის ექსპლოიტები, სანამ ისინი ფართოდ იარაღად გადაიქცევა.
ChatGPT Atlas-ში აგენტის რეჟიმი ერთ-ერთი ყველაზე უნივერსალური აგენტური შესაძლებლობაა, რომელიც დღემდე გაგვიშვია. ამ რეჟიმში ბრაუზერის აგენტი ხედავს ვებგვერდებს და თქვენს ბრაუზერში ასრულებს მოქმედებებს, დაწკაპუნებებსა და კლავიშთა შეყვანას, ზუსტად ისე, როგორც თქვენ გააკეთებდით. ეს ChatGPT‑ს საშუალებას აძლევს, პირდაპირ იმუშაოს თქვენს ბევრ ყოველდღიურ სამუშაო პროცესზე იმავე სივრცის, კონტექსტისა და მონაცემების გამოყენებით.
როდესაც ბრაუზერის აგენტი გეხმარებათ მეტის გაკეთებაში, ის მოწინააღმდეგური შეტევებისთვის უფრო მაღალი ღირებულების სამიზნეც ხდება. ამიტომ AI-ის უსაფრთხოება განსაკუთრებით მნიშვნელოვანია. ბევრად ადრე, ვიდრე ChatGPT Atlas-ს გავუშვებდით, ჩვენ განუწყვეტლივ ვქმნიდით და ვამყარებდით დაცვას წარმოქმნილი საფრთხეების წინააღმდეგ, რომლებიც კონკრეტულად ამ ახალ „ბრაუზერში არსებული აგენტის“ პარადიგმას უმიზნებს. პრომპტ ინიექცია ერთ-ერთი ყველაზე მნიშვნელოვანი რისკია, რომლის წინააღმდეგაც აქტიურად ვიცავთ თავს, რათა ChatGPT Atlas-მა თქვენი სახელით უსაფრთხოდ იმოქმედოს.
ამ ძალისხმევის ფარგლებში, ცოტა ხნის წინ Atlas-ის ბრაუზერის აგენტისთვის უსაფრთხოების განახლება გავუშვით, მათ შორის ახლად მოწინააღმდეგურად გაწვრთნილი მოდელი და გაძლიერებული დამატებითი დამცავი მექანიზმები. ეს განახლება გამოწვეული იყო პრომპტ ინიექციის შეტევების ახალი კლასით, რომელიც ჩვენმა შიდა ავტომატურმა შეტევითმა ტესტირებამ აღმოაჩინა.
ამ პოსტში ვხსნით, როგორ შეიძლება წარმოიშვას პრომპტ ინიექციის რისკი ვებზე დაფუძნებული აგენტებისთვის, და ვაზიარებთ სწრაფი რეაგირების ციკლს, რომელსაც ვაშენებთ ახალი შეტევების უწყვეტად აღმოსაჩენად და შემამსუბუქებელი ზომების სწრაფად გასაშვებად — რასაც ეს უახლესი უსაფრთხოების განახლება ასახავს.
ჩვენ პრომპტ ინიექციას AI-ის უსაფრთხოების გრძელვადიან გამოწვევად მივიჩნევთ და მოგვიწევს მის წინააღმდეგ ჩვენი დაცვის უწყვეტად გაძლიერება (ისევე როგორც მუდმივად ცვალებადი ონლაინ თაღლითობების შემთხვევაში, რომლებიც ადამიანებს უმიზნებს). ჩვენი უახლესი სწრაფი რეაგირების ციკლი უკვე აჩვენებს ადრეულ იმედისმომცემ შედეგებს, როგორც ამ გზაზე კრიტიკულად მნიშვნელოვან ინსტრუმენტს: ჩვენ შიგნით ვპოულობთ ახალ შეტევის სტრატეგიებს მანამდე, სანამ ისინი რეალურ გარემოში გამოჩნდება. ჩვენი გრძელვადიანი ხედვაა სრულად გამოვიყენოთ (1) ჩვენს მოდელებზე white-box წვდომა, (2) ჩვენი დაცვის ღრმა გაგება და (3) გამოთვლითი მასშტაბი, რათა გარე თავდამსხმელებს წინ გავუსწროთ — უფრო ადრე ვიპოვოთ ექსპლოიტები, უფრო სწრაფად გავუშვათ შემამსუბუქებელი ზომები და უწყვეტად შევამჭიდროვოთ ციკლი. პრომპტ ინიექციასთან გასამკლავებლად ახალ ტექნიკებზე მოწინავე კვლევასთან და უსაფრთხოების სხვა კონტროლებში გაზრდილ ინვესტიციასთან ერთად, ეს დაგროვებადი ციკლი შეტევებს სულ უფრო რთულსა და ძვირს გახდის და რეალურ სამყაროში პრომპტ ინიექციის რისკს მნიშვნელოვნად შეამცირებს. საბოლოოდ, ჩვენი მიზანია, შეძლოთ ChatGPT აგენტს ისე ენდოთ, რომ მან თქვენი ბრაუზერი გამოიყენოს, როგორც ენდობოდით ძალიან კომპეტენტურ, უსაფრთხოებაზე ორიენტირებულ კოლეგას ან მეგობარს.
პრომპტ ინიექციის შეტევა AI აგენტებს უმიზნებს იმ შიგთავსში მავნე ინსტრუქციების ჩაშენებით, რომელსაც აგენტი ამუშავებს. ეს ინსტრუქციები სპეციალურად ისეა შედგენილი, რომ გადაფაროს ან გადაამისამართოს აგენტის ქცევა — მოიტაცოს ის ისე, რომ მომხმარებლის ნაცვლად თავდამსხმელის განზრახვას გაჰყვეს.
ისეთი ბრაუზერის აგენტისთვის, როგორიც ChatGPT Atlas-შია, პრომპტ ინიექცია ახალ საფრთხის ვექტორს ამატებს ტრადიციული ვებუსაფრთხოების რისკების მიღმა (როგორიცაა მომხმარებლის შეცდომა ან პროგრამული სისუსტეები). ბრაუზერში მყოფი ადამიანების ფიშინგის ან სისტემური სისუსტეების ექსპლუატაციის ნაცვლად, თავდამსხმელი თავად მასში მოქმედ აგენტს უმიზნებს.
ჰიპოთეტური მაგალითისთვის, თავდამსხმელს შეეძლო გაეგზავნა მავნე ელფოსტა, რომელიც აგენტს მომხმარებლის მოთხოვნის იგნორირებას და ამის ნაცვლად კონფიდენციალური საგადასახადო დოკუმენტების თავდამსხმელის მიერ კონტროლირებულ ელფოსტის მისამართზე გადაგზავნას აიძულებდა. თუ მომხმარებელი აგენტს სთხოვს წაუკითხავი წერილების გადახედვას და ძირითადი პუნქტების შეჯამებას, სამუშაო პროცესის დროს აგენტმა შესაძლოა ეს მავნე წერილი დაამუშაოს. თუ ის ჩაშენებულ ინსტრუქციებს მიჰყვება, შეიძლება ამოცანას აცდეს — და შეცდომით გააზიაროს მგრძნობიარე ინფორმაცია.
ეს მხოლოდ ერთი კონკრეტული სცენარია. იგივე ზოგადობა, რაც ბრაუზერის აგენტებს სასარგებლოს ხდის, რისკებსაც აფართოებს: აგენტი შეიძლება არასანდო ინსტრუქციებს თითქმის უსაზღვრო ზედაპირზე შეხვდეს — წერილებსა და დანართებში, კალენდრის მოწვევებში, გაზიარებულ დოკუმენტებში, ფორუმებში, სოციალური მედიის პოსტებსა და ნებისმიერ ვებგვერდზე. რადგან აგენტს შეუძლია ბრაუზერში იგივე ბევრი ქმედება შეასრულოს, რაც მომხმარებელს, წარმატებული შეტევის გავლენაც ჰიპოთეტურად ისეთივე ფართო შეიძლება იყოს: მგრძნობიარე წერილის გადაგზავნა, ფულის გაგზავნა, ღრუბელში ფაილების რედაქტირება ან წაშლა და სხვა.
ჩვენ მივაღწიეთ პროგრესს პრომპტ ინიექციისგან თავდაცვაში დამცავი მექანიზმების რამდენიმე ფენით, როგორც ეს ადრინდელ პოსტში გაგიზიარეთ. თუმცა, პრომპტ ინიექცია აგენტის უსაფრთხოებისთვის კვლავ ღია გამოწვევად რჩება და ველით, რომ ამაზე მომდევნო წლებშიც გავაგრძელებთ მუშაობას.
ჩვენი დაცვის გასაძლიერებლად, წარმოებაში არსებულ აგენტურ სისტემებზე ახალი პრომპტ ინიექციის შეტევების ძიებას განუწყვეტლივ ვაგრძელებთ. ამ შეტევების პოვნა ძლიერი შემამსუბუქებელი ზომების შესაქმნელად აუცილებელი წინაპირობაა: ეს გვეხმარება რეალური რისკის გაგებაში, ავლენს ჩვენს დაცვაში არსებულ ხარვეზებს და გვიბიძგებს კონკრეტული გამოსწორებებისკენ.
ამის მასშტაბურად გასაკეთებლად, ავაშენეთ LLM-ზე დაფუძნებული ავტომატური თავდამსხმელი და ვწვრთნით მას, რომ იპოვოს პრომპტ ინიექციის შეტევები, რომლებსაც შეუძლიათ ბრაუზერის აგენტზე წარმატებული თავდასხმა. ეს თავდამსხმელი ბოლომდე განმამტკიცებელი სწავლებით გავწვრთენით, რათა საკუთარი წარმატებებიდან და წარუმატებლობებიდან ისწავლოს და შეტევითი ტესტირების უნარები გაიუმჯობესოს. ასევე ვაძლევთ საშუალებას, „გაშვებამდე ცადოს“, რაც ნიშნავს შემდეგს: თავისი აზროვნების ჯაჭვში მსჯელობისას თავდამსხმელს შეუძლია შემოგვთავაზოს კანდიდატი ინიექცია და გაუგზავნოს ის გარე სიმულატორს. სიმულატორი უშვებს კონტრფაქტუალურ გაშლას იმისა, როგორ მოიქცეოდა მიზნობრივი მსხვერპლი აგენტი (დამცველი), თუ ამ ინიექციას შეხვდებოდა, და აბრუნებს მსხვერპლი აგენტის მსჯელობისა და მოქმედებების სრულ კვალს. თავდამსხმელი ამ კვალს უკუკავშირად იყენებს, იმეორებს შეტევას და თავიდან უშვებს სიმულაციას — საბოლოო შეტევაზე გადასვლამდე ამ ციკლს რამდენჯერმე იმეორებს. ეს თავდამსხმელს ერთჯერად წარმატება/წარუმატებლობის სიგნალთან შედარებით უფრო მდიდარ კონტექსტურ უკუკავშირს აძლევს. ასევე ზრდის თავდამსხმელის ტესტირების დროის გამოთვლით სიმძლავრეს. უფრო მეტიც, დამცველის მსჯელობის კვალებზე პრივილეგირებული წვდომა (რომელსაც გარე მომხმარებლებს არ ვუზიარებთ) ჩვენს შიდა თავდამსხმელს ასიმეტრიულ უპირატესობას აძლევს — ზრდის შანსს, რომ გარე მოწინააღმდეგეებს გაასწროს.
რატომ განმამტკიცებელი სწავლება (RL)? ავტომატური თავდამსხმელის გასაწვრთნელად განმამტკიცებელი სწავლება რამდენიმე მიზეზით ავირჩიეთ:
- გრძელჰორიზონტიანი და არაკონტინუური თავდამსხმელის მიზნების ოპტიმიზაცია. ჩვენი მიზანია ვეძებოთ პრომპტ ინიექციის შეტევები, რომლებსაც შეუძლიათ აგენტი მოატყუონ და აიძულონ შეასრულოს კომპლექსური მოწინააღმდეგური ამოცანები (მაგ., წერილების გაგზავნა, საბანკო ტრანზაქციები), რომლებიც რეალურ სამყაროში შეიძლება მოხდეს. ეს მოწინააღმდეგური ამოცანები ბუნებრივად გრძელჰორიზონტიანია და საჭიროებს მსჯელობისა და გარემოსთან ურთიერთქმედების მრავალ ნაბიჯს, იშვიათი და დაგვიანებული წარმატების სიგნალებით. განმამტკიცებელი სწავლება კარგად ერგება ასეთ იშვიათ, დაგვიანებული ჯილდოს სტრუქტურას.
- მოწინავე LLM შესაძლებლობების გამოყენება. ჩვენ მოწინავე LLM-ები პირდაპირ ავტო-შეტევით ტესტირებად გავწვრთენით, ამიტომ თავდამსხმელი პირდაპირ იღებს სარგებელს მოწინავე მოდელებში მსჯელობისა და დაგეგმვის გაუმჯობესებისგან. როცა საბაზისო მოდელები ძლიერდება, თავდამსხმელიც ბუნებრივად უფრო უნარიანი ხდება — რაც ჩვენი მოდელების განვითარებასთან ერთად დაცვაზე ზეწოლის შესანარჩუნებლად მასშტაბირებად გზას ქმნის.
- გამოთვლითი სიმძლავრის მასშტაბირება და ადაპტური თავდამსხმელების მიბაძვა. განმამტკიცებელი სწავლება კარგად შეეფერება შეტევების ძიებაზე დახარჯული გამოთვლების მასშტაბირებას სინჯებისა და სწავლის ნაბიჯების დიდი რაოდენობის განმავლობაში და ასევე მჭიდროდ ასახავს, როგორ იქცევიან ადაპტური ადამიანური თავდამსხმელები: სტრატეგიების განმეორებით ცდით, შედეგებიდან სწავლით და წარმატებული ქცევების განმტკიცებით.
ჩვენს ავტომატურ თავდამსხმელს შეუძლია ახალი, რეალისტური პრომპტ ინიექციის შეტევების ბოლომდე აღმოჩენა. წინა ავტომატური შეტევითი ტესტირების სამუშაოების უმეტესობისგან განსხვავებით, რომლებმაც მარტივი ჩავარდნები გამოავლინა, როგორიცაა კონკრეტული გამომავალი სტრიქონების გამოწვევა ან აგენტში გაუთვალისწინებელი ერთსაფეხურიანი ინსტრუმენტის გამოძახების გააქტიურება, ჩვენი RL-ით გაწვრთნილი თავდამსხმელი შეუძლია აგენტი მიმართულად მიიყვანოს რთული, გრძელჰორიზონტიანი მავნე სამუშაო პროცესების შესრულებამდე, რომლებიც ათობით (ან თუნდაც ასობით) ნაბიჯის განმავლობაში ვითარდება. ასევე დავაკვირდით ახალ შეტევის სტრატეგიებს, რომლებიც არც ჩვენს ადამიანურ შეტევით ტესტირებაში და არც გარე ანგარიშებში არ გამოჩენილა.
ქვემოთ მოყვანილი დემო აჩვენებს პრომპტ ინიექციის კონკრეტულ ექსპლოიტს, რომელიც ჩვენმა ავტომატურმა თავდამსხმელმა იპოვა და რომელიც შემდეგ ChatGPT Atlas-ის დაცვის კიდევ უფრო გასამყარებლად გამოვიყენეთ. თავდამსხმელი მომხმარებლის შემოსულებში ამატებს მავნე წერილს, რომელიც შეიცავს პრომპტ ინიექციას და აგენტს მომხმარებლის CEO-სთვის გადადგომის წერილის გაგზავნას ავალებს. მოგვიანებით, როდესაც მომხმარებელი აგენტს ოფისგარეშე პასუხის შედგენას სთხოვს, აგენტი ამ წერილს ნორმალური ამოცანის შესრულებისას ხვდება, ჩაშენებულ მოთხოვნას ავტორიტეტულად აღიქვამს და მას მიჰყვება. ოფისგარეშე პასუხი აღარ იწერება და აგენტი ამის ნაცვლად მომხმარებლის სახელით ტოვებს სამსახურს.
1. აგენტისთვის დახმარების თხოვნა ელფოსტის მართვაში
2. აგენტი ხსნის უახლეს წაუკითხავ წერილს
3. ელფოსტა მავნე ინსტრუქციებს შეიცავს
4. აგენტი აგზავნის გაუთვალისწინებელ გადადგომის წერილს
5. ჩვენი უსაფრთხოების განახლების შემდეგ, აგენტის რეჟიმი წარმატებით ამოიცნობს პრომპტ ინიექციის მცდელობას
პრომპტ ინიექციის ბუნება უსაფრთხოების დეტერმინისტულ გარანტიებს ართულებს, მაგრამ ჩვენი ავტომატური უსაფრთხოების კვლევის მასშტაბირებით, მოწინააღმდეგური ტესტირებით და სწრაფი რეაგირების ციკლის გამკაცრებით, შეგვიძლია მოდელის მდგრადობა და დაცვა გავაუმჯობესოთ — მანამდე, ვიდრე რეალურ გარემოში შეტევის მოხდენას დაველოდებით.
ამ დემოს ვაზიარებთ, რათა მომხმარებლებსა და მკვლევრებს დავეხმაროთ უკეთ გაიგონ ამ შეტევების ბუნება — და როგორ ვიცავთ მათგან თავს აქტიურად. გვჯერა, რომ ეს წარმოადგენს ზღვარს იმისა, რისი მიღწევაც ავტომატურ შეტევით ტესტირებას შეუძლია, და უკიდურესად აღფრთოვანებულები ვართ ჩვენი კვლევის გაგრძელებით.
ჩვენი ავტომატური შეტევითი ტესტირება პროაქტიულ სწრაფი რეაგირების ციკლს ამოძრავებს: როდესაც ავტომატური თავდამსხმელი წარმატებული პრომპტ ინიექციის შეტევების ახალ კლასს აღმოაჩენს, ის დაუყოვნებლივ ქმნის კონკრეტულ სამიზნეს ჩვენი დაცვის გასაუმჯობესებლად.
ახლად აღმოჩენილი შეტევების წინააღმდეგ მოწინააღმდეგური გაწვრთნა. ჩვენ განუწყვეტლივ ვწვრთნით განახლებულ აგენტურ მოდელებს ჩვენი საუკეთესო ავტომატური თავდამსხმელის წინააღმდეგ — პრიორიტეტს იმ შეტევებს ვანიჭებთ, რომლებზეც სამიზნე აგენტები ამჟამად მარცხდებიან. მიზანია ვასწავლოთ აგენტებს, უგულებელყონ მოწინააღმდეგური ინსტრუქციები და მომხმარებლის განზრახვასთან თანხვედრაში დარჩნენ, რითაც ახლად აღმოჩენილი პრომპტ ინიექციის სტრატეგიების მიმართ მდგრადობა გაუმჯობესდება. ეს ახალი, ძლიერი შეტევების მიმართ მდგრადობას პირდაპირ „წვავს“ მოდელის ჩეკპოინტში. მაგალითად, ბოლოდროინდელმა ავტომატურმა შეტევითმა ტესტირებამ პირდაპირ შექმნა ბრაუზერის აგენტის ახალი, მოწინააღმდეგურად გაწვრთნილი ჩეკპოინტი, რომელიც უკვე გაშვებულია ChatGPT Atlas-ის ყველა მომხმარებელთან. საბოლოოდ, ეს გვეხმარება უკეთ დავიცვათ ჩვენი მომხმარებლები ახალი ტიპის შეტევებისგან.
შეტევის კვალების გამოყენება უფრო ფართო დაცვის სტეკის გასაუმჯობესებლად. ჩვენი ავტომატური შეტევითი ტესტირების სისტემის მიერ აღმოჩენილი მრავალი შეტევის გზა თავად მოდელის ფარგლებს გარეთაც აჩენს გაუმჯობესების შესაძლებლობებს — მაგალითად, მონიტორინგში, უსაფრთხოების ინსტრუქციებში, რომლებსაც მოდელის კონტექსტში ვათავსებთ, ან სისტემურ დამცავ მექანიზმებში. ეს მიგნებები გვეხმარება მთელ დაცვის სტეკზე გავიმეოროთ გაუმჯობესებები და არა მხოლოდ აგენტის ჩეკპოინტზე.
აქტიურ შეტევებზე რეაგირება. ეს ციკლი რეალურ გარემოში მიმდინარე შეტევებზე უკეთ რეაგირებაშიც დაგვეხმარება. როდესაც ჩვენს გლობალურ ინფრასტრუქტურაში პოტენციურ შეტევებს ვაკვირდებით, შეგვიძლია გარე მოწინააღმდეგეების მიერ გამოყენებული ტექნიკები და ტაქტიკები ამ ციკლში ჩავუშვათ, მათი აქტივობა ავსახოთ და თავდაცვითი ცვლილებები მთელ ჩვენს პლატფორმაზე განვახორციელოთ.
აგენტების შეტევითი ტესტირების უნარის გაძლიერება და ამ სამუშაოს ნაწილების ავტომატიზებისთვის ჩვენი ყველაზე უნარიანი მოდელების გამოყენება Atlas-ის ბრაუზერის აგენტს უფრო მდგრადს ხდის აღმოჩენიდან გამოსწორებამდე ციკლის მასშტაბირებით. ეს გამყარების ძალისხმევა უსაფრთხოების ნაცნობ გაკვეთილს ამტკიცებს: უფრო ძლიერი დაცვისკენ კარგად ნაცნობი გზა არის რეალური სისტემების უწყვეტი სტრეს-ტესტირება, ჩავარდნებზე რეაგირება და კონკრეტული გამოსწორებების გაშვება.
ველით, რომ მოწინააღმდეგეები ადაპტაციას გააგრძელებენ. პრომპტ ინიექცია, ისევე როგორც თაღლითობა და სოციალური ინჟინერია ვებზე, ნაკლებად სავარაუდოა, რომ ოდესმე სრულად „გადაწყდეს“. მაგრამ ოპტიმისტურად ვართ განწყობილი, რომ პროაქტიულ, მაღალრეაგირებად სწრაფი რეაგირების ციკლს დროთა განმავლობაში შეუძლია რეალურ სამყაროში რისკი არსებითად შეამციროს. ავტომატური შეტევის აღმოჩენის მოწინააღმდეგურ გაწვრთნასთან და სისტემური დონის დამცავ მექანიზმებთან შერწყმით, შეგვიძლია ახალი შეტევის ნიმუშები უფრო ადრე გამოვავლინოთ, ხარვეზები უფრო სწრაფად დავხუროთ და ექსპლუატაციის ფასი მუდმივად ავწიოთ.
ChatGPT Atlas-ში აგენტის რეჟიმი ძლიერია — და ამავე დროს უსაფრთხოების საფრთხეების ზედაპირსაც აფართოებს. ამ კომპრომისის ნათლად დანახვა პასუხისმგებლიანი შექმნის ნაწილია. ჩვენი მიზანია Atlas ყოველი იტერაციით საგრძნობლად უფრო უსაფრთხო გავხადოთ: გავაუმჯობესოთ მოდელის მდგრადობა, გავაძლიეროთ მის ირგვლივ არსებული დაცვის სტეკი და რეალურ გარემოში წარმოშობილი ბოროტად გამოყენების ნიმუშები ვაკონტროლოთ.
კვლევასა და დანერგვაში ინვესტირებას გავაგრძელებთ, უკეთეს ავტომატურ შეტევითი ტესტირების მეთოდებს განვავითარებთ, ფენოვან შემამსუბუქებელ ზომებს გავუშვებთ და მიღებული ცოდნის მიხედვით სწრაფად გავაუმჯობესებთ სისტემას. ასევე უფრო ფართო საზოგადოებასაც გავუზიარებთ იმას, რისი გაზიარებაც შეგვიძლია.
მიუხედავად იმისა, რომ სისტემურ დონეზე Atlas-ის გაძლიერებას ვაგრძელებთ, მომხმარებლებსაც შეუძლიათ რამდენიმე ნაბიჯის გადადგმა აგენტების გამოყენებისას რისკის შესამცირებლად.
შეძლებისდაგვარად შეზღუდეთ ავტორიზებული წვდომა. კვლავ გირჩევთ, რომ Atlas-ში აგენტის გამოყენებისას ისარგებლოთ გასული რეჟიმით(იხსნება ახალ ფანჯარაში), როცა იმ ვებსაიტებზე წვდომა, სადაც ავტორიზებული ხართ, მიმდინარე ამოცანისთვის საჭირო არ არის, ან რათა ამოცანის მიმდინარეობისას მხოლოდ კონკრეტულ საიტებზე შეზღუდოთ ავტორიზაცია.
ფრთხილად გადაამოწმეთ დადასტურების მოთხოვნები. გარკვეული მნიშვნელოვანი მოქმედებებისთვის, როგორიცაა შესყიდვის დასრულება ან ელფოსტის გაგზავნა, აგენტები ისეა შექმნილი, რომ გაგრძელებამდე თქვენი დადასტურება მოითხოვონ. როდესაც აგენტი მოქმედების დადასტურებას გთხოვთ, ერთი წუთით გადაამოწმეთ, რომ ეს მოქმედება სწორია და რომ გასაზიარებელი ინფორმაცია ამ კონტექსტისთვის შესაბამისია.
შეძლებისდაგვარად აგენტებს მკაფიო ინსტრუქციები მიეცით. მოერიდეთ ზედმეტად ფართო მოთხოვნებს, როგორიცაა „გადახედე ჩემს წერილებს და მიიღე ნებისმიერი საჭირო ზომა.“ ფართო თავისუფლება ფარულ ან მავნე შიგთავსს უადვილებს აგენტზე ზემოქმედებას, მაშინაც კი, როცა დამცავი მექანიზმები ჩართულია. უფრო უსაფრთხოა, თუ აგენტს კონკრეტული, მკაფიოდ შემოსაზღვრული ამოცანების შესრულებას სთხოვთ. მიუხედავად იმისა, რომ ეს რისკს სრულად არ გამორიცხავს, შეტევების განხორციელებას ართულებს.
თუ აგენტები ყოველდღიური ამოცანებისთვის სანდო პარტნიორები უნდა გახდნენ, ისინი მდგრადი უნდა იყვნენ იმ ტიპის მანიპულაციის მიმართ, რომელსაც ღია ვები შესაძლებელს ხდის. პრომპტ ინიექციის წინააღმდეგ გამყარება გრძელვადიანი ვალდებულებაა და ჩვენი ერთ-ერთი უმაღლესი პრიორიტეტი. ამ სამუშაოზე მალე მეტს გაგიზიარებთ.
