Hugging Face-თან დაკავშირებული ინციდენტი და მოდელების არათანხვედრილობის სხვა შედეგები მესამე მხარეებისთვის
რაც უფრო ქმედითი და ავტონომიური ხდება ხელოვნური ინტელექტის სისტემები, მით მეტად შეიძლება არათანხვედრილი ქცევა რეალურ სამყაროში მნიშვნელოვანი შედეგების მქონე მოქმედებებად გარდაიქმნას, მათ შორის კიბერუსაფრთხოების ინციდენტებად და სხვა შედეგებად, რომლებსაც დეველოპერები შესაძლოა არ ელოდნენ. ამიტომ მოწინავე ხელოვნური ინტელექტის სისტემების უსაფრთხოდ შექმნისა და დანერგვისთვის სულ უფრო მნიშვნელოვანია იმის გაგება, თუ როგორ წარმოიქმნება და მწვავდება ასეთი ქცევა და როგორ შეიძლება მისი აღმოჩენა და მასზე რეაგირება.
თავდაპირველად Hugging Face-ის ინციდენტს ძირითადად უსაფრთხოების პრობლემად მივიჩნევდით, რადგან ის პლატფორმის დონეზე სისტემის კომპრომეტაციას მოიცავდა. დღემდე ეს ჩვენს მოდელებში გამოვლენილი ამ ტიპის ყველაზე მძიმე აქტივობაა და მისი მთავარი მამოძრავებელი იყო მაღალი შესაძლებლობების მქონე, მხოლოდ შიდა კვლევისთვის განკუთვნილი მოდელი. მას შემდეგ დავადგინეთ, რომ ეს შეღწევა განაპირობა მოდელების მიერ რთული ამოცანების გადასაჭრელად არათანხვედრილი სტრატეგიების გამოყენებამ, როგორც Hugging Face-ის ტექნიკურ ანგარიშშია აღწერილი. კიბერუსაფრთხოების ინციდენტები ამ რისკის ერთ-ერთი გამოვლინებაა; არათანხვედრილობამ შეიძლება სხვა მოულოდნელი ან შემაშფოთებელი ქცევაც გამოიწვიოს, რომელიც უსაფრთხოების ტრადიციულ კატეგორიებს სცდება — მაგალითად, ჩვენი მოდელების მიერ მესამე მხარის საიტებზე ინფორმაციის გამოქვეყნება, რასაც „აგენტების სპამს“ ვუწოდებთ. ორივე პრობლემას უნდა მივხედოთ.
ჩვენ განვაგრძობთ უფრო ფართო აქტივობის განხილვას: პრიორიტეტს უფრო სერიოზულ ინციდენტებს ვანიჭებთ და თანდათან ვიკვლევთ ნაკლები სიმძიმის არათანხვედრილ აქტივობასაც, მათ შორის აგენტების სპამსაც.
ამ გვერდზე თავმოყრილია ჩვენი ანგარიშები და განახლებები Hugging Face-ის ინციდენტის, მასთან დაკავშირებული კვლევებისა და საჯარო პრეზენტაციების, ჩვენ მიერ გამოვლენილი დამატებითი აქტივობის, მოდელის არათანხვედრილობის როლის შესახებ მიღებული ცოდნისა და სისტემების გასაძლიერებლად გადადგმული ნაბიჯების შესახებ. გამოძიების მიმდინარეობის კვალდაკვალ ამ გვერდს განვაახლებთ.
აქტივობა, რომელიც გავლენას ახდენს მესამე მხარეებზე
ამ მოულოდნელი ქცევების მასშტაბის უკეთ გასაგებად ჩვენი მოდელების ინტერნეტაქტივობის ფართომასშტაბიან განხილვას ვატარებთ წვრთნისა და შეფასების დროს. განხილვის ფარგლებში ეტაპობრივად ვადგენთ და ვატყობინებთ მესამე მხარეებს, დაწყებული ისეთი შემთხვევებით, როცა:
ჩვენმა მოდელებმა შესაძლოა გვერდი აუარა მესამე მხარის უსაფრთხოების კონტროლს ან ონლაინსერვისის ხელმისაწვდომობა შეაფერხა; ან
არათანხვედრილობის შემთხვევებმა უარყოფითად იმოქმედა მესამე მხარის ვებსაიტებსა თუ სერვისებზე.
დღემდე ჩატარებული განხილვის საფუძველზე ზემოაღნიშნული კრიტერიუმებით ათობით მესამე მხარეს შევატყობინეთ. წარსული აქტივობის განხილვა გრძელდება და მნიშვნელოვან დროსა და რესურსებს მოითხოვს. სამუშაოს გაგრძელებასთან ერთად დამატებით მესამე მხარეებსაც შევატყობინებთ.
ქვემოთ ვაქვეყნებთ ანონიმიზებულ შეჯამებებს, რათა აღვწეროთ ჩვენ მიერ გამოვლენილი არათანხვედრილი აქტივობის სახეები. ამ აღწერებს ახალი მესამე მხარეების ინფორმირებისა და ჩვენი ცოდნის გაღრმავების კვალდაკვალ განვაახლებთ. ამასთან, განხილვის მდგომარეობის შესახებ შესაბამის განახლებებსაც გავაზიარებთ. დაზარალებული მხარეების დასაცავად, საჭიროებისამებრ, სახელებსა და სხვა საიდენტიფიკაციო დეტალებს, როგორც წესი, გამოვტოვებთ, თუმცა ინფორმირებულ მხარეებს შეუძლიათ ჩვენ მიერ მიწოდებული ინფორმაცია საჯაროდ გააზიარონ.
გამოვლენილი აქტივობების შეჯამება
დღემდე ჩატარებული განხილვისა და შეტყობინების პროცესით აქტივობის შემდეგი კატეგორიები გამოვავლინეთ:
წვდომის კონტროლის გვერდის ავლა: აგენტები იღებს წვდომას ინფორმაციაზე ან ფუნქციებზე, რომლებიც ჩვეულებრივ ვინაობის შემოწმებას, კონკრეტულ ნებართვას, გამოწერას ან ანგარიშს მოითხოვს. მაგალითად, აგენტმა გამოიყენა სხვა ვებმისამართი, მოთხოვნაში დეტალები შეცვალა ან დაეყრდნო ავტორიზებულ სესიას, რომელიც მოსალოდნელზე მეტ წვდომას აძლევდა.
გამჟღავნებული ავტორიზაციის მონაცემების გამოყენება: აგენტებმა იპოვეს საჯაროდ ხელმისაწვდომი შესვლის მონაცემები ან წვდომის გასაღებები და ისინი სერვისზე წვდომისთვის გამოიყენეს.
მოთხოვნის ან ბრძანების ინექცია: აგენტებმა ვებსაიტზე ან სერვისში შეიტანეს ტექსტი, რომელიც სერვისმა ჩვეულებრივი შენატანის ნაცვლად ინსტრუქციად აღიქვა. ამის შედეგად სერვისს შეეძლო, შეესრულებინა მონაცემთა ბაზის მოთხოვნა, აპლიკაციის კოდი ან ბრძანება საკუთარ სერვერზე.
წვდომა შესრულების გარემოს შიდა ნაწილებზე: აგენტებმა წაიკითხეს სერვისის იმპლემენტაციის შემცველი ფაილები ან იურთიერთეს შიდა გამოყენებისთვის განკუთვნილ ფონურ სისტემასთან. ამ შემთხვევებში აგენტმა სერვისის იმ ნაწილებამდე მიაღწია, რომლებზეც წვდომა მისთვის გათვალისწინებული არ იყო.
აგენტების სპამი: აგენტები მესამე მხარის საიტებზე აქვეყნებს ინფორმაციას, რამაც შეიძლება ამ საიტებზე არსებული ინფორმაცია შეცვალოს და გასუფთავება მოითხოვოს — მაგალითად, საჯარო ვიკიგვერდების საერთო შეტყობინებების დაფებად გამოყენებისას.