დამცველების გაძლიერება ჩვენი კიბერუსაფრთხოების საგრანტო პროგრამით

ვაზიარებთ უფრო მეტ ინფორმაციას იმ სამუშაოს შესახებ, რომელსაც ბოლო წლის განმავლობაში დავაფინანსეთ ჩვენი კიბერუსაფრთხოების საგრანტო პროგრამის⁠ ფარგლებში. 

2023 წელს დავიწყეთ კიბერუსაფრთხოების საგრანტო პროგრამა თამამი ხედვით: კიბერდამცველების აღჭურვა ყველაზე მოწინავე AI მოდელებით და გარდამტეხი კვლევის გაძლიერება კიბერუსაფრთხოებისა და ხელოვნური ინტელექტის გადაკვეთის წერტილში. საზოგადოების ენთუზიაზმით სავსე გამოხმაურებამ ჩვენს მოლოდინს გადააჭარბა — 600-ზე მეტი განაცხადი მივიღეთ — რაც ხაზს უსვამს OpenAI-სა და კიბერუსაფრთხოების საზოგადოებას შორის შინაარსიანი დისკურსისა და კვლევითი დიალოგის კრიტიკულ საჭიროებასა და გავლენას.

პროგრამის დაარსებიდან დღემდე მან მრავალფეროვანი პროექტების ფართო სპექტრს დაუჭირა მხარი. მოხარულები ვართ, რომ რამდენიმე მათგანს გამოვყოფთ. 

Wagner Lab, UC Berkeley-დან

პროფესორ დევიდ ვაგნერის უსაფრთხოების კვლევითი ლაბორატორია UC Berkeley-ში ავითარებს პიონერულ ტექნიკებს, რომლებიც დიდი ენობრივი მოდელების (LLM-ების) მოთხოვნით ინექციის შეტევებისგან დაცვას ისახავს მიზნად. ჯგუფი OpenAI-სთან თანამშრომლობს, რათა გააძლიეროს ამ მოდელების სანდოობა და დაიცვას ისინი კიბერუსაფრთხოების საფრთხეებისგან.

Coguard

ალბერტ ჰაინლე, Coguard⁠(იხსნება ახალ ფანჯარაში)-ის თანადამფუძნებელი და CTO, AI-ს იყენებს პროგრამული უზრუნველყოფის არასწორი კონფიგურაციის შესამცირებლად, რაც უსაფრთხოების ინციდენტების გავრცელებული მიზეზია. პროგრამული უზრუნველყოფის კონფიგურაცია რთულია, და ეს კიდევ უფრო რთულდება, როცა პროგრამა ქსელებსა და კლასტერებს უკავშირდება. არსებული პროგრამული გადაწყვეტები ეყრდნობა მოძველებულ, წესებზე დაფუძნებულ პოლიტიკებს. AI-ს შეუძლია დაეხმაროს არასწორი კონფიგურაციების გამოვლენის ავტომატიზებაში და მათი განახლების უზრუნველყოფაში.

Mithril Security

Mithril-მა შეიმუშავა კონცეფციის დამადასტურებელი გადაწყვეტა LLM-ებისთვის ინფერენციის ინფრასტრუქტურის გასამაგრებლად, მათ შორის ღია კოდის ინსტრუმენტები, რათა AI მოდელები GPU-ებზე გაშვდეს Trusted Platform Module-ებზე (TPM-ებზე) დაფუძნებული უსაფრთხო ენკლავებით. ეს პროექტი ისახავს მიზნად აჩვენოს, რომ მონაცემების გაგზავნა AI პროვაიდერებთან შესაძლებელია მონაცემების გამჟღავნების გარეშე, ადმინისტრატორებისთვისაც კი. მათი ნამუშევარი საჯაროდ ხელმისაწვდომია GitHub⁠(იხსნება ახალ ფანჯარაში)-ზე, ასევე whitepaper-ის სახით, რომელიც მათ არქიტექტურას აღწერს⁠(იხსნება ახალ ფანჯარაში).

Gabriel Bernadett-Shapiro

ინდივიდუალურმა გრანტის მიმღებმა, გაბრიელ ბერნადეტ-შაპირომ, შექმნა AI OSINT workshop და AI Security Starter Kit, რომლებიც სტუდენტებისთვის, ჟურნალისტებისთვის, გამომძიებლებისთვის და ინფორმაციული უსაფრთხოების პროფესიონალებისთვის LLM-ების საფუძვლებსა და უფასო ინსტრუმენტებზე ტექნიკურ ტრენინგს სთავაზობს. განსაკუთრებით, გაბრიელმა ხაზი გაუსვა საერთაშორისო მასობრივი დანაშაულების გამომძიებლებისა და Johns Hopkins University-ის დაზვერვის კვლევების სტუდენტებისთვის დაკავშირებულ ტრენინგებს, რათა მათ ჰქონდეთ საუკეთესო ინსტრუმენტები AI-ის გამოსაყენებლად როგორც კრიტიკულ, ისე რთულ გარემოებში.

Breuer Lab at Dartmouth

ნეირონული ქსელები მოწყვლადია ისეთი შეტევების მიმართ, როდესაც მოწინააღმდეგეები მოდელთან ინტერაქციის გზით კერძო სასწავლო მონაცემებს აღადგენენ. ამ შეტევებისგან დაცვა, როგორც წესი, ძვირადღირებულ კომპრომისებს მოითხოვს მოდელის სიზუსტისა და გაწვრთნის დროის თვალსაზრისით. პროფესორ ადამ ბროიერის⁠(იხსნება ახალ ფანჯარაში) ლაბორატორია Dartmouth-ში ავითარებს ახალ თავდაცვით ტექნიკებს, რომლებიც ამ შეტევებს სიზუსტისა და ეფექტიანობის დათმობის გარეშე აღკვეთს.

Security Lab Boston University (SeclaBU)

კოდში მოწყვლადობების იდენტიფიცირება და მათზე მსჯელობა კვლევის მნიშვნელოვანი და აქტიური სფეროა. დოქტორანტი საად ულაჰი, პროფესორი ჯანლუკა სტრინგინი SeclaBU⁠(იხსნება ახალ ფანჯარაში)-დან და პროფესორი აიშე ჯოსკუნი Peac Lab⁠(იხსნება ახალ ფანჯარაში)-დან Boston University-ში მუშაობენ LLM-ების შესაძლებლობების გაუმჯობესებაზე, რათა კოდში მოწყვლადობები აღმოაჩინონ და გამოასწორონ. ამ კვლევამ შეიძლება კიბერდამცველებს მისცეს საშუალება, კოდის ექსპლოიტები მათი მავნე გამოყენებამდე დაიჭირონ და აღკვეთონ.

CY-PHY Security Lab, University of Santa Cruz-დან (UCSC)

პროფესორ ალვარო კარდენასის⁠(იხსნება ახალ ფანჯარაში) კვლევითი ჯგუფი UCSC-დან იკვლევს, როგორ შეგვიძლია ფუნდამენტური მოდელების გამოყენება ისეთი აგენტების შესაქმნელად, რომლებიც კომპიუტერული ქსელის შემოჭრილებზე ავტონომიურად რეაგირებენ, ანუ ე.წ. ავტონომიური კიბერუსაფრთხოების თავდაცვის აგენტები. პროექტი მიზნად ისახავს შეადაროს ფუნდამენტური მოდელების უპირატესობები და ნაკლოვანებები მათ იმ ანალოგებთან, რომლებიც განმამტკიცებელი სწავლებით (RL) არიან გაწვრთნილი, და შემდგომ შეისწავლოს, როგორ შეუძლიათ მათ ერთად იმუშაონ ქსელის უსაფრთხოებისა და საფრთხის შესახებ ინფორმაციის ტრიაჟის გასაუმჯობესებლად.

MIT Computer Science Artificial Intelligence Laboratory (MIT CSAIL)

სტივენ მოსკალი, ერიკ ჰემბერგი და უნა-მეი ო’რაილი MIT Computer Science Artificial Intelligence Laboratory⁠(იხსნება ახალ ფანჯარაში)-დან იკვლევენ, როგორ შეიძლება გადაწყვეტილების პროცესის ავტომატიზაცია და ქმედითი რეაგირების შესრულება მოთხოვნების შექმნის მიდგომების გამოყენებით red-teaming-ისთვის plan-act-report ციკლში.  დამატებით, ჯგუფი იკვლევს LLM-Agent შესაძლებლობებს Capture-the-Flag (CTF) გამოწვევებში — სავარჯიშოებში, რომლებიც კონტროლირებულ გარემოში მოწყვლადობების აღმოჩენას ისახავს მიზნად.

ChatGPT კიბერუსაფრთხოების პროფესიონალებისთვის ერთ-ერთ ყველაზე პოპულარულ და ხშირად გამოყენებად ინსტრუმენტად ჩამოყალიბდა. კიბერდამცველების მიერ მისი ყველაზე გავრცელებული გამოყენებები მოიცავს ტექნიკური ჟარგონის ან ლოგების მოვლენების უფრო მარტივ ენაზე თარგმნას და გადაფორმულირებას, გამოძიებების დროს არტეფაქტების გასაანალიზებლად კოდის წერას, ლოგების დამმუშავებლების შექმნას და ინციდენტის სტატუსის მკაცრი დროითი შეზღუდვების პირობებში შეჯამებას.

მისი სარგებლის გასაძლიერებლად, კიბერუსაფრთხოების სფეროს ბევრ წარმომადგენელს ChatGPT Plus-ზე უფასო წვდომა მივანიჭეთ, რადგან ამას კიბერუსაფრთხოების დაცვაში AI-ის დანერგვის გაძლიერების მნიშვნელოვან შესაძლებლობად ვხედავთ.

ჩვენ გავაგრძელებთ ChatGPT Plus-ის უფასო ანგარიშების შეთავაზებას და ამ ინიციატივას ვაფართოებთ, რათა უზრუნველვყოთ ChatGPT Team და Enterprise. ჩვენი გაფართოება იწყება ჩვენს პარტნიორებთან უგანდის კვლევისა და განათლების ქსელში (RENU)⁠(იხსნება ახალ ფანჯარაში).

თუ თქვენც იზიარებთ ჩვენს ხედვას უსაფრთხო და ინოვაციური, AI-ზე დაფუძნებული მომავლის შესახებ, გეპატიჟებით, გამოგვიგზავნოთ თქვენი წინადადებები და შემოგვიერთდეთ თავდაცვითი კიბერუსაფრთხოების ტექნოლოგიების გაძლიერების მიზანში.

გამოაგზავნეთ თქვენი წინადადება აქ⁠