Osnaživanje branilaca kroz naš Program grantova za sajber bezbednost

Delimo više informacija o radu koji smo podržali tokom prošle godine u okviru našeg Programa grantova za sajber bezbednost⁠.

Tokom 2023. pokrenuli smo Program grantova za sajber bezbednost sa smelom vizijom: da opremimo sajber branioce najnaprednijim AI modelima i osnažimo revolucionarna istraživanja na preseku sajber bezbednosti i veštačke inteligencije. Oduševljen odgovor zajednice nadmašio je naša očekivanja — primili smo više od 600 prijava — što naglašava koliko su smislen dijalog i istraživačka razmena između OpenAI i zajednice sajber bezbednosti potrebni i uticajni.

Od svog osnivanja, program je podržao raznovrstan niz projekata. Sa zadovoljstvom izdvajamo nekoliko njih.

Wagner Lab sa UC Berkeley

Laboratorija za bezbednosna istraživanja profesora Davida Wagnera na UC Berkeley pionirski razvija tehnike usmerene na odbranu od napada ubrizgavanjem instrukcija u velikim jezičkim modelima (LLM). Grupa radi sa OpenAI na unapređenju pouzdanosti ovih modela i njihovoj zaštiti od pretnji po sajber bezbednost.

Coguard

Albert Heinle, suosnivač i CTO kompanije Coguard⁠(отвара се у новом прозору), koristi AI za smanjenje pogrešnih konfiguracija softvera, čestog uzroka bezbednosnih incidenata. Konfigurisanje softvera je složeno, a to se dodatno usložnjava pri povezivanju softvera sa mrežama i klasterima. Trenutna softverska rešenja oslanjaju se na zastarele politike zasnovane na pravilima. AI može pomoći da se automatizuje otkrivanje pogrešnih konfiguracija i da se one održavaju ažurnim.

Mithril Security

Mithril je razvio dokaz koncepta za jačanje infrastrukture za izvođenje zaključivanja za LLM, uključujući alate otvorenog koda za postavljanje AI modela na GPU-ove sa bezbednim enklavama zasnovanim na Trusted Platform Module (TPM) tehnologiji. Cilj ovog projekta je da pokaže da se podaci mogu slati AI provajderima bez ikakvog izlaganja podataka, čak i administratorima. Njihov rad je javno dostupan na GitHub-u⁠(отвара се у новом прозору), kao i u beloj knjizi koja detaljno opisuje njihovu arhitekturu⁠(отвара се у новом прозору).

Gabriel Bernadett-Shapiro

Pojedinačni dobitnik granta, Gabriel Bernadett-Shapiro, kreirao je AI OSINT radionicu i AI Security Starter Kit, nudeći tehničku obuku o osnovama LLM-a i besplatne alate za studente, novinare, istražitelje i stručnjake za informacionu bezbednost. Posebno je Gabriel istakao povezanu obuku za međunarodne istražitelje zločina masovnih zverstava i studente obaveštajnih studija na Univerzitetu Johns Hopkins kako bi imali najbolje alate za primenu AI u kritičnim i izazovnim okruženjima.

Breuer Lab na Dartmouthu

Neuronske mreže su ranjive na napade u kojima protivnici rekonstruišu privatne podatke za obuku interakcijom sa modelom. Odbrana od ovih napada obično zahteva skupe kompromise u pogledu tačnosti modela i vremena obuke. Laboratorija profesora Adama Breuera⁠(отвара се у новом прозору) na Dartmouthu razvija nove odbrambene tehnike koje sprečavaju ove napade bez ugrožavanja tačnosti ili efikasnosti.

Security Lab Boston University (SeclaBU)

Identifikovanje i rezonovanje o ranjivostima u kodu važno je i aktivno polje istraživanja. Doktorand Saad Ullah, profesor Gianluca Stringhini iz SeclaBU⁠(отвара се у новом прозору) i profesorka Ayse Coskun iz Peac Lab⁠(отвара се у новом прозору) na Boston University rade na unapređenju sposobnosti LLM-a da otkrivaju i ispravljaju ranjivosti u kodu. Ovo istraživanje moglo bi omogućiti sajber braniocima da otkriju i spreče zloupotrebe koda pre nego što budu zlonamerno iskorišćene.

CY-PHY Security Lab sa University of Santa Cruz (UCSC)

Profesor Alvaro Cardenas⁠(отвара се у новом прозору) i njegova istraživačka grupa sa UCSC istražuju kako možemo koristiti osnovne modele za dizajniranje agenata koji autonomno odgovaraju na uljeze u računarskim mrežama, poznate i kao autonomni agenti sajber odbrane. Projekat ima za cilj da uporedi prednosti i nedostatke osnovnih modela sa njihovim pandanima obučenim podsticajnim učenjem (RL) i potom kako mogu zajedno da rade na unapređenju bezbednosti mreže i trijaže informacija o pretnjama.

MIT Computer Science Artificial Intelligence Laboratory (MIT CSAIL)

Stephen Moskal, Erik Hemberg i Una-May O’Reilly iz MIT Computer Science Artificial Intelligence Laboratory⁠(отвара се у новом прозору) istražuju kako da automatizuju proces odlučivanja i sprovedu primenljive odgovore korišćenjem pristupa formulisanja instrukcije u petlji planiraj-deluj-izvesti za red-teaming. Pored toga, grupa istražuje mogućnosti LLM agenata u izazovima Capture-the-Flag (CTF) — vežbama usmerenim na otkrivanje ranjivosti u kontrolisanom okruženju.

ChatGPT se izdvojio kao jedan od najpopularnijih i najčešće korišćenih alata među stručnjacima za sajber bezbednost. Među najčešćim primenama za sajber branioce su prevođenje i preformulisanje tehničkog žargona ili događaja iz logova na jednostavniji jezik, pisanje koda za analizu artefakata tokom istraga, kreiranje parsera logova i sažimanje statusa incidenta u okviru strogih vremenskih ograničenja.

Da bismo dodatno uvećali njegove prednosti, mnogima u zajednici sajber bezbednosti odobrili smo besplatan pristup paketu ChatGPT Plus, videći u tome ključnu priliku za unapređenje usvajanja AI u sajber odbrani.

Nastavićemo da nudimo besplatne ChatGPT Plus naloge i proširujemo ovu inicijativu kako bismo obezbedili ChatGPT Team i Enterprise. Naše proširenje počinje sa našim partnerima u Research and Education Network for Uganda (RENU)⁠(отвара се у новом прозору).

Ako delite našu viziju bezbedne i inovativne budućnosti vođene veštačkom inteligencijom, pozivamo vas da pošaljete svoje predloge i pridružite nam se u cilju unapređenja odbrambenih tehnologija sajber bezbednosti.

Pošaljite svoj predlog ovde⁠