Манай Кибер аюулгүй байдлын буцалтгүй тусламжийн хөтөлбөрөөр хамгаалагчдыг чадавхжуулж байна

Бид өнгөрсөн жил Кибер аюулгүй байдлын буцалтгүй тусламжийн хөтөлбөр⁠-ийн хүрээнд дэмжсэн ажлынхаа талаар илүү дэлгэрэнгүй хуваалцаж байна. 

2023 онд бид зоримог алсын хараатайгаар Кибер аюулгүй байдлын буцалтгүй тусламжийн хөтөлбөрийг эхлүүлсэн: кибер хамгаалагчдыг хамгийн дэвшилтэт AI загваруудаар хангаж, кибер аюулгүй байдал ба хиймэл оюуны огтлолцол дахь шинэлэг судалгааг дэмжих. Олон нийтийн урам зоригтой хариу бидний хүлээлтээс давсан—бид 600 гаруй өргөдөл хүлээн авсан—энэ нь OpenAI болон кибер аюулгүй байдлын хамтын нийгэмлэгийн хооронд утга учиртай хэлэлцүүлэг, судалгааны яриа хэлэлцээ ямар их хэрэгцээтэй, нөлөөтэйг тодотгож байна.

Хөтөлбөр эхэлснээсээ хойш олон төрлийн төслийг дэмжсээр ирсэн. Бид тэдгээрийн цөөн хэдийг онцлон танилцуулахдаа баяртай байна. 

UC Berkeley-ийн Wagner Lab

UC Berkeley-ийн профессор Дэвид Вагнерын аюулгүй байдлын судалгааны лаборатори Том хэлний загварууд (LLM)-д өгөгдөл-шахалтын халдлагаас хамгаалах арга техникийг анхлан хөгжүүлж байна. Тус баг OpenAI-тай хамтран эдгээр загварын найдвартай байдлыг сайжруулж, кибер аюулгүй байдлын заналаас хамгаалахаар ажиллаж байна.

Coguard

Coguard⁠(шинэ цонхонд нээгдэнэ)-ийн үүсгэн байгуулагч, CTO Альберт Хайнле нь аюулгүй байдлын ослын түгээмэл шалтгаан болдог програм хангамжийн буруу тохиргоог бууруулахад AI ашигладаг. Програм хангамжийн тохиргоо нь өөрөө төвөгтэй бөгөөд програмыг сүлжээ, кластеруудтай холбох үед энэ төвөгшил улам нэмэгддэг. Одоогийн програм хангамжийн шийдлүүд хуучирсан дүрэмд суурилсан бодлогод тулгуурладаг. AI нь буруу тохиргоог илрүүлэхийг автоматжуулж, тэдгээрийг шинэчлэгдсэн хэвээр байлгахад тусалж чадна.

Mithril Security

Mithril нь LLM-д зориулсан inference дэд бүтцийг бэхжүүлэх proof-of-concept шийдэл боловсруулсан бөгөөд үүнд Trusted Platform Module (TPM)-д суурилсан secure enclave бүхий GPU дээр AI загваруудыг байрлуулах нээлттэй эхийн хэрэгслүүд багтана. Энэ төсөл нь өгөгдөл ямар ч байдлаар ил гарахгүйгээр, тэр ч байтугай администраторуудад ч харагдахгүйгээр AI үйлчилгээ үзүүлэгчдэд илгээж болдгийг харуулах зорилготой. Тэдний ажил GitHub⁠(шинэ цонхонд нээгдэнэ)-т олон нийтэд нээлттэй бөгөөд мөн архитектурыг нь тайлбарласан цагаан ном⁠(шинэ цонхонд нээгдэнэ) хэлбэрээр бий.

Gabriel Bernadett-Shapiro

Хувь хүнээр тэтгэлэг авсан Габриел Бернадетт-Шапиро нь AI OSINT workshop болон AI Security Starter Kit-ийг бүтээж, оюутнууд, сэтгүүлчид, мөрдөн шалгагчид болон мэдээллийн аюулгүй байдлын мэргэжилтнүүдэд LLM-ийн үндэс, үнэгүй хэрэгслүүдийн талаарх техникийн сургалт санал болгожээ. Ялангуяа Габриел Johns Hopkins University-ийн олон улсын харгис гэмт хэргийг мөрдөн шалгагчид болон тагнуулын судлалын оюутнуудад зориулсан холбогдох сургалтыг онцлон явуулж, тэдэнд AI-ийг чухал бөгөөд сорилттой орчинд ашиглах хамгийн сайн хэрэгслүүдийг эзэмшүүлэхэд тусалсан.

Dartmouth-ийн Breuer Lab

Мэдрэлийн сүлжээ нь дайсагнагч этгээдүүд загвартай харилцан үйлчилж хувийн сургалтын өгөгдлийг сэргээн босгодог халдлагад өртөмтгий байдаг. Эдгээр халдлагаас хамгаалах нь ихэвчлэн загварын нарийвчлал болон сургалтын хугацааны хувьд өндөр өртөгтэй буулт шаарддаг. Dartmouth дахь профессор Адам Бреуэрийн⁠(шинэ цонхонд нээгдэнэ) лаборатори нь нарийвчлал эсвэл үр ашгийг алдагдуулахгүйгээр эдгээр халдлагыг зогсоох шинэ хамгаалалтын аргуудыг хөгжүүлж байна.

Boston University-ийн Security Lab (SeclaBU)

Кодын эмзэг байдлыг илрүүлж, түүний талаар сэтгэн бодох нь судалгааны чухал, идэвхтэй чиглэл юм. Ph.D горилогч Саад Уллах, SeclaBU⁠(шинэ цонхонд нээгдэнэ)-ийн профессор Жанлука Стрингини, мөн Boston University дахь Peac Lab⁠(шинэ цонхонд нээгдэнэ)-ийн профессор Айсе Коскун нар код дахь эмзэг байдлыг илрүүлж, засах LLM-ийн чадварыг сайжруулахаар ажиллаж байна. Энэхүү судалгаа нь кибер хамгаалагчдад кодын exploit-уудыг хорлонтойгоор ашиглагдахаас нь өмнө илрүүлж, таслан зогсоох боломж олгож чадна.

University of Santa Cruz (UCSC)-ийн CY-PHY Security Lab

Профессор Алваро Карденасын⁠(шинэ цонхонд нээгдэнэ) UCSC-ийн судалгааны баг нь foundation model-уудыг ашиглан компьютерийн сүлжээнд нэвтэрсэн этгээдэд бие даан хариу үзүүлдэг агентуудыг, өөрөөр хэлбэл автономит кибер хамгаалалтын агентуудыг хэрхэн зохион бүтээж болохыг судалж байна. Төсөл нь foundation model-уудын давуу болон сул талыг бататгах сургалт (RL)-аар сургагдсан хувилбаруудтай нь харьцуулж, улмаар тэд сүлжээний аюулгүй байдал болон заналын мэдээллийн эрэмбэлэлтийг сайжруулахад хэрхэн хамтран ажиллаж болохыг судлах зорилготой.

MIT Computer Science Artificial Intelligence Laboratory (MIT CSAIL)

MIT Computer Science Artificial Intelligence Laboratory⁠(шинэ цонхонд нээгдэнэ)-ийн Стивен Москал, Эрик Хемберг, Уна-Мэй О’Райлли нар red-teaming-д зориулсан төлөвлөх-үйлдэх-тайлагнах давталтад өгөгдлийн инженерчлэлийн аргуудыг ашиглан шийдвэр гаргах үйл явцыг автоматжуулж, хэрэгжүүлж болох хариу арга хэмжээ авах боломжийг судалж байна.  Нэмж дурдахад, тус баг нь хяналттай орчинд эмзэг байдлыг илрүүлэхэд чиглэсэн дасгал болох Capture-the-Flag (CTF) сорилтуудад LLM-агентын чадамжийг судалж байна.

ChatGPT нь кибер аюулгүй байдлын мэргэжилтнүүдийн хамгийн түгээмэл, өргөн хэрэглэдэг хэрэгслүүдийн нэг болж гарч ирсэн. Кибер хамгаалагчдын хамгийн нийтлэг хэрэглээнд техникийн нарийн нэр томьёо эсвэл лог үйл явдлыг илүү энгийн хэлээр орчуулах, дахин найруулах, мөрдөн шалгалтын үеэр олдворыг шинжлэх код бичих, лог задлагч үүсгэх, мөн хатуу цагийн хязгаарт багтан ослын төлөвийг хураангуйлах зэрэг орно.

Үр өгөөжийг нь нэмэгдүүлэхийн тулд бид кибер аюулгүй байдлын олон нийтийн олон хүнд ChatGPT Plus-ийг үнэгүй ашиглах эрх олгосон бөгөөд үүнийг кибер хамгаалалтад AI-ийн хэрэглээг нэмэгдүүлэх гол боломж гэж үзэж байна.

Бид үнэгүй ChatGPT Plus бүртгэлүүдийг үргэлжлүүлэн санал болгож, энэ санаачилгаа өргөжүүлэн ChatGPT Team болон Enterprise-ийг олгох болно. Өргөтгөл маань Угандагийн Судалгаа, Боловсролын Сүлжээ (RENU)⁠(шинэ цонхонд нээгдэнэ) дахь түншүүдээс эхэлж байна.

Хэрэв та аюулгүй, инновацлаг AI-д тулгуурласан ирээдүйн талаарх бидний алсын харааг хуваалцдаг бол хамгаалалтын кибер аюулгүй байдлын технологийг сайжруулах зорилгын хүрээнд саналаа илгээж, бидэнтэй нэгдэхийг урьж байна.

Саналаа энд⁠ илгээнэ үү