OpenAI un Hugging Face incidents(atveras jaunā logā) bija pavērsiena punkts kiberdrošībā, jo tas ļāva ieskatīties, kā turpmākajos mēnešos attīstīsies tipiska uzbrucēja spējas. Pēdējo nedēļu laikā esmu runājis ar daudzām organizācijām, un viena atziņa ir skaidra: tās zina, ka tām nepieredzēti strauji un būtiski jāuzlabo sava kiberdrošības prakse. Šajā ierakstā es pastāstīšu, ko mēs darām, lai aizsargātu OpenAI, kādus konkrētus pasākumus citas organizācijas var veikt jau šodien un kāpēc ir pienācis laiks rīkoties.
Visā pasaulē izstrādātie mākslīgā intelekta (MI) modeļi arvien labāk spēj automatizēt reālajā pasaulē īstenotu kiberuzbrukumu posmus, tādējādi atvieglojot sen pastāvošu drošības nepilnību – no cilvēku rakstītā programmatūrā dziļi apslēptām kļūdām līdz aizmirstām atļaujām – atklāšanu un ļaunprātīgu izmantošanu. Tās pašas MI iespējas aizsardzības speciālistiem paver jaunus veidus, kā atrast un novērst šīs vājās vietas, taču viņiem jārīkojas nekavējoties. Ja uzņēmumi rīkosies izlēmīgi – tostarp uzlabos savu pamata drošības praksi un ar MI palīdzību būtiski stiprinās savas komandas – mēs varēsim padarīt Internetu drošāku nekā jebkad agrāk.
OpenAI-Hugging Face incidentā autonomu aģentu kolektīvs spēja patstāvīgi ielauzties ne tikai OpenAI pētniecības infrastruktūrā, bet arī cita uzņēmuma ražošanas infrastruktūrā, sasaistot ievainojamības, sākot ar iepriekš nezināmiem drošības trūkumiem un beidzot ar Internetā nopludinātu lietotāju kontu akreditācijas datu izmantošanu. Arvien skaidrāk redzams, ka katra uzņēmuma tehniskais parāds(atveras jaunā logā) slēpj būtiskus trūkumus, un aizsardzības speciālistiem tie jāatrod un jānovērš, pirms to izdara uzbrucēji.
Lai aizstāvjiem sniegtu priekšrocības pār uzbrucējiem, šī gada sākumā mēs sākām savas kiberspējas padarīt pieejamas tikai uzticamiem aizstāvjiem. Kopš tā laika vairāki uzņēmumi ir izlaiduši modeļus ar atvērtiem svariem un kiberspējām, kas no tehnoloģiju robežšķirtnes atpaliek tikai par dažiem mēnešiem. Jaunāko no šiem modeļiem acīmredzot ir plānots izlaist(atveras jaunā logā) augusta beigās, un tas, visticamāk, būtiski paātrinās draudu vides attīstību.
Lai gan uzbrucēji, kas izmanto MI, drīzumā spēs atrast ilgstoši pastāvējušas nepilnības daudzās esošajās sistēmās, MI arī ievērojami atvieglos aizsardzības speciālistiem šo pašu nepilnību atrašanu, prioritāšu noteikšanu un novēršanu. Drošība joprojām ir kaķa un peles spēle, taču MI var mainīt tās ekonomisko dinamiku(atveras jaunā logā) tā, ka aizstāvji iegūst būtiskas priekšrocības. Piemēram, mēs sākam īpaši apmācīt savus modeļus rakstīt kodu ar cilvēka spējas pārsniedzošu drošības līmeni. Mūsu modeļi arī izcili spēj veidot matemātiskus pierādījumus, ko var izmantot, lai formāli pārbaudītu programmatūras drošību tādā veidā, kāds cilvēkiem līdz šim nav bijis pa spēkam.
Pēc OpenAI-Hugging Face incidenta es prasīju ChatGPT Work (izmantojot publiski pieejamo GPT‑5.6 Sol) novērtēt vietnes gregbrockman.com(atveras jaunā logā) drošību. Tā ir vienkārša, statiska vietne, kas tiek mitināta AWS, bet Cloudflare kalpo kā piekļuves vārteja, tāpēc pieņēmu, ka tās uzbrukuma virsmai nevajadzētu būt īpaši plašai.
Apmēram 15 minūšu laikā tas atklāja 13 problēmas, no kurām daudzas, visticamāk, pašas par sevi nav izmantojamas uzbrukumā – taču varu iedomāties, ka to sasaistīšana ar citām ievainojamībām varētu radīt būtiskas sekas. Es nebiju konfigurējis savus DNS ierakstus tā, lai neļautu uzbrucējiem viltot e-pasta vēstules manā vārdā; mana vietne izmantoja nedrošu jQuery versiju; Cloudflare pārsūtīja pieprasījumus uz AWS, izmantojot nešifrētu HTTP.
Pēc tam es uzdevu ChatGPT Work novērst šīs problēmas, un tas to paveica stundas laikā. Tas atvēra Cloudflare vadības paneli manā pārlūkprogrammā un, spiežot daudzas pogas, pareizi konfigurēja DNS, TLS un paplašinātos drošības iestatījumus; pilnībā izņēma no vietnes jQuery; pārcēla manu vietni no AWS uz Cloudflare Pages; un sāka pakāpenisku DMARC(atveras jaunā logā) ieviešanu.
Un tā bija tikai mana personīgā tīmekļa vietne. Šis ir neliels piemērs tam, kā mūsu pašreizējie modeļi var darboties kā kibersargs – atrast daudzās retāk sastopamās problēmas, kurām cilvēkam nebūtu laika vai pietiekamu zināšanu pievērsties (daudzi no izlabotajiem iestatījumiem man ir tikai aptuveni pazīstami, un es uzreiz nezinātu, kā tos pareizi konfigurēt), un pēc tam tās novērst, izmantojot atbilstoši pielāgotu pakāpeniskas ieviešanas plānu.
Hugging Face incidents parādīja, ka bijām par zemu novērtējuši savu MI modeļu praktiskās kiberspējas. Attiecīgi mēs pastiprinām savas drošības prasības, un tas savukārt vēl vairāk palielina nepieciešamību steidzami turpināt pašreizējos drošības pētījumus un iekšējās drošības darbu.
Vēlos nedaudz pastāstīt par to, kā šobrīd nodrošinām OpenAI drošību, cerot, ka tas būs noderīgi arī citām organizācijām. Lai aizsargātu OpenAI, mēs ievērojami ieguldām gan drošības pamatpasākumos – pienācīgi parūpējoties par pamatiem –, gan savas aizsardzības stiprināšanā ar robežšķirtnes intelekta palīdzību. Šīs stratēģijas pamatā ir četri galvenie balsti.
Pirmkārt, mēs izmantojam savus modeļus, lai palīdzētu aizsargāt savu kodu. Codex, tostarp mūsu drošības spraudnis, pārbauda koda izmaiņas, identificē ievainojamības un palīdz izstrādātājiem novērst problēmas pirms izmaiņu ieviešanas. Mērķis nav vienkārši radīt vairāk drošības konstatējumu, kas jāpārbauda cilvēkiem; mērķis ir atklāt reālas ievainojamības pirms programmatūras izlaišanas un saīsināt ceļu no problēmas atklāšanas līdz drošai labojuma ieviešanai. Turpinot apmācīt savus modeļus arvien drošāka koda radīšanai, mūsu mērķis ir jaunizstrādātā kodā izskaust dažu klašu programmatūras ievainojamības.
Otrkārt, mēs nepārtraukti izmantojam savus modeļus savas infrastruktūras aizsardzībai. Pašlaik gandrīz visus mūsu sākotnējos drošības brīdinājumus vispirms izvērtē mākslīgais intelekts, un tikai pēc tam tiek iesaistīti cilvēki. Tas palīdz mazināt aizsardzības speciālistu rutīnas darba slogu, paātrina reaģēšanu un ļauj cilvēkiem veltīt laiku jomām, kurās viņu prasmes sniedz vislielāko pienesumu – situāciju izvērtēšanai, spriedumu pieņemšanai un profesionālo zināšanu praktiskai izmantošanai. Mēs arvien biežāk sasaistām šos konstatējumus ar ierobežotiem automatizētiem reaģēšanas pasākumiem, vienlaikus saglabājot cilvēku atbildību par lēmumiem ar vislielāko ietekmi. Mērķis ir panākt, lai mēs drošības problēmas varētu konstatēt un uz tām reaģēt automatizētu sistēmu darbības ātrumā.
Treškārt, mēs izmantojam progresīvāko mākslīgo intelektu, lai nepārtraukti apzinātu, pārbaudītu un atklātu iespējamos uzbrukumu ceļus. Identificējot ievainojamības, nepareizas konfigurācijas, identitātes ar pārmērīgām privilēģijām vai netīši izveidotas uzticamības robežas, mēs varam ātri atklāt un novērst šīs nepilnības, pirms uzbrucēji tās var izmantot ļaunprātīgi. Tas mums ļauj nepārtraukti novērtēt, pārraudzīt un testēt savus drošības invariantus – drošības īpašības, kuras uzskatām par patiesām – visos savos produktos, infrastruktūrā un sistēmās.
Visbeidzot, mēs plašā mērogā ieguldām drošības pamatu stiprināšanā. Mēs turpinām ieguldīt drošas arhitektūras un kontroles mehānismu izveidē, izmantojam tādas stratēģijas kā daudzslāņu aizsardzība un mazāko privilēģiju princips un projektējam sistēmas tā, lai katastrofiskas sekas varētu rasties tikai tad, ja vienlaikus pārstāj darboties vairāki neatkarīgi kontroles mehānismi. Klasiskie drošības kontroles pasākumi, piemēram, tīkla izolācija, darba slodžu drošības nostiprināšana, uzraudzība, kā arī droša labojumu instalēšana un izvietošana, mākslīgā intelekta nākotnē būs svarīgāki nekā jebkad agrāk.
Laiks ir izšķiroši svarīgs, un aizsardzības speciālistiem tālāk norādītās darbības būs jāveic ārkārtīgi strauji. Tālāk es pieminēšu OpenAI tehnoloģiju, taču ekosistēmā ir daudz konkurentu, kurus arī ir vērts izvērtēt. Svarīgs ir ne tik daudz konkrētais rīks, cik tas, lai aizsardzības speciālistu rīcībā jau tagad nonāktu jaudīgs mākslīgais intelekts.
- Panāc organizācijas apņēmību un atbalstu. Mēs piedzīvojam straujas pārmaiņas drošības risku jomā – nodrošini, lai tavām drošības un inženierijas komandām būtu atbalsts, sadarbība un resursi, kas vajadzīgi, lai ātri reaģētu uz šiem riskiem. Rīko ar savām komandām scenāriju izspēles, lai modelētu, kā šie uzbrukumi varētu izpausties tavā organizācijā un kā uz tiem reaģēsi.
- Dod savai drošības komandai aģentu. Sāc izmantot Codex, Codex Security spraudni(atveras jaunā logā) vai citu jaudīgu aģentisku programmēšanas un drošības rīku. Piešķir tam atļautu piekļuvi koda bāzēm, infrastruktūras konfigurācijām un tehniskajai dokumentācijai, kas tavai drošības komandai jāizvērtē. Negaidi ieviešanu visā uzņēmumā; sāc ar savām augstākās prioritātes sistēmām.
- Nodrošini šim aģentam specializētas zināšanas drošības jomā. Sāc ar kopienas atbalstītām prasmēm(atveras jaunā logā), kurās iekļautas darbplūsmas statiskajai analīzei, uz drošību vērstai koda pārskatīšanai, ievainojamību variantu analīzei un programmatūras piegādes ķēdes risku novērtēšanai, kā arī citas drošības darbplūsmas. Pēc tam izveido savas prasmes, ņemot vērā savas organizācijas arhitektūru, drošības standartus, apdraudējumu modeļus un rīcības plānus.
- Nekavējoties veic savu sistēmu drošības novērtējumus. Vispirms novērtē Internetā pieejamos pakalpojumus, autentifikācijas plūsmas, infrastruktūru kā kodu, izvietošanas konveijerus un sistēmas, kas apstrādā sensitīvu informāciju. Paplašini skenēšanas tvērumu, tavai komandai gūstot pārliecību.
- Izskati esošo neapstrādāto ievainojamību sarakstu. Nodod savam aģentam koda skeneru rezultātus, atkarību brīdinājumus, drošības pieteikumus, ievainojamību atlīdzības programmu ziņojumus un iepriekšējo novērtējumu konstatējumus. Liec aģentam izvērtēt un prioritizēt šos konstatējumus, nošķirt ekspluatējamas ievainojamības no nebūtiskiem signāliem, atrast saistītas ievainojamības citviet koda bāzē un ieteikt, ko labot vispirms.
- Iekļauj drošības pārbaudi tieši savā izstrādes procesā. Izmanto aģentus, lai pārskatītu koda izmaiņas pirms to sapludināšanas un palaistu drošības pārbaudes CI vidē. Meklē autentifikācijas kļūdas, piekļuves kontroles apiešanas iespējas, atklātus akreditācijas datus, nedrošas atkarības un noklusējuma iestatījumus, izmaiņas, kas paplašina piekļuvi ražošanas sistēmām, kā arī citas ievainojamības.
- Liec aģentam palīdzēt novērst tā atrastās problēmas. Apstiprinātu problēmu gadījumā lūdz aģentam izveidot un pārbaudīt mērķētu labojumu, uzrakstīt regresijas testu un apstiprināt, ka ievainojamību vairs nevar reproducēt. Saglabā cilvēka veiktu pārskatīšanu būtiskām izmaiņām, bet novērs nevajadzīgo kavēšanos starp reālas problēmas identificēšanu un droša labojuma nodošanu inženierim.
- Pakāpeniski automatizē konstatējumu izvērtēšanu. Nesāc ar mēģinājumiem izveidot autonomu drošības operāciju centru. Sākumā veic viena repozitorija drošības skenēšanu tikai lasīšanas režīmā vai liec aģentam ar tikai lasīšanas piekļuvi esošajiem žurnāliem pārskatīt iepriekš atrisinātos brīdinājumus. Ļauj tam apkopot pierādījumus un ieteikt rīcību, kamēr cilvēks pieņem katru lēmumu. Pieaugot pārliecībai, pārej uz konsultatīvu pull request skenēšanu, pēc tam uz brīdinājumu izvērtēšanu reāllaikā un tad uz precīzi definētu kļūdaini pozitīvu gadījumu automātisku slēgšanu.
- Savlaicīgi nodrošini MI atbalstītas digitālās kriminālistikas izmeklēšanas iespēju. Piesakies Trusted Access for Cyber(atveras jaunā logā) un saņem savai komandai apstiprinājumu GPT‑Daybreak‑Blue izmantošanai atļautos aizsardzības darbos, tostarp reaģēšanā uz incidentiem, apdraudējumu noteikšanas risinājumu izstrādē un ļaunprogrammatūras analīzē. Praktizē šo spēju izmantošanu, lai analizētu žurnālus, telemetrijas datus un drošības brīdinājumus.
- Eksperimentē, rīko hakatonu nedēļas un strauji pilnveido risinājumus. Mums būs jāizstrādā visdažādākie jauni rīki, jāmaina darba metodes un jāpalīdz ikvienam pilnveidot prasmes, lai sagatavotos pasaulei, uz kuru virzāmies. Mudini darbiniekus eksperimentēt, ieplāno hakatonu nedēļu jaunu iespēju izveidei un koncentrējies uz tādu ciklu ātru pilnveidošanu, kuri automatizē nelielas problēmas daļas. Straujš, pakāpenisks progress rada arvien lielāku aizsardzības efektu, un, tavai komandai gūstot pārliecību, vari pakāpeniski paplašināt autonomiju.
Neviens uzņēmums to nevar paveikt viens pats. Mēs aicinām mākslīgā intelekta laboratorijas, drošības risinājumu piegādātājus, uzņēmumus un uzturētājus kopīgot pārbaudītus konstatējumus, labojumus un praktiskus rīcības plānus, lai vienas organizācijas atklājums varētu stiprināt visu ekosistēmu.
Aizstāvju iespēju logs ir atvērts tieši tagad. Tuvāko mēnešu laikā ikvienai organizācijai būs jāsāk būtiski automatizēt savu drošības programmu, lai saglabātu drošību, un drošības kopienai ir steidzami jāuzņemas iniciatīva definēt rīkus, prakses un rīcības plānus, kas, turpinoties mākslīgā intelekta attīstībai, palielinās aizstāvju spējas ātrāk nekā uzbrucēju spējas. Tas prasīs milzīgas un bezprecedenta pūles, taču, ja apvienosimies, varēsim radīt drošāku pasauli, nekā iepriekš bija iespējams iedomāties.
