OpenAI un Hugging Face sadarbojas, lai risinātu drošības incidentu modeļa izvērtēšanas laikā
Pagājušajā nēdēļā Hugging Face atklāja jauna veida drošības incidentu(atveras jaunā logā) pēc tam, kad konstatēja un ierobežoja MI aģentu, kas kompromitēja viņu infrastruktūru. Mēs paredzam, ka, izplatoties modeļiem ar arvien lielākām kiberspējām, šādi gadījumi kļūs ierastāki. Pēc izmeklēšanas zinām, ka šo konkrēto incidentu izraisīja OpenAI modeļu kombinācija — tostarp GPT‑5.6 Sol un vēl spējīgāks pirmsizlaides modelis, kuriem izvērtēšanas nolūkos bija samazināts atteikumu skaits kiberjautājumos — kad tie tika iekšēji testēti ar kiberspēju etalonuzdevumu(atveras jaunā logā).
Mēs uzskatām šo par bezprecedenta kiberincidentu, kurā iesaistītas vismodernākās kiberspējas, un attiecīgi reaģējam. Šajā posmā dalāmies ar sākotnējiem secinājumiem, lai palīdzētu aizstāvjiem saprast notikušo un kalibrēt priekšstatu par to, ko modeļi tagad spēj. Mēs turpināsim rūpīgu izmeklēšanu kopā ar Hugging Face un dalīsimies plašākā informācijā par ievainojamībām, incidentu un secinājumiem, kad izmeklēšana būs pabeigta.
Šis incidents notika iekšējas izvērtēšanas laikā, kurā modeļiem lika īstenot progresīvu ekspluatāciju, izmantojot sarežģītus uzbrukuma ceļus, lai kvantitatīvi novērtētu to kiberspējas. Mēs aplēšam maksimālās kiberspējas, veicot šo izvērtēšanu bez ražošanas vidē izmantotajiem klasifikatoriem, ko izmanto, lai nepieļautu, ka modeļi īsteno augsta riska kiberaktivitātes. Mūsu etalonuzdevumi darbojas ļoti izolētā vidē, kur piekļuve tīklam ir ierobežota līdz iespējai instalēt pakotnes caur iekšēji mitinātu trešās puses programmatūru, kas darbojas kā pakotņu reģistru starpniekserveris un kešatmiņa.
Modeļi identificēja un savienoja ķēdē ievainojamības OpenAI pētniecības vidē un Hugging Face produkcijas infrastruktūrā, lai iegūtu testa risinājumus tieši no Hugging Face produkcijas datubāzes. Visi pierādījumi liecina, ka modeļi bija ārkārtīgi koncentrējušies uz ExploitGym risinājuma atrašanu un bija gatavi spert galējus soļus, lai sasniegtu diezgan šauru testēšanas mērķi.
Strādājot mūsu smilškastes testēšanas vidē, mūsu modeļi iztērēja ievērojamu inferenču skaitļošanas apjomu, meklējot veidu, kā iegūt atvērtu piekļuvi internetam, lai atrisinātu izvērtēšanas uzdevumu. Lai iegūtu piekļuvi, modeļi identificēja un izmantoja sākotnējās dienas ievainojamību (ko tagad esam atbildīgi atklājuši piegādātājam) pakotņu reģistra kešatmiņas starpniekserverī. Izmantojot šo piekļuvi, mūsu modeļi mūsu pētniecības testēšanas vidē veica virkni privilēģiju paaugstināšanas un laterālās pārvietošanās darbību, līdz sasniedza mezglu ar piekļuvi internetam.
Pēc piekļuves internetam, iegūšanas modeļi secināja, ka Hugging Face, iespējams, mitina modeļus, datu kopas un ExploitGym risinājumus. To ņemot vērā, modelis meklēja un veiksmīgi atrada veidus, kā piekļūt slepenai informācijai, ko tas varētu izmantot, lai krāptos izvērtēšanā. Vienā piemērā modelis savienoja vairākus uzbrukuma vektorus, tostarp izmantoja nozagtus akreditācijas datus un nulles dienas ievainojamības, lai atrastu attālinātas koda izpildes ceļu Hugging Face serveros. OpenAI drošības komanda šo anomālo aktivitāti atklāja iekšēji.
Hugging Face drošības komanda un aģenti konstatēja un apturēja aktivitāti savā infrastruktūrā un, kad mūsu komandas sazinājās, jau bija sākuši ierobežošanu un kriminālistisko rekonstrukciju ar saviem atvērtā pirmkoda modeļiem. Mēs ar tiem aktīvi sadarbojamies, lai turpinātu incidenta izmeklēšanu. Esam pateicīgi Hugging Face par ātro un ciešo sadarbību izmeklēšanā un novēršanā.
- Izmeklēšanas ietvaros mēs ieviešam ļoti stingras kontroles infrastruktūras konfigurācijā, palēninot pētniecības tempu, kamēr ievainojamības tiek novērstas. Mēs regulāri informējam mūsu Drošuma un drošības komiteju par šīm kontrolēm un to ietekmi.
- Mēs sadarbojamies ar Hugging Face, lai veiktu incidenta kriminālistisko izmeklēšanu.
- Mēs esam atbildīgi atklājuši identificēto sākotnējās dienas ievainojamību iekšēji mitinātajā trešās puses programmatūrā un sadarbojamies ar viņiem, lai to novērstu.
- Esam iekļāvuši Hugging Face uzticamās piekļuves programmā un atbalstām tā komandas, lai tās ātri izmantotu mūsu modeļu spējas savas aizsardzības uzlabošanai.
- Mēs uzlabojam un ieviešam spēcīgākus aizsardzības pasākumus turpmākajai apmācībai un izvērtēšanai. Šonedēļ publicējām bloga ierakstu par drošuma un salāgošanas uzlabošanu ilga laika horizonta modeļu laikmetā. Šie izvietošanas aizsargpasākumi šajā izvērtēšanā apzināti netika iespējoti, jo tās mērķis bija pārbaudīt kiberievainojamības. Šis incidents norāda, ka vēl vairāk jāstiprina mūsu modeļa salāgošana, kiberaizsardzība izvērtēšanas laikā un uzraudzība iekšējās testēšanas laikā.
Kā nesen ziņojām, MI paātrina ievainojamību atklāšanu un izmantošanu. Galvenā mācība no šī incidenta ir tā, ka modeļu drošībai un drošumam jāattīstās līdzi strauji augošajām spējām. Mēs stiprinām ierobežošanas, uzraudzības, piekļuves kontroles un izvērtēšanas prakses, ko izmanto modeļu izstrādes laikā.
UK AISI izvērtējums rāda, ka tādi modeļi kā GPT‑5.6 Sol arvien labāk spēj ilgstoši uzturēt sarežģītas, daudzsoļu kiberoperācijas ilgos laika horizontos. Šis incidents liecina, ka šīs teorētiskās spējas ir piemērojamas arī reālās situācijās.
Incidents arī skaidri parāda, ka progresīvi modeļi var atklāt un izmantot jaunus uzbrukuma ceļus reālās sistēmās bez piekļuves pirmkodam. Tas uzsver, ka progresīvas kiberspējas jāattīsta kopā ar spēcīgākiem aizsargpasākumiem un aizsardzības rīkiem.
Mēs uzskatām, ka modeļiem ar progresīvām kiberspējām jāpalīdz drošības komandām atrast vājās vietas pirms uzbrucējiem, saprast, kā ievainojamības var savienot ķēdē, un novērst tās mašīnas ātrumā. Mēs izmantojam šīs spējas, lai turpinātu stiprināt aizsardzību ap infrastruktūras konfigurāciju un modeļu izvērtēšanas vidēm; mācoties dalīsimies ar secinājumiem un labāko praksi. Aicinām arī citus aizstāvjus pieteikties uzticamajai piekļuvei un jau tagad eksperimentēt ar šiem modeļiem, lai pārvērstu šīs spējas labākā novēršanā, ātrākā atklāšanā un efektīvākā reaģēšanā uz incidentiem.
„Esam pateicīgi par sadarbību ar OpenAI šajā un citos jautājumos. Šis incidents, iespējams, pirmais šāda veida gadījums, apliecina to, ko jau sen nojautām: MI drošumu neatrisinās neviens uzņēmums, strādājot slepenībā vienatnē. To atrisinās atklāti, sadarbojoties un nodrošinot plašu piekļuvi MI ikvienam aizstāvim jebkurā vietā.”
