Evaluasi siber pihak katelu sing nglibatake model OpenAI
Pengujian mandiri nduweni peran penting kanggo mbantu kita ngesahake lan luwih mangerteni risiko sadurunge penerapan. Sawetara evaluasi siber sengaja nggunakake konfigurasi khusus, kalebu nyuda pangreksa kanggo ngukur kapabilitas dhasar—dudu prilaku model ing penerapan sing lumrahe kasedhiya kanggo umum.
Sajrone evaluasi anyar, rong mitra pengujian eksternal nemokake insiden nalika gabungan konfigurasi lan kontrol pengujian karo kapabilitas model anyar sing saya maju ndadekake aktivitas model ngliwati wates pengujian sing wis ditemtokake. Insiden kasebut negesake pentinge kolaborasi ing saindenging industri lan karo evaluator pihak katelu kanggo ngrembakakake standar lingkungan lan praktik pengujian nalika model saya mumpuni. Cathetan Editor: Insiden iki kapisah saka insiden keamanan Hugging Face, lan kita bakal terus nuduhake kabar paling anyar babagan insiden Hugging Face ing kene.
Insiden anyar kasebut nglibatake model OpenAI sing ngakses internet umum sajrone evaluasi siber pihak katelu, ing kahanan tartamtu lan konfigurasi kanthi pangreksa sing dikurangi sing ora nggambarake penerapan lumrah. Insiden kasebut kalebu:
- UK AISI, Institut Keamanan AI pamaréntah Inggris, nindakake evaluasi arena siber kanthi akses internet sing sengaja diaktifake supaya agen bisa nggoleki pirantine dhewe lan makarya ing kahanan sing luwih padha karo panyerang nyata, sarta mateni klasifikator siber kanggo ngukur kapabilitas dhasar. Sampeyan bisa maca blog dheweke ing kene.(mbukak ing jendhela anyar)
- Irregular, salah siji mitra pengujian keamanan siber eksternal kita, nindakake evaluasi kanthi gaya Capture-the-Flag sing kudune diisolasi saka internet, nanging salah konfigurasi ing lingkungan uji ngidini model ngakses internet umum.
Ing ngisor iki, kita ngringkes apa sing kedadeyan, kahanan pengujian sing ndadekake aktivitas kasebut bisa kelakon, langkah-langkah kanggo mbendung, lan upaya kita kanggo mesthekake laboratorium mandiri bisa terus ngevaluasi model sing saya mumpuni kanthi ketat lan aman.
Insiden kasebut nuduhake tantangan luwih amba sing padha karo sing dijlentrehake ing tulisan anyar kita babagan insiden Hugging Face: nalika kapabilitas model saya maju, sistem keamanan lan kaslametan ing sakiwa-tengene uga kudu saya maju. Iki kalebu lingkungan sing digunakake kanggo ngembangake model lan lingkungan sing digunakake laboratorium lan mitra mandiri kanggo ngevaluasi model kasebut.
Ing sawetara minggu ngarep, kita bakal mriksa maneh pendekatan kita tumrap pengujian pihak katelu, kalebu cara ngenali evaluasi kanthi risiko luwih dhuwur, nyepakati cakupan, mbiji panjaluk kanggo ngaktifake akses internet utawa nyuda pangreksa, netepake pangarepan babagan isolasi, penanganan kredensial, pemantauan, lan kahanan kanggo mandheg, sarta netepake proses notifikasi lan eskalasi insiden sing luwih cetha.
Kita nduweni komitmen kanggo makarya bebarengan ing saindenging industri guna nguwatake praktik bebarengan kanggo nindakake evaluasi risiko dhuwur kanthi aman, kalebu nglumpukake para pihak kayata institut AI nasional, evaluator mandiri, laboratorium AI liyane, lan kelompok liyane ing sawetara minggu ngarep. Tujuan kita yaiku njaga paedahe evaluasi mandiri sing ketat, sinambi mesthekake praktik pengujian terus ngimbangi model sing saya mumpuni.
Tanggal 3 Agustus, UK AISI ngandhani kita yen sajrone evaluasi siber rutin sing diwiwiti tanggal 25 Juli, model saka OpenAI lan laboratorium liyane ing sawetara kasus tumindak ngliwati cakupan pengujian. Evaluasi kasebut ditindakake ing arena siber terkendali sing dirancang kanggo niru jaringan ing donya nyata. Saka 19 prastawa sing ditemokake, loro nglibatake model OpenAI, GPT‑5.6 Sol. Prastawa liyane nglibatake model saka laboratorium liya.
Kanggo evaluasi iki, para agen diprentah tumindak minangka pakar keamanan siber ing latihan capture-the-flag: nembus telung lingkungan simulasi sing saling nyambung lan njupuk flag pungkasan. Prompt tugas kasebut nemtokake jaringan arena sing kalebu ing cakupan lan nyebut sawetara sistem sing ora kalebu ing cakupan. UK AISI uga ngaktifake akses internet langsung supaya agen bisa ngundhuh piranti lan makarya ing kahanan sing luwih padha karo panyerang manungsa—sarta mateni klasifikator siber model kanggo ngukur kapabilitas dhasar.
Wates wewenang sing dikarepake UK AISI yaiku arena siber simulasi: agen diwenehi wewenang kanggo nyerang jaringan simulasi sing wis ditemtokake lan njupuk flag, nanging ora kanggo sesambungan karo sistem ing njaba wates jaringan arena. Nanging, para agen ora diwenehi katrangan kanthi cetha babagan cara sing oleh lan ora oleh ditindakake nalika nggunakake akses internet mbukak. UK AISI ngenali iki minangka salah siji faktor sing bisa nyumbang marang insiden kasebut.
Saka kabeh proses kasebut, UK AISI nemokake yen GPT‑5.6 Sol nindakake rong tumindak tanpa wewenang nalika nyoba nggoleki dalan mlebu menyang arena simulasi lan njupuk flag:
- GPT‑5.6 Sol nggunakake maneh token GitHub sing ditinggal agen saka laboratorium liya lan bisa diakses umum kanggo mriksa apa sistem ing arena kasebut njupuk data kanthi rutin saka GitHub utawa layanan nganyari liyane, nyoba mulihake akun lan ngakali wates panjaluk, sarta ndhaptar akun ing panyedhiya DNS eksternal lan layanan tunneling.
- GPT‑5.6 Sol nggunakake layanan tunneling umum supaya server DNS sing mlaku sacara lokal ing lingkungan evaluasine bisa diakses saka internet umum. Server kasebut ngemot payload sing dirancang kanggo ngeksploitasi kerentanan sing wis dingerteni ing piranti lunak sing mlaku ing arena uji. Konfigurasi kasebut ora bisa digunakake, ora ana bukti yen resolver nyata ngirim kueri menyang server kasebut, lan infrastrukturne dibusak nalika evaluasi rampung.
Sanajan model kasebut nyoba ngrampungake arena siber, UK AISI nganggep tumindak kasebut tanpa wewenang amarga nglibatake akun lan layanan eksternal nyata ing njaba wates arena, lan tumindak kasebut ora dibutuhake kanggo ngrampungake tugas. Server DNS kasebut uga dadi panggonan payload eksploit ing internet umum, sanajan konfigurasine ora bisa digunakake lan ora ana bukti yen resolver nyata ngirim kueri menyang server kasebut.
UK AISI nemokake aktivitas kasebut tanggal 28 Juli sawise pemantauan keamanan ndeteksi transfer data sing ora lumrah. UK AISI mungkasi evaluasi sing gegandhengan, ngisolasi mesin sing magepokan, lan mbendung aktivitas kasebut kira-kira sajrone sakjam sawise dideteksi.
Kita ngapresiasi kemitraan UK AISI sajrone proses iki, kalebu upayane nemokake, nyelidiki, lan nuduhake rincian babagan aktivitas kasebut. Kita ngarepake supaya kolaborasi iki bisa terus dilakoni bebarengan.
Tanggal 29 Juli, Irregular, salah siji mitra evaluasi pihak katelu kita, ngandhani kita babagan insiden sing nglibatake model OpenAI sajrone evaluasi keamanan siber kanthi gaya Capture-the-Flag (CTF). Model-model kasebut diprentah nggoleki informasi sing didhelikake kanthi ngeksploitasi kelemahan ing lingkungan simulasi lan dikandhani yen ora nduweni akses internet. Nanging, salah konfigurasi ing lingkungan uji ngidini model-model kasebut ngakses internet umum.
Ing salah siji uji, jeneng target fiktif kanggo tantangan CTF tanpa disengaja padha karo domain nyata. Amarga lingkungan uji kasebut kanthi ora sengaja disambungake menyang internet, model kasebut ngeksploitasi situs web nyata amarga ngira situs iku bagean saka lingkungan simulasi. Iki ora nglibatake uwal saka sandbox sing canggih utawa kerentanan zero-day: akses internet kasebut kedadeyan amarga salah konfigurasi, lan model kasebut katon ngeksploitasi kerentanan keamanan dhasar.
Miturut penyelidikan Irregular, model kasebut uga nemokake lan nggunakake kredensial kanggo ngoperasikake situs sing padha. Irregular durung nemokake dampak saliyane marang data duweke situs sing kena pengaruh, lan audite isih lumaku. Irregular wis ngaso evaluasi kasebut, miwiti remediasi, lan ngandhani pihak katelu sing kena pengaruh. Irregular ngandhani kita yen kabeh masalah sing ditemokake gegayutan karo insiden kasebut wis ora aktif maneh lan pangreksa sing cocog wis ditambahake menyang lingkungan uji. Irregular uga wis menehi katrangan babagan insiden gegandhengan sing nglibatake laboratorium liyane saka lingkungan uji sing padha.
Kita ngapresiasi kemitraan Irregular lan bakal terus makarya kanthi raket karo dheweke kanggo ndhukung paninjauane. Irregular uga lagi nyusun laporan resmi kanggo nuduhake praktik paling apik kanggo mbendung aktivitas lan nindakake evaluasi siber kanthi aman. Kita ngarepake bisa melu nyusun laporan kasebut supaya temuan iki kasedhiya kanggo komunitas lan bisa nerusake kemitraan kita. Kita nganggep kolaborasi kaya iki penting kanggo njamin evaluasi model saiki lan mbesuk ditindakake kanthi aman lan tuntas.
