Insiden OpenAI-Hugging Face(dibuka dalam tetingkap baru) merupakan detik penting bagi keselamatan siber kerana insiden itu memberikan gambaran tentang cara keupayaan pelaku ancaman biasa akan berkembang dalam beberapa bulan akan datang. Saya telah berbincang dengan banyak organisasi sejak beberapa minggu lalu dan satu tema jelas kelihatan: mereka sedar bahawa amalan keselamatan siber perlu dipertingkatkan secara menyeluruh dengan kepantasan yang belum pernah berlaku. Dalam hantaran ini, saya akan berkongsi langkah yang kami ambil untuk melindungi OpenAI, tindakan nyata yang boleh diambil oleh organisasi lain hari ini dan sebab kita perlu bertindak sekarang.
Model AI yang dibangunkan di seluruh dunia semakin mampu mengautomasikan sebahagian daripada serangan siber dunia sebenar, sekali gus memudahkan jurang keselamatan lama—daripada pepijat yang tersembunyi jauh dalam perisian tulisan manusia hinggalah kebenaran yang dilupakan—ditemui dan dieksploitasi. Keupayaan AI yang sama memberi pembela cara baharu untuk menemukan dan membetulkan kelemahan tersebut, tetapi mereka perlu bertindak sekarang. Jika syarikat bertindak tegas—termasuk mengukuhkan asas mereka dan memperkasakan pasukan dengan AI—kita boleh menjadikan internet lebih selamat daripada sebelumnya.
Dalam Insiden OpenAI-Hugging Face, sebuah kolektif berejen berjaya menembusi secara autonomi bukan sahaja infrastruktur penyelidikan OpenAI, malah infrastruktur pengeluaran syarikat lain, dengan merangkaikan pelbagai kerentanan, daripada kelemahan keselamatan yang tidak diketahui sebelum ini hinggalah penggunaan bukti kelayakan akaun pengguna yang telah dibocorkan di internet. Semakin jelas bahawa hutang teknologi(dibuka dalam tetingkap baru) setiap syarikat menyembunyikan kelemahan besar serta pembela perlu mencari dan membetulkannya terlebih dahulu sebelum penyerang berbuat demikian.
Untuk memberikan kelebihan kepada pembela berbanding penyerang, pada awal tahun ini kami mula menyediakan keupayaan siber kami hanya kepada pembela yang dipercayai. Sejak itu, pelbagai syarikat telah melancarkan model berat terbuka dengan keupayaan siber yang hanya ketinggalan beberapa bulan daripada model termaju. Model terbaharu ini nampaknya dijadualkan untuk dilancarkan(dibuka dalam tetingkap baru) pada penghujung Ogos dan berkemungkinan besar akan mempercepat perkembangan landskap ancaman.
Walaupun penyerang yang dikuasakan oleh AI tidak lama lagi akan menemukan kelemahan lama dalam banyak sistem sedia ada, AI juga akan memudahkan pembela menemukan, mengutamakan dan membetulkan kelemahan yang sama. Keselamatan masih seperti permainan antara kucing dan tikus, tetapi AI mungkin mengubah dinamik ekonominya(dibuka dalam tetingkap baru) dengan cara yang memberikan kelebihan asas kepada pembela. Contohnya, kami mula melatih model kami secara khusus untuk menulis kod dengan tahap keselamatan yang melangkaui kemampuan manusia. Model kami juga sangat hebat dalam pembuktian matematik, yang boleh digunakan untuk mengesahkan keselamatan perisian secara rasmi melalui cara yang terbukti sukar diselesaikan oleh manusia.
Selepas insiden OpenAI-Hugging Face, saya meminta ChatGPT Work (menggunakan GPT‑5.6 Sol yang tersedia secara umum) untuk menilai keselamatan gregbrockman.com(dibuka dalam tetingkap baru). Ia laman statik ringkas yang dihoskan pada AWS dengan Cloudflare sebagai gerbang hadapan, jadi saya menjangkakan tidak banyak ruang untuk kerentanan.
Dalam masa kira-kira 15 minit, sistem itu menemukan 13 isu. Kebanyakannya mungkin tidak dapat dieksploitasi secara bersendirian—tetapi saya boleh membayangkan isu tersebut dirangkaikan dengan kerentanan lain sehingga memberikan kesan yang besar. Saya belum mengkonfigurasi rekod DNS untuk menghalang penyerang daripada memalsukan e-mel seolah-olah daripada saya; laman saya menggunakan versi jQuery yang tidak selamat; Cloudflare menghantar permintaan kepada AWS melalui HTTP yang tidak disulitkan.
Kemudian, saya meminta ChatGPT Work membetulkan isu tersebut dan sistem itu menyelesaikannya dalam masa sejam. Sistem itu membuka panel kawalan Cloudflare dalam pelayar saya, lalu mengklik pelbagai butang untuk mengkonfigurasi tetapan DNS, TLS dan keselamatan lanjutan dengan betul; mengalih keluar jQuery sepenuhnya daripada laman; memindahkan laman saya daripada AWS ke Cloudflare Pages; dan memulakan pelaksanaan DMARC(dibuka dalam tetingkap baru) secara berperingkat.
Dan ini hanyalah laman web peribadi saya. Ini merupakan contoh kecil tentang cara model sedia ada kami boleh bertindak sebagai penjaga siber—menemukan pelbagai isu terpencil yang tidak sempat ditangani atau berada di luar kepakaran manusia (saya sekadar tahu serba sedikit tentang banyak tetapan yang dibetulkannya, tetapi tidak tahu cara yang betul untuk mengkonfigurasinya), kemudian membetulkannya menerusi pelan pelaksanaan yang disesuaikan dengan sewajarnya.
Insiden Hugging Face menunjukkan kami memandang rendah keupayaan siber dunia sebenar model AI kami. Sehubungan itu, kami sedang memperkukuh keperluan keselamatan kami, yang seterusnya menjadikan penyelidikan keselamatan dan usaha keselamatan dalaman sedia ada semakin mendesak.
Saya ingin berkongsi sedikit tentang pendekatan kami untuk melindungi OpenAI buat masa ini dengan harapan maklumat ini berguna kepada organisasi lain. Untuk melindungi OpenAI, kami membuat pelaburan yang besar dalam kawalan asas—melaksanakan perkara asas dengan betul—serta memperkasakan pertahanan kami melalui kecerdasan termaju. Strategi ini mempunyai empat tonggak utama.
Pertama, kami menggunakan model kami untuk bantu melindungi kod kami. Codex, termasuk pemalam keselamatan kami, mengesahkan perubahan kod, mengenal pasti kerentanan dan membantu pembangun membetulkan isu sebelum perubahan dilaksanakan. Matlamatnya bukan sekadar menghasilkan lebih banyak penemuan keselamatan yang memerlukan pengesahan manusia; sebaliknya, kami mahu mengesan kerentanan sebenar sebelum produk dilancarkan dan memendekkan tempoh daripada penemuan isu hingga pelaksanaan pembetulan yang selamat. Sambil terus melatih model kami untuk menghasilkan kod yang semakin selamat, matlamat kami adalah untuk menghapuskan beberapa kelas kerentanan perisian dalam kod baharu.
Kedua, kami menggunakan model kami untuk melindungi infrastruktur kami secara berterusan. Kini, hampir semua amaran keselamatan awal kami ditapis oleh kecerdasan sebelum manusia dilibatkan. Ini bantu mengurangkan kerja rutin pembela, mempercepat masa tindak balas dan membolehkan manusia menumpukan masa pada bidang yang paling memanfaatkan kemahiran mereka—pertimbangan teliti, penilaian dan kepakaran gunaan. Kami semakin menghubungkan pengesanan ini kepada tindak balas automatik yang terbatas, sambil memastikan manusia kekal bertanggungjawab terhadap keputusan yang memberikan impak terbesar. Matlamatnya adalah untuk memastikan kami dapat mengesan dan menangani isu keselamatan sepantas mesin.
Ketiga, kami menggunakan kecerdasan termaju untuk terus menyenaraikan, menguji dan mengenal pasti kemungkinan laluan serangan. Dengan mengenal pasti kerentanan, salah konfigurasi, identiti yang mempunyai keistimewaan berlebihan atau sempadan kepercayaan yang tidak disengajakan, kami dapat segera mengenal pasti dan menutup jurang ini sebelum penyerang mengeksploitasinya. Ini membolehkan kami terus menilai, memantau dan menguji invarian keselamatan kami—sifat keselamatan yang kami yakini benar—merentas produk, infrastruktur dan sistem kami.
Akhir sekali, kami membuat pelaburan besar dalam asas keselamatan pada skala yang luas. Kami terus melabur dalam seni bina dan kawalan yang selamat, menerapkan strategi seperti pertahanan berlapis dan keistimewaan minimum, serta mereka bentuk sistem yang hanya membolehkan kejadian buruk berlaku jika beberapa kawalan bebas gagal secara serentak. Kawalan keselamatan klasik seperti pengasingan rangkaian, pengukuhan beban kerja, pemantauan serta penampalan dan pelaksanaan yang selamat akan menjadi lebih penting daripada sebelumnya dalam era AI.
Masa amat penting dan pembela perlu melaksanakan langkah di bawah dengan sepantas mungkin. Di bawah, saya akan menyatakan teknologi OpenAI, tetapi terdapat banyak pesaing dalam ekosistem yang juga perlu dinilai. Perkara yang lebih penting daripada alat tertentu ialah memastikan pembela anda dapat menggunakan AI yang berkeupayaan sekarang.
- Dapatkan komitmen dan sokongan organisasi. Kami mengalami perubahan risiko keselamatan dengan pantas—pastikan organisasi keselamatan dan kejuruteraan anda mendapat sokongan, kerjasama dan sumber untuk menangani risiko ini dengan segera. Jalankan latihan simulasi bersama pasukan anda untuk menggambarkan cara serangan ini mungkin berlaku dalam organisasi anda dan cara anda akan bertindak balas.
- Sediakan ejen untuk pasukan keselamatan anda. Mula gunakan Codex, pemalam Codex Security(dibuka dalam tetingkap baru) atau alat pengekodan berejen dan keselamatan lain yang berkeupayaan. Berikan alat itu akses yang diluluskan kepada pangkalan kod, konfigurasi infrastruktur dan dokumentasi teknikal yang perlu dinilai oleh pasukan keselamatan anda. Jangan tunggu pelaksanaan di seluruh syarikat sebelum memulakan usaha pada sistem yang paling utama.
- Lengkapkan ejen itu dengan kepakaran keselamatan. Mulakan dengan kemahiran(dibuka dalam tetingkap baru) yang disokong komuniti, termasuk aliran kerja untuk analisis statik, semakan kod berfokuskan keselamatan, analisis variasi kerentanan, risiko rantaian bekalan perisian dan aliran kerja keselamatan lain. Kemudian, bina kemahiran anda sendiri berdasarkan seni bina, piawaian keselamatan, model ancaman dan panduan tindakan organisasi anda.
- Jalankan penilaian keselamatan terhadap sistem anda sendiri dengan segera. Utamakan penilaian terhadap perkhidmatan yang boleh dicapai melalui internet, aliran pengesahan, infrastruktur sebagai kod, saluran pelaksanaan dan sistem yang mengendalikan maklumat sensitif. Perluaskan pengimbasan anda apabila keyakinan pasukan anda meningkat.
- Selesaikan tunggakan kerentanan sedia ada. Berikan ejen anda penemuan daripada pengimbas kod, amaran kebergantungan, tiket keselamatan, laporan ganjaran pepijat dan penilaian terdahulu. Minta ejen itu menapis penemuan tersebut, membezakan isu yang boleh dieksploitasi daripada gangguan, mengenal pasti kerentanan berkaitan di bahagian lain dalam pangkalan kod dan mengesyorkan perkara yang perlu dibetulkan terlebih dahulu.
- Masukkan semakan keselamatan terus ke dalam proses pembangunan anda. Gunakan ejen untuk menyemak perubahan kod sebelum digabungkan dan menjalankan pemeriksaan keselamatan dalam CI. Cari kesilapan pengesahan, pintasan kawalan akses, bukti kelayakan yang terdedah, kebergantungan tidak selamat, tetapan lalai tidak selamat, perubahan yang meluaskan akses kepada sistem pengeluaran dan kerentanan lain.
- Minta ejen bantu membetulkan penemuannya. Bagi isu yang telah disahkan, minta ejen menghasilkan dan mengesahkan tampalan khusus, menulis ujian regresi dan memastikan kerentanan tersebut tidak lagi dapat dihasilkan semula. Kekalkan semakan manusia bagi perubahan yang memberikan kesan besar, tetapi hapuskan kelewatan yang tidak perlu antara pengenalpastian masalah sebenar dengan penyediaan pembetulan selamat untuk jurutera.
- Automatikkan penapisan pengesanan secara berperingkat. Jangan bermula dengan cubaan membina pusat operasi keselamatan berautonomi. Mulakan dengan menjalankan imbasan keselamatan baca sahaja terhadap satu repositori, atau minta ejen menyemak amaran yang telah diselesaikan menggunakan akses baca sahaja kepada log sedia ada. Biarkan ejen merumuskan bukti dan mengesyorkan tindakan, sementara manusia membuat setiap keputusan. Apabila keyakinan meningkat, beralih kepada pengimbasan permintaan tarik yang bersifat nasihat, kemudian penapisan amaran langsung, diikuti penutupan automatik bagi positif palsu yang ditakrifkan secara khusus.
- Sediakan keupayaan penyiasatan forensik dibantu AI sebelum anda memerlukannya. Mohon Akses Dipercayai untuk Siber(dibuka dalam tetingkap baru) dan dapatkan kelulusan untuk pasukan anda menggunakan GPT‑Daybreak‑Blue bagi kerja pertahanan yang dibenarkan, termasuk tindak balas insiden, kejuruteraan pengesanan dan analisis perisian hasad. Berlatih menggunakan keupayaan ini untuk menganalisis log, telemetri dan amaran keselamatan.
- Jalankan eksperimen dan minggu godam, serta lakukan penambahbaikan dengan pantas. Kita perlu membina pelbagai alat baharu, mengubah cara kita bekerja dan meningkatkan kemahiran semua orang untuk menghadapi dunia yang bakal tiba. Galakkan tenaga kerja anda menjalankan eksperimen, menjadualkan minggu godam untuk membina keupayaan baharu dan menumpukan kitaran penambahbaikan pantas yang mengautomasikan sebahagian kecil masalah. Kemajuan kecil yang pantas menghasilkan kesan pertahanan yang berganda dan anda boleh meluaskan autonomi secara beransur-ansur apabila keyakinan pasukan meningkat.
Tiada syarikat yang mampu melakukannya sendirian. Kami menyeru makmal AI, vendor keselamatan, perusahaan dan penyelenggara agar berkongsi penemuan yang disahkan, pembetulan dan panduan tindakan praktikal supaya penemuan sebuah organisasi dapat memperkukuh seluruh ekosistem.
Jendela peluang pembela dibuka sekarang. Dalam beberapa bulan akan datang, setiap organisasi perlu mula mengautomasikan program keselamatannya secara meluas untuk kekal selamat. Komuniti keselamatan pula mesti segera bangkit untuk menentukan alat, amalan dan panduan tindakan yang akan memperkasakan pembela dengan lebih pantas berbanding penyerang seiring dengan kemajuan AI. Ini memerlukan usaha besar yang belum pernah dilakukan, tetapi jika kita bersatu, kita boleh mewujudkan dunia yang lebih selamat daripada apa yang pernah dibayangkan.
