Mengurus risiko AI perbatasan: Dari latihan ke pelaksanaan
18 November 2026 · Keselamatan
Keupayaan model perbatasan meningkat dengan pesat, dan keupayaan kami untuk memahami, menjajarkan serta melindunginya mesti kekal mendahului perkembangan itu. Kami mengawal rentak pembangunan dan keluaran model, termasuk menghentikan sementara latihan dalaman(dibuka dalam tetingkap baru) atau menangguhkan keluaran model seperti GPT‑6.1 Astra apabila kami memerlukan lebih masa untuk memenuhi piawaian keselamatan. Kami telah memperkenalkan proses baharu seperti hujah keselamatan dan mewajibkan bukti tingkah laku sejajar yang lebih kukuh sepanjang latihan. Keperluan ini memperlahankan rentak keluaran model, tetapi memberi kami keyakinan lebih tinggi untuk terus maju dengan selamat.
Sejak insiden Hugging Face pada bulan Julai, kami telah memperkukuh perlindungan dan keperluan penjajaran dalam cara kami melatih, menguji dan melaksanakan model. Siaran ini menerangkan cara kami menilai dan mengurus risiko pada setiap peringkat, daripada latihan dalam persekitaran yang sangat terasing hingga pelaksanaan Codex yang anda gunakan pada komputer. Kami menilai model dan perlindungan pada setiap peringkat, dengan mewajibkan semakan keselamatan sebelum beralih ke peringkat seterusnya.
Kami menggunakan pertahanan berlapis dengan pelbagai lapisan perlindungan untuk mengurangkan kebergantungan pada mana-mana satu langkah perlindungan. Jika satu lapisan gagal, lapisan lain membantu mencegah kemudaratan, mengehadkan kesan atau memberi amaran supaya kami dapat campur tangan.
Kami menyusun perlindungan kami dalam empat lapisan:
Pemantauan yang berkesan bergantung pada kebolehpantauan model — sejauh mana pemantau dapat mengesan kesilapan atau tingkah laku tidak selamat secara andal melalui penaakulan dan tindakan model. Contohnya, model yang menyatakan niat untuk menipu dalam rentetan fikirannya (CoT) lebih mudah dipantau berbanding model yang tidak menyertakan maklumat ini. Kami menilai kebolehpantauan semasa latihan dan sebelum pelaksanaan, membangunkan kaedah pengukuran(dibuka dalam tetingkap baru) yang lebih baik, serta mengkaji faktor yang mempengaruhinya(dibuka dalam tetingkap baru).
Insiden Hugging Face menunjukkan sebab kami tidak patut bergantung pada pengasingan sahaja untuk membendung model berkeupayaan tinggi. Kami kini memantau model perbatasan dalam kebanyakan persekitaran pelaksanaan dalaman dan luaran, termasuk semua pelaksanaan dalaman yang menggunakan alat.
Peranan setiap lapisan berubah mengikut tiga peringkat pembangunan dan pelaksanaan model:
Penyelidikan: Kami melatih, menguji dan menggunakan model dalam persekitaran terasing.
Pelaksanaan dalaman: Pekerja OpenAI menggunakan model untuk kerja sebenar.
Pelaksanaan luaran: Model tersedia kepada orang ramai dan organisasi secara lebih meluas.
Kami bergantung pada lapisan yang berbeza pada peringkat yang berbeza. Semasa latihan, apabila penjajaran masih kurang pasti, kami lebih bergantung pada pengasingan dan pemantauan. Apabila model mendapat akses yang lebih luas semasa pelaksanaan, penjajaran dan kawalan peringkat sistem menjadi semakin penting. Pada setiap peringkat, kami menilai sama ada gabungan perlindungan mencukupi untuk keupayaan dan akses model. Keputusan kami boleh disemak bersama Kumpulan Penasihat Keselamatan kami dan diawasi oleh Jawatankuasa Keselamatan dan Sekuriti di bawah Lembaga Pengarah OpenAI Foundation.
Semasa fasa penyelidikan, kami menilai model untuk meningkatkan keyakinan terhadap sifat penjajarannya. Oleh sebab kami belum dapat bergantung sepenuhnya pada penjajaran untuk mencegah kemudaratan, kami amat bergantung pada sekuriti dan pengasingan untuk mengehadkan akses serta tindakan model.
Berdasarkan keadaan semasa penyelidikan penjajaran, sistem pemantauan dan sekuriti infrastruktur internet, kami percaya pendekatan yang bertanggungjawab ialah menjalankan latihan model perbatasan tanpa akses internet langsung. Selepas insiden Hugging Face, kami menstruktur semula secara besar-besaran sistem penyelidikan dalaman kami untuk membendung model menggunakan:
persekitaran terasing yang mengehadkan keistimewaan model
mesin maya untuk mengasingkan lagi beban kerja daripada komputer hos
perimeter rangkaian dan awan yang memutuskan seluruh kluster daripada internet
Kami terus menguji sistem ini melalui serangan simulasi, dengan pasukan model terkuat kami cuba mengakses internet secara langsung, melepasi sempadan sekuriti atau berkomunikasi dengan ejen yang sepatutnya diasingkan daripadanya. Ini membantu kami menguji sama ada pembendungan mampu bertahan terhadap keupayaan model yang hendak dikekangnya.
Sebagai lapisan pertahanan tambahan, kami memantau semua inferens model perbatasan untuk mengesan sama ada model telah memintas syarat sekuriti yang mesti sentiasa dipatuhi. Jika pemantauan mengesan bahawa model telah mengakses internet, kami menghantar amaran kepada pasukan sekuriti dan menghentikan sementara beban kerja secara automatik.
Pemantauan menjadi perlindungan sokongan yang penting apabila pembendungan gagal. Dalam laporan ketidakjajaran baru-baru ini, kami berkongsi bahawa pemantau mengesan model penyelidikan dalaman yang mengeksploitasi salah konfigurasi DNS(dibuka dalam tetingkap baru) untuk mendapatkan akses internet terhad. Kami menghentikan sementara latihan dan penilaian model paling berkeupayaan dari 20 September hingga 1 Oktober sambil menyiasat dan menangani kelemahan sekuriti itu.
Untuk memastikan campur tangan pantas dan andal, kami membina Control Room, sistem pusat yang menjejaki beban kerja penyelidikan dan menghentikan output lanjut model dalam masa 35 saat selepas menerima arahan menghentikan tugas. Kawalan ini dikuatkuasakan terus dalam infrastruktur inferens, jadi kawalan tersebut tidak bergantung pada setiap beban kerja penyelidikan untuk melaksanakan mekanisme penutupan sendiri. Bagi beban kerja penyelidikan model perbatasan, kawalan ini turut menghentikan output model jika Control Room tidak tersedia.
Proses penyerang dan pemantauan saling melengkapi. Kami tidak dapat menjamin bahawa persekitaran terasing mustahil ditembusi, tetapi proses penyerang membantu kami menilai usaha yang diperlukan oleh model untuk melepasi sekatannya. Semakin banyak usaha yang diperlukan oleh model, semakin besar peluang pemantau untuk mengesan dan menghentikannya.
Kami mewajibkan kawalan sekuriti dan pemantauan yang kukuh pada peringkat penyelidikan atas beberapa sebab:
Model masih sedang dinilai. Sesetengahnya belum selesai menjalani latihan keselamatan, audit penjajaran dan semakan yang diperlukan untuk keluaran awam.
Persekitaran penyelidikan perbatasan boleh meningkatkan risiko. Tugas penyelidikan tertentu memerlukan konfigurasi yang lebih bercita-cita tinggi, menjadikan model lebih gigih atau berkeupayaan berbanding kebiasaannya dalam pelaksanaan luaran (contohnya, pasukan 10,000 ejen diperlukan untuk menyelesaikan masalah Navier Stokes).
Latihan dijalankan pada skala besar dengan kurang pengawasan langsung manusia. Tidak seperti sesi Codex biasa, beban kerja latihan kami melibatkan banyak tindakan model tanpa seseorang mengikuti setiap interaksi.
Sebelum keluaran meluas, pekerja beralih daripada penggunaan model perbatasan untuk penyelidikan dalam persekitaran terasing kepada penggunaan dalaman tanpa pengasingan, contohnya dengan menyediakan model dalam ChatGPT untuk pekerja. Ini membantu kami lebih memahami cara model bertingkah laku dalam keadaan sebenar(dibuka dalam tetingkap baru) dan memaklumkan keputusan pelaksanaan.
Dalam fasa ini, kami memberikan model akses internet yang lebih luas, serta akses kepada Slack, pangkalan kod dan infrastruktur dalaman kami. Ini membawa perubahan risiko yang ketara kerana tindakan model kini memberi kesan langsung kepada sistem yang kami gunakan untuk membangunkan dan mengendalikan OpenAI. Semasa pelaksanaan dalaman, kami perlu lebih bergantung pada penjajaran model, perlindungan sistem dan pemantauan berbanding kawalan sekuriti.
Sebelum model perbatasan boleh digunakan di luar persekitaran terasing, model itu mesti menjalani ujian penjajaran dan kebolehpantauan(dibuka dalam tetingkap baru) terlebih dahulu. Kami mempunyai rangkaian penilaian penjajaran yang menguji bentuk kegagalan penjajaran tertentu (seperti memintas sekatan keselamatan dan sekuriti) serta mengukur kecenderungan secara menyeluruh (seperti mengambil sampel semula trajektori Codex dalaman dan menyemak ketidakjajaran). Ketahui lebih lanjut tentang penilaian penjajaran dan kebolehpantauan kami dalam kad sistem GPT‑6 Astra(dibuka dalam tetingkap baru) terkini.
Dengan mencontohi konfigurasi produksi kami, kami menambah lapisan pertahanan melalui pengelas peringkat sistem yang direka untuk melindungi daripada bahaya perbatasan seperti penyalahgunaan siber dan pembangunan senjata biologi. Kami juga lazimnya mewajibkan Semakan Automatik(dibuka dalam tetingkap baru) bagi pekerja yang menggunakan Codex. Ciri ini menilai tindakan yang berpotensi berisiko dan merujukkannya kembali kepada pengguna.
Akhir sekali, kami memantau tingkah laku tidak sejajar pada setiap inferens model perbatasan semasa pelaksanaan dalaman. Memandangkan model kini mempunyai keistimewaan yang lebih luas serta akses kepada maklumat dan sistem dalaman, pengesanan risiko seperti penyeludupan keluar data, atau penghantaran data sensitif ke destinasi tanpa kebenaran, menjadi amat penting. Pemantauan juga membantu kami menyiasat bentuk ketidakjajaran baharu(dibuka dalam tetingkap baru).
Pelaksanaan awam mendedahkan model kepada jauh lebih ramai pengguna serta lebih banyak tugas dan persekitaran, sekali gus meningkatkan skala dan kepelbagaian risiko. Pada peringkat ini, kami juga perlu melindungi daripada pihak yang berpotensi berniat jahat dan sengaja mengarahkan model untuk melakukan kemudaratan.
Sebelum keluaran awam, model dan perlindungan sistem mesti memenuhi keperluan keselamatan pelaksanaan luaran kami. Kami menilainya melalui:
Pelaksanaan rangkaian penilaian penjajaran dan keselamatan yang lebih luas. Bagi model perbatasan kami, ini termasuk pusingan baharu ujian adaptif melalui proses penyerang automatik dalaman untuk menguji keteguhan model dalam keadaan ekstrem. Kami menerbitkan hasil penilaian keupayaan dan keselamatan dalam kad sistem(dibuka dalam tetingkap baru) kami.
Bagi model kami yang paling berkeupayaan, kami turut menjalankan ujian bersama pihak ketiga untuk menguji ketahanan perlindungan kami terhadap penyalahgunaan serta penjajaran asas model.
Pemeriksaan amaran pemantauan daripada peringkat pelaksanaan dalaman untuk menjejaki sebarang perubahan dalam penjajaran teras model asas.
Selain perlindungan “segerak” kami (seperti latihan keselamatan model dan pengelas sistem), kami turut menggunakan penguatkuasaan dan penyiasatan luar talian untuk pelaksanaan luaran. Pasukan ini menggabungkan ejen penyiasat berskala besar dengan semakan manusia untuk mengesan dan mengenal pasti pihak yang berpotensi menjadi ancaman. Ini merangkumi penyalahgunaan siber, pembangunan senjata biologi, penyulingan dan ketidakjajaran model itu sendiri. Penguatkuasaan luar talian amat membantu dalam mengumpulkan maklumat merentas akaun untuk membina gambaran yang lebih menyeluruh tentang potensi ancaman.
Program akses dipercayai, seperti Daybreak dan Rosalind, menawarkan lapisan sekuriti tambahan dan mempercepat kerja pihak pertahanan serta penyelidik yang sah, sambil mengehadkan akses bakal penyerang.
Apabila kami mengesan kegagalan pada salah satu lapisan keselamatan, sama ada kemudaratan benar-benar berlaku atau tidak, kami mahu segera menyiasat, menentukan keutamaan tindakan dan, jika boleh serta wajar, mendedahkan kegagalan itu kepada pihak luar. Di bawah dasar pelaporan ketidakjajaran kami, mana-mana pekerja boleh menandakan insiden untuk pendedahan awam. Laporan ini disiasat. Jika terdapat percanggahan pendapat tentang keperluan pendedahan kepada pihak luar, keputusan itu dirujuk kepada Kumpulan Penasihat Keselamatan kami. Selain bergantung pada laporan pekerja, kami secara proaktif mencari insiden ketidakjajaran supaya kami dapat menanganinya dan berkongsi dapatan.
Lihat laporan ketidakjajaran kami di sini(dibuka dalam tetingkap baru).
Usaha ini bergantung pada kemajuan penyelidikan dan disiplin operasi: mengkonfigurasi kawalan dengan betul, menguji interaksinya dan bertindak tegas apabila kawalan gagal. Salah konfigurasi perkhidmatan rangkaian atau kegagalan penghentian automatik boleh melemahkan perlindungan yang sebaliknya kukuh.
Apabila model memperoleh keupayaan baharu, kami perlu terus menguji andaian yang mendasari perlindungan kami dan menambah baik perlindungan itu apabila perlu. Pengajaran daripada penyelidikan, penggunaan dalaman dan pelaksanaan awam mesti memandu cara kami melatih, menilai dan melaksanakan model seterusnya.
Kami akan terus berkongsi dapatan melalui kad sistem, laporan insiden, laporan risiko(dibuka dalam tetingkap baru) pelaksanaan dalaman dan penilaian luaran supaya pihak lain dapat meneliti pendekatan kami, termasuk batasannya. Apabila bukti itu tidak memenuhi piawaian keselamatan kami, kami sekali lagi akan menghentikan sementara latihan atau menangguhkan keluaran sehingga keperluan tersebut dipenuhi.
Menetapkan piawaian keselamatan
Mengawal rentak pembangunan model dalam era keupayaan kritikal siber — Cara kami memperlahankan latihan perbatasan sambil memperkukuh pembendungan, meluaskan pemantauan dan mewajibkan bukti penjajaran yang lebih kukuh.
Ke arah hujah keselamatan untuk latihan AI perbatasan — Garis panduan awal bagi hujah keselamatan berasaskan bukti yang meliputi perlindungan teknikal, amalan operasi dan penyiasatan ketidakjajaran.
Keutamaan dan prinsip untuk penilaian pihak ketiga yang berkesan — Cadangan pendekatan kami untuk penelitian bebas terhadap hujah keselamatan, perlindungan, penilaian dan tingkah laku model.
Ringkasan Berkala Penilaian Risiko Bencana bagi Penggunaan Dalaman(dibuka dalam tetingkap baru) — Laporan awam kami bagi Jun–September 2026 menerangkan pelaksanaan dalaman model perbatasan, risiko yang dinilai serta perubahan pada perlindungan dan tadbir urus.
Mentakrif dan menilai tingkah laku sejajar
Spesifikasi Model dikemas kini untuk AI yang lebih berkeupayaan dan bermanfaat — Cara kami mengemas kini Spesifikasi Model berasaskan lima nilai teras untuk memandu pertimbangan, tingkah laku dan penghormatan model terhadap pengawasan manusia.
Jurang tingkah laku penilaian-produksi dalam keselamatan ejen dan peranan kesedaran penilaian(dibuka dalam tetingkap baru) — Kajian perbezaan antara hasil penilaian keselamatan dengan tingkah laku produksi, termasuk kesan tafsiran model terhadap objektif penilaian pada prestasi.
Melangkaui g-mean²: metrik pelengkap untuk kebolehpantauan(dibuka dalam tetingkap baru) — Metrik baharu untuk membandingkan kebolehpantauan dan menganggarkan risiko baki dalam sistem simulasi yang pemantaunya menolak output model.
Kad Sistem GPT‑6 Astra(dibuka dalam tetingkap baru) — Penilaian terperinci tentang keupayaan, keselamatan, penjajaran dan kebolehpantauan Astra, serta perlindungan dan batasan pelaksanaannya.
Membendung model dan menambah baik perlindungan
Melindungi persekitaran latihan model perbatasan kami — Cara kami memperkukuh pengasingan, membina persekitaran penyelidikan luar talian dan menggunakan model terkuat kami untuk menguji sempadan pembendungan.
Melatih pengelas pengaktifan untuk keselamatan dan penjajaran(dibuka dalam tetingkap baru) — Cara pengelas menggunakan pengaktifan dalaman model untuk mengesan tingkah laku yang berpotensi memudaratkan dan menghentikan respons atau panggilan alat.
Semakan automatik tindakan ejen tanpa pengawasan manusia segerak(dibuka dalam tetingkap baru) — Cara ejen penyemak berasingan menilai tindakan yang melintasi sempadan pengasingan, membolehkan ejen pengekodan bekerja secara autonomi sambil menyekat tindakan yang berpotensi memudaratkan atau tanpa kebenaran.
GPT‑Red: Membuka Potensi Penambahbaikan Kendiri untuk Keteguhan — Cara kami melatih ejen proses penyerang automatik melalui permainan kendiri untuk menemukan kelemahan dan meningkatkan keteguhan model terhadap suntikan prom.
Bilik Kawalan — Cara kami menjejaki beban kerja merentas infrastruktur penyelidikan dan menghentikan output model dengan pantas apabila isu keselamatan atau sekuriti memerlukan campur tangan.
Tindak balas dan pendedahan insiden
Cara kami mengesan ketidakjajaran model perbatasan — Sistem pemantauan kami menggabungkan prob pengaktifan, semakan berasaskan model, penyiasatan automatik dan tindak balas manusia untuk mengesan serta menyiasat tingkah laku yang membimbangkan.
Insiden Hugging Face dan langkah seterusnya — Dapatan kami daripada insiden Hugging Face serta perubahan yang dicetuskannya dalam sekuriti, pemantauan dan penjajaran.
Ejen menggunakan DNS untuk mengakses bot sembang luaran(dibuka dalam tetingkap baru) — Cara model penyelidikan memintas sekatan internet melalui penapisan DNS yang tidak mencukupi, cara pemantauan mengesannya dan kawalan yang ditambah selepas itu.
Menggagalkan kempen penyulingan model yang diselaraskan — Cara kami menyiasat dan menggagalkan cubaan mengekstrak penaakulan model yang dilindungi melalui penguatkuasaan akaun, kawalan teknikal dan penyelarasan dengan rakan kongsi.
Rangka kerja kami untuk melaporkan ketidakjajaran model — Proses kami untuk menjejaki, menyiasat dan mendedahkan tingkah laku model yang membimbangkan, termasuk kes yang punca atau kepentingannya masih tidak pasti.
Laporan dan Notis Ketidakjajaran(dibuka dalam tetingkap baru) — Koleksi insiden dan notis yang kami dedahkan, yang menunjukkan bagaimana ketidakjajaran timbul serta di mana perlindungan berjaya atau gagal.
Kemajuan penyelidikan dan aplikasi
Mempercepat penyelidikan: Perspektif dari dalam OpenAI — Bukti awal tentang cara ejen pengekodan mengubah penyelidikan di OpenAI, termasuk penggunaan yang meningkat, tugas yang semakin rumit dan kesannya terhadap eksperimen.
Tentang Masalah Hadiah Milenium Navier–Stokes — Bukti matematik yang dihasilkan oleh sistem AI dalaman, disertai pemformalan Lean, yang menunjukkan keupayaan pelaksanaan penyelidikan berskala besar.
Daybreak — Program keselamatan siber kami menyediakan keupayaan AI termaju, alat sekuriti dan sokongan kepada pihak pertahanan yang disaring untuk menemukan kelemahan dan memperkukuh pertahanan.
Memperkenalkan GPT‑Rosalind untuk penyelidikan sains hayat — Model khusus untuk biologi, penemuan ubat dan perubatan translasi, tersedia kepada organisasi yang layak melalui program akses dipercayai.






