Mengelola risiko AI terdepan: Dari pelatihan hingga penerapan
18 November 2026 · Keselamatan
Kemampuan model terdepan berkembang pesat, dan kemampuan kami untuk memahami, menyelaraskan, serta mengamankannya harus terus selangkah lebih maju. Kami mengatur laju pengembangan dan rilis model, termasuk menghentikan sementara pelatihan internal(terbuka di jendela baru) atau menunda rilis model seperti GPT‑6.1 Astra saat kami membutuhkan lebih banyak waktu untuk memenuhi standar keselamatan. Kami telah memperkenalkan proses baru seperti argumen keselamatan berbasis bukti dan mewajibkan bukti perilaku selaras yang lebih kuat sepanjang pelatihan. Persyaratan ini memperlambat laju rilis model, tetapi memberi kami keyakinan lebih besar untuk melangkah maju dengan aman.
Sejak insiden Hugging Face pada Juli, kami telah memperkuat pengamanan dan persyaratan keselarasan dalam pelatihan, pengujian, serta penerapan model. Artikel ini menjelaskan cara kami mengevaluasi dan mengelola risiko pada setiap tahap, dari lingkungan pelatihan yang sangat terisolasi dalam sandbox hingga penerapan Codex yang Anda gunakan di komputer. Kami mengevaluasi model dan pengamanannya pada setiap tahap, serta mewajibkan tinjauan keselamatan sebelum berlanjut ke tahap berikutnya.
Kami menerapkan pertahanan berlapis dengan beberapa lapisan perlindungan yang mengurangi ketergantungan pada satu pengamanan saja. Jika satu lapisan gagal, lapisan lain membantu mencegah bahaya, membatasi dampak, atau memberi peringatan agar kami dapat melakukan intervensi.
Kami membagi perlindungan menjadi empat lapisan:
Pemantauan yang efektif bergantung pada keterpantauan model—seberapa andal pemantau dapat mendeteksi kesalahan atau perilaku tidak aman dari penalaran dan tindakan model. Misalnya, model yang mengungkapkan niat untuk berbuat curang dalam rantai pemikiran (CoT) lebih mudah dipantau daripada model yang tidak mencantumkan informasi ini. Kami mengevaluasi keterpantauan selama pelatihan dan sebelum penerapan, mengembangkan metode pengukuran(terbuka di jendela baru) yang lebih baik, serta mempelajari faktor yang memengaruhinya(terbuka di jendela baru).
Insiden Hugging Face menunjukkan mengapa kita tidak boleh hanya mengandalkan sandbox untuk membatasi model yang sangat cakap. Kini kami memantau model terdepan di sebagian besar lingkungan penerapan internal dan eksternal, termasuk semua penerapan internal yang menggunakan alat.
Peran setiap lapisan berubah sepanjang tiga tahap pengembangan dan penerapan model:
Riset: Kami melatih, menguji, dan menggunakan model dalam lingkungan sandbox.
Penerapan internal: Karyawan OpenAI menggunakan model untuk pekerjaan nyata.
Penerapan eksternal: Model tersedia bagi masyarakat dan organisasi secara lebih luas.
Kami mengandalkan lapisan yang berbeda pada tiap tahap. Selama pelatihan, ketika keselarasan belum begitu pasti, kami lebih mengandalkan isolasi dalam sandbox dan pemantauan. Seiring meluasnya akses model selama penerapan, keselarasan dan kontrol tingkat sistem menjadi semakin penting. Pada setiap tahap, kami mengevaluasi apakah gabungan perlindungan sudah memadai untuk kemampuan dan akses model. Keputusan kami dapat ditinjau bersama Dewan Penasihat Keamanan dan diawasi oleh Komite Keamanan dan Keselamatan di bawah Dewan Direksi OpenAI Foundation.
Pada tahap riset, kami mengevaluasi model untuk membangun keyakinan terhadap karakteristik keselarasannya. Karena kami belum dapat sepenuhnya mengandalkan keselarasan untuk mencegah bahaya, kami sangat mengandalkan keamanan dan isolasi dalam sandbox untuk membatasi akses serta tindakan model.
Berdasarkan kondisi terkini riset keselarasan, sistem pemantauan, dan keamanan infrastruktur internet, kami meyakini bahwa pendekatan yang bertanggung jawab adalah melatih model terdepan tanpa akses internet langsung. Setelah insiden Hugging Face, kami merombak secara signifikan sistem riset internal untuk membatasi model menggunakan:
sandbox yang membatasi hak akses model
mesin virtual untuk semakin mengisolasi beban kerja dari komputer yang menjalankannya
batas jaringan dan cloud yang memutus seluruh klaster dari internet
Kami terus menguji sistem ini dengan meminta tim model terkuat kami mencoba mengakses internet langsung, menembus batas keamanan, atau berkomunikasi dengan agen yang seharusnya terisolasi dari mereka. Ini membantu kami menguji apakah pembatasan mampu bertahan menghadapi kemampuan model yang hendak dibatasinya.
Sebagai lapisan pertahanan tambahan, kami memantau semua inferensi model terdepan untuk mendeteksi apakah model telah menembus ketentuan keamanan yang harus selalu berlaku. Jika pemantauan mendeteksi bahwa model berhasil mengakses internet, kami mengirim peringatan kepada tim keamanan dan otomatis menjeda beban kerja.
Pemantauan menjadi pengaman cadangan yang sangat penting saat pembatasan gagal. Dalam laporan ketidakselarasan terbaru, kami mengungkapkan bahwa pemantau mendeteksi model riset internal yang mengeksploitasi kesalahan konfigurasi DNS(terbuka di jendela baru) untuk memperoleh akses internet terbatas. Kami menjeda pelatihan dan evaluasi model paling cakap dari 20 September hingga 1 Oktober sambil menyelidiki dan menutup celah keamanan tersebut.
Agar intervensi cepat dan andal, kami membangun Control Room, sistem pusat yang melacak beban kerja riset dan menghentikan keluaran model berikutnya dalam 35 detik setelah menerima instruksi penghentian tugas. Kontrol ini diterapkan langsung dalam infrastruktur inferensi, sehingga tidak bergantung pada mekanisme penghentian yang diterapkan oleh masing-masing beban kerja riset. Untuk beban kerja riset model terdepan, kontrol ini juga menghentikan keluaran model jika Control Room tidak tersedia.
Red teaming dan pemantauan saling melengkapi. Kami tidak dapat menjamin bahwa sandbox tidak bisa ditembus, tetapi red teaming membantu kami menilai seberapa besar upaya yang diperlukan model untuk keluar darinya. Semakin besar upaya yang diperlukan model, semakin besar pula peluang pemantau untuk mendeteksi dan menghentikannya.
Kami mewajibkan kontrol keamanan dan pemantauan yang kuat pada tahap riset karena beberapa alasan:
Model masih dalam tahap evaluasi. Sebagian belum menyelesaikan pelatihan keselamatan, audit keselarasan, dan peninjauan yang diwajibkan sebelum dirilis ke publik.
Lingkungan riset terdepan dapat memperbesar risiko. Tugas riset tertentu membutuhkan konfigurasi yang lebih ambisius, sehingga model menjadi lebih gigih atau lebih cakap daripada yang biasanya terlihat dalam penerapan eksternal (misalnya, diperlukan tim berisi 10.000 agen untuk memecahkan masalah Navier Stokes).
Pelatihan berlangsung dalam skala besar dengan pengawasan langsung manusia yang lebih terbatas. Berbeda dari sesi Codex biasa, beban kerja pelatihan kami melibatkan banyak tindakan model tanpa ada orang yang mengikuti setiap interaksi.
Sebelum rilis luas, karyawan beralih dari penggunaan model terdepan untuk riset dalam sandbox ke penggunaan internal tanpa sandbox, misalnya dengan menyediakan akses model melalui ChatGPT bagi karyawan. Ini membantu kami memahami perilaku model dalam situasi nyata(terbuka di jendela baru) dengan lebih baik, serta menjadi dasar keputusan penerapan.
Pada tahap ini, kami memberi model akses ke internet yang lebih luas, Slack, basis kode, dan infrastruktur internal kami. Ini mengubah risiko secara signifikan, karena tindakan model kini berdampak langsung pada sistem yang kami gunakan untuk membangun dan menjalankan OpenAI. Selama penerapan internal, kami perlu lebih mengandalkan keselarasan model, pengamanan sistem, dan pemantauan daripada kontrol keamanan.
Sebelum model terdepan dapat diterapkan di luar sandbox, model harus menjalani pengujian keselarasan dan keterpantauan(terbuka di jendela baru) terlebih dahulu. Kami memiliki serangkaian evaluasi keselarasan yang menguji pola kegagalan tertentu (seperti mengakali batasan keselamatan dan keamanan) serta mengukur kecenderungan secara luas (seperti mengambil ulang sampel alur tindakan Codex internal dan memeriksa ketidakselarasan). Informasi lebih lanjut tentang evaluasi keselarasan dan keterpantauan kami tersedia dalam kartu sistem GPT‑6 Astra(terbuka di jendela baru) terbaru.
Dengan meniru konfigurasi produksi kami, kami menambahkan lapisan pertahanan berupa pengklasifikasi tingkat sistem yang dirancang untuk mencegah bahaya dari kemampuan terdepan, seperti penyalahgunaan siber dan pembuatan senjata biologis. Kami juga umumnya mewajibkan Peninjauan Otomatis(terbuka di jendela baru) bagi karyawan yang menggunakan Codex. Fitur ini mengevaluasi tindakan yang berpotensi berisiko dan meneruskannya kembali kepada pengguna untuk ditindaklanjuti.
Terakhir, kami memantau perilaku yang tidak selaras pada setiap inferensi model terdepan selama penerapan internal. Karena model kini memiliki hak akses yang lebih luas ke informasi dan sistem internal, risiko seperti eksfiltrasi data, yaitu pengiriman data sensitif ke tujuan yang tidak berwenang, menjadi sangat penting untuk dideteksi. Pemantauan juga membantu kami menyelidiki bentuk-bentuk ketidakselarasan baru(terbuka di jendela baru).
Penerapan publik mempertemukan model dengan jauh lebih banyak pengguna, tugas, dan lingkungan, sehingga skala dan ragam risikonya meningkat. Pada tahap ini, kami juga perlu melindungi sistem dari pihak yang mungkin berniat jahat dan sengaja mengarahkan model untuk menimbulkan bahaya.
Sebelum rilis publik, model dan pengamanan sistem harus memenuhi persyaratan keselamatan penerapan eksternal kami. Kami menilainya melalui:
Menjalankan rangkaian evaluasi keselarasan dan keselamatan yang lebih luas. Untuk model terdepan kami, ini mencakup putaran baru pengujian adaptif dengan sistem red teaming otomatis internal untuk menguji ketangguhan model dalam kondisi ekstrem. Kami menerbitkan hasil evaluasi kemampuan dan keselamatan dalam kartu sistem(terbuka di jendela baru) kami.
Untuk model paling cakap, kami juga melakukan pengujian bersama pihak ketiga guna menguji ketahanan pengamanan terhadap penyalahgunaan serta keselarasan mendasar model kami.
Memeriksa peringatan pemantauan dari tahap penerapan internal untuk melacak perubahan pada keselarasan mendasar model dasar.
Selain pengamanan “sinkron” (seperti pelatihan keselamatan model dan pengklasifikasi sistem), untuk penerapan eksternal kami juga melakukan penegakan aturan dan penyelidikan di luar alur interaksi langsung. Tim-tim ini menggabungkan agen penyelidik berskala besar dengan peninjauan manusia untuk mendeteksi dan mengidentifikasi potensi pelaku ancaman terkait penyalahgunaan siber, pembuatan senjata biologis, distilasi, serta ketidakselarasan model itu sendiri. Penegakan aturan di luar alur interaksi langsung sangat membantu pengumpulan informasi lintas akun untuk memperoleh gambaran potensi ancaman yang lebih menyeluruh.
Program akses tepercaya, seperti Daybreak dan Rosalind, menambah lapisan keamanan dan mempercepat kerja pihak yang menjaga keamanan serta peneliti yang sah, sekaligus membatasi akses calon penyerang.
Saat menemukan kegagalan pada salah satu lapisan keselamatan, terlepas dari ada tidaknya dampak buruk, kami ingin segera menyelidiki, menentukan prioritas penanganan, dan jika memungkinkan serta tepat, mengungkapkan kegagalan itu kepada pihak luar. Berdasarkan kebijakan pelaporan ketidakselarasan kami, setiap karyawan dapat menandai insiden untuk diungkapkan kepada publik. Laporan ini diselidiki. Jika ada perbedaan pendapat tentang perlunya pengungkapan kepada pihak luar, keputusan diteruskan kepada Dewan Penasihat Keamanan kami. Selain mengandalkan laporan karyawan, kami secara proaktif mencari insiden ketidakselarasan agar dapat menanganinya dan membagikan temuan.
Laporan ketidakselarasan kami dapat dilihat di sini(terbuka di jendela baru).
Upaya ini bergantung pada kemajuan riset sekaligus kedisiplinan operasional: mengonfigurasi kontrol dengan benar, menguji interaksinya, dan bertindak tegas saat kontrol gagal. Kesalahan konfigurasi layanan jaringan atau kegagalan penghentian otomatis dapat melemahkan perlindungan yang sebenarnya kuat.
Seiring bertambahnya kemampuan model, kami harus terus menguji asumsi di balik pengamanan kami dan memperbaikinya bila perlu. Pelajaran dari riset, penggunaan internal, dan penerapan publik harus menjadi dasar pelatihan, evaluasi, serta penerapan model berikutnya.
Kami akan terus membagikan temuan melalui kartu sistem, laporan insiden, laporan risiko(terbuka di jendela baru) penerapan internal, dan evaluasi eksternal agar pihak lain dapat mengkaji pendekatan kami, termasuk keterbatasannya. Jika bukti tersebut belum memenuhi standar keselamatan kami, kami akan kembali menjeda pelatihan atau menunda rilis hingga persyaratan terpenuhi.
Menetapkan standar keselamatan
Mengatur laju pengembangan model di era kemampuan kritis bagi keamanan siber — Cara kami memperlambat pelatihan model terdepan sambil memperkuat pembatasan, memperluas pemantauan, dan mewajibkan bukti keselarasan yang lebih kuat.
Menuju argumen keselamatan berbasis bukti untuk pelatihan AI terdepan — Panduan awal penyusunan argumen keselamatan berbasis bukti yang mencakup pengamanan teknis, praktik operasional, dan penyelidikan ketidakselarasan.
Prioritas dan prinsip penilaian pihak ketiga yang efektif — Usulan pendekatan kami untuk kajian independen atas argumen keselamatan, pengamanan, evaluasi, dan perilaku model.
Ringkasan Berkala Penilaian Risiko Katastrofik Penggunaan Internal(terbuka di jendela baru) — Laporan publik kami untuk Juni–September 2026 menjelaskan penerapan internal model terdepan, penilaian risikonya, serta perubahan pengamanan dan tata kelola.
Mendefinisikan dan mengevaluasi perilaku selaras
Pembaruan Spesifikasi Model untuk AI yang lebih cakap dan bermanfaat — Cara kami memperbarui Spesifikasi Model berdasarkan lima nilai inti untuk memandu pertimbangan, perilaku, dan penghormatan model terhadap pengawasan manusia.
Kesenjangan perilaku evaluasi-produksi dalam keselamatan agen dan peran kesadaran evaluasi(terbuka di jendela baru) — Studi perbedaan hasil evaluasi keselamatan dan perilaku produksi, termasuk pengaruh penafsiran model atas tujuan evaluasi terhadap kinerja.
Melampaui g-mean²: metrik pelengkap untuk keterpantauan(terbuka di jendela baru) — Metrik baru untuk membandingkan keterpantauan dan memperkirakan risiko tersisa dalam simulasi sistem yang pemantaunya menolak keluaran model.
Kartu Sistem GPT‑6 Astra(terbuka di jendela baru) — Evaluasi terperinci kemampuan, keselamatan, keselarasan, dan keterpantauan Astra, beserta pengamanan penerapan dan keterbatasannya.
Membatasi model dan meningkatkan pengamanan
Mengamankan lingkungan pelatihan model terdepan kami — Cara kami memperkuat isolasi, membangun lingkungan riset luring, dan menggunakan model terkuat untuk menguji batas pembatasan.
Melatih pengklasifikasi aktivasi untuk keselamatan dan keselarasan(terbuka di jendela baru) — Cara pengklasifikasi menggunakan aktivasi internal model untuk mendeteksi perilaku yang berpotensi membahayakan dan menghentikan respons atau pemanggilan alat.
Peninjauan otomatis tindakan agen tanpa pengawasan manusia secara sinkron(terbuka di jendela baru) — Cara agen peninjau terpisah menilai tindakan yang melintasi batas sandbox, membantu agen pemrograman bekerja mandiri sekaligus memblokir tindakan yang berpotensi berbahaya atau tidak berizin.
GPT‑Red: Membuka Potensi Perbaikan Mandiri untuk Meningkatkan Ketangguhan — Cara kami melatih agen red teaming otomatis melalui permainan melawan diri sendiri untuk menemukan kerentanan dan meningkatkan ketangguhan model terhadap injeksi prompt.
Control Room — Cara kami melacak beban kerja di seluruh infrastruktur riset dan menghentikan keluaran model dengan cepat saat masalah keselamatan atau keamanan memerlukan intervensi.
Respons dan pengungkapan insiden
Cara kami mendeteksi ketidakselarasan model terdepan — Sistem pemantauan kami memadukan pemeriksa aktivasi, tinjauan berbasis model, penyelidikan otomatis, dan respons manusia untuk mendeteksi serta menyelidiki perilaku yang mengkhawatirkan.
Insiden Hugging Face dan langkah ke depan — Temuan kami dari insiden Hugging Face dan perubahan yang dipicunya dalam keamanan, pemantauan, serta keselarasan.
Agen menggunakan DNS untuk mengakses chatbot eksternal(terbuka di jendela baru) — Cara model riset melewati pembatasan internet melalui penyaringan DNS yang tidak memadai, cara pemantauan mendeteksinya, dan kontrol yang ditambahkan setelahnya.
Menggagalkan kampanye distilasi model yang terkoordinasi — Cara kami menyelidiki dan menggagalkan upaya mengambil penalaran model yang dilindungi melalui penindakan akun, kontrol teknis, dan koordinasi mitra.
Kerangka kerja kami untuk pelaporan ketidakselarasan model — Proses kami untuk melacak, menyelidiki, dan mengungkap perilaku model yang mengkhawatirkan, termasuk kasus yang penyebab atau signifikansinya belum pasti.
Laporan dan Pemberitahuan Ketidakselarasan(terbuka di jendela baru) — Kumpulan insiden dan pemberitahuan yang kami ungkapkan, yang menunjukkan bagaimana ketidakselarasan muncul serta kapan pengamanan berhasil atau gagal.
Kemajuan riset dan penerapannya
Percepatan riset: Pandangan dari dalam OpenAI — Bukti awal perubahan riset di OpenAI berkat agen pemrograman, termasuk peningkatan penggunaan, tugas yang makin kompleks, dan dampaknya pada eksperimen.
Tentang Masalah Hadiah Milenium Navier–Stokes — Bukti matematis hasil sistem AI internal, disertai formalisasi Lean, yang menunjukkan kemampuan penerapan riset berskala besar.
Daybreak — Program keamanan siber kami membekali pihak penjaga keamanan yang telah diverifikasi dengan kemampuan AI canggih, alat keamanan, dan dukungan untuk menemukan kerentanan serta memperkuat pertahanan.
Memperkenalkan GPT‑Rosalind untuk riset ilmu hayati — Model khusus untuk biologi, penemuan obat, dan kedokteran translasional, tersedia bagi organisasi yang memenuhi syarat melalui program akses tepercaya.






