OpenAI

Mengelola risiko AI terdepan: Dari pelatihan hingga penerapan

18 November 2026 · Keselamatan

Kemampuan model terdepan berkembang pesat, dan kemampuan kami untuk memahami, menyelaraskan, serta mengamankannya harus terus selangkah lebih maju. Kami mengatur laju pengembangan dan rilis model, termasuk menghentikan sementara pelatihan internal⁠(terbuka di jendela baru) atau menunda rilis model seperti GPT‑6.1 Astra saat kami membutuhkan lebih banyak waktu untuk memenuhi standar keselamatan. Kami telah memperkenalkan proses baru seperti argumen keselamatan berbasis bukti dan mewajibkan bukti perilaku selaras yang lebih kuat sepanjang pelatihan. Persyaratan ini memperlambat laju rilis model, tetapi memberi kami keyakinan lebih besar untuk melangkah maju dengan aman.

Sejak insiden Hugging Face⁠ pada Juli, kami telah memperkuat pengamanan dan persyaratan keselarasan dalam pelatihan, pengujian, serta penerapan model. Artikel ini menjelaskan cara kami mengevaluasi dan mengelola risiko pada setiap tahap, dari lingkungan pelatihan yang sangat terisolasi dalam sandbox hingga penerapan Codex yang Anda gunakan di komputer. Kami mengevaluasi model dan pengamanannya pada setiap tahap, serta mewajibkan tinjauan keselamatan sebelum berlanjut ke tahap berikutnya.

Pertahanan berlapis sepanjang siklus hidup model

Kami menerapkan pertahanan berlapis dengan beberapa lapisan perlindungan yang mengurangi ketergantungan pada satu pengamanan saja. Jika satu lapisan gagal, lapisan lain membantu mencegah bahaya, membatasi dampak, atau memberi peringatan agar kami dapat melakukan intervensi.

Kami membagi perlindungan menjadi empat lapisan:

Pemantauan yang efektif bergantung pada keterpantauan model—seberapa andal pemantau dapat mendeteksi kesalahan atau perilaku tidak aman dari penalaran dan tindakan model. Misalnya, model yang mengungkapkan niat untuk berbuat curang dalam rantai pemikiran (CoT) lebih mudah dipantau daripada model yang tidak mencantumkan informasi ini. Kami mengevaluasi keterpantauan selama pelatihan dan sebelum penerapan, mengembangkan metode pengukuran⁠(terbuka di jendela baru) yang lebih baik, serta mempelajari faktor yang memengaruhinya⁠(terbuka di jendela baru).

Insiden Hugging Face menunjukkan mengapa kita tidak boleh hanya mengandalkan sandbox untuk membatasi model yang sangat cakap. Kini kami memantau model terdepan di sebagian besar lingkungan penerapan internal dan eksternal, termasuk semua penerapan internal yang menggunakan alat.

Peran setiap lapisan berubah sepanjang tiga tahap pengembangan dan penerapan model:

  • Riset: Kami melatih, menguji, dan menggunakan model dalam lingkungan sandbox.

  • Penerapan internal: Karyawan OpenAI menggunakan model untuk pekerjaan nyata.

  • Penerapan eksternal: Model tersedia bagi masyarakat dan organisasi secara lebih luas.

Kami mengandalkan lapisan yang berbeda pada tiap tahap. Selama pelatihan, ketika keselarasan belum begitu pasti, kami lebih mengandalkan isolasi dalam sandbox dan pemantauan. Seiring meluasnya akses model selama penerapan, keselarasan dan kontrol tingkat sistem menjadi semakin penting. Pada setiap tahap, kami mengevaluasi apakah gabungan perlindungan sudah memadai untuk kemampuan dan akses model. Keputusan kami dapat ditinjau bersama Dewan Penasihat Keamanan dan diawasi oleh Komite Keamanan dan Keselamatan di bawah Dewan Direksi OpenAI Foundation.

Selama riset: membatasi model dalam lingkungan sandbox

Pada tahap riset, kami mengevaluasi model untuk membangun keyakinan terhadap karakteristik keselarasannya. Karena kami belum dapat sepenuhnya mengandalkan keselarasan untuk mencegah bahaya, kami sangat mengandalkan keamanan dan isolasi dalam sandbox untuk membatasi akses serta tindakan model.

Berdasarkan kondisi terkini riset keselarasan, sistem pemantauan, dan keamanan infrastruktur internet, kami meyakini bahwa pendekatan yang bertanggung jawab adalah melatih model terdepan tanpa akses internet langsung. Setelah insiden Hugging Face, kami merombak secara signifikan sistem riset internal untuk membatasi model menggunakan:

  • sandbox yang membatasi hak akses model

  • mesin virtual untuk semakin mengisolasi beban kerja dari komputer yang menjalankannya

  • batas jaringan dan cloud yang memutus seluruh klaster dari internet

Kami terus menguji sistem ini dengan meminta tim model terkuat kami mencoba mengakses internet langsung, menembus batas keamanan, atau berkomunikasi dengan agen yang seharusnya terisolasi dari mereka. Ini membantu kami menguji apakah pembatasan mampu bertahan menghadapi kemampuan model yang hendak dibatasinya.

Sebagai lapisan pertahanan tambahan, kami memantau semua inferensi model terdepan untuk mendeteksi apakah model telah menembus ketentuan keamanan yang harus selalu berlaku. Jika pemantauan mendeteksi bahwa model berhasil mengakses internet, kami mengirim peringatan kepada tim keamanan dan otomatis menjeda beban kerja.

Pemantauan menjadi pengaman cadangan yang sangat penting saat pembatasan gagal. Dalam laporan ketidakselarasan terbaru, kami mengungkapkan bahwa pemantau mendeteksi model riset internal yang mengeksploitasi kesalahan konfigurasi DNS⁠(terbuka di jendela baru) untuk memperoleh akses internet terbatas. Kami menjeda pelatihan dan evaluasi model paling cakap dari 20 September hingga 1 Oktober sambil menyelidiki dan menutup celah keamanan tersebut.

Agar intervensi cepat dan andal, kami membangun Control Room⁠, sistem pusat yang melacak beban kerja riset dan menghentikan keluaran model berikutnya dalam 35 detik setelah menerima instruksi penghentian tugas. Kontrol ini diterapkan langsung dalam infrastruktur inferensi, sehingga tidak bergantung pada mekanisme penghentian yang diterapkan oleh masing-masing beban kerja riset. Untuk beban kerja riset model terdepan, kontrol ini juga menghentikan keluaran model jika Control Room tidak tersedia.

Red teaming dan pemantauan saling melengkapi. Kami tidak dapat menjamin bahwa sandbox tidak bisa ditembus, tetapi red teaming membantu kami menilai seberapa besar upaya yang diperlukan model untuk keluar darinya. Semakin besar upaya yang diperlukan model, semakin besar pula peluang pemantau untuk mendeteksi dan menghentikannya.

Kami mewajibkan kontrol keamanan dan pemantauan yang kuat pada tahap riset karena beberapa alasan:

  • Model masih dalam tahap evaluasi. Sebagian belum menyelesaikan pelatihan keselamatan, audit keselarasan, dan peninjauan yang diwajibkan sebelum dirilis ke publik.

  • Lingkungan riset terdepan dapat memperbesar risiko. Tugas riset tertentu membutuhkan konfigurasi yang lebih ambisius, sehingga model menjadi lebih gigih atau lebih cakap daripada yang biasanya terlihat dalam penerapan eksternal (misalnya, diperlukan tim berisi 10.000 agen untuk memecahkan masalah Navier Stokes).

  • Pelatihan berlangsung dalam skala besar dengan pengawasan langsung manusia yang lebih terbatas. Berbeda dari sesi Codex biasa, beban kerja pelatihan kami melibatkan banyak tindakan model tanpa ada orang yang mengikuti setiap interaksi.

Penerapan internal: menguji keselarasan, memantau perilaku secara ketat

Sebelum rilis luas, karyawan beralih dari penggunaan model terdepan untuk riset dalam sandbox ke penggunaan internal tanpa sandbox, misalnya dengan menyediakan akses model melalui ChatGPT bagi karyawan. Ini membantu kami memahami perilaku model dalam situasi nyata⁠(terbuka di jendela baru) dengan lebih baik, serta menjadi dasar keputusan penerapan.

Pada tahap ini, kami memberi model akses ke internet yang lebih luas, Slack, basis kode, dan infrastruktur internal kami. Ini mengubah risiko secara signifikan, karena tindakan model kini berdampak langsung pada sistem yang kami gunakan untuk membangun dan menjalankan OpenAI. Selama penerapan internal, kami perlu lebih mengandalkan keselarasan model, pengamanan sistem, dan pemantauan daripada kontrol keamanan.

Sebelum model terdepan dapat diterapkan di luar sandbox, model harus menjalani pengujian keselarasan dan keterpantauan⁠(terbuka di jendela baru) terlebih dahulu. Kami memiliki serangkaian evaluasi keselarasan yang menguji pola kegagalan tertentu (seperti mengakali batasan keselamatan dan keamanan) serta mengukur kecenderungan secara luas (seperti mengambil ulang sampel alur tindakan Codex internal dan memeriksa ketidakselarasan). Informasi lebih lanjut tentang evaluasi keselarasan dan keterpantauan kami tersedia dalam kartu sistem GPT‑6 Astra⁠(terbuka di jendela baru) terbaru.

Dengan meniru konfigurasi produksi kami, kami menambahkan lapisan pertahanan berupa pengklasifikasi tingkat sistem yang dirancang untuk mencegah bahaya dari kemampuan terdepan, seperti penyalahgunaan siber dan pembuatan senjata biologis. Kami juga umumnya mewajibkan Peninjauan Otomatis⁠(terbuka di jendela baru) bagi karyawan yang menggunakan Codex. Fitur ini mengevaluasi tindakan yang berpotensi berisiko dan meneruskannya kembali kepada pengguna untuk ditindaklanjuti.

Terakhir, kami memantau perilaku yang tidak selaras pada setiap inferensi model terdepan selama penerapan internal. Karena model kini memiliki hak akses yang lebih luas ke informasi dan sistem internal, risiko seperti eksfiltrasi data, yaitu pengiriman data sensitif ke tujuan yang tidak berwenang, menjadi sangat penting untuk dideteksi. Pemantauan juga membantu kami menyelidiki bentuk-bentuk ketidakselarasan baru⁠(terbuka di jendela baru).

Penerapan eksternal: mencegah penyalahgunaan dan ketidakselarasan dalam skala besar

Penerapan publik mempertemukan model dengan jauh lebih banyak pengguna, tugas, dan lingkungan, sehingga skala dan ragam risikonya meningkat. Pada tahap ini, kami juga perlu melindungi sistem dari pihak yang mungkin berniat jahat dan sengaja mengarahkan model untuk menimbulkan bahaya.

Sebelum rilis publik, model dan pengamanan sistem harus memenuhi persyaratan keselamatan penerapan eksternal kami. Kami menilainya melalui:

  • Menjalankan rangkaian evaluasi keselarasan dan keselamatan yang lebih luas. Untuk model terdepan kami, ini mencakup putaran baru pengujian adaptif⁠ dengan sistem red teaming otomatis internal untuk menguji ketangguhan model dalam kondisi ekstrem. Kami menerbitkan hasil evaluasi kemampuan dan keselamatan dalam kartu sistem⁠(terbuka di jendela baru) kami.

  • Untuk model paling cakap, kami juga melakukan pengujian bersama pihak ketiga guna menguji ketahanan pengamanan terhadap penyalahgunaan serta keselarasan mendasar model kami.

  • Memeriksa peringatan pemantauan dari tahap penerapan internal untuk melacak perubahan pada keselarasan mendasar model dasar.

Selain pengamanan “sinkron” (seperti pelatihan keselamatan model dan pengklasifikasi sistem), untuk penerapan eksternal kami juga melakukan penegakan aturan dan penyelidikan di luar alur interaksi langsung. Tim-tim ini menggabungkan agen penyelidik berskala besar dengan peninjauan manusia untuk mendeteksi dan mengidentifikasi potensi pelaku ancaman terkait penyalahgunaan siber, pembuatan senjata biologis, distilasi⁠, serta ketidakselarasan model itu sendiri. Penegakan aturan di luar alur interaksi langsung sangat membantu pengumpulan informasi lintas akun untuk memperoleh gambaran potensi ancaman yang lebih menyeluruh.

Program akses tepercaya, seperti Daybreak dan Rosalind⁠, menambah lapisan keamanan dan mempercepat kerja pihak yang menjaga keamanan serta peneliti yang sah, sekaligus membatasi akses calon penyerang.

Respons dan Pengungkapan Insiden

Saat menemukan kegagalan pada salah satu lapisan keselamatan, terlepas dari ada tidaknya dampak buruk, kami ingin segera menyelidiki, menentukan prioritas penanganan, dan jika memungkinkan serta tepat, mengungkapkan kegagalan itu kepada pihak luar. Berdasarkan kebijakan pelaporan ketidakselarasan⁠ kami, setiap karyawan dapat menandai insiden untuk diungkapkan kepada publik. Laporan ini diselidiki. Jika ada perbedaan pendapat tentang perlunya pengungkapan kepada pihak luar, keputusan diteruskan kepada Dewan Penasihat Keamanan kami. Selain mengandalkan laporan karyawan, kami secara proaktif mencari insiden ketidakselarasan agar dapat menanganinya dan membagikan temuan.

Laporan ketidakselarasan kami dapat dilihat di sini⁠(terbuka di jendela baru).

​


​

Upaya ini bergantung pada kemajuan riset sekaligus kedisiplinan operasional: mengonfigurasi kontrol dengan benar, menguji interaksinya, dan bertindak tegas saat kontrol gagal. Kesalahan konfigurasi layanan jaringan atau kegagalan penghentian otomatis dapat melemahkan perlindungan yang sebenarnya kuat.

Seiring bertambahnya kemampuan model, kami harus terus menguji asumsi di balik pengamanan kami dan memperbaikinya bila perlu. Pelajaran dari riset, penggunaan internal, dan penerapan publik harus menjadi dasar pelatihan, evaluasi, serta penerapan model berikutnya.

Kami akan terus membagikan temuan melalui kartu sistem, laporan insiden, laporan risiko⁠(terbuka di jendela baru) penerapan internal, dan evaluasi eksternal⁠ agar pihak lain dapat mengkaji pendekatan kami, termasuk keterbatasannya. Jika bukti tersebut belum memenuhi standar keselamatan kami, kami akan kembali menjeda pelatihan atau menunda rilis hingga persyaratan terpenuhi.

Riset dan sumber daya terkait

Menetapkan standar keselamatan

Mendefinisikan dan mengevaluasi perilaku selaras

Membatasi model dan meningkatkan pengamanan

Respons dan pengungkapan insiden

Kemajuan riset dan penerapannya

  • Percepatan riset: Pandangan dari dalam OpenAI — Bukti awal perubahan riset di OpenAI berkat agen pemrograman, termasuk peningkatan penggunaan, tugas yang makin kompleks, dan dampaknya pada eksperimen.

  • Tentang Masalah Hadiah Milenium Navier–Stokes — Bukti matematis hasil sistem AI internal, disertai formalisasi Lean, yang menunjukkan kemampuan penerapan riset berskala besar.

  • Daybreak — Program keamanan siber kami membekali pihak penjaga keamanan yang telah diverifikasi dengan kemampuan AI canggih, alat keamanan, dan dukungan untuk menemukan kerentanan serta memperkuat pertahanan.

  • Memperkenalkan GPT‑Rosalind untuk riset ilmu hayati⁠ — Model khusus untuk biologi, penemuan obat, dan kedokteran translasional, tersedia bagi organisasi yang memenuhi syarat melalui program akses tepercaya.