Ngatur risiko AI tercanggih: Saka latihan nganti penerapan
18 November 2026 · Keslametan
Kemampuan model tercanggih mundhak kanthi cepet, lan kemampuan kita kanggo mangerteni, nyelarasake, lan njaga keamanane kudu tansah luwih maju. Kita ngatur laju pangembangan lan rilis model, kalebu ngasoake latihan internal(mbukak ing jendhela anyar) utawa nundha rilis model kaya GPT‑6.1 Astra nalika kita butuh wektu luwih akeh kanggo nyukupi standar keslametan. Kita wis ngenalake proses anyar kayata argumentasi keslametan adhedhasar bukti lan mewajibake bukti prilaku selaras sing luwih kuwat sajrone latihan. Syarat iki nyuda laju rilis model, nanging ndadekake kita luwih yakin bisa maju kanthi aman.
Wiwit insiden Hugging Face ing Juli, kita wis nguwatake pangayoman lan syarat kaselarasan kanggo latihan, pangujian, lan penerapan model. Tulisan iki njlentrehake carane kita ngevaluasi lan ngatur risiko ing saben tahap, saka lingkungan latihan sing diisolasi kanthi ketat ing sandbox nganti penerapan Codex sing sampeyan gunakake ing komputer. Kita ngevaluasi model lan pangayoman ing saben tahap, lan mewajibake tinjauan keslametan sadurunge maju menyang tahap sabanjure.
Kita nggunakake pertahanan berlapis kanthi pirang-pirang lapisan pangayoman supaya ora gumantung marang siji pangayoman wae. Yen siji lapisan gagal, lapisan liyane mbantu nyegah bebaya, matesi akibate, utawa menehi peringatan supaya kita bisa tumindak.
Kita nata pangayoman dadi patang lapisan:
Pemantauan sing efektif gumantung marang kemampuan model kanggo dipantau — sepira andale sistem pemantau ndeteksi kesalahan utawa prilaku ora aman saka nalar lan tumindak model. Contone, model sing ngandharake niate kanggo curang ing ranté pikiran (CoT) luwih gampang dipantau tinimbang model sing ora nyebutake informasi iki. Kita ngevaluasi kemampuan dipantau sajrone latihan lan sadurunge penerapan, ngembangake cara pangukuran(mbukak ing jendhela anyar) sing luwih apik, lan nyinaoni bab sing mengaruhi kemampuan kasebut(mbukak ing jendhela anyar).
Insiden Hugging Face nuduhake sebabe kita ora kena mung ngandelake sandbox kanggo mbatesi model sing mumpuni banget. Saiki kita ngawasi model tercanggih ing umume lingkungan penerapan internal lan eksternal, kalebu kabeh penerapan internal sing nggunakake piranti.
Peran saben lapisan owah ing telung tahap pangembangan lan penerapan model:
Riset: Kita nglatih, nguji, lan nggunakake model ing lingkungan sandbox.
Penerapan internal: Karyawan OpenAI nggunakake model kanggo pakaryan nyata.
Penerapan eksternal: Model kasedhiya kanggo luwih akeh wong lan organisasi.
Lapisan sing kita andelake beda-beda ing saben tahap. Sajrone latihan, nalika kaselarasan durung mesthi, kita luwih ngandelake isolasi ing sandbox lan pemantauan. Nalika model oleh akses luwih amba sajrone penerapan, kaselarasan lan kontrol ing tingkat sistem dadi saya wigati. Ing saben tahap, kita ngevaluasi apa gabungan pangayoman wis nyukupi kanggo kemampuan lan akses model. Keputusan kita bisa ditinjau bebarengan karo Kelompok Penasihat Keamanan lan diawasi dening Komite Keamanan lan Keslametan saka Dewan Direksi OpenAI Foundation.
Ing tahap riset, kita ngevaluasi model supaya luwih yakin marang sipat kaselarasane. Amarga durung bisa ngandelake kaselarasan kanthi kebak kanggo nyegah bebaya, kita akeh ngandelake keamanan lan sandbox kanggo matesi apa sing bisa diakses lan ditindakake model.
Adhedhasar kahanan riset kaselarasan, sistem pemantauan, lan keamanan infrastruktur internet saiki, kita yakin pendekatan sing tanggung jawab yaiku nglatih model tercanggih tanpa akses internet langsung. Sawise insiden Hugging Face, kita ngrombak kanthi gedhe sistem riset internal kanggo mbatesi model kanthi:
sandbox sing matesi wewenang model
mesin virtual kanggo luwih ngisolasi beban kerja saka komputer sing dadi dhasare
wates jaringan lan cloud sing medhot kabeh kluster saka internet
Kita terus nguji sistem iki nganggo serangan simulasi, kanthi mrentah tim model paling kuwat kanggo nyoba ngakses internet langsung, nembus wates keamanan, utawa komunikasi karo agen sing kudune diisolasi saka model kasebut. Iki mbantu kita nguji apa isolasi tetep kukuh nalika ngadhepi kemampuan model sing kudu diwatesi.
Minangka lapisan pertahanan tambahan, kita ngawasi kabeh inferensi model tercanggih kanggo ndeteksi apa model wis ngliwati ketentuan keamanan sing kudu tansah dituruti. Yen pemantauan ndeteksi model wis ngakses internet, kita ngirim tandha darurat menyang tim keamanan lan ngasoake beban kerja kanthi otomatis.
Pemantauan dadi pangayoman cadangan sing wigati nalika isolasi gagal. Ing laporan panyimpangan saka kaselarasan bubar iki, kita nyritakake manawa sistem pemantau ndeteksi model riset internal sing ngeksploitasi konfigurasi DNS sing kliru(mbukak ing jendhela anyar) kanggo oleh akses internet winates. Kita ngasoake latihan lan evaluasi model paling mumpuni saka 20 September nganti 1 Oktober nalika nyelidiki lan nutup celah keamanan kasebut.
Supaya intervensi cepet lan andal, kita mbangun Control Room, sistem pusat sing nglacak beban kerja riset lan nyetop output model sabanjure sajrone 35 detik sawise nampa prentah kanggo mungkasi tugas. Kontrol iki ditrapake langsung ing infrastruktur inferensi, mula ora gumantung marang saben beban kerja riset kanggo ngetrapake mekanisme mandheg dhewe. Kanggo beban kerja riset model tercanggih, kontrol iki uga nyetop output model yen Control Room ora bisa diakses.
Red teaming lan pemantauan padha nyengkuyung. Kita ora bisa njamin sandbox ora bisa ditembus, nanging red teaming mbantu mbiji sepira gedhene upaya sing dibutuhake model kanggo uwal. Saya gedhe upaya sing dibutuhake model, saya akeh kesempatan sistem pemantau kanggo ndeteksi lan nyetop.
Kita mewajibake kontrol keamanan lan pemantauan sing kuwat ing tahap riset amarga sawetara alesan:
Model isih dievaluasi. Sawetara durung ngrampungake latihan keslametan, audit kaselarasan, lan paninjauan sing diwajibake sadurunge dirilis kanggo umum.
Konfigurasi riset tercanggih bisa nambah risiko. Tugas riset tartamtu mbutuhake konfigurasi sing luwih ambisius, saengga model luwih gigih utawa luwih mumpuni tinimbang lumrahe nalika penerapan eksternal (contone, tim sing dumadi saka 10.000 agen dibutuhake kanggo ngrampungake masalah Navier Stokes).
Latihan ditindakake ing skala gedhe kanthi pengawasan langsung saka manungsa sing luwih sithik. Beda karo sesi Codex lumrahe, beban kerja latihan kita nyakup akeh tumindak model tanpa ana wong sing ngawasi saben interaksi.
Sadurunge rilis umum, karyawan ngalih saka nggunakake model tercanggih kanggo riset ing sandbox menyang panggunaan internal tanpa sandbox, contone kanthi menehi karyawan akses menyang model ing ChatGPT. Iki mbantu kita luwih mangerteni prilaku model ing kahanan nyata(mbukak ing jendhela anyar), lan dadi dhasar kanggo keputusan penerapan.
Ing tahap iki, kita menehi model akses menyang internet sing luwih amba, Slack, basis kode, lan infrastruktur internal kita. Iki ngowahi risiko kanthi signifikan, amarga tumindak model saiki nduweni dampak langsung marang sistem sing kita gunakake kanggo mbangun lan ngoperasikake OpenAI. Sajrone penerapan internal, kita kudu luwih ngandelake kaselarasan model, pangayoman sistem, lan pemantauan tinimbang kontrol keamanan.
Sadurunge model tercanggih bisa diterapake ing njaba sandbox, model kudu ngliwati uji kaselarasan lan uji sepira gampange dipantau(mbukak ing jendhela anyar). Kita duwe rerangken evaluasi kaselarasan kanggo nguji pola kegagalan kaselarasan tartamtu (kayata ngakali watesan keslametan lan keamanan), uga pangukuran umum babagan kecenderungan (kayata njupuk sampel maneh saka alur tumindak Codex internal lan mriksa anane panyimpangan saka kaselarasan). Sampeyan bisa maca luwih akeh babagan evaluasi kaselarasan lan kemampuan dipantau ing kertu sistem GPT‑6 Astra(mbukak ing jendhela anyar) paling anyar.
Kaya ing konfigurasi produksi, kita nambah lapisan pertahanan kanthi pangklasifikasi ing tingkat sistem, sing dirancang kanggo nyegah bebaya saka model tercanggih kayata penyalahgunaan siber lan pangembangan senjata biologis. Kita uga umume mewajibake Auto-Review(mbukak ing jendhela anyar) kanggo karyawan sing nggunakake Codex. Fitur iki ngevaluasi tumindak sing bisa mbebayani lan mbalekake menyang pangguna supaya ditinjau.
Pungkasan, kita ngawasi prilaku sing ora selaras ing saben inferensi model tercanggih sajrone penerapan internal. Amarga model saiki duwe wewenang luwih amba lan akses menyang informasi lan sistem internal, risiko kayata eksfiltrasi data, utawa ngirim data sensitif menyang tujuan sing ora diidinake, dadi wigati banget kanggo dideteksi. Pemantauan uga mbantu kita nyelidiki wujud panyimpangan saka kaselarasan sing anyar(mbukak ing jendhela anyar).
Penerapan kanggo umum ndadekake model ngadhepi luwih akeh pangguna, tugas, lan lingkungan, saengga skala lan ragam risiko mundhak. Ing tahap iki, kita uga kudu nyegah pihak sing bisa duwe niat ala lan sengaja mrentah model supaya nindakake tumindak sing mbebayani.
Sadurunge rilis umum, model lan pangayoman sistem kudu nyukupi syarat keslametan penerapan eksternal kita. Kita mbiji model lan pangayoman kasebut kanthi:
Nindakake rerangken evaluasi kaselarasan lan keslametan sing luwih akeh. Kanggo model tercanggih, iki kalebu nindakake babak anyar pangujian adaptif nganggo sistem red teaming otomatis internal kita kanggo nguji kakuwatan model ing kahanan ekstrem. Kita nerbitake asil evaluasi kemampuan lan keslametan ing kertu sistem(mbukak ing jendhela anyar) kita.
Kanggo model sing paling mumpuni, kita uga nindakake pangujian karo pihak katelu kanggo nguji kakuwatan pangayoman saka penyalahgunaan lan kaselarasan dhasar model ing kahanan ekstrem.
Mriksa tandha peringatan saka pemantauan ing tahap penerapan internal kanggo nglacak owah-owahan kaselarasan dhasar model.
Saliyane pangayoman “sinkron” (kayata latihan keslametan model lan pangklasifikasi sistem), kanggo penerapan eksternal kita uga nggunakake penegakan aturan lan investigasi ing njaba alur langsung. Tim kasebut nggabungake agen penyelidik skala gedhe lan tinjauan manungsa kanggo ndeteksi lan ngenali pihak sing bisa dadi ancaman, wiwit penyalahgunaan siber, pangembangan senjata biologis, distilasi, nganti panyimpangan saka kaselarasan model dhewe. Penegakan aturan ing njaba alur langsung migunani banget kanggo nglumpukake informasi lintas akun, supaya bisa oleh gambaran sing luwih jangkep babagan potensi ancaman.
Program akses tepercaya, kayata Daybreak lan Rosalind, menehi lapisan keamanan tambahan lan nyepetake pakaryan para pembela keamanan lan peneliti sing sah, sinambi matesi akses pihak sing bisa nyerang.
Nalika kita weruh kegagalan ing salah siji lapisan keslametan, sanajan durung ana dampak ala sing nyata, kita kepengin enggal nyelidiki, nemtokake prioritas penanganan, lan yen bisa lan trep, mbabar kegagalan kasebut marang pihak njaba. Miturut kabijakan pelaporan panyimpangan saka kaselarasan, saben karyawan bisa menehi tandha insiden supaya dibabar marang umum. Laporan iki diselidiki. Yen ana beda panemu apa laporan kasebut kudu dibabar marang pihak njaba, keputusan diterusake menyang Kelompok Penasihat Keamanan kita. Saliyane ngandelake laporan karyawan, kita kanthi proaktif nggoleki insiden panyimpangan saka kaselarasan supaya bisa ditangani lan asile disebarake.
Sampeyan bisa ndeleng laporan panyimpangan saka kaselarasan kita ing kene(mbukak ing jendhela anyar).
Pakaryan iki gumantung marang kemajuan riset lan disiplin operasional: nyetel kontrol kanthi bener, nguji interaksi antarkontrol, lan tumindak kanthi tegas nalika kontrol gagal. Layanan jaringan sing salah konfigurasi utawa mekanisme mandheg otomatis sing gagal bisa ngrusak pangayoman sing sejatine kuwat.
Nalika model nduweni kemampuan anyar, kita kudu terus nguji asumsi sing dadi dhasar pangayoman lan ndandani yen perlu. Piwulang saka riset, panggunaan internal, lan penerapan umum kudu dadi dhasar kanggo nglatih, ngevaluasi, lan ngetrapake model sabanjure.
Kita bakal terus nuduhake temuan liwat kertu sistem, laporan insiden, laporan risiko(mbukak ing jendhela anyar) penerapan internal, lan evaluasi eksternal supaya pihak liya bisa nliti pendekatan kita, kalebu watesane. Nalika bukti kasebut durung nyukupi standar keslametan kita, kita bakal ngasoake latihan utawa nundha rilis maneh nganti syarat kasebut kasembadan.
Nemtokake standar keslametan
Ngatur laju pangembangan model ing jaman kemampuan kritis siber — Carane kita nyuda laju latihan model tercanggih sinambi nguwatake isolasi, nggedhekake cakupan pemantauan, lan mewajibake bukti kaselarasan sing luwih kuwat.
Ngrumusake argumentasi keslametan kanggo latihan AI tercanggih — Pandhuan awal kanggo argumentasi keslametan adhedhasar bukti sing nyakup pangayoman teknis, praktik operasional, lan investigasi panyimpangan saka kaselarasan.
Prioritas lan prinsip pambiji pihak katelu sing efektif — Usulan pendekatan kita kanggo panliten independen marang argumentasi keslametan, pangayoman, evaluasi, lan prilaku model.
Ringkesan Berkala Pambiji Risiko Bencana saka Panggunaan Internal(mbukak ing jendhela anyar) — Laporan umum kanggo Juni–September 2026 iki njlentrehake penerapan internal model tercanggih, risiko sing wis dibiji, lan owah-owahan pangayoman lan tata kelola.
Nemtokake lan ngevaluasi prilaku sing selaras
Spesifikasi model sing dianyari kanggo AI sing luwih mumpuni lan migunani — Carane kita nganyari spesifikasi model adhedhasar limang nilai inti kanggo nuntun pambiji, prilaku, lan pakurmatan model marang pengawasan manungsa.
Beda prilaku evaluasi-produksi ing keslametan agen lan peran kesadaran marang evaluasi(mbukak ing jendhela anyar) — Panliten babagan bedane asil evaluasi keslametan lan prilaku ing produksi, kalebu pengaruh tafsiran model marang tujuan evaluasi tumrap kinerja.
Luwih saka g-mean²: metrik pelengkap kanggo kemampuan dipantau(mbukak ing jendhela anyar) — Metrik anyar kanggo mbandhingake kemampuan dipantau lan ngira risiko sing isih kari ing sistem simulasi nalika pemantau nolak output model.
Kertu Sistem GPT‑6 Astra(mbukak ing jendhela anyar) — Evaluasi rinci babagan kemampuan, keslametan, kaselarasan, lan kemampuan dipantau Astra, uga pangayoman lan watesan penerapane.
Mbatesi model lan ningkatake pangayoman
Ngamanake lingkungan latihan model tercanggih kita — Carane kita nguwatake isolasi, mbangun lingkungan riset tanpa sambungan internet, lan nggunakake model paling kuwat kanggo nguji wates isolasi.
Nglatih pangklasifikasi aktivasi kanggo keslametan lan kaselarasan(mbukak ing jendhela anyar) — Carane pangklasifikasi nggunakake aktivasi internal model kanggo ndeteksi prilaku sing bisa mbebayani lan nyetop respons utawa panggilan piranti.
Tinjauan otomatis tumindak agen tanpa pengawasan manungsa sinkron(mbukak ing jendhela anyar) — Carane agen paninjau kapisah mbiji tumindak sing ngliwati wates sandbox, mbantu agen pemrograman makarya kanthi mandiri sinambi mblokir tumindak sing bisa mbebayani utawa ora diidinake.
GPT‑Red: Mbukak Kemampuan Ndandani Diri kanggo Nguwatake Ketahanan — Carane kita nglatih sistem red teaming otomatis kanthi tandhing karo awake dhewe kanggo nemokake kerentanan lan nguwatake ketahanan model marang injeksi prompt.
Control Room — Carane kita nglacak beban kerja ing saindenging infrastruktur riset lan nyetop output model kanthi cepet nalika masalah keslametan utawa keamanan mbutuhake intervensi.
Respons lan pambocoran insiden
Carane kita ndeteksi panyimpangan saka kaselarasan model tercanggih — Sistem pemantauan kita nggabungake probe aktivasi, tinjauan adhedhasar model, investigasi otomatis, lan respons manungsa kanggo ndeteksi lan nyelidiki prilaku sing gawe kuwatir.
Insiden Hugging Face lan langkah sabanjure — Temuan saka insiden Hugging Face lan owah-owahan sing dipicu ing babagan keamanan, pemantauan, lan kaselarasan.
Agen nggunakake DNS kanggo ngakses chatbot eksternal(mbukak ing jendhela anyar) — Carane model riset ngliwati watesan internet liwat panyaringan DNS sing kurang ketat, carane pemantauan ndeteksi, lan kontrol sing ditambahake sawise iku.
Nggagalake kampanye distilasi model sing terkoordinasi — Carane kita nyelidiki lan nggagalake upaya ngekstrak nalar model sing dilindhungi liwat penindakan akun, kontrol teknis, lan koordinasi mitra.
Kerangka kita kanggo nglaporake panyimpangan saka kaselarasan model — Proses kanggo nglacak, nyelidiki, lan mbabar prilaku model sing gawe kuwatir, kalebu kasus sing sabab utawa teges pentinge durung cetha.
Laporan lan Pawarta Panyimpangan saka Kaselarasan(mbukak ing jendhela anyar) — Kumpulan insiden lan pawarta sing wis dibabar, nuduhake carane panyimpangan saka kaselarasan dumadi lan ing endi pangayoman kasil utawa gagal.
Kemajuan lan penerapan riset
Nyepetake riset: Pandangan saka njero OpenAI — Bukti awal carane agen pemrograman ngowahi riset ing OpenAI, kalebu panggunaan sing saya akeh, tugas sing saya rumit, lan pengaruhe marang eksperimen.
Babagan Masalah Hadiah Milenium Navier–Stokes — Bukti matematika sing diasilake sistem AI internal, dilengkapi formalisasi Lean, sing nuduhake kemampuan penerapan riset skala gedhe.
Daybreak — Program keamanan siber kita nyedhiyakake kemampuan AI canggih, piranti keamanan, lan dhukungan marang pembela keamanan sing wis diverifikasi kanggo nemokake kerentanan lan nguwatake pertahanan.
Ngenalake GPT‑Rosalind kanggo riset ilmu hayati — Model khusus kanggo biologi, panemuan obat, lan kedokteran translasional, sing kasedhiya kanggo organisasi sing nyukupi syarat liwat program akses tepercaya.






