OpenAI

Ngatur risiko AI tercanggih: Saka latihan nganti penerapan

18 November 2026 · Keslametan

Kemampuan model tercanggih mundhak kanthi cepet, lan kemampuan kita kanggo mangerteni, nyelarasake, lan njaga keamanane kudu tansah luwih maju. Kita ngatur laju pangembangan lan rilis model, kalebu ngasoake latihan internal⁠(mbukak ing jendhela anyar) utawa nundha rilis model kaya GPT‑6.1 Astra nalika kita butuh wektu luwih akeh kanggo nyukupi standar keslametan. Kita wis ngenalake proses anyar kayata argumentasi keslametan adhedhasar bukti lan mewajibake bukti prilaku selaras sing luwih kuwat sajrone latihan. Syarat iki nyuda laju rilis model, nanging ndadekake kita luwih yakin bisa maju kanthi aman.

Wiwit insiden Hugging Face⁠ ing Juli, kita wis nguwatake pangayoman lan syarat kaselarasan kanggo latihan, pangujian, lan penerapan model. Tulisan iki njlentrehake carane kita ngevaluasi lan ngatur risiko ing saben tahap, saka lingkungan latihan sing diisolasi kanthi ketat ing sandbox nganti penerapan Codex sing sampeyan gunakake ing komputer. Kita ngevaluasi model lan pangayoman ing saben tahap, lan mewajibake tinjauan keslametan sadurunge maju menyang tahap sabanjure.

Pertahanan berlapis sajrone siklus urip model

Kita nggunakake pertahanan berlapis kanthi pirang-pirang lapisan pangayoman supaya ora gumantung marang siji pangayoman wae. Yen siji lapisan gagal, lapisan liyane mbantu nyegah bebaya, matesi akibate, utawa menehi peringatan supaya kita bisa tumindak.

Kita nata pangayoman dadi patang lapisan:

Pemantauan sing efektif gumantung marang kemampuan model kanggo dipantau — sepira andale sistem pemantau ndeteksi kesalahan utawa prilaku ora aman saka nalar lan tumindak model. Contone, model sing ngandharake niate kanggo curang ing ranté pikiran (CoT) luwih gampang dipantau tinimbang model sing ora nyebutake informasi iki. Kita ngevaluasi kemampuan dipantau sajrone latihan lan sadurunge penerapan, ngembangake cara pangukuran⁠(mbukak ing jendhela anyar) sing luwih apik, lan nyinaoni bab sing mengaruhi kemampuan kasebut⁠(mbukak ing jendhela anyar).

Insiden Hugging Face nuduhake sebabe kita ora kena mung ngandelake sandbox kanggo mbatesi model sing mumpuni banget. Saiki kita ngawasi model tercanggih ing umume lingkungan penerapan internal lan eksternal, kalebu kabeh penerapan internal sing nggunakake piranti.

Peran saben lapisan owah ing telung tahap pangembangan lan penerapan model:

  • Riset: Kita nglatih, nguji, lan nggunakake model ing lingkungan sandbox.

  • Penerapan internal: Karyawan OpenAI nggunakake model kanggo pakaryan nyata.

  • Penerapan eksternal: Model kasedhiya kanggo luwih akeh wong lan organisasi.

Lapisan sing kita andelake beda-beda ing saben tahap. Sajrone latihan, nalika kaselarasan durung mesthi, kita luwih ngandelake isolasi ing sandbox lan pemantauan. Nalika model oleh akses luwih amba sajrone penerapan, kaselarasan lan kontrol ing tingkat sistem dadi saya wigati. Ing saben tahap, kita ngevaluasi apa gabungan pangayoman wis nyukupi kanggo kemampuan lan akses model. Keputusan kita bisa ditinjau bebarengan karo Kelompok Penasihat Keamanan lan diawasi dening Komite Keamanan lan Keslametan saka Dewan Direksi OpenAI Foundation.

Sajrone riset: mbatesi model ing lingkungan sandbox

Ing tahap riset, kita ngevaluasi model supaya luwih yakin marang sipat kaselarasane. Amarga durung bisa ngandelake kaselarasan kanthi kebak kanggo nyegah bebaya, kita akeh ngandelake keamanan lan sandbox kanggo matesi apa sing bisa diakses lan ditindakake model.

Adhedhasar kahanan riset kaselarasan, sistem pemantauan, lan keamanan infrastruktur internet saiki, kita yakin pendekatan sing tanggung jawab yaiku nglatih model tercanggih tanpa akses internet langsung. Sawise insiden Hugging Face, kita ngrombak kanthi gedhe sistem riset internal kanggo mbatesi model kanthi:

  • sandbox sing matesi wewenang model

  • mesin virtual kanggo luwih ngisolasi beban kerja saka komputer sing dadi dhasare

  • wates jaringan lan cloud sing medhot kabeh kluster saka internet

Kita terus nguji sistem iki nganggo serangan simulasi, kanthi mrentah tim model paling kuwat kanggo nyoba ngakses internet langsung, nembus wates keamanan, utawa komunikasi karo agen sing kudune diisolasi saka model kasebut. Iki mbantu kita nguji apa isolasi tetep kukuh nalika ngadhepi kemampuan model sing kudu diwatesi.

Minangka lapisan pertahanan tambahan, kita ngawasi kabeh inferensi model tercanggih kanggo ndeteksi apa model wis ngliwati ketentuan keamanan sing kudu tansah dituruti. Yen pemantauan ndeteksi model wis ngakses internet, kita ngirim tandha darurat menyang tim keamanan lan ngasoake beban kerja kanthi otomatis.

Pemantauan dadi pangayoman cadangan sing wigati nalika isolasi gagal. Ing laporan panyimpangan saka kaselarasan bubar iki, kita nyritakake manawa sistem pemantau ndeteksi model riset internal sing ngeksploitasi konfigurasi DNS sing kliru⁠(mbukak ing jendhela anyar) kanggo oleh akses internet winates. Kita ngasoake latihan lan evaluasi model paling mumpuni saka 20 September nganti 1 Oktober nalika nyelidiki lan nutup celah keamanan kasebut.

Supaya intervensi cepet lan andal, kita mbangun Control Room⁠, sistem pusat sing nglacak beban kerja riset lan nyetop output model sabanjure sajrone 35 detik sawise nampa prentah kanggo mungkasi tugas. Kontrol iki ditrapake langsung ing infrastruktur inferensi, mula ora gumantung marang saben beban kerja riset kanggo ngetrapake mekanisme mandheg dhewe. Kanggo beban kerja riset model tercanggih, kontrol iki uga nyetop output model yen Control Room ora bisa diakses.

Red teaming lan pemantauan padha nyengkuyung. Kita ora bisa njamin sandbox ora bisa ditembus, nanging red teaming mbantu mbiji sepira gedhene upaya sing dibutuhake model kanggo uwal. Saya gedhe upaya sing dibutuhake model, saya akeh kesempatan sistem pemantau kanggo ndeteksi lan nyetop.

Kita mewajibake kontrol keamanan lan pemantauan sing kuwat ing tahap riset amarga sawetara alesan:

  • Model isih dievaluasi. Sawetara durung ngrampungake latihan keslametan, audit kaselarasan, lan paninjauan sing diwajibake sadurunge dirilis kanggo umum.

  • Konfigurasi riset tercanggih bisa nambah risiko. Tugas riset tartamtu mbutuhake konfigurasi sing luwih ambisius, saengga model luwih gigih utawa luwih mumpuni tinimbang lumrahe nalika penerapan eksternal (contone, tim sing dumadi saka 10.000 agen dibutuhake kanggo ngrampungake masalah Navier Stokes).

  • Latihan ditindakake ing skala gedhe kanthi pengawasan langsung saka manungsa sing luwih sithik. Beda karo sesi Codex lumrahe, beban kerja latihan kita nyakup akeh tumindak model tanpa ana wong sing ngawasi saben interaksi.

Penerapan internal: nguji kaselarasan, ngawasi prilaku kanthi tliti

Sadurunge rilis umum, karyawan ngalih saka nggunakake model tercanggih kanggo riset ing sandbox menyang panggunaan internal tanpa sandbox, contone kanthi menehi karyawan akses menyang model ing ChatGPT. Iki mbantu kita luwih mangerteni prilaku model ing kahanan nyata⁠(mbukak ing jendhela anyar), lan dadi dhasar kanggo keputusan penerapan.

Ing tahap iki, kita menehi model akses menyang internet sing luwih amba, Slack, basis kode, lan infrastruktur internal kita. Iki ngowahi risiko kanthi signifikan, amarga tumindak model saiki nduweni dampak langsung marang sistem sing kita gunakake kanggo mbangun lan ngoperasikake OpenAI. Sajrone penerapan internal, kita kudu luwih ngandelake kaselarasan model, pangayoman sistem, lan pemantauan tinimbang kontrol keamanan.

Sadurunge model tercanggih bisa diterapake ing njaba sandbox, model kudu ngliwati uji kaselarasan lan uji sepira gampange dipantau⁠(mbukak ing jendhela anyar). Kita duwe rerangken evaluasi kaselarasan kanggo nguji pola kegagalan kaselarasan tartamtu (kayata ngakali watesan keslametan lan keamanan), uga pangukuran umum babagan kecenderungan (kayata njupuk sampel maneh saka alur tumindak Codex internal lan mriksa anane panyimpangan saka kaselarasan). Sampeyan bisa maca luwih akeh babagan evaluasi kaselarasan lan kemampuan dipantau ing kertu sistem GPT‑6 Astra⁠(mbukak ing jendhela anyar) paling anyar.

Kaya ing konfigurasi produksi, kita nambah lapisan pertahanan kanthi pangklasifikasi ing tingkat sistem, sing dirancang kanggo nyegah bebaya saka model tercanggih kayata penyalahgunaan siber lan pangembangan senjata biologis. Kita uga umume mewajibake Auto-Review⁠(mbukak ing jendhela anyar) kanggo karyawan sing nggunakake Codex. Fitur iki ngevaluasi tumindak sing bisa mbebayani lan mbalekake menyang pangguna supaya ditinjau.

Pungkasan, kita ngawasi prilaku sing ora selaras ing saben inferensi model tercanggih sajrone penerapan internal. Amarga model saiki duwe wewenang luwih amba lan akses menyang informasi lan sistem internal, risiko kayata eksfiltrasi data, utawa ngirim data sensitif menyang tujuan sing ora diidinake, dadi wigati banget kanggo dideteksi. Pemantauan uga mbantu kita nyelidiki wujud panyimpangan saka kaselarasan sing anyar⁠(mbukak ing jendhela anyar).

Penerapan eksternal: nyegah penyalahgunaan lan panyimpangan saka kaselarasan ing skala gedhe

Penerapan kanggo umum ndadekake model ngadhepi luwih akeh pangguna, tugas, lan lingkungan, saengga skala lan ragam risiko mundhak. Ing tahap iki, kita uga kudu nyegah pihak sing bisa duwe niat ala lan sengaja mrentah model supaya nindakake tumindak sing mbebayani.

Sadurunge rilis umum, model lan pangayoman sistem kudu nyukupi syarat keslametan penerapan eksternal kita. Kita mbiji model lan pangayoman kasebut kanthi:

  • Nindakake rerangken evaluasi kaselarasan lan keslametan sing luwih akeh. Kanggo model tercanggih, iki kalebu nindakake babak anyar pangujian adaptif⁠ nganggo sistem red teaming otomatis internal kita kanggo nguji kakuwatan model ing kahanan ekstrem. Kita nerbitake asil evaluasi kemampuan lan keslametan ing kertu sistem⁠(mbukak ing jendhela anyar) kita.

  • Kanggo model sing paling mumpuni, kita uga nindakake pangujian karo pihak katelu kanggo nguji kakuwatan pangayoman saka penyalahgunaan lan kaselarasan dhasar model ing kahanan ekstrem.

  • Mriksa tandha peringatan saka pemantauan ing tahap penerapan internal kanggo nglacak owah-owahan kaselarasan dhasar model.

Saliyane pangayoman “sinkron” (kayata latihan keslametan model lan pangklasifikasi sistem), kanggo penerapan eksternal kita uga nggunakake penegakan aturan lan investigasi ing njaba alur langsung. Tim kasebut nggabungake agen penyelidik skala gedhe lan tinjauan manungsa kanggo ndeteksi lan ngenali pihak sing bisa dadi ancaman, wiwit penyalahgunaan siber, pangembangan senjata biologis, distilasi⁠, nganti panyimpangan saka kaselarasan model dhewe. Penegakan aturan ing njaba alur langsung migunani banget kanggo nglumpukake informasi lintas akun, supaya bisa oleh gambaran sing luwih jangkep babagan potensi ancaman.

Program akses tepercaya, kayata Daybreak lan Rosalind⁠, menehi lapisan keamanan tambahan lan nyepetake pakaryan para pembela keamanan lan peneliti sing sah, sinambi matesi akses pihak sing bisa nyerang.

Respons lan Pambocoran Insiden

Nalika kita weruh kegagalan ing salah siji lapisan keslametan, sanajan durung ana dampak ala sing nyata, kita kepengin enggal nyelidiki, nemtokake prioritas penanganan, lan yen bisa lan trep, mbabar kegagalan kasebut marang pihak njaba. Miturut kabijakan pelaporan panyimpangan saka kaselarasan⁠, saben karyawan bisa menehi tandha insiden supaya dibabar marang umum. Laporan iki diselidiki. Yen ana beda panemu apa laporan kasebut kudu dibabar marang pihak njaba, keputusan diterusake menyang Kelompok Penasihat Keamanan kita. Saliyane ngandelake laporan karyawan, kita kanthi proaktif nggoleki insiden panyimpangan saka kaselarasan supaya bisa ditangani lan asile disebarake.

Sampeyan bisa ndeleng laporan panyimpangan saka kaselarasan kita ing kene⁠(mbukak ing jendhela anyar).

​


​

Pakaryan iki gumantung marang kemajuan riset lan disiplin operasional: nyetel kontrol kanthi bener, nguji interaksi antarkontrol, lan tumindak kanthi tegas nalika kontrol gagal. Layanan jaringan sing salah konfigurasi utawa mekanisme mandheg otomatis sing gagal bisa ngrusak pangayoman sing sejatine kuwat.

Nalika model nduweni kemampuan anyar, kita kudu terus nguji asumsi sing dadi dhasar pangayoman lan ndandani yen perlu. Piwulang saka riset, panggunaan internal, lan penerapan umum kudu dadi dhasar kanggo nglatih, ngevaluasi, lan ngetrapake model sabanjure.

Kita bakal terus nuduhake temuan liwat kertu sistem, laporan insiden, laporan risiko⁠(mbukak ing jendhela anyar) penerapan internal, lan evaluasi eksternal⁠ supaya pihak liya bisa nliti pendekatan kita, kalebu watesane. Nalika bukti kasebut durung nyukupi standar keslametan kita, kita bakal ngasoake latihan utawa nundha rilis maneh nganti syarat kasebut kasembadan.

Riset lan sumber daya sing gegandhengan

Nemtokake standar keslametan

Nemtokake lan ngevaluasi prilaku sing selaras

Mbatesi model lan ningkatake pangayoman

Respons lan pambocoran insiden

Kemajuan lan penerapan riset

  • Nyepetake riset: Pandangan saka njero OpenAI — Bukti awal carane agen pemrograman ngowahi riset ing OpenAI, kalebu panggunaan sing saya akeh, tugas sing saya rumit, lan pengaruhe marang eksperimen.

  • Babagan Masalah Hadiah Milenium Navier–Stokes — Bukti matematika sing diasilake sistem AI internal, dilengkapi formalisasi Lean, sing nuduhake kemampuan penerapan riset skala gedhe.

  • Daybreak — Program keamanan siber kita nyedhiyakake kemampuan AI canggih, piranti keamanan, lan dhukungan marang pembela keamanan sing wis diverifikasi kanggo nemokake kerentanan lan nguwatake pertahanan.

  • Ngenalake GPT‑Rosalind kanggo riset ilmu hayati⁠ — Model khusus kanggo biologi, panemuan obat, lan kedokteran translasional, sing kasedhiya kanggo organisasi sing nyukupi syarat liwat program akses tepercaya.