OpenAI

Pamamahala sa panganib ng frontier AI: Mula pagsasanay hanggang deployment

Nobyembre 18, 2026 · Kaligtasan

Mabilis na umuunlad ang kakayahan ng mga frontier na modelo, at dapat manatiling nauuna ang ating kakayahang unawain, iayon sa nilalayon, at protektahan ang mga ito. Kinokontrol namin ang bilis ng pagbuo at paglabas ng aming mga modelo, kabilang ang paghinto ng panloob na pagsasanay⁠(magbubukas sa bagong window) o pagpigil sa paglabas ng mga modelong gaya ng GPT‑6.1 Astra kapag kailangan ng dagdag na oras para matugunan ang aming mga pamantayan sa kaligtasan. Nagpakilala kami ng mga bagong proseso gaya ng mga katwirang nagpapatunay ng kaligtasan at humihingi ng mas matibay na ebidensiya ng naaayong asal sa buong pagsasanay. Pinababagal ng mga rekisitong ito ang paglabas ng modelo, ngunit mas nakatitiyak kaming ligtas ang pagsulong.

Mula noong insidente sa Hugging Face⁠ noong Hulyo, pinalakas namin ang mga pananggalang at rekisito sa alignment sa pagsasanay, pagsubok, at deployment ng mga modelo. Ipinapaliwanag ng post na ito kung paano namin sinusuri at pinamamahalaan ang panganib sa bawat yugto, mula sa mahigpit na naka-sandbox na pagsasanay hanggang sa deployment ng Codex na ginagamit mo sa iyong computer. Sinusuri namin ang mga modelo at pananggalang sa bawat yugto, at kailangan ang pagsusuri sa kaligtasan bago umusad sa susunod.

Patong-patong na depensa sa buong siklo ng buhay ng modelo

Gumagamit kami ng patong-patong na depensa na may maraming antas ng proteksiyon upang mabawasan ang pag-asa sa iisang pananggalang. Kung pumalya ang isang antas, tumutulong ang iba upang pigilan ang pinsala, limitahan ang epekto, o alertuhan kami upang makialam.

Iniaayos namin ang mga proteksiyon sa apat na antas:

Nakasalalay ang epektibong pagsubaybay sa kakayahang masubaybayan ang modelo—kung gaano kaasahang natutukoy ng mga monitor ang mali o di-ligtas na asal mula sa pangangatwiran at mga aksiyon nito. Halimbawa, mas madaling subaybayan ang modelong nagsasabi ng layuning mandaya sa chain-of-thought (CoT) nito kaysa sa modelong hindi ito binabanggit. Sinusuri namin ang kakayahang masubaybayan habang nagsasanay at bago ang deployment, bumubuo ng mas mahusay na mga paraan ng pagsukat⁠(magbubukas sa bagong window) dito, at pinag-aaralan ang mga salik na nakaaapekto rito⁠(magbubukas sa bagong window).

Ipinakita ng insidente sa Hugging Face kung bakit hindi sapat ang sandboxing lamang upang ikulong ang mga modelong may mataas na kakayahan. Sinusubaybayan na namin ang mga frontier na modelo sa karamihan ng panloob at panlabas na deployment, kabilang ang lahat ng panloob na deployment na gumagamit ng mga tool.

Nagbabago ang papel ng bawat antas sa tatlong yugto ng pagbuo at deployment ng modelo:

  • Pananaliksik: Nagsasanay, sumusubok, at gumagamit kami ng mga modelo sa mga naka-sandbox na kapaligiran.

  • Panloob na deployment: Ginagamit ng mga empleyado ng OpenAI ang mga modelo sa aktuwal na trabaho.

  • Panlabas na deployment: Nagiging available ang mga modelo sa mas maraming tao at organisasyon.

Iba't ibang antas ang aming inaasahan sa bawat yugto. Habang nagsasanay, kung kailan hindi pa gaanong tiyak ang alignment, mas umaasa kami sa sandboxing at pagsubaybay. Habang lumalawak ang access ng mga modelo sa deployment, lalong nagiging mahalaga ang alignment at mga kontrol sa antas ng sistema. Sa bawat yugto, sinusuri namin kung sapat ang pinagsamang mga proteksiyon para sa kakayahan at access ng modelo. Maaaring repasuhin kasama ng aming Safety Advisory Group ang mga pasya namin, sa ilalim ng pangangasiwa ng Safety and Security Committee ng Lupon ng mga Direktor ng OpenAI Foundation.

Sa pananaliksik: ikulong ang mga modelo sa mga naka-sandbox na kapaligiran

Sa yugto ng pananaliksik, sinusuri namin ang mga modelo upang mas makatiyak sa kanilang alignment. Dahil hindi pa namin lubos na maaasahan ang alignment upang pigilan ang pinsala, higit kaming umaasa sa seguridad at sandboxing upang limitahan ang kanilang naa-access at nagagawa.

Batay sa kasalukuyang pananaliksik sa alignment, mga sistema ng pagsubaybay, at seguridad ng imprastraktura ng internet, naniniwala kaming responsableng sanayin ang mga frontier na modelo nang walang live na access sa internet. Matapos ang insidente sa Hugging Face, malaki ang binago namin sa estruktura ng aming mga panloob na sistema ng pananaliksik upang ikulong ang mga modelo gamit ang:

  • mga sandbox na naglilimita sa mga pribilehiyo ng modelo

  • mga virtual machine upang higit na ihiwalay ang workload sa computer na nagpapatakbo nito

  • mga hangganan sa network at cloud na naghihiwalay sa buong cluster mula sa internet

Patuloy naming isinasailalim sa red teaming ang sistemang ito: pinasusubukan sa mga pangkat ng aming pinakamalalakas na modelo na abutin ang live na internet, lusutan ang mga hangganan ng seguridad, o makipag-ugnayan sa mga agent na dapat ay hiwalay sa kanila. Tinutulungan kami nitong subukan kung sapat ang pagkakakulong laban sa kakayahan ng mga modelong nilalayong limitahan nito.

Bilang dagdag na depensa, sinusubaybayan namin ang lahat ng frontier na inference upang matukoy kung nalusutan ng modelo ang mga kondisyong dapat laging masunod para sa seguridad. Kung matukoy ng pagsubaybay na nakaabot sa internet ang modelo, inaalertuhan namin ang mga pangkat ng seguridad at awtomatikong ipinapahinto ang workload.

Mahalagang reserbang depensa ang pagsubaybay kapag nabigo ang pagkakakulong. Sa isang kamakailang ulat sa misalignment, ibinahagi naming natukoy ng mga monitor ang isang panloob na modelo sa pananaliksik na nagsamantala sa maling configuration ng DNS⁠(magbubukas sa bagong window) upang magkaroon ng limitadong access sa internet. Itinigil namin ang pagsasanay at pagsusuri ng aming mga modelong may pinakamataas na kakayahan mula Setyembre 20 hanggang Oktubre 1 habang nagsisiyasat at tinutugunan ang puwang sa seguridad.

Para sa mabilis at maaasahang interbensiyon, binuo namin ang Control Room⁠, isang sentral na sistemang sumusubaybay sa mga workload ng pananaliksik at humihinto sa karagdagang output ng modelo sa loob ng 35 segundo mula sa pagtanggap ng utos na ihinto ang isang job. Direktang ipinapatupad ang mga kontrol na ito sa imprastraktura ng inference, kaya hindi nakadepende ang mga ito sa sariling mekanismo ng paghinto ng bawat workload ng pananaliksik. Para sa mga workload ng pananaliksik sa frontier na modelo, itinitigil din ng mga ito ang output ng modelo kapag hindi available ang Control Room.

Nagtutulungan ang red teaming at pagsubaybay. Hindi namin magagarantiyang hindi malulusutan ang sandbox, ngunit tumutulong ang red teaming sa pagtaya kung gaano kalaking pagsisikap ang kailangan ng modelo upang makatakas. Kung mas malaking pagsisikap ang kailangan ng modelo, mas maraming pagkakataon ang mga monitor na matukoy at mapahinto ito.

Inaatas namin ang mahihigpit na kontrol sa seguridad at pagsubaybay sa yugto ng pananaliksik dahil sa ilang dahilan:

  • Sinusuri pa ang mga modelo. Hindi pa nakokompleto ng ilan ang pagsasanay sa kaligtasan, mga audit sa alignment, at mga pagsusuring kailangan bago ilabas sa publiko.

  • Maaaring lumaki ang panganib sa mga kapaligiran ng frontier na pananaliksik. May mga gawaing pananaliksik na nangangailangan ng mas ambisyosong setup, kaya mas nagiging matiyaga o mahusay ang modelo kaysa sa karaniwang nakikita sa panlabas na deployment (halimbawa, kinailangan ang pangkat ng 10,000 agent upang lutasin ang problemang Navier Stokes).

  • Malawakan ang pagsasanay, na may mas kaunting direktang pangangasiwa ng tao. Di-tulad ng karaniwang session sa Codex, maraming aksiyon ng modelo ang kasama sa aming mga workload sa pagsasanay, nang walang taong sumusubaybay sa bawat interaksiyon.

Panloob na deployment: subukan ang alignment, bantayang mabuti ang behavior

Bago ang malawakang paglabas, lumilipat ang mga empleyado mula sa paggamit ng mga frontier na modelo sa sandbox para sa pananaliksik tungo sa panloob na paggamit nang walang sandbox, hal. pagbibigay sa mga empleyado ng access sa modelo sa ChatGPT. Mas nauunawaan namin dito kung paano kumikilos ang mga modelo sa aktuwal na paggamit⁠(magbubukas sa bagong window), na gumagabay sa mga desisyon sa deployment.

Sa yugtong ito, binibigyan namin ang modelo ng access sa mas malawak na internet, aming Slack, codebase, at panloob na imprastraktura. Malaking pagbabago ito sa panganib, dahil direktang naaapektuhan na ng mga aksiyon ng modelo ang mga sistemang ginagamit namin sa pagbuo at pagpapatakbo ng OpenAI. Sa panloob na deployment, mas kailangan naming umasa sa alignment ng modelo, mga mekanismo ng proteksiyon ng sistema, at pagsubaybay kaysa sa mga kontrol sa seguridad.

Bago i-deploy ang isang frontier na modelo sa labas ng sandbox, dapat muna itong dumaan sa pagsusuri sa alignment at kakayahang masubaybayan⁠(magbubukas sa bagong window). May hanay kami ng mga pagsusuri sa alignment para sa mga partikular na pagkabigo nito (gaya ng paglusot sa mga restriksiyon sa kaligtasan at seguridad) at pangkalahatang pagsukat sa mga tendensiya (gaya ng muling pag-sample ng mga panloob na trajectory ng Codex at pagsuri sa misalignment). Makikita ang higit pa tungkol sa aming mga pagsusuri sa alignment at kakayahang masubaybayan sa pinakabagong card ng system ng GPT‑6 Astra⁠(magbubukas sa bagong window).

Tulad sa aming mga production setup, nagdaragdag kami ng depensa gamit ang mga classifier sa antas ng sistema, na idinisenyo laban sa mga frontier na pinsala gaya ng cyberabuse at paggawa ng mga biyolohikal na armas. Karaniwan din naming inaatasan ang mga empleyadong gumagamit ng Codex na gumamit ng Auto-Review⁠(magbubukas sa bagong window), na sumusuri sa mga posibleng mapanganib na aksiyon at ipinapaubaya ang mga ito sa user para sa desisyon.

Panghuli, sinusubaybayan namin ang bawat frontier na inference sa panloob na deployment para makita ang behavior na hindi naka-align. Dahil mas malawak na ang mga pribilehiyo at access ng modelo sa panloob na impormasyon at mga sistema, lalong mahalagang matukoy ang mga panganib gaya ng paglabas ng datos, o pagpapadala ng sensitibong datos sa hindi awtorisadong destinasyon. Tumutulong din ang pagsubaybay sa pagsisiyasat ng mga bagong anyo ng misalignment⁠(magbubukas sa bagong window).

Panlabas na deployment: malawakang proteksiyon laban sa maling paggamit at misalignment

Inilalantad ng pampublikong deployment ang mga modelo sa mas maraming user, gawain, at kapaligiran, kaya lumalaki at nagiging mas sari-sari ang mga panganib. Sa yugtong ito, kailangan din nating magprotekta laban sa mga posibleng malisyosong aktor na sadyang nag-uutos sa modelo na magdulot ng pinsala.

Bago ilabas sa publiko, kailangang matugunan ng mga modelo at mekanismo ng proteksiyon ng sistema ang aming mga rekisito sa kaligtasan para sa panlabas na deployment. Sinusuri namin ang mga ito sa pamamagitan ng:

  • Pagsasagawa ng mas malawak na hanay ng mga pagsusuri sa alignment at kaligtasan. Para sa aming mga frontier na modelo, kasama rito ang mga bagong round ng pagsubok na umaangkop⁠ gamit ang aming mga panloob na awtomatikong sistema ng red teaming upang subukin nang husto ang tibay ng modelo. Inilalathala namin ang resulta ng mga pagsusuri sa kakayahan at kaligtasan sa aming mga card ng system⁠(magbubukas sa bagong window).

  • Para sa aming mga modelong may pinakamataas na kakayahan, nagsasagawa rin kami ng pagsubok kasama ang mga ikatlong partido upang subukin nang husto ang mga mekanismo ng proteksiyon laban sa maling paggamit at ang mismong alignment ng mga modelo.

  • Pagsusuri sa mga na-flag ng pagsubaybay sa yugto ng panloob na deployment upang matunton ang anumang pagbabago sa mismong alignment ng batayang modelo.

Bukod sa aming “synchronous” na mga mekanismo ng proteksiyon (gaya ng pagsasanay sa kaligtasan ng modelo at mga classifier ng sistema), gumagamit din kami ng offline na pagpapatupad ng patakaran at pagsisiyasat para sa panlabas na deployment. Pinagsasama ng mga pangkat na ito ang malawakang paggamit ng mga agent na tagasiyasat at pagsusuri ng tao upang matukoy ang mga posibleng banta—mula sa cyberabuse, paggawa ng biyolohikal na armas, at distillation⁠, hanggang sa misalignment ng mismong modelo. Lalong kapaki-pakinabang ang offline na pagpapatupad sa pangangalap ng impormasyon mula sa iba't ibang account upang magkaroon ng mas buong larawan ng isang posibleng banta.

Ang mga programa ng access para sa pinagkakatiwalaang user, gaya ng Daybreak at Rosalind⁠, ay nagdaragdag ng seguridad at nagpapabilis sa gawain ng mga defender at lehitimong mananaliksik habang nililimitahan ang access ng mga posibleng umaatake.

Pagtugon sa Insidente at Pagsisiwalat

Kapag may napansin kaming pagkabigo sa isang antas ng kaligtasan, may aktuwal mang pinsala o wala, layunin naming agad itong siyasatin, unahin ayon sa bigat, at kung posible at naaangkop, isiwalat sa labas. Sa ilalim ng aming patakaran sa pag-uulat ng misalignment⁠, maaaring mag-flag ang sinumang empleyado ng insidente para isiwalat sa publiko. Sinisiyasat ang mga ulat na ito, at kung hindi magkasundo kung dapat isiwalat sa labas, ipinauubaya ang desisyon sa aming Safety Advisory Group. Bukod sa pag-asa sa mga ulat ng empleyado, aktibo kaming naghahanap ng mga insidente ng misalignment upang matugunan ang mga ito at maibahagi ang mga natuklasan.

Makikita rito⁠(magbubukas sa bagong window) ang aming mga ulat sa misalignment.

​


​

Nakasalalay ang gawaing ito sa pagsulong ng pananaliksik at disiplina sa operasyon: tamang pag-configure ng mga kontrol, pagsubok sa kanilang ugnayan, at tiyak na pagkilos kapag pumalya ang mga ito. Maaaring pahinain ng maling configuration ng network service o pumalyang awtomatikong paghinto ang matitibay sanang proteksiyon.

Habang nagkakaroon ng bagong kakayahan ang mga modelo, kailangan naming patuloy na subukin ang mga palagay na batayan ng aming mga mekanismo ng proteksiyon at pagbutihin ang mga ito kung kailangan. Dapat gumabay ang mga aral sa pananaliksik, panloob na paggamit, at pampublikong deployment sa pagsasanay, pagsusuri, at deployment ng mga susunod na modelo.

Patuloy naming ibabahagi ang mga natuklasan sa mga card ng system, ulat ng insidente, ulat ng panganib⁠(magbubukas sa bagong window) sa panloob na deployment, at panlabas na pagsusuri⁠ upang masiyasat ng iba ang aming pamamaraan, pati ang mga limitasyon nito. Kapag kulang ang ebidensiya ayon sa aming pamantayan sa kaligtasan, muli naming ihihinto ang pagsasanay o pipigilan ang paglabas hanggang matugunan ang mga rekisitong iyon.

Kaugnay na pananaliksik at mga sanggunian

Pagtatakda ng mga pamantayan sa kaligtasan

Pagtukoy at pagsusuri sa naka-align na behavior

Pag-contain sa mga modelo at pagpapahusay ng mga mekanismo ng proteksiyon

Pagtugon sa insidente at pagsisiwalat

Pagsulong at mga aplikasyon ng pananaliksik

  • Pagpapabilis ng pananaliksik: Mula sa loob ng OpenAI — Paunang ebidensiya ng pagbabago sa pananaliksik sa OpenAI dahil sa mga coding agent, kasama ang lumalawak na paggamit, mas masalimuot na gawain, at epekto sa pag-eeksperimento.

  • Tungkol sa Navier–Stokes Millennium Prize Problem — Matematikal na patunay mula sa panloob na sistema ng AI, na may pormalisasyon sa Lean, na nagpapakita ng kakayahan ng malawakang deployment sa pananaliksik.

  • Daybreak — Nagbibigay ang aming programa sa cybersecurity ng mga advanced na kakayahan ng AI, tool sa seguridad, at suporta sa mga nasuring defender upang matuklasan ang mga kahinaan at patibayin ang depensa.

  • Ipinapakilala ang GPT‑Rosalind para sa pananaliksik sa mga agham ng buhay⁠ — Espesyal na modelo para sa biyolohiya, pagtuklas ng gamot, at pagsasalin ng pananaliksik tungo sa klinikal na panggagamot, na available sa mga kuwalipikadong organisasyon sa programang nagbibigay ng access sa pinagkakatiwalaang user.