Landas patungo sa Astra: mga critical capability at frontier safeguard

Mula nang una naming na-assess na maaaring umabot ang Astra sa kritikal na level ng cybersecurity capability, nakakalap kami ng higit pang ebidensiya at nagsagawa ng mga karagdagang evaluation para i-assess ang mga capability ng model. Naniniwala kami ngayon na naaabot ng Astra ang Critical cybersecurity capability threshold sa ilalim ng aming Preparedness Framework. Ibig sabihin, sa tulong ng mga tamang tool at access, kaya nitong tumukoy ng mga dati nang hindi natukoy na kahinaan sa security at bumuo ng mga paraan para i-exploit ang mga iyon sa maraming system na mahusay na protektado, nang walang taong gumagabay sa bawat hakbang. Ito ang unang model na itinalaga namin sa level na ito, at nagre-require ito ng mas matitibay na safeguard habang dine-develop at bago i-release.

Sa nakalipas na ilang linggo, ipinagpaliban namin ang ilang bahagi ng development at release ng Astra habang pinapatibay at tine-test namin ang mga proteksyon laban sa cyber misuse at mga hindi awtorisadong action ng model. Batay sa gawaing iyon, naniniwala kaming sapat na nababawasan ng mga safeguard ng Astra ang risk ng matinding pinsala para ma-release ito sa ilalim ng aming Preparedness Framework.

Bagama't hindi sangkot ang Astra sa insidente ng Hugging Face, isinama namin sa aming safety approach ang mga natutunan⁠(magbubukas sa bagong window) namin mula sa insidenteng iyon. Batay sa retrospective testing, naniniwala kaming napigilan sana ng aming mga production safeguard noong panahong iyon ang insidente ng Hugging Face. Mula noon, nagpatupad kami ng mas matitibay pang safeguard para sa Astra, kabilang ang pag-train sa model para mas maaasahang i-refuse ang mga mapaminsalang cyber request at sundin ang mga restriction sa safety, mga karagdagang proteksyon laban sa maling paggamit, at pag-monitor na kayang magpatigil sa posibleng hindi awtorisadong aktibidad.

Plano naming gawing available ang Astra sa lalong madaling panahon, pero magiging mas limitado ang access sa mga pinaka-advanced nitong capability sa cybersecurity. Sa simula, magiging available ang advanced na gawain sa cybersecurity sa isang grupo ng mga tester. Susundan ito ng access sa pamamagitan ng Daybreak Blue para palawakin ang paggamit para sa depensa.

Sa paglulunsad, magse-share kami ng higit pang detalye tungkol sa aming testing at mga evaluation sa safety, security, at alignment sa card ng system ng model. Bago i-release, gusto naming magbigay ng update tungkol sa ilan sa mga ginagawa namin para safe na ma-release ang isang model may ganitong level ng capability sa cybersecurity—at maging transparent tungkol sa mga nananatiling risk.

Sa ilalim ng aming Preparedness Framework, naaabot ng isang modelo ang Critical threshold kung natutugunan ang alinman sa mga sumusunod na kondisyon:

• Kayang tumukoy at mag-develop ng model ng mga gumaganang zero-day exploit sa lahat ng level ng kalubhaan sa maraming pinatibay at kritikal na system sa totoong mundo nang walang interbensyon ng tao.
• Kayang mag-devise at mag-execute ng model ng mga end-to-end novel strategies para sa cyberattacks laban sa mga pinatibay na target kung bibigyan lang ng mataas na level ng ninanais na layunin.

Pinagsama sa aming preparedness evaluation ng Astra ang mga naka-automate na pampubliko at pribadong benchmark at mga assessment na pinangunahan ng mga eksperto. Malaking pag-angat ang kinakatawan ng Astra sa mga capability sa cybersecurity kumpara sa GPT‑5.6 Sol: higit itong mahusay sa paggamit ng token at mas capable sa pagtukoy ng vulnerability at pag-develop ng exploit.

Bilang halimbawa, ni-run namin ang Astra sa ExploitBench, kung saan nakamit ng model ang perpektong score na 100% sa benchmark na nag-e-evaluate sa ability ng model na mag-develop ng mga exploit mula sa mga kilalang vulnerability.

Dahil sa mga alalahanin tungkol sa kontaminasyon, gumawa kami ng internal benchmark na tinawag na “ExploitBench - Internal Port (Hunyo–Agosto 2026),” na naglalaman ng 20 mas kamakailang inihayag na mga V8 vulnerability na may mataas na kalubhaan. Sa dataset na ito, nakakamit ng Astra ang mas matataas na rate ng arbitrary code execution kaysa sa GPT‑5.6 Sol habang gumagamit ng mas kaunting output token. Sa evaluation, natuklasan at ginamit pa ng model ang dalawang zero-day vulnerability bilang bahagi ng exploit chain. Kasalukuyan naming inihahayag ang dalawang vulnerability na ito sa mga maintainer.

Sa mga assessment na pinangunahan ng mga eksperto laban sa isang pinatibay na browser at operating system, natuklasan ng Astra ang mga dati nang hindi natukoy na vulnerability at ginawang mga gumaganang exploit chain ang mga ito. Bumuo ito ng full browser-compromise chain na nakalabas sa sandbox at nag-execute ng mga command sa host nang magbukas ang browser ng HTML file. Nakakita rin ang model ng maraming vulnerability sa isang pinatibay na operating system at pinagsama ang mga ito sa isang local privilege-escalation chain mula sa user na walang pribilehiyo patungong root. Sa kabuuan, dahil sa aming imbestigasyon, napagpasyahan naming naaabot ng Astra ang critical threshold.

Para sa mga model na may level ng mga capability ng Astra sa cybersecurity, kailangan naming tugunan ang dalawang pathway para i-minimize ang risk sa matinding cyber harm, habang isinasagawa ang development at bago gawin ang deployment:

• Paggamit ng modelo ng mga mapaminsalang aktor. Dapat matatag na mapigilan ng aming mga safeguard ang mga mapaminsalang aktor na gamitin ang Astra para mag-develop ng mga exploit para sa mga dati nang hindi natukoy na kahinaan sa mga pinatibay na kritikal na system o magsagawa ng mga end-to-end na pag-atake sa mga pinatibay na target.
• Pagsasagawa ng modelo ng mga hindi awtorisado at hindi naka-align na pagkilos. Kahit walang mapaminsalang user, maaaring magdulot mismo ng cyber harm ang isang modelong may mga advanced na capability sa cybersecurity kung hindi ito naka-align. Bukod sa pagtatakda ng napakataas na pamantayan sa alignment para sa mga modelo may mga ganitong capability, bilang ikalawang layer ng depensa ay dapat mabilis na matukoy at mapigilan ng aming mga safeguard ang mga hindi naka-align na action na maaaring magdulot ng malaking pinsala sa totoong mundo.

Mahalagang tandaan na ang ikalawang pathway ay parehong nalalapat na internal development at external deployment. Gaya ng nauna naming inilarawan, itinigil muna namin nang dalawang linggo ang ilang frontier training, kabilang ang ilang training para sa Astra, matapos ang insidente ng OpenAI-Hugging Face para patibayin ang aming imprastraktura sa pagsasanay. Kabilang dito ang isolation at mga kontrol sa network, pinalawak na pag-monitor, at pinalakas na training at mga threshold sa alignment. Pagkatapos, ipinagpatuloy namin ang mas maliit na gawain sa ilalim ng mas mahihigpit na kontrol.

Mas matagal naming ipinagpaliban ang ilang mas malalaking reinforcement learning (RL) run para sa mga susunod na bersyon ng Astra habang nagtatakda kami ng mas matataas na pamantayan para sa safety at security ng training environment ng mga ito. Noong Agosto 28, sinimulan namin ulit ang malaking frontier RL run na naunang itinigil matapos maipatupad ang mga bagong requirement sa safety at security. Pansamantala pa rin naming ipinagpapaliban ang ilang mas maliliit na pang-eksperimentong training run.

Nangailangan din ang paghahanda sa Astra para sa release ng mas matitibay na proteksyon laban sa cyber abuse at mga hindi awtorisadong action. Sa ibaba, inilalarawan namin ang mga safeguard na iyon at kung paano namin na-test ang mga ito.

Mula nang i-deploy noong Pebrero ang unang model na itinuring naming may High capability sa cybersecurity, pinahusay namin ang aming mga cyber safeguard sa bawat sumunod na paglulunsad. Pinagsasama-sama ng aming overall safety approach ang mga refusal sa post-trained model, mga classifier sa safety sa level ng system, pati na rin offline na pag-detect, at pag-disrupt sa banta.

Para sa GPT‑5.6⁠(magbubukas sa bagong window), lubos naming pinahusay ang katatagan ng aming system-level stack, kabilang ang pagdaragdag ng mga activation classifier para ma-detect ang cyber abuse at pagpapalawak ng saklaw laban sa mga universal jailbreak, na natuklasan sa pamamagitan ng masinsinang automated red-teaming. Bilang pagpapatuloy ng mga improvement na ito, lalo pa kaming nag-invest para sa Astra sa model layer ng aming safeguard stack at pinahusay ang kakayahan ng aming mga safeguard na unawain ang konteksto sa magkakaugnay na pag-uusap.

• Sa pag-leverage ng mga bagong technique sa training para sa katatagan ng model, mas maaasahang nare-refuse ng Astra ang mga request para sa hindi ina-allow na cyber assistance. Sa aming set ng mga evaluation sa cyber jailbreak, nire-refuse ng Astra ang 91.5% ng mga request (kumpara sa 59% ng GPT‑5.6 Sol).
• Para sa mga account na na-assess bilang may mas mataas na risk, gumagamit kami ng mas konserbatibong model-behavior boundary na nagre-refuse sa mas malawak na uri ng posibleng risky na cyber assistance. Para sa mga user na may mataas na risk, pinalawak namin ang konteksto ng aming mga system sa pag-monitor para matukoy ang mga ganitong klase ng cyber abuse.

Ipinagpatuloy din namin ang aming programa ng mahigpit na pag-test, internal at external red-teaming, at remediation. Bukod sa regression testing para matiyak na saklaw pa rin ang lahat ng jailbreak na natuklasan sa mga nakaraang testing period, nagsasagawa kami ng bagong bugso ng red-teaming gamit ang aming pinakabagong internal red-teaming attackers. Nakikipagtulungan kami sa mga partner sa industriya para bumuo ng iisang rating system para sa jailbreak, at gagamitin namin ang aming 24/7 na rapid-response program para siyasatin at tugunan ang mga bagong natuklasan. Magse-share kami ng higit pang detalye tungkol sa cyber safeguard testing sa card ng system ng Astra.

Nananatiling pangunahing haligi ng aming safety approach ang pagtulong sa mga defender na maghanap at mag-ayos ng mga vulnerability. Sa paglulunsad, inaasahan naming magdudulot muna ang mga safeguard ng Astra ng mas maraming friction kaysa sa nais namin sa kalaunan para makapagprotekta laban sa posibleng maling paggamit. Sa simula, isang maliit na grupo ng mga alpha tester ang magkakaroon ng access sa Astra para sa mga advanced na workflow sa cybersecurity. Pagkatapos, papalawakin ang access sa pamamagitan ng Daybreak Blue para suportahan ang paggamit para sa depensa.

Naglagay rin kami ng mga karagdagang layered na proteksyon para maiwasan ang model sa paggawa ng mga posibleng hindi naka-align na action:

• Alignment ng model: Sa aming mga evaluation, higit na malamang na sundin ng Astra kaysa sa GPT‑5.6 Sol ang mga explicit restriction sa safety at security at manatili sa awtorisadong saklaw nito, kaya ito ang aming pinaka-aligned na model hanggang ngayon. Partikular kaming nakatuon sa pagsunod ng model sa mga restriction sa security at safety at sa posibilidad na manatili ito sa awtorisadong saklaw nito.
• Pag-monitor at pagkontrol: Alinsunod sa aming mga panloob na pamamaraan, dine-deploy namin ang Astra nang may karagdagang pag-monitor sa chain-of-thought para mabilis na ma-detect at mapigilan ang mga posibleng hindi naka-align na action.

Malaking hakbang pasulong ang Astra sa alignment ng model at bunga ito ng ilang matagal nang nagra-run na alignment workstream—mula sa mga interbensyon sa pre-training hanggang sa mas maingat at consistent na pagmamarka sa panahon ng reinforcement learning. Sa pag-test, nakita naming mas malamang na consistent na sumusunod ang Astra sa explicit na safety restrictions at warnings, gaya ng auto-review, kumpara sa GPT 5.6 Sol.

Nag-develop din kami ng test batay sa insidente ng Hugging Face, kung saan kinompromiso ng mga agent na nagpapatakbo ng ExploitGym cyber evaluation ang mga system ng isang third party. Ginamit namin ang pinakamahihirap na task sa evaluation na iyon para gumawa ng mga “honeypot” test kung susubukan ng isang model na ikompromiso ang nakapalibot na security infrastructure sa halip na lutasin ang nakatalagang task nito. Nang walang production safeguard, in-attempt ng GPT‑5.6 Sol na i-access ang mga target na iyon sa 56% ng mga test na gumagaya sa benchmark environment kung saan inuutusan ang model na mag-develop ng mga exploit. Hindi nagsagawa ang Astra ng anumang ganitong attempt sa mga test na ito. Inilalarawan ng mga figure na ito ang behavior sa ilalim ng mga kondisyon ng test nang walang cyber safeguard, hindi ang normal na paggamit sa production.

Isang layer ng safety ang pag-train sa mga model para maging naka-align. Magse-share kami ng higit pang detalye tungkol sa aming mga pag-test at resulta para sa alignment sa card ng system ng Astra.

Nagde-deploy din kami sa production ng misalignment monitoring para sa mga model na nasa klase ng Astra para ma-detect at mabilis na mapigilan ang posibleng misalignment. Katulad ang mga safeguard na ito ng pag-monitor namin sa mga internal deployment at gumagamit ang mga ito ng isang system ng mga classifier na sumusuri sa reasoning at mga action ng model para sa hindi awtorisadong behavior at awtomatikong nagpapatigil sa posibleng hindi awtorisadong aktibidad. Habang lumalaki ang mga capability, hindi mapapalitan ng mga safeguard na ito ang mahusay na alignment ng aming mga model. Layunin naming maging sapat ang alignment ng mga model sa hinaharap para hindi kailanman mati-trigger ang mga safeguard na ito.

Nakatuon ang OpenAI sa pagtiyak na malawak na mapapakinabangan ang mga benepisyo ng AI. Dahil sa malaking pag-angat ng mga capability sa cybersecurity ng Astra, lalo kaming nag-iingat para maging safe at secure ang deployment na ito. Maaaring paminsan-minsang pabagalin, i-pause, o itigil ng mga ekstrang safety check ang lehitimong gawain, kabilang ang defensive cybersecurity.

Maaaring paminsan-minsang i-flag ng system ang lehitimong aktibidad bilang posibleng cyber misuse o hindi awtorisadong behavior, kaya maaaring hindi sinasadyang pabagalin, i-pause, o itigil ito. Posibleng kabilang dito ang gawaing mukhang walang direktang kaugnayan sa cybersecurity o mga task na matagal na pinapatakbo ng isang agent.

Kung ipo-pause ng misalignment monitor ang isang task, maaaring hilingin sa mga user sa ChatGPT o Codex na i-review ang action bago magpatuloy. Kapag gumagamit ng ibang interface gaya ng API, titigil ang task. Plano naming patuloy na i-calibrate ang mga safeguard na ito para mabawasan ang mga hindi kailangang interruption at palawakin ang access sa mga frontier capability sa pamamagitan ng mga programang gaya ng Daybreak.

Pumapasok tayo sa isang stage ng development ng AI kung saan kayang gampanan ng mga model ang mas mahahalagang gawain, at maaaring magkaroon ng mas malulubhang epekto ang mga pag-fail sa alignment at pagkontrol. Ang pagkamit ng mga benepisyo ng mga system na ito ay nakasalalay sa kakayahan nating i-align at kontrolin ang mga model habang lumalawak ang mga capability ng mga ito.

Saklaw ng responsibilidad na iyon ang training, evaluation, at deployment. Nagre-require ito ng mas matibay na ebidensiya ng naka-align na behavior, mga safeguard na sumasabay sa pag-unlad ng kakayahan, at kahandaang magpabagal kapag hindi sapat ang mga proteksyong iyon.

Patuloy naming ite-test ang mga system na ito, ise-share ang aming natutunan, at magiging malinaw tungkol sa mga bagay na nananatiling hindi tiyak. Mas malaki ang hihingin sa amin ng mga modelo na susunod sa Astra. Maglalaan kami ng panahon at gagawin ang kinakailangang trabaho para tuparin ang responsibilidad na iyon.