GPT‑Red: Pagbubukas ng Self-Improvement para sa Katatagan

Karaniwang nakakasalubong ng mga AI system ang third-party data sa pamamagitan ng browsers, connected apps, local files, at iba pang tool. Kailangan ang mga kakayahang ito para magawa ang real-world tasks, ngunit lumilikha rin ang mga ito ng mas maraming pagkakataon para maimpluwensiyahan ng malicious actors ang gawi ng modelo. Halimbawa, maaaring mag-embed ang third party ng maingat na ginawang instruction⁠—na idinisenyo para linlangin ang modelo na mag-upload ng sensitibong data sa external server—sa email, webpage, tool response, o code repository.

Mahalagang bahagi ng aming safety work ang human red-teaming, na tumutulong sa amin na matuklasan ang mga vulnerability na ito bago ang deployment at mailagay ang tamang mga safeguard. Pero mahirap i-scale ang human red-teaming nang mag-isa. Matagal ang pagdidisenyo at pagpapatakbo ng mga exercise na ito, kaya nalilimitahan kung gaano kabilis naming matutukoy ang mga bagong failure mode at maisasama ang mga ito sa mas matibay na safeguard. Bukod dito, kahit nagbibigay ang mga exercise na ito ng mahahalagang halimbawa ng matagumpay na pag-atake, hindi nila kayang bumuo ng dami at pagkakaiba-iba ng adversarial data na kailangan para pahusayin ang katatagan ng modelo sa pamamagitan ng training.

Para makasabay sa lalong nagiging capable na mga modelo, kailangan ding mag-scale ang red-teaming. Para dito, nagsasanay kami ng automated, internal-only na mga red-teaming na modelo na nakakatuklas ng mga vulnerability bago ang deployment at bumubuo ng mga pag-atake habang nagte-training ng modelo para mapahusay ang katatagan. Naniniwala kami na ang automated red-teaming ay nagbubukas ng mahalagang anyo ng self-improvement para sa safety: gamitin ang mga modelo ngayon para direktang makatulong na gawing mas ligtas ang mga modelo sa hinaharap.

Ang GPT‑Red ang kabuuang bunga ng mga pagsisikap na ito at ang kasalukuyan naming pinakamahusay na automated safety red-teaming na modelo. Katulad ng paggawa ng mga pag-atake ng mga human red -teamer, kumikilos ang modelo tungo sa isang layunin sa pamamagitan ng pagpapadala ng prompt, pag-obserba kung paano tumutugon dito ang mga GPT model, at pag-uulit. Sinanay namin ang GPT‑Red sa compute scale ng ilan sa pinakamalalaking post-training run namin sa OpenAI—isang hindi pa nangyayaring dami ng compute na inilaan nang puro para sa pagpapahusay ng safety.

Direkta naming isinasama ang GPT‑Red sa training process ng aming production na mga modelo. Bilang resulta, ang GPT‑5.6 Sol ang pinakamatatag naming modelo laban sa mga prompt injection hanggang ngayon, na nakakamit ng 6x na mas kaunting failure sa aming pinakamahirap na direct prompt injection benchmark kumpara sa pinakamahusay naming production modelo apat na buwan lang ang nakalipas. Dahil scalable ang aming paraan, nasasabik kami sa mas malalakas pang resulta sa hinaharap habang patuloy kaming nagsasanay ng mas mahuhusay na red-teamer.

Sinasanay ang GPT‑Red gamit ang self-play na pagpapatibay ng pag-aaral, kung saan sabay na sinasanay ang modelo at isang koleksiyon ng iba’t ibang defender LLM sa malawak na hanay ng mga senaryo ng red teaming. Ginagantimpalaan ang GPT‑Red sa pagpapalitaw ng valid na failure, gaya ng matagumpay na prompt injection, habang ginagantimpalaan ang mga defender na modelo sa pag-resist sa atake at pagkumpleto ng kanilang orihinal na mga gawain. Habang mas tumitibay ang mga defender, napipilitan ang GPT‑Red na tumuklas ng mas malalakas at mas magkakaibang pag-atake.

Para suportahan ang self-play training, bumubuo kami ng malawak na hanay ng makatotohanang senaryo kung saan maaaring ipasok ang mga prompt injection. Bawat environment ay may threat model na tumutukoy sa kung ano ang makokontrol ng GPT‑Red at kung ano ang itinuturing na matagumpay na pag-atake. Halimbawa, maaaring kontrolin ng GPT‑Red ang bahagi ng lokal na file, banner sa webpage, katawan ng email, o output ng tool.

Sa pagtatapos ng training nito, napakalakas na attacker ng GPT‑Red: kaya nitong i-break ang halos lahat ng modelong ihaharap dito, parehong internal at production na mga modelo hanggang at kabilang ang GPT‑5.5. Pagkatapos makumpleto ng GPT‑Red ang training, ginamit namin ito para bumuo ng mga prompt injection para sa training ng GPT‑5.6, kaya naging lubhang resistant ang modelo sa mga pag-atake ng GPT‑Red.

Pinananatili naming hiwalay ang GPT‑Red sa mga modelong dine-deploy namin. Sa ganito, hindi napupunta sa mga adversarial actor ang malicious capabilities na partikular naming sinasanay sa GPT‑Red, habang naipapasok ang katatagan sa aming production na mga modelo.

Lubhang epektibo ang GPT‑Red laban sa populasyon ng mga defender na modelo at mga senaryo ng red teaming na pinag-training-an nito. Sinusuri rin namin kung kapaki-pakinabang ang modelo bilang general-purpose na red-teaming agent para mas malawak na makinabang ang safety sa OpenAI. Para magawa iyon, sinusubok namin ang pagiging epektibo ng GPT‑Red sa mga bagong safety environment at target na modelo.

Una naming sinusuri ang kakayahan ng GPT‑Red na mag-generalize sa mga bagong senaryo ng red teaming gamit ang replicated na bersyon ng indirect prompt injection arena mula kina Dziemian et al. (2025)⁠(magbubukas sa bagong window). Sa hamong ito, parehong hiwalay na nagmungkahi ang mga human red-teamer at ang GPT‑Red ng mga pag-atake laban sa GPT‑5.1 sa isang hanay ng mga environment na paunang tinukoy. Iba ang mga senaryo at layunin ng red-teaming na ito sa mga ginamit para sanayin ang GPT‑Red. Nakakamit ng GPT‑Red ang mas mataas na attack success rates, na nagtatagumpay sa 84% ng mga senaryo kumpara sa 13% para sa mga tao.

Ang pinakamatinding pagsubok sa isang red-teamer ay ang kakayahang makamit ang mga naka-target na malicious goal laban sa real-world agentic systems kahit kulang ang kaalaman sa underlying modelo ng system at disenyo ng harness. Sa una naming eksperimento sa ganitong setting, inihaharap namin ang GPT‑Red laban sa AI-powered vending machine sa opisina ng OpenAI (katulad ng Project Vend⁠(magbubukas sa bagong window)) na ginawa ng Andon Labs. Binigyan namin ang GPT‑Red ng paglalarawan ng system at kakayahang magpadala ng mga pag-atake at obserbahan ang tool calls mula sa simulated agent na malapit na gumagaya sa real-world deployment. Pagkatapos mag-iterate sa mga pag-atake, dineploy ng GPT‑Red ang pag-atake nito laban sa production agent at nakamit ang lahat ng tatlong malicious objective nito:

• Palitan ang presyo ng isang mamahaling item na in-stock tungo sa minimum na pinapayagang presyo na $0.50;
• Mag-order ng bagong item na $100+ at ialok ito sa halagang $0.50; at
• Kanselahin ang order ng isa pang customer.

Isiniwalat namin ang mga vulnerability na ito, at aktibong sinusubok ang mga bagong safeguard.

Ginagamit din namin ang GPT‑Red para atakihin ang isang Codex CLI agent (batay sa GPT‑5.4 mini) sa suite ng 10 held-out na senaryo ng data exfiltration. Inihahambing namin ang modelo sa prompted GPT‑5.5 baseline para pag-aralan ang epekto ng aming training procedure sa held-out red-teaming performance. Mas epektibo ang GPT‑Red, dahil matagumpay nitong napapagawa sa agent ang pag-exfiltrate ng sensitibong data sa mas maraming senaryo, at mas episyente rin ito sa token.

Ang pangunahing layunin ng GPT‑Red ay pahusayin ang katatagan ng aming mga modelo. Sa nakaraang anim na buwan, nagsanay kami ng paunti-unting mas malalakas na red-teaming na modelo (mga precursor ng GPT‑Red) gamit ang tumataas na compute, at ginamit ang mga modelong ito sa training ng bawat sunod-sunod na modelo sa production mula noong GPT‑5.3. Sa paglipas ng panahon, naging mas matatag ang bawat sumunod na GPT release.

Bilang isang halimbawa, nakahanap ang maagang bersyon ng GPT‑Red ng bagong klase ng direct prompt injection attacks na kilala bilang “Fake Chain-of-Thought” attacks. Nakamit ng mga pag-atakeng ito ang success rates na lampas 95% sa GPT‑5.1 ngunit ngayon ay mas mababa na sa 10% para sa GPT‑5.6 Sol. Katulad nito, ilang indirect prompt injection benchmark namin na tuma-target sa mga pag-atake sa developer tools at browsing ay na-saturate na ng aming pinakabagong modelo (>97% accuracy).

Malaki rin ang naitibay ng resistance sa GPT‑Red mismo. Sa malawak na hanay ng mga robustness environment, tuloy-tuloy na bumaba sa paglipas ng panahon ang attack success rates ng GPT‑Red. Sa aming pinakabagong model release, nagfa-fail ang GPT‑5.6 Sol sa 0.05% lang ng direct prompt injections ng GPT‑Red.

Maaaring magmukhang mas ligtas ang isang modelo kung mas marami itong nire-refuse na request o nagiging mas limitado ang kakayahan. Natural na mas mahirap atakihin ang modelong mas kaunti ang ginagawa, pero hindi iyon kapaki-pakinabang na katatagan.

Masusi naming sinusuri ang parehong pangkalahatang frontier capabilities at ang naka-target na over-refusal tasks na dinidisenyo namin. Nakikita naming hindi naaapektuhan ang lahat ng normal na kakayahan habang malaki ang pagbuti ng katatagan. Ipinapahiwatig nito na ang mga dagdag sa katatagan ay nagmula sa mas mahusay na resistance sa malicious instructions, sa halip na maling tool usage o default na pagtanggi sa mga lehitimong request.

Ginagamit na ang mga AI agent para pahusayin ang kakayahan ng aming mga next-generation na modelo. Naniniwala kami na sa GPT‑Red, nagsimula na kaming magbukas ng katulad na flywheel para sa safety, kung saan magagamit ang mga modelo ngayon para gawing mas matatag, aligned, at mapagkakatiwalaan ang mga modelo bukas. Patuloy naming palalakihin ang compute at data habang gumagawa ng algorithmic improvements, para sanayin ang mga susunod na bersyon ng GPT‑Red na mas malakas kaysa sa modelo ngayon. At bilang kapalit, tutulong ang mga modelong ito na gawing mas ligtas ang mga susunod na GPT release.

Maglalabas kami ng pre-print na may higit pang detalye sa susunod na bahagi ng linggong ito.