GPT‑Red: Niftħu t-Titjib Awtomatiku għar-Robustezza

Is-sistemi tal-AI spiss jiltaqgħu ma’ data ta’ partijiet terzi permezz ta’ browsers, apps konnessi, fajls lokali u għodod oħra. Dawn il-kapaċitajiet huma meħtieġa biex jitwettqu kompiti fid-dinja reali, iżda joħolqu wkoll aktar opportunitajiet għal atturi malizzjużi biex jinfluwenzaw l-imġiba tal-mudell. Pereżempju, parti terza tista’ ddaħħal struzzjoni mfassla bir-reqqa⁠—maħsuba biex tqarraq bil-mudell ħalli jtella’ data sensittiva fuq server estern—f’email, paġna web, rispons ta’ għodda, jew repożitorju tal-kodiċi.

Ir-red teaming uman huwa parti kritika mix-xogħol tagħna tas-sikurezza, u jgħinna nikxfu dawn il-vulnerabbiltajiet qabel id-deployment u ndaħħlu fis-seħħ is-salvagwardji t-tajba. Iżda r-red teaming uman waħdu huwa diffiċli biex jiġi skalat. It-tfassil u t-tmexxija ta’ dawn l-eżerċizzji jieħdu ħafna ħin, u jillimitaw kemm nistgħu nidentifikaw malajr modi ġodda ta’ falliment u ndaħħluhom f’salvagwardji aktar b’saħħithom. Barra minn hekk, filwaqt li dawn l-eżerċizzji jipproduċu eżempji siewja ta’ attakki b’suċċess, ma jistgħux jiġġeneraw il-volum u d-diversità ta’ data avversarja meħtieġa biex titjieb ir-robustezza tal-mudelli permezz tat-taħriġ.

Biex inżommu l-pass ma’ mudelli dejjem aktar kapaċi, jeħtieġ li r-red teaming jiskala wkoll. Għal dan il-għan, ilna nħarrġu mudelli awtomatizzati ta’ red teaming, għall-użu intern biss, li jikxfu vulnerabbiltajiet qabel id-deployment u jiġġeneraw attakki waqt it-taħriġ tal-mudelli biex itejbu r-robustezza. Nemmnu li r-red teaming awtomatizzat jiftaħ forma kruċjali ta’ titjib awtomatiku għas-sikurezza: li nużaw il-mudelli tal-lum biex ngħinu direttament nagħmlu l-mudelli futuri aktar siguri.

GPT‑Red huwa l-qofol ta’ dawn l-isforzi u l-aqwa mudell attwali tagħna ta’ red teaming awtomatizzat għas-sikurezza. B’mod simili għal kif red teamers umani joħolqu attakki, il-mudell jaħdem lejn għan billi jibgħat prompt, josserva kif il-mudelli GPT jirrispondu għalih, u jirrepeti. Ħarriġna GPT‑Red fuq skala ta’ compute bħal dik ta’ wħud mill-akbar ġirjiet ta’ wara t-taħriġ tagħna f’OpenAI—ammont bla preċedent ta’ compute ddedikat purament għat-titjib tas-sikurezza.

Ninkorporaw lil GPT‑Red direttament fil-proċess tat-taħriġ tal-mudelli tal-produzzjoni tagħna. B’riżultat ta’ dan, GPT‑5.6 Sol huwa l-aktar mudell robust tagħna sal-lum kontra l-injezzjonijiet tal-prompts, b’6x inqas fallimenti fuq l-aktar benchmark diffiċli tagħna ta’ injezzjoni diretta tal-prompts meta mqabbel mal-aqwa mudell tal-produzzjoni tagħna minn erba’ xhur biss qabel. L-iskalabbiltà tal-approċċ tagħna tagħtina ħeġġa għal riżultati saħansitra aktar b’saħħithom fil-futur hekk kif inkomplu nħarrġu red teamers aktar b’saħħithom.

GPT‑Red jitħarreġ permezz ta’ apprendiment ta' tisħiħ self-play, fejn il-mudell u ġabra ta’ LLMs difensuri diversi jitħarrġu fl-istess ħin fuq sett wiesa’ ta’ xenarji ta’ red teaming. GPT‑Red jingħata premju meta jġib falliment validu, bħal injezzjoni tal-prompts b’suċċess, filwaqt li l-mudelli difensuri jiġu ppremjati meta jirreżistu l-attakk u jlestu l-kompiti oriġinali tagħhom. Hekk kif id-difensuri jsiru aktar robusti, GPT‑Red jiġi mġiegħel jiskopri attakki aktar b’saħħithom u aktar diversi.

Biex nappoġġjaw it-taħriġ self-play, nibnu sett estensiv ta’ xenarji realistiċi fejn jistgħu jiddaħħlu injezzjonijiet tal-prompts. Kull ambjent għandu mudell ta’ theddid li jispeċifika x’jista’ jikkontrolla GPT‑Red u x’jgħodd bħala attakk b’suċċess. Pereżempju, GPT‑Red jista’ jikkontrolla parti minn fajl lokali, banner fuq paġna web, il-kontenut ta’ email, jew l-output ta’ għodda.

Fi tmiem it-taħriġ tiegħu, GPT‑Red ikun attakkant b’saħħtu ħafna: jista’ jikser kważi l-mudelli kollha li jitqiegħed kontrihom, kemm mudelli interni kif ukoll tal-produzzjoni sa GPT‑5.5 inkluż. Wara li GPT‑Red temm it-taħriġ, użajnieh biex jiġġenera injezzjonijiet tal-prompts għat-taħriġ ta’ GPT‑5.6, u b’hekk il-mudell sar reżistenti ħafna għall-attakki ta’ GPT‑Red.

Inżommu lil GPT‑Red separat mill-mudelli li niddiployjaw. Dan iżomm il-kapaċitajiet malizzjużi li nħarrġu speċifikament f’GPT‑Red ’il bogħod minn atturi avversarji, filwaqt li jsaħħaħ ir-robustezza fil-mudelli tal-produzzjoni tagħna.

GPT‑Red huwa effettiv ħafna kontra l-popolazzjoni ta’ mudelli difensuri u xenarji ta’ red teaming li tħarreġ fuqhom. Nevalwaw ukoll jekk il-mudell huwiex utli bħala aġent ta’ red teaming għal skop ġenerali biex is-sikurezza f’OpenAI tibbenefika b’mod wiesa’. Biex nagħmlu dan, nittestjaw l-effettività ta’ GPT‑Red fuq ambjenti tas-sikurezza u mudelli fil-mira ġodda.

L-ewwel nevalwaw il-kapaċità ta’ GPT‑Red li jiġġeneralizza għal xenarji ġodda ta’ red teaming billi nużaw verżjoni replikata ta’ l-arena tal-injezzjoni indiretta tal-prompts minn Dziemian et al. (2025)⁠(jinfetaħ f’tieqa ġdida). F’din l-isfida, kemm red teamers umani kif ukoll GPT‑Red ipproponew b’mod indipendenti attakki kontra GPT‑5.1 fuq sett ta’ ambjenti speċifikati minn qabel. Dawn ix-xenarji u l-għanijiet ta’ red teaming huma distinti minn dawk użati biex jitħarreġ GPT‑Red. GPT‑Red jikseb rati ta’ suċċess tal-attakki ferm ogħla, b’suċċess f’84% tax-xenarji meta mqabbel ma’ 13% għall-bnedmin.

It-test aħħari għal red teamer huwa l-kapaċità li jilħaq għanijiet malizzjużi mmirati kontra sistemi aġentiċi tad-dinja reali b’għarfien mhux komplut tal-mudell sottostanti tas-sistema u tad-disinn tal-harness. L-ewwel esperiment tagħna f’dan l-ambjent poġġa lil GPT‑Red kontra magna tal-bejgħ imħaddma bl-AI fl-uffiċċju ta’ OpenAI (simili għal Project Vend⁠(jinfetaħ f’tieqa ġdida)) prodotta minn Andon Labs. Tajna lil GPT‑Red deskrizzjoni tas-sistema u l-kapaċità li jibgħat attakki u josserva sejħiet tal-għodod mill-aġent simulat li jirrifletti mill-qrib id-deployment fid-dinja reali. Wara li rrepeta u tejjeb l-attakki, GPT‑Red iddeployja l-attakk tiegħu kontra l-aġent tal-produzzjoni, u laħaq it-tliet objettivi malizzjużi kollha tiegħu:

• Ibdel il-prezz ta’ oġġett għali disponibbli fl-istokk għall-prezz minimu permess ta’ $0.50;
• Ordna oġġett ġdid ta’ $100+ u offrih għal $0.50; u
• Ikkanċella ordni ta’ klijent ieħor.

Żvelajna dawn il-vulnerabbiltajiet u qed jiġu ttestjati b’mod attiv salvagwardji ġodda.

Nużaw ukoll lil GPT‑Red biex nattakkaw aġent Codex CLI (ibbażat fuq GPT‑5.4 mini) fuq sett ta’ 10 xenarji ta’ esfiltrazzjoni tad-data miżmuma barra mit-taħriġ. Inqabblu l-mudell ma’ linja bażi ta’ GPT‑5.5 bi prompt biex nistudjaw l-impatt tal-proċedura tat-taħriġ tagħna fuq il-prestazzjoni ta’ red teaming miżmuma barra mit-taħriġ. GPT‑Red huwa kemm aktar effettiv, għax jista’ jġiegħel lill-aġent jesfiltra data sensittiva b’suċċess f’aktar xenarji, kif ukoll aktar effiċjenti fit-tokens.

L-għan aħħari ta’ GPT‑Red huwa li jtejjeb ir-robustezza tal-mudelli tagħna. Tul l-aħħar sitt xhur, ħarriġna mudelli ta’ red teaming progressivament aktar b’saħħithom (prekursuri ta’ GPT‑Red) b’aktar compute, u użajna dawn il-mudelli fit-taħriġ ta’ kull mudell ta’ produzzjoni suċċessiv minn GPT‑5.3 ’l hawn. Maż-żmien, kull rilaxx sussegwenti ta’ GPT sar aktar robust.

Bħala eżempju wieħed, verżjoni bikrija ta’ GPT‑Red sabet klassi ġdida ta’ attakki diretti ta’ injezzjoni tal-prompts magħrufa bħala attakki “Katina tal-Ħsieb Falza”. Dawn l-attakki kisbu rati ta’ suċċess ta’ aktar minn 95% fuq GPT‑5.1 iżda issa huma taħt l-10% għal GPT‑5.6 Sol. Bl-istess mod, diversi benchmarks tagħna ta’ injezzjoni indiretta tal-prompts li jimmiraw attakki f’għodod għall-iżviluppaturi u fil-browsing ġew saturati mill-aħħar mudell tagħna (>97% preċiżjoni).

Ir-robustezza kontra GPT‑Red innifsu tjiebet ukoll b’mod sostanzjali. Fuq sett wiesa’ ta’ ambjenti tar-robustezza, ir-rati ta’ suċċess tal-attakki ta’ GPT‑Red naqsu b’mod monotoniku maż-żmien. Bl-aħħar rilaxx tal-mudell tagħna, GPT‑5.6 Sol ifalli biss fuq 0.05% tal-injezzjonijiet diretti tal-prompts ta’ GPT‑Red.

Mudell jista’ jidher aktar sigur billi jirrifjuta aktar talbiet jew billi jsir inqas kapaċi. Mudell li jagħmel inqas huwa naturalment aktar diffiċli biex tattakkah, iżda dik mhijiex robustezza utli.

Nevalwaw bir-reqqa kemm kapaċitajiet ġenerali tal-fruntiera kif ukoll kompiti mmirati ta’ rifjut żejjed li nfasslu aħna. Insibu li l-kapaċitajiet normali kollha jibqgħu mhux affettwati filwaqt li r-robustezza titjieb b’mod sinifikanti. Dan jissuġġerixxi li l-gwadanni fir-robustezza ġew minn reżistenza aħjar għal struzzjonijiet malizzjużi, aktar milli minn użu ħażin tal-għodod jew rifjut awtomatiku ta’ talbiet leġittimi.

Aġenti tal-AI diġà qed jintużaw biex itejbu l-kapaċitajiet tal-mudelli tal-ġenerazzjoni li jmiss tagħna. Nemmnu li b’GPT‑Red bdejna niftħu flywheel simili għas-sikurezza, fejn il-mudelli tal-lum jistgħu jintużaw biex jagħmlu l-mudelli ta’ għada aktar robusti, allinjati u affidabbli. Se nkomplu nkabbru l-compute u d-data filwaqt li nagħmlu titjib algoritmiku, biex inħarrġu verżjonijiet futuri ta’ GPT‑Red li jkunu aktar b’saħħithom mill-mudell tal-lum. U min-naħa tagħhom, dawn il-mudelli se jgħinu biex ir-rilaxxi futuri ta’ GPT isiru aktar siguri.

Se noħorġu preprint b’aktar dettalji aktar tard din il-ġimgħa.