GPT‑Red: отклучување самоподобрување за робустност

Системите со вештачка интелигенција најчесто се среќаваат со податоци од трети страни преку прелистувачи, поврзани апликации, локални датотеки и други алатки. Овие можности се неопходни за извршување задачи од реалниот свет, но тие исто така создаваат повеќе можности за злонамерните актери да влијаат врз однесувањето на моделот. На пример, трета страна може да вгради внимателно изработена инструкција⁠— дизајнирана да го измами моделот да прикачува чувствителни податоци на надворешен сервер — во е-пошта, веб-страница, одговор на алатка или складиште на код.

Соработката со луѓе е клучен дел од нашата безбедносна работа, помагајќи ни да ги откриеме овие ранливости пред распоредувањето и да ги воспоставиме соодветните заштитни мерки. Но, самото човечко црвено здружување е тешко да се скалира. Дизајнирањето и спроведувањето на овие вежби е долготрајно, ограничувајќи ја брзината со која можеме да идентификуваме нови начини на дефекти и да ги вклучиме во посилни заштитни мерки. Понатаму, иако овие вежби даваат вредни примери за успешни напади, тие не можат да генерираат обем и разновидност на контрадикторни податоци потребни за подобрување на робусноста на моделот преку обука.

Одржувањето чекор со сè поспособните модели бара и скалирање на „црвено-тимирање“. За таа цел, обучуваме автоматизирани, само внатрешни модели со црвено тимирање кои откриваат ранливости пред распоредувањето и генерираат напади за време на обуката на моделите за да ја подобрат робусноста. Веруваме дека автоматското црвено здружување отклучува клучна форма на самоподобрување за безбедност: користење на денешните модели за директно да се помогне во побезбедноста на идните модели.

GPT‑Red е кулминација на овие напори и нашиот моментален најдобар автоматизиран модел на безбедносно црвено здружување. Слично на начинот на кој човечките „црвени тимови“ изработуваат напади, моделот работи кон целта со испраќање на порака, набљудување како GPT моделите реагираат на неа и итерирање. Го трениравме GPT‑Red на пресметковно ниво на некои од нашите најголеми обуки по обуката во OpenAI - невидена количина на пресметка посветена исклучиво на подобрување на безбедноста.

Ние директно го вклучуваме GPT‑Red во процесот на обука на нашите производствени модели. Како резултат на тоа, GPT‑5.6 Sol е нашиот најробусен модел за брзо инјектирање досега, постигнувајќи 6 пати помалку неуспеси на нашиот најтежок тест за директно брзо инјектирање во споредба со нашиот најдобар производствен модел од само четири месеци претходно. Скалабилноста на нашиот пристап нè прави возбудени за уште посилни резултати во иднина, додека продолжуваме да тренираме посилни играчи од црвениот тим.

GPT‑Red се обучува со зајакнување на учењето преку само-игра, при што моделот и збир од разновидни одбранбени големи јазични модели (LLM) истовремено се обучуваат на широк опсег сценарија за тестирање на отпорноста. GPT‑Red се наградува кога ќе предизвика валиден неуспех, како успешно вметнување злонамерни инструкции во промпт, додека одбранбените модели се наградуваат кога ќе му одолеат на нападот и ќе ги завршат првичните задачи. Како што одбранбените модели стануваат поробустни, GPT‑Red е принуден да открива посилни и поразновидни напади.

За да ја поддржиме обуката со само-игра, градиме широк збир реалистични сценарија во кои може да се вметнат злонамерни инструкции во промпт. Секоја средина има модел на закана што одредува што може да контролира GPT‑Red и што се смета за успешен напад. На пример, GPT‑Red може да контролира дел од локална датотека, банер на веб-страница, тело на е-пошта или излез од алатка.

На крајот од обуката, GPT‑Red е многу силен напаѓач: може да ги пробие речиси сите модели против кои се поставува, и внатрешни и продукциски модели до и вклучително GPT‑5.5. Откако GPT‑Red ја заврши обуката, го искористивме за да генерира вметнувања злонамерни инструкции во промпт за обуката на GPT‑5.6, со што моделот стана многу отпорен на нападите на GPT‑Red.

Го држиме GPT‑Red одделно од моделите што ги распоредуваме. Така злонамерните способности што намерно ги обучуваме во GPT‑Red остануваат надвор од рацете на противнички актери, додека робустноста се вградува во нашите продукциски модели.

GPT‑Red е многу ефикасен против популацијата од одбранбени модели и сценаријата за тестирање на отпорноста на кои бил обучен. Исто така оценуваме дали моделот е корисен како општонаменски агент за тестирање на отпорноста, за пошироко да придонесе за безбедноста во OpenAI. За таа цел, ја тестираме ефикасноста на GPT‑Red во нови безбедносни средини и врз целни модели.

Прво ја оценуваме способноста на GPT‑Red да генерализира на нови сценарија за тестирање на отпорноста со реплицирана верзија на арената за индиректно вметнување злонамерни инструкции во промпт од Dziemian et al. (2025)⁠(се отвора во нов прозорец). Во овој предизвик, и човечки тестери на отпорноста и GPT‑Red независно предложија напади против GPT‑5.1 во збир однапред зададени средини. Овие сценарија и цели за тестирање на отпорноста се различни од оние користени за обука на GPT‑Red. GPT‑Red постигнува значително повисоки стапки на успешност на нападите, со успех во 84% од сценаријата наспроти 13% кај луѓето.

Крајниот тест за „црвен тим“ е способноста да се постигнат насочени злонамерни цели против агентски системи од реалниот свет со нецелосно познавање на основниот модел на системот и дизајнот на системот. Нашиот прв експеримент во оваа средина го спротивстави GPT‑Red со автомат за продажба со вештачка интелигенција во канцеларијата на OpenAI (сличен на Project Vend⁠(се отвора во нов прозорец)) произведен од Andon Labs. На GPT‑Red му дадовме опис на системот и можноста за испраќање напади и набљудување на повици на алатки од симулираниот агент што тесно го отсликува распоредувањето во реалниот свет. Откако ги повтори нападите, GPT‑Red го распореди својот напад против продукцискиот агент, постигнувајќи ги сите три свои злонамерни цели:

• Променете ја цената на скап артикл на залиха на минималната дозволена цена од 0,50 долари;
• Нарачајте нов производ во вредност од над 100 долари и понудете го за 0,50 долари; и
• Откажете ја нарачката на друг клиент.

Ги откривме овие ранливости и активно се тестираат нови заштитни мерки.

Исто така, го користиме GPT‑Red за да нападнеме агент на Codex CLI (базиран на GPT‑5.4 mini) во пакет од 10 сценарија за ексфилтрација на задржани податоци. Го споредуваме моделот со поттикната GPT‑5.5 основна линија за да го проучиме влијанието на нашата постапка за тренинг врз перформансите на одложено црвено тимирање. GPT‑Red е поефикасен, бидејќи може успешно да го натера агентот да ексфилтрира чувствителни податоци во повеќе сценарија, а е и поефикасен со токени.

Крајната цел на GPT‑Red е да се подобри робусноста на нашите модели. Во текот на последните шест месеци, обучувавме прогресивно посилни модели со црвено тимирање (претходници на GPT‑Red) со зголемено пресметување и ги користевме овие модели во обуката на секој следен производствен модел од GPT‑5.3. Со текот на времето, секое следно издание на GPT стануваше посилно.

Како еден пример, една рана верзија на GPT‑Red пронајде нова класа на напади со директно инјектирање познати како напади „лажен синџир на мисли“. Овие напади постигнаа стапки на успех од над 95% на GPT‑5.1, но сега се под 10% за GPT‑5.6 Sol. Слично на тоа, неколку од нашите индиректни тестови за инјектирање на промпти кои ги таргетираат нападите во алатките за програмери и прелистувањето се заситени од нашиот најнов модел (>97% точност).

Робусноста на самиот GPT‑Red исто така значително се подобри. Во широк спектар на робусни средини, стапките на успех на нападите на GPT‑Red монотоно опаѓаа со текот на времето. Со нашето најново издание на моделот, GPT‑5.6 Sol не успева само на 0,05% од директните брзи инјекции на GPT‑Red.

Моделот може да изгледа побезбеден ако одбие повеќе барања или стане помалку способен. Модел што прави помалку е природно потежок за напад, но тоа не е корисна робусност.

Темелно ги оценуваме и општите гранични способности, заедно со целните задачи „преку одбивање“ што ги дизајнираме. Откриваме дека сите нормални можности остануваат непроменети, а воедно значително се подобрува робусноста. Ова укажува дека придобивките од робусноста доаѓаат од подобра отпорност на злонамерни инструкции, а не од неправилна употреба на алатки или одбивање на легитимни барања по дифолт.

Агентите на вештачката интелигенција веќе се користат за подобрување на можностите на нашите модели од следната генерација. Веруваме дека со GPT‑Red почнавме да отклучуваме сличен замаец за безбедност, каде што денешните модели можат да се користат за да ги направат утрешните модели поробусни, порамнети и посигурни. Ќе продолжиме да го скалираме пресметувањето и податоците, правејќи алгоритамски подобрувања, за да ги обучиме идните верзии на GPT‑Red кои се посилни од денешниот модел. И за возврат, овие модели ќе помогнат идните изданија на GPT да бидат побезбедни.

Ќе објавиме претпечатено издание со повеќе детали подоцна оваа недела.