GPT‑Red: Бат бөх байдлыг тасралтгүй сайжруулах аргыг нээж байна
Бат бөх байдлыг сайжруулах зорилгоор хүчирхэг автоматжуулсан аюулгүй байдлын улаан багийг сургах.
Хураангуй
Асуудал
Улаан баг нь эмзэг байдлыг илрүүлж, загваруудынхаа бат бөх байдлыг сайжруулахад зайлшгүй чухал юм. Гэвч одоогийн аргуудыг өргөн цар хүрээнд хэрэглэхэд хэцүү тул гацаа үүсгэж байна.
Түгээмэл ашигладаг бат бөх байдлын үнэлгээнүүдийг манай хамгийн сүүлийн загварууд аль хэдийн хангаж байна.
Загварын чадавхтай зэрэгцэн аюулгүй байдал, нийцлийг өргөжүүлэх боломж олгох аргуудыг хөгжүүлэх шаардлагатай.
Бидний хэрэгжүүлсэн ажил
Өргөн нэвтрүүлэхээс өмнө эмзэг байдлыг олж засах чадварыг өргөжүүлэх зорилгоор автоматжуулсан улаан багийн загвар GPT‑Red‑ийг бид сургасан.
GPT‑Red бол өндөр чадвартай улаан багийн загвар бөгөөд манай өмнөх загварууд зааварт халдлагад нь маш эмзэг байсан.
Бид GPT‑Red‑ийг ашиглан GPT‑5.6‑г сөргөлдөөнт аргаар сургаж, зааварт халдлагад илүү тэсвэртэй болгосон.
Бид энэ аргыг хүний болон гуравдагч талын улаан баг, давхар хамгаалалт болон бодит цагийн хяналттай хамт үргэлжлүүлэн өргөжүүлнэ.
Хиймэл оюун ухааны системүүд нь хөтөч, холбогдсон аппликейшн, локал файл болон бусад хэрэгслээр дамжуулан гуравдагч талын өгөгдөлтэй ихэвчлэн холбогддог. Эдгээр боломжууд нь бодит ертөнцийн даалгавруудыг гүйцэтгэхэд зайлшгүй шаардлагатай боловч хорлонтой этгээдүүд загварын зан төлөвт нөлөөлөх боломжийг бий болгодог. Жишээлбэл, загварыг нууц мэдээллийг гадаад сервер рүү байршуулахад хуурах зорилготой сайтар боловсруулсан зааврыгимэйл, вэб хуудас, хэрэгслийн хариу үйлдэл эсвэл кодын санд оруулж болно.
Хүний улаан баг бүрдүүлэх нь аюулгүй байдлын чухал хэсэг бөгөөд байршуулахаас өмнө эдгээр эмзэг байдлыг илрүүлж, зөв хамгаалалтыг хэрэгжүүлэхэд тусалдаг. Гэвч хүний улаан баг дангаараа цар хүрээг нь тодорхойлоход хүндрэлтэй байдаг. Эдгээр дасгалуудыг зохион бүтээх, ажиллуулах нь цаг хугацаа их шаарддаг тул шинэ алдааны горимуудыг хэр хурдан тодорхойлж, илүү хүчтэй хамгаалалтад оруулах боломжийг хязгаарладаг. Цаашилбал, эдгээр дасгалууд нь амжилттай халдлагын чухал жишээг гаргаж ирдэг ч сургалтаар дамжуулан загварын бат бөх чанарыг сайжруулахад шаардлагатай сөрөг өгөгдлийн хэмжээ, олон талт байдлыг бий болгож чадахгүй.
Чадвар нь өсөн нэмэгдэж буй загваруудтай хөл нийлүүлэн алхахын тулд багийн ажиллагааг өргөжүүлэх шаардлагатай. Үүний тулд бид байршуулахаас өмнө эмзэг байдлыг илрүүлж, загварын сургалтын үеэр бат бөх чанарыг сайжруулахын тулд халдлага үүсгэдэг автоматжуулсан, зөвхөн дотоод улаан багийн загваруудыг сургаж байна. Автоматжуулсан улаан багийн ажиллагаа нь аюулгүй байдлын хувьд өөрийгөө сайжруулах чухал хэлбэрийг нээж өгдөг гэдэгт бид итгэж байгаа бөгөөд өнөөгийн загваруудыг ашиглан ирээдүйн загваруудыг илүү аюулгүй болгоход шууд туслах болно.
GPT‑Red нь эдгээр хүчин чармайлтын үр дүн бөгөөд бидний одоогийн хамгийн шилдэг автоматжуулсан аюулгүй байдлын улаан багийн загвар юм. Хүний улаан багийнхан хэрхэн дайралт хийдэгтэй адил загвар нь зорилгодоо хүрэхийн тулд дохио илгээх, GPT загварууд үүнд хэрхэн хариу үйлдэл үзүүлэхийг ажиглах, давтах замаар ажилладаг. Бид OpenAI дээрх сургалтын дараах хамгийн том туршилтуудынхаа заримынх нь тооцооллын түвшинд GPT‑Red‑ийг сургасан бөгөөд энэ нь зөвхөн аюулгүй байдлыг сайжруулахад зориулагдсан урьд өмнө байгаагүй их хэмжээний тооцоолол юм.
Бид үйлдвэрлэлийн загваруудынхаа сургалтын үйл явцад GPT‑Red‑ийг шууд оруулдаг. Үүний үр дүнд GPT‑5.6 Sol нь өнөөг хүртэл зааварт халдлагаас хамгаалах хамгийн бат бөх загвар бөгөөд дөрвөн сарын өмнөх хамгийн сайн үйлдвэрлэлийн загвартай харьцуулахад хамгийн хүнд шууд зааварт халдлагын жишиг үзүүлэлт дээр 6 дахин бага алдаа гаргасан. Бидний арга барилын цар хүрээ өргөжих боломжтой байдал нь илүү хүчирхэг улаан багийг үргэлжлүүлэн сургахын хэрээр ирээдүйд бүр ч илүү сайн үр дүнд хүрнэ гэдэгт итгэлтэй байна.
GPT‑Red‑ийг өөртөө сорилт үүсгэн бататгах сургалтаар сургадаг бөгөөд энэ явцад загвар болон олон янзын хамгаалагч Том хэлний загвар (LLM)-уудыг улаан багийн өргөн хүрээний хувилбарууд дээр зэрэг сургадаг. Амжилттай зааварт халдлага гэх мэт бодит доголдол өдөөсөн тохиолдолд GPT‑Red шагнагддаг бол хамгаалагч загварууд халдлагыг эсэргүүцэж, анхны даалгавраа гүйцэтгэсний төлөө шагнагддаг. Хамгаалагчид илүү бат бөх болох тусам GPT‑Red илүү хүчтэй, олон төрөлтэй халдлага илрүүлэхээс өөр аргагүй болдог.
Өөртөө сорилт үүсгэн сургах сургалтыг дэмжихийн тулд бид зааварт халдлага оруулж болох бодитой хувилбаруудын өргөн хүрээний багц бүтээдэг. Орчин бүр GPT‑Red юуг хянаж болох, юуг амжилттай халдлага гэж тооцохыг тодорхойлсон аюулын загвартай. Жишээ нь, GPT‑Red локал файлын нэг хэсэг, веб хуудасны баннер, имэйлийн их бие эсвэл хэрэгслийн гаралтыг хянаж болно.
Сургалтын төгсгөлд GPT‑Red маш хүчтэй халдагч болсон бөгөөд дотоод болон үйлдвэрлэлийн, GPT‑5.5 хүртэлх бүх загварын бараг бүгдийг нь эвдэж чадна. GPT‑Red сургалтаа дуусгасны дараа бид түүнийг GPT‑5.6‑ийн сургалтад зориулсан зааварт халдлага үүсгэхэд ашигласан бөгөөд ингэснээр уг загвар GPT‑Red‑ийн халдлагад маш тэсвэртэй болсон.
Бид GPT‑Red-ийг нэвтрүүлдэг загваруудаасаа тусад нь байлгадаг. Ингэснээр GPT‑Red‑д зориуд сургасан хортой чадавхыг өрсөлдөгч этгээдүүдийн гараас хол байлгаж, үйлдвэрлэлийн загварууддаа бат бөх чанарыг суулгадаг.
GPT‑Red нь сургагдсан хамгаалагч загваруудын бүрдэл болон улаан багийн хувилбаруудын эсрэг маш үр дүнтэй байдаг. Мөн бид уг загвар OpenAI дахь аюулгүй байдлыг өргөн хүрээнд сайжруулахад ашиглах ерөнхий зориулалтын улаан багийн агентын хувьд хэр үр өгөөжтэй болохыг үнэлдэг. Үүний тулд GPT‑Red‑ийн үр дүнг шинэ аюулгүй байдлын орчин болон зорилтот загварууд дээр туршдаг.
Бид эхлээд GPT‑Red шинэ улаан багийн хувилбаруудад ерөнхийлөн ажиллах чадварыг Dziemian нарын (2025) шууд бус зааварт халдлагын талбарын(шинэ цонхонд нээгдэнэ) хуулбарласан хувилбарыг ашиглан үнэлсэн. Энэ сорилтод хүний улаан багийнхан болон GPT‑Red урьдчилан тогтоосон орчны багц дээр GPT‑5.1‑ийн эсрэг халдлагуудыг тус тусдаа санал болгосон. Эдгээр улаан багийн хувилбар, зорилгууд нь GPT‑Red‑ийг сургахад ашигласан хувилбаруудаас ялгаатай. GPT‑Red халдлагын амжилтын түвшнээр мэдэгдэхүйц өндөр түвшинд хүргэдэг бөгөөд хувилбаруудын 84%-д амжилт олсон бол хүмүүсийнх 13% байв.
GPT‑Red автоматжуулсан улаан багийн хувьд өндөр үр дүн үзүүлдэг. Дотоод хуулбарыг ашиглан Dziemian нарын (2025) шууд бус зааварт халдлагын талбарт GPT‑Red нь хүний улаан багийнхнаас хавьгүй олон хувилбарт GPT‑5.1‑ийн эсрэг амжилттай халдлага үүсгэх чадвартай.
Улаан багийн хамгийн чухал шалгуур нь системийн суурь загвар болон хамгаалалтын дизайны талаар бүрэн мэдлэггүй бодит ертөнцийн агент системүүдийн эсрэг зорилтот хортой зорилгод хүрэх чадвар юм. Энэ орчин дахь анхны туршилтаараа бид GPT‑Red‑ийг Andon Labs-ийн бүтээсэн OpenAI оффис дахь AI-д суурилсан худалдааны автоматтай (Project Vend(шинэ цонхонд нээгдэнэ)-тэй төстэй) өрсөлдүүлсэн. Бид GPT‑Red‑д системийн тайлбар, халдлага илгээх болон бодит нэвтрүүлэлтийг нягт дуурайсан симуляцийн агентаас хэрэгслийн дуудлагуудыг ажиглах боломж олгосон. Халдлагуудаа давтан сайжруулсны дараа GPT‑Red халдлагаа үйлдвэрлэлийн агентын эсрэг хэрэгжүүлж, гурван хортой зорилгоо бүгдийг нь биелүүлсэн:
- Агуулахад буй үнэтэй барааны үнийг зөвшөөрөгдсөн хамгийн бага үнэ болох $0.50 болгон өөрчлөх;
- $100-аас дээш үнэтэй шинэ бараа захиалж, $0.50-оор авахыг санал болгох; мөн
- Өөр хэрэглэгчийн захиалгыг цуцлах болно.
Бид эдгээр эмзэг байдлыг мэдэгдсэн бөгөөд шинэ хамгаалалтуудыг идэвхтэй туршиж байна.
GPT‑Red нь автомат худалдааны машиныг удирддаг Vendy нэртэй ажиллаж буй автономит агентыг эвдэж чадна. GPT‑Red эхлээд симуляцид туршиж, дараа нь халдлагыг ажиллаж буй агент руу шилжүүлснээр үйлдвэрлэлийн агентаар үнэтэй барааг хямд болгож, бусад хэрэглэгчийн захиалгыг цуцлах боломжтой болсон.
Мөн бид GPT‑Red‑ийг GPT‑5.4 mini-д суурилсан Codex CLI агентийн эсрэг сургалтад ашиглаагүй өгөгдөл гадагшлуулах 10 хувилбарын багц дээр халдлагын туршилт хийсэн. Бид сургалтын процедурын сургалтад ашиглаагүй улаан багийн гүйцэтгэлд үзүүлэх нөлөөг судлахын тулд уг загварыг өгөгдөлтэй GPT‑5.5 суурь загвартай харьцуулсан. GPT‑Red нь илүү үр дүнтэй байж, илүү олон хувилбарт агентаар мэдрэмтгий өгөгдөл гадагшлуулж чадсан бөгөөд токены хувьд ч илүү хэмнэлттэй байна.
GPT‑Red нь ажиллаж буй Codex агентуудыг эвдэхэд илүү үр дүнтэй бөгөөд илүү хэмнэлттэй байдаг. Бид GPT‑5.4 Mini-д тулгуурласан Codex агентыг өгөгдөл гадагшлуулах 10 даалгаврын тусгай багц дээр туршдаг.
GPT‑Red‑ийн эцсийн зорилго нь загваруудын бат бөх байдлыг сайжруулах явдал юм. Сүүлийн зургаан сарын турш бид улам их тооцоололтойгоор шат дараалан хүчирхэг улаан багийн загваруудыг (GPT‑Red‑ийн өмнөх хувилбарууд) сургаж, GPT‑5.3‑аас хойших дараалсан үйлдвэрлэлийн загвар бүрийн сургалтад эдгээр загваруудыг ашигласан. Цаг хугацааны явцад дараагийн GPT загвар бүр илүү бат бөх болсон.
Жишээлбэл, GPT‑Red‑ийн эртний хувилбар “Хуурамч бодлын хэлхээ” гэгддэг шууд зааварт халдлагын шинэ ангиллыг илрүүлсэн. Эдгээр халдлага GPT‑5.1 дээр 95%-иас дээш амжилттай байсан бол GPT‑5.6 Sol дээр одоо 10%-иас доош болсон. Үүнтэй адил, хөгжүүлэгчийн хэрэгсэл болон хөтчөөр дамжих халдлагыг онилдог манай шууд бус зааварт халдлагын хэд хэдэн жишиг үнэлгээ хамгийн сүүлийн загвараар ханасан түвшинд хүрсэн (>97% нарийвчлал).
GPT‑Red‑ийн өөрийнх нь эсрэг бат бөх байдал ч мөн үлэмж сайжирсан. Бат бөх байдлын өргөн хүрээний орчинд GPT‑Red‑ийн халдлагын амжилтын түвшин цаг хугацааны явцад тасралтгүй буурсан. Манай хамгийн сүүлийн загвар болох GPT‑5.6 Sol нь GPT‑Red‑ийн шууд зааварт халдлагын ердөө 0.05%-д л амжилтгүй болсон.
Зааварт халдлагын эсрэг өөртөө сорилт үүсгэн сургах сургалтыг өргөжүүлэн хэрэгжүүлэх явцад одоогийн загваруудыг эвдэх боломжтой шинэ аюулуудыг бид илрүүлсэн. Гэсэн ч энэ өргөжүүлэлт нь эдгээр халдлагад тэсвэртэй байдлыг мэдэгдэхүйц сайжруулахад тусалсан. Халдлагын амжилтын түвшинг GPT‑Red‑ийн тусгаарлан хадгалсан орчин дахь бүх оролдлогын дундаж амжилтаар тооцдог.
Загвар илүү олон хүсэлтээс татгалзах эсвэл чадвар нь буурах замаар илүү аюулгүй мэт харагдаж болно. Бага зүйл хийдэг загварт халдах нь хүндрэлтэй боловч энэ нь бодитой бат бөх байдал биш юм.
Бид ерөнхий хил хязгаарын чадварууд болон зохион бүтээсэн зорилтот хэт татгалзалтын даалгавруудыг нягт үнэлдэг. Бат бөх байдал мэдэгдэхүйц сайжрахын зэрэгцээ бүх ердийн чадвар хэвээр үлдсэнийг бид тогтоосон. Энэ нь бат бөх байдлын өсөлт нь хэрэгслийг буруу ашиглах эсвэл хууль ёсны хүсэлтээс анхнаасаа татгалзахаас бус, хортой зааврыг илүү сайн эсэргүүцсэнээс үүдсэнийг харуулж байна.
AI агентуудыг манай дараагийн үеийн загваруудын чадварыг сайжруулахад ашиглаж байна. GPT‑Red‑ийн тусламжтайгаар бид аюулгүй байдалд зориулсан төстэй эргэлдэх мөчлөгийг эхлүүлж чадсан гэж үзэж байна. Өнөөгийн загваруудыг ашиглан ирээдүйн загваруудыг илүү бат бөх, нийцтэй, найдвартай болгох боломжтой болж байна. Бид тооцоолол, өгөгдлийг үргэлжлүүлэн өргөжүүлж, алгоритмын сайжруулалт хийснээр өнөөгийн загвараас илүү хүчирхэг GPT‑Red‑ийн ирээдүйн хувилбаруудыг сургах болно. Улмаар эдгээр загварууд нь ирээдүйн GPT хувилбаруудыг илүү аюулгүй болгоход тусална.
Бид энэ долоо хоногийн сүүлээр илүү дэлгэрэнгүй урьдчилсан хэвлэлийг нийтэлнэ.
