Az élvonalbeli MI kockázatainak kezelése: a tanítástól a bevezetésig
2026. november 18. · Biztonság
Az élvonalbeli modellek képességei egyre gyorsabban fejlődnek, és a megértésükre, összehangolásukra és biztonságossá tételükre való képességünknek ezt meg kell előznie. Ennek megfelelően ütemezzük modelljeink fejlesztését és kiadását: szükség esetén szüneteltetjük a belső tanítást(új ablakban nyílik meg), vagy visszatartunk modelleket, például a GPT‑6.1 Astrát, ha több idő kell biztonsági követelményeink teljesítéséhez. Új eljárásokat vezettünk be, például biztonsági igazolásokat, és a tanítás egészében erősebb bizonyítékokat követelünk az összehangolt viselkedésre. Ezek a követelmények lassítják a modellek kiadását, de nagyobb bizonyosságot adnak a biztonságos továbblépéshez.
A júliusi Hugging Face-incidens óta megerősítettük a modellek tanítására, tesztelésére és bevezetésére vonatkozó védelmi mechanizmusokat és összehangoltsági követelményeket. Ez a bejegyzés bemutatja, hogyan értékeljük és kezeljük a kockázatokat az egyes szakaszokban: az erősen elkülönített tanítási környezetektől a számítógépeden használt Codexig. Minden szakaszban értékeljük a modelleket és a védelmi mechanizmusokat; a továbblépéshez biztonsági felülvizsgálat szükséges.
Többrétegű védelmet alkalmazunk, amely csökkenti az egyes védelmi mechanizmusoktól való függést. Ha az egyik réteg hibázik, a többi segít megelőzni a kárt, korlátozni a következményeket, vagy riaszt minket, hogy beavatkozhassunk.
Védelmünket négy rétegre építjük:
A hatékony monitorozás a modell monitorozhatóságától függ: attól, hogy a monitorozó rendszerek milyen megbízhatóan észlelik a hibákat vagy a veszélyes viselkedést a modell érveléséből és műveleteiből. Például egy modell, amely a gondolatmenetében (CoT) kimondja, hogy csalni szándékozik, jobban monitorozható, mint az, amelyik ezt elhallgatja. A tanítás során és a bevezetés előtt értékeljük a monitorozhatóságot, fejlesztjük a mérési módszereit(új ablakban nyílik meg), és vizsgáljuk, mi befolyásolja(új ablakban nyílik meg).
A Hugging Face-incidens megmutatta, miért nem hagyatkozhatunk pusztán az elkülönítésre a nagy képességű modellek kordában tartásához. Ma már a legtöbb belső és külső alkalmazási környezetben monitorozzuk az élvonalbeli modelleket, beleértve minden eszközöket használó belső alkalmazást.
Az egyes rétegek szerepe változik a modellfejlesztés és -bevezetés három szakaszában:
Kutatás: Elkülönített környezetekben tanítjuk, teszteljük és használjuk a modelleket.
Belső bevezetés: Az OpenAI munkatársai gyakorlati munkára használják a modelleket.
Külső bevezetés: A modellek szélesebb körben is elérhetővé válnak emberek és szervezetek számára.
Az egyes szakaszokban más-más rétegekre támaszkodunk. A tanítás során, amikor az összehangoltság még bizonytalanabb, nagyobb szerepet kap az elkülönítés és a monitorozás. Ahogy a bevezetés során bővül a modellek hozzáférése, egyre fontosabbá válik az összehangoltság és a rendszerszintű korlátozás. Minden szakaszban értékeljük, hogy az együttes védelem elegendő-e a modell képességeihez és hozzáféréseihez mérten. Döntéseinket a Biztonsági Tanácsadó Csoporttal (SAG) is felülvizsgálhatjuk, az OpenAI Foundation igazgatótanácsának Biztonsági és Védelmi Bizottsága (SSC) pedig felügyelheti őket.
A kutatási szakaszban értékeljük a modelleket, hogy megbizonyosodjunk az összehangoltságukról. Mivel a károk megelőzésében még nem támaszkodhatunk teljesen az összehangoltságra, elsősorban biztonsági korlátozásokkal és elkülönítéssel szabályozzuk, mihez férhetnek hozzá és mit tehetnek.
Az összehangolási kutatások, a monitorozó rendszerek és az internetes infrastruktúra biztonságának jelenlegi állapota alapján úgy véljük, az élvonalbeli modellek tanítását élő internet-hozzáférés nélkül felelős végezni. A Hugging Face-incidens után jelentősen átalakítottuk belső kutatási rendszereinket. A modelleket az alábbiakkal tartjuk korlátok között:
a modell jogosultságait korlátozó elkülönített környezetek
virtuális gépek, amelyek tovább szigetelik a futó feladatot az alatta lévő számítógéptől
hálózati és felhős védelmi határok, amelyek a teljes fürtöt leválasztják az internetről
Folyamatos támadásszimulációval teszteljük ezt a rendszert: legerősebb modelljeinkből álló csapatok próbálják elérni az élő internetet, átlépni a biztonsági határokat, vagy kapcsolatba lépni olyan ügynökökkel, amelyektől el kellene különülniük. Így tesztelhetjük, hogy az elkülönítés ellenáll-e azoknak a modellképességeknek, amelyeket korlátozni hivatott.
További védelmi rétegként az élvonalbeli modellek minden inferenciafuttatását monitorozzuk, hogy észleljük, ha a modell megkerülte a kötelező biztonsági korlátainkat. Ha a monitorozás azt észleli, hogy a modell elérte az internetet, riasztjuk a biztonsági csapatainkat, és automatikusan szüneteltetjük a feladatot.
A monitorozás kulcsfontosságú tartalék védelmet nyújt, ha az elkülönítés nem bizonyul elegendőnek. Egy nemrég közzétett összehangoltsági jelentésünkben leírtuk, hogy a monitorozó rendszerek észlelték, amint egy belső kutatási modell egy hibás DNS-beállítást kihasználva(új ablakban nyílik meg) korlátozott internet-hozzáférést szerzett. Szeptember 20-tól október 1-ig szüneteltettük legnagyobb képességű modelljeink tanítását és értékelését, amíg kivizsgáltuk és megszüntettük a biztonsági rést.
A gyors és megbízható beavatkozáshoz létrehoztuk a Control Room központi rendszert. Ez követi a kutatási feladatokat, és a leállítási utasítás beérkezésétől számított 35 másodpercen belül megakadályozza, hogy a modell további kimenetet generáljon. Ezeket a korlátozásokat közvetlenül az inferenciainfrastruktúra érvényesíti, így nem függnek attól, hogy az egyes kutatási feladatok rendelkeznek-e saját leállítási mechanizmussal. Az élvonalbeli modellekkel végzett kutatási feladatoknál akkor is leállítják a kimenet generálását, ha a Control Room elérhetetlenné válik.
A támadásszimuláció és a monitorozás együtt működik. Nem garantálhatjuk, hogy egy elkülönített környezet áthatolhatatlan, de a támadásszimuláció segít felmérni, mekkora erőfeszítés kellene a modellnek a kijutáshoz. Minél több erőfeszítésre van szüksége a modellnek, annál több lehetőségük van a monitorozó rendszereknek az észlelésére és megállítására.
A kutatási szakaszban több okból is szigorú biztonsági és monitorozási intézkedéseket írunk elő:
A modellek értékelése még folyamatban van. Egyes modelleknél még nem zárult le a nyilvános kiadáshoz szükséges biztonsági tanítás, összehangoltsági audit és felülvizsgálat.
Az élvonalbeli kutatás körülményei fokozhatják a kockázatokat. Bizonyos kutatási feladatok összetettebb rendszereket igényelnek, amelyekben a modell kitartóbb vagy nagyobb képességű, mint a külső használat során általában (a Navier–Stokes-probléma megoldásához például 10 000 ügynökből álló csapatra volt szükség).
A tanítás nagy léptékben, kevesebb közvetlen emberi felügyelettel zajlik. Egy szokásos Codex-munkamenettel ellentétben a tanítási feladatok során a modellek nagyszámú műveletet hajtanak végre anélkül, hogy valaki minden interakciót követne.
A széles körű kiadás előtt a munkatársak az élvonalbeli modellek elkülönített kutatási használatáról elkülönítés nélküli belső használatra térnek át: például elérhetővé tesszük számukra a modellt a ChatGPT‑ben. Így jobban megérthetjük, hogyan viselkednek a modellek a gyakorlatban(új ablakban nyílik meg), és megalapozottabban dönthetünk a bevezetésükről.
Ebben a szakaszban a modell szélesebb körű internet-hozzáférést kap, és hozzáférhet a Slack-rendszerünkhöz, a kódbázisunkhoz és a belső infrastruktúránkhoz. Ez jelentős változást jelent a kockázatokban, mivel a modell műveletei immár közvetlenül hatnak az OpenAI fejlesztéséhez és működtetéséhez használt rendszerekre. A belső bevezetés során a biztonsági korlátozások helyett nagyobb mértékben kell támaszkodnunk a modell összehangoltságára, a rendszer védelmi mechanizmusaira és a monitorozásra.
Mielőtt egy élvonalbeli modellt az elkülönített környezeten kívül alkalmazhatnánk, tesztelnünk kell az összehangoltságát és monitorozhatóságát(új ablakban nyílik meg). Összehangoltsági tesztjeink konkrét hibákat vizsgálnak (például a biztonsági és védelmi korlátozások megkerülését), és általános viselkedési hajlamokat is mérnek (például belső Codex-műveletsorok újramintavételezésével és az összehangoltsági hibák ellenőrzésével). Összehangoltsági és monitorozhatósági értékeléseinkről a legújabb GPT‑6 Astra rendszerkártyán(új ablakban nyílik meg) olvashatsz bővebben.
Az éles környezeteink mintájára rendszerszintű osztályozókkal egészítjük ki a védelmet. Ezek az élvonalbeli modellekhez kötődő károk, például a kibervisszaélések és a biológiai fegyverek készítésére való felhasználás ellen védenek. A Codexet használó munkatársaktól általában az Auto-Review(új ablakban nyílik meg) használatát is megköveteljük, amely értékeli a potenciálisan kockázatos műveleteket, és döntésre visszautalja őket a felhasználónak.
Végül a belső bevezetés során az élvonalbeli modellek minden inferenciafuttatásánál figyeljük az összehangoltsági hibákra utaló viselkedést. Mivel a modell ekkor már bővebb jogosultságokkal, valamint belső információkhoz és rendszerekhez való hozzáféréssel rendelkezik, különösen fontos az olyan kockázatok észlelése, mint az adatszivárogtatás, vagyis érzékeny adatok küldése illetéktelen célhelyre. A monitorozás az összehangoltsági hibák új formáinak(új ablakban nyílik meg) vizsgálatában is segít.
A nyilvános bevezetéssel a modellek jóval több felhasználóval, feladattal és környezettel találkoznak, ami növeli a kockázatok mértékét és sokféleségét. Ebben a szakaszban olyan potenciálisan rosszindulatú szereplők ellen is védekeznünk kell, akik szándékosan károkozásra utasítják a modellt.
A nyilvános kiadás előtt a modelleknek és a rendszer védelmi mechanizmusainak meg kell felelniük a külső bevezetésre vonatkozó biztonsági követelményeinknek. Ezt a következőkkel mérjük fel:
Összehangoltsági és biztonsági tesztek szélesebb körét végezzük el. Élvonalbeli modelljeinknél ez újabb adaptív tesztelési köröket is jelent belső, automatizált támadásszimulációs rendszereinkkel, hogy próbára tegyük a modell ellenálló képességét. A képesség- és biztonsági értékelések eredményeit a rendszerkártyáinkon(új ablakban nyílik meg) tesszük közzé.
Legnagyobb képességű modelljeinket külső felekkel is teszteltetjük, hogy próbára tegyük mind a visszaélések elleni védelmet, mind a modellek alapvető összehangoltságát.
Megvizsgáljuk a belső bevezetés monitorozási jelzéseit, hogy nyomon kövessük az alapmodell összehangoltságának változásait.
A „szinkron” védelmi mechanizmusok (például a modellek biztonsági tanítása és a rendszerszintű osztályozók) mellett a külső bevezetéseknél utólagos szabályérvényesítést és vizsgálatot is alkalmazunk. Ezek a csapatok nagy léptékben működő vizsgáló ügynököket és emberi felülvizsgálatot együttesen alkalmaznak a potenciális fenyegetések és forrásaik felderítésére: a kibervisszaélésektől és a biológiai fegyverek készítésétől a desztilláción át a modell saját összehangoltsági hibáiig. Az utólagos szabályérvényesítés különösen hasznos a több fiókra kiterjedő információgyűjtéshez, amellyel átfogóbb képet kaphatunk egy lehetséges fenyegetésről.
Az ellenőrzött hozzáférési programok, például a Daybreak és a Rosalind, újabb biztonsági réteget nyújtanak. Gyorsítják a védelmi szakemberek és a jogszerűen dolgozó kutatók munkáját, miközben korlátozzák a lehetséges támadók hozzáférését.
Ha hibát észlelünk valamelyik biztonsági rétegünkben, függetlenül attól, hogy történt-e tényleges károkozás, gyorsan ki akarjuk vizsgálni és súlyosság szerint besorolni, továbbá lehetőség szerint és indokolt esetben nyilvánosságra hozni. Az összehangoltsági hibák bejelentésére vonatkozó szabályzatunk szerint bármely munkatárs javasolhatja egy incidens nyilvánosságra hozatalát. A bejelentéseket kivizsgáljuk. Ha nincs egyetértés a nyilvánosságra hozatalról, a döntést a Biztonsági Tanácsadó Csoport (SAG) elé terjesztjük. A munkatársi bejelentések mellett aktívan keressük is az összehangoltsági incidenseket, hogy kezelhessük őket, és megoszthassuk a megállapításainkat.
Az összehangoltsági hibákról szóló jelentéseinket itt(új ablakban nyílik meg) találod.
Ehhez kutatási előrelépés és működési fegyelem egyaránt kell: a korlátozások helyes beállítása, kölcsönhatásaik tesztelése és határozott fellépés, ha nem működnek. Egy hibásan beállított hálózati szolgáltatás vagy egy meghiúsult automatikus leállítás az egyébként erős védelmet is alááshatja.
Ahogy a modellek új képességekre tesznek szert, folyamatosan felül kell vizsgálnunk a védelmi mechanizmusaink alapfeltevéseit, és szükség szerint javítanunk kell a védelmet. A kutatás, a belső használat és a nyilvános bevezetés tanulságait be kell építenünk a következő modellek tanításába, értékelésébe és bevezetésébe.
Eredményeinket továbbra is rendszerkártyákban, incidensjelentésekben, a belső bevezetésről szóló kockázati jelentésekben(új ablakban nyílik meg) és külső értékelésekben osztjuk meg, hogy mások is megvizsgálhassák megközelítésünket és annak korlátait. Ha a bizonyítékok nem érik el az általunk megkövetelt biztonsági szintet, ismét szüneteltetjük a tanítást vagy visszatartjuk a kiadást, amíg nem teljesülnek a követelmények.
Biztonsági követelmények meghatározása
A modellfejlesztés ütemezése a kiberbiztonság szempontjából kritikus képességek korában – Hogyan lassítottuk az élvonalbeli modellek tanítását az elkülönítés erősítése, a monitorozás bővítése és az összehangoltság szigorúbb igazolásának előírása mellett.
Az élvonalbeli MI tanításának biztonsági igazolása felé – Kezdeti irányelvek a technikai védelemre, működési gyakorlatokra és összehangoltsági vizsgálatokra kiterjedő, bizonyítékalapú biztonsági érveléshez.
A hatékony külső értékelés prioritásai és elvei – Javaslatunk a biztonsági igazolások, védelmi mechanizmusok, értékelések és modellviselkedés független vizsgálatára.
A belső használat katasztrofális kockázatait felmérő értékelések időszakos összefoglalója(új ablakban nyílik meg) – A 2026. június–szeptemberi nyilvános jelentés bemutatja az élvonalbeli modellek belső alkalmazásait, felmért kockázataikat, valamint a védelem és az irányítás változásait.
Az összehangolt viselkedés meghatározása és értékelése
Frissített modell specifikáció a nagyobb képességű, hasznosabb MI-ért – Hogyan frissítettük a modell specifikációt öt alapérték mentén, hogy irányt mutasson a modellek ítéletalkotásához, viselkedéséhez és az emberi felügyelet tiszteletben tartásához.
Az ügynökök viselkedésének biztonsági eltérései teszteléskor és éles használatban, valamint a teszthelyzet felismerésének szerepe(új ablakban nyílik meg) – Tanulmány a biztonsági tesztek és az éles működés eltéréseiről, köztük arról, hogyan hat a teljesítményre az értékelési célok modell általi értelmezése.
A g-mean² mutatón túl: a monitorozhatóság kiegészítő mérőszámai(új ablakban nyílik meg) – Új mutatók a monitorozhatóság összevetésére és a fennmaradó kockázat becslésére olyan szimulált rendszerekben, ahol a monitorozók elutasítják a modell kimeneteit.
GPT‑6 Astra rendszerkártya(új ablakban nyílik meg) – Az Astra képességeinek, biztonságának, összehangoltságának és monitorozhatóságának részletes értékelése, a bevezetés védelmi mechanizmusaival és korlátaival együtt.
A modellek elkülönítése és a védelem fejlesztése
Élvonalbeli modelljeink tanítási környezetének védelme – Hogyan erősítettük az elkülönítést, építettünk offline kutatási környezeteket, és teszteltük a védelmi határokat legerősebb modelljeinkkel.
Aktiválásalapú osztályozók tanítása a biztonság és az összehangoltság érdekében(új ablakban nyílik meg) – Hogyan észlelik az osztályozók a modellek belső aktiválásaiból a potenciálisan káros viselkedést, és szakítják meg a válaszokat vagy eszközhívásokat.
Ügynökműveletek automatikus felülvizsgálata egyidejű emberi felügyelet nélkül(új ablakban nyílik meg) – Egy külön ellenőrző ügynök értékeli az elkülönített környezet határait átlépő műveleteket, segítve a kódoló ügynökök önálló munkáját, miközben blokkolja a potenciálisan káros vagy jogosulatlan műveleteket.
GPT‑Red: önfejlesztéssel a jobb ellenálló képességért – Hogyan tanítunk automatizált támadásszimulációs rendszereket önmaguk elleni játékkal a sérülékenységek feltárására és a modellek utasításinjektálással szembeni ellenállásának javítására.
Control Room – Hogyan követjük kutatási infrastruktúránk feladatait, és állítjuk le gyorsan a modellek kimenetét, ha biztonsági vagy védelmi aggályok miatt be kell avatkoznunk.
Incidenskezelés és nyilvánosságra hozatal
Hogyan észleljük az élvonalbeli modellek összehangoltsági hibáit? – Monitorozó rendszerünk aktivációs szondákat, modellalapú felülvizsgálatot, automatizált vizsgálatot és emberi beavatkozást ötvöz az aggasztó viselkedés észlelésére és kivizsgálására.
A Hugging Face-incidens és a további lépések – Az incidens tanulságai és az ezek nyomán bevezetett változások a biztonság, a monitorozás és az összehangolás terén.
Egy ügynök DNS segítségével ért el egy külső csevegőbotot(új ablakban nyílik meg) – Hogyan kerülte meg egy kutatási modell az internetes korlátozásokat a hiányos DNS-szűrésen át, hogyan észlelte ezt a monitorozás, és milyen korlátozásokat vezettünk be utána.
Egy összehangolt modelldesztillációs kampány megzavarása – Hogyan vizsgáltuk ki és akadályoztuk meg a védett modellérvelés kinyerésére irányuló kísérleteket fiókszintű intézkedésekkel, technikai korlátozásokkal és partnereinkkel együttműködve.
A modellek összehangoltsági hibáinak bejelentési keretrendszere – Az aggasztó modellviselkedés követésének, kivizsgálásának és közzétételének folyamata, beleértve a bizonytalan okú vagy jelentőségű eseteket is.
Összehangoltsági hibákról szóló jelentések és közlemények(új ablakban nyílik meg) – Nyilvánosságra hozott incidensek és közlemények gyűjteménye arról, hogyan jelentkeznek az összehangoltsági hibák, és hol működik vagy vall kudarcot a védelem.
Kutatási előrelépések és alkalmazások
A kutatás felgyorsítása: belső nézőpont az OpenAI-nál – Korai bizonyítékok arról, hogyan alakítják át a kódoló ügynökök az OpenAI kutatását: egyre szélesebb használatukról, összetettebb feladataikról és a kísérletezésre gyakorolt hatásukról.
A Navier–Stokes-féle millenniumi problémáról – Egy belső MI-rendszer matematikai bizonyítása Lean-formalizálással, amely bemutatja a nagy léptékű kutatási alkalmazások képességeit.
Daybreak – Kiberbiztonsági programunk fejlett MI-képességeket, biztonsági eszközöket és támogatást nyújt ellenőrzött védelmi szakembereknek a sérülékenységek feltárásához és a védelem erősítéséhez.
Bemutatjuk az élettudományi kutatásra szánt GPT‑Rosalind modellt – Biológiára, gyógyszerkutatásra és transzlációs orvoslásra specializált modell, amely ellenőrzött hozzáférési programon keresztül érhető el a jogosult szervezeteknek.






