OpenAI

Az élvonalbeli MI kockázatainak kezelése: a tanítástól a bevezetésig

2026. november 18. · Biztonság

Az élvonalbeli modellek képességei egyre gyorsabban fejlődnek, és a megértésükre, összehangolásukra és biztonságossá tételükre való képességünknek ezt meg kell előznie. Ennek megfelelően ütemezzük modelljeink fejlesztését és kiadását: szükség esetén szüneteltetjük a belső tanítást⁠(új ablakban nyílik meg), vagy visszatartunk modelleket, például a GPT‑6.1 Astrát, ha több idő kell biztonsági követelményeink teljesítéséhez. Új eljárásokat vezettünk be, például biztonsági igazolásokat, és a tanítás egészében erősebb bizonyítékokat követelünk az összehangolt viselkedésre. Ezek a követelmények lassítják a modellek kiadását, de nagyobb bizonyosságot adnak a biztonságos továbblépéshez.

A júliusi Hugging Face-incidens⁠ óta megerősítettük a modellek tanítására, tesztelésére és bevezetésére vonatkozó védelmi mechanizmusokat és összehangoltsági követelményeket. Ez a bejegyzés bemutatja, hogyan értékeljük és kezeljük a kockázatokat az egyes szakaszokban: az erősen elkülönített tanítási környezetektől a számítógépeden használt Codexig. Minden szakaszban értékeljük a modelleket és a védelmi mechanizmusokat; a továbblépéshez biztonsági felülvizsgálat szükséges.

Többrétegű védelem a modell teljes életciklusában

Többrétegű védelmet alkalmazunk, amely csökkenti az egyes védelmi mechanizmusoktól való függést. Ha az egyik réteg hibázik, a többi segít megelőzni a kárt, korlátozni a következményeket, vagy riaszt minket, hogy beavatkozhassunk.

Védelmünket négy rétegre építjük:

A hatékony monitorozás a modell monitorozhatóságától függ: attól, hogy a monitorozó rendszerek milyen megbízhatóan észlelik a hibákat vagy a veszélyes viselkedést a modell érveléséből és műveleteiből. Például egy modell, amely a gondolatmenetében (CoT) kimondja, hogy csalni szándékozik, jobban monitorozható, mint az, amelyik ezt elhallgatja. A tanítás során és a bevezetés előtt értékeljük a monitorozhatóságot, fejlesztjük a mérési módszereit⁠(új ablakban nyílik meg), és vizsgáljuk, mi befolyásolja⁠(új ablakban nyílik meg).

A Hugging Face-incidens megmutatta, miért nem hagyatkozhatunk pusztán az elkülönítésre a nagy képességű modellek kordában tartásához. Ma már a legtöbb belső és külső alkalmazási környezetben monitorozzuk az élvonalbeli modelleket, beleértve minden eszközöket használó belső alkalmazást.

Az egyes rétegek szerepe változik a modellfejlesztés és -bevezetés három szakaszában:

  • Kutatás: Elkülönített környezetekben tanítjuk, teszteljük és használjuk a modelleket.

  • Belső bevezetés: Az OpenAI munkatársai gyakorlati munkára használják a modelleket.

  • Külső bevezetés: A modellek szélesebb körben is elérhetővé válnak emberek és szervezetek számára.

Az egyes szakaszokban más-más rétegekre támaszkodunk. A tanítás során, amikor az összehangoltság még bizonytalanabb, nagyobb szerepet kap az elkülönítés és a monitorozás. Ahogy a bevezetés során bővül a modellek hozzáférése, egyre fontosabbá válik az összehangoltság és a rendszerszintű korlátozás. Minden szakaszban értékeljük, hogy az együttes védelem elegendő-e a modell képességeihez és hozzáféréseihez mérten. Döntéseinket a Biztonsági Tanácsadó Csoporttal (SAG) is felülvizsgálhatjuk, az OpenAI Foundation igazgatótanácsának Biztonsági és Védelmi Bizottsága (SSC) pedig felügyelheti őket.

Kutatás során: a modellek elkülönített környezetben tartása

A kutatási szakaszban értékeljük a modelleket, hogy megbizonyosodjunk az összehangoltságukról. Mivel a károk megelőzésében még nem támaszkodhatunk teljesen az összehangoltságra, elsősorban biztonsági korlátozásokkal és elkülönítéssel szabályozzuk, mihez férhetnek hozzá és mit tehetnek.

Az összehangolási kutatások, a monitorozó rendszerek és az internetes infrastruktúra biztonságának jelenlegi állapota alapján úgy véljük, az élvonalbeli modellek tanítását élő internet-hozzáférés nélkül felelős végezni. A Hugging Face-incidens után jelentősen átalakítottuk belső kutatási rendszereinket. A modelleket az alábbiakkal tartjuk korlátok között:

  • a modell jogosultságait korlátozó elkülönített környezetek

  • virtuális gépek, amelyek tovább szigetelik a futó feladatot az alatta lévő számítógéptől

  • hálózati és felhős védelmi határok, amelyek a teljes fürtöt leválasztják az internetről

Folyamatos támadásszimulációval teszteljük ezt a rendszert: legerősebb modelljeinkből álló csapatok próbálják elérni az élő internetet, átlépni a biztonsági határokat, vagy kapcsolatba lépni olyan ügynökökkel, amelyektől el kellene különülniük. Így tesztelhetjük, hogy az elkülönítés ellenáll-e azoknak a modellképességeknek, amelyeket korlátozni hivatott.

További védelmi rétegként az élvonalbeli modellek minden inferenciafuttatását monitorozzuk, hogy észleljük, ha a modell megkerülte a kötelező biztonsági korlátainkat. Ha a monitorozás azt észleli, hogy a modell elérte az internetet, riasztjuk a biztonsági csapatainkat, és automatikusan szüneteltetjük a feladatot.

A monitorozás kulcsfontosságú tartalék védelmet nyújt, ha az elkülönítés nem bizonyul elegendőnek. Egy nemrég közzétett összehangoltsági jelentésünkben leírtuk, hogy a monitorozó rendszerek észlelték, amint egy belső kutatási modell egy hibás DNS-beállítást kihasználva⁠(új ablakban nyílik meg) korlátozott internet-hozzáférést szerzett. Szeptember 20-tól október 1-ig szüneteltettük legnagyobb képességű modelljeink tanítását és értékelését, amíg kivizsgáltuk és megszüntettük a biztonsági rést.

A gyors és megbízható beavatkozáshoz létrehoztuk a Control Room⁠ központi rendszert. Ez követi a kutatási feladatokat, és a leállítási utasítás beérkezésétől számított 35 másodpercen belül megakadályozza, hogy a modell további kimenetet generáljon. Ezeket a korlátozásokat közvetlenül az inferenciainfrastruktúra érvényesíti, így nem függnek attól, hogy az egyes kutatási feladatok rendelkeznek-e saját leállítási mechanizmussal. Az élvonalbeli modellekkel végzett kutatási feladatoknál akkor is leállítják a kimenet generálását, ha a Control Room elérhetetlenné válik.

A támadásszimuláció és a monitorozás együtt működik. Nem garantálhatjuk, hogy egy elkülönített környezet áthatolhatatlan, de a támadásszimuláció segít felmérni, mekkora erőfeszítés kellene a modellnek a kijutáshoz. Minél több erőfeszítésre van szüksége a modellnek, annál több lehetőségük van a monitorozó rendszereknek az észlelésére és megállítására.

A kutatási szakaszban több okból is szigorú biztonsági és monitorozási intézkedéseket írunk elő:

  • A modellek értékelése még folyamatban van. Egyes modelleknél még nem zárult le a nyilvános kiadáshoz szükséges biztonsági tanítás, összehangoltsági audit és felülvizsgálat.

  • Az élvonalbeli kutatás körülményei fokozhatják a kockázatokat. Bizonyos kutatási feladatok összetettebb rendszereket igényelnek, amelyekben a modell kitartóbb vagy nagyobb képességű, mint a külső használat során általában (a Navier–Stokes-probléma megoldásához például 10 000 ügynökből álló csapatra volt szükség).

  • A tanítás nagy léptékben, kevesebb közvetlen emberi felügyelettel zajlik. Egy szokásos Codex-munkamenettel ellentétben a tanítási feladatok során a modellek nagyszámú műveletet hajtanak végre anélkül, hogy valaki minden interakciót követne.

Belső bevezetés: az összehangoltság tesztelése, a viselkedés szoros figyelése

A széles körű kiadás előtt a munkatársak az élvonalbeli modellek elkülönített kutatási használatáról elkülönítés nélküli belső használatra térnek át: például elérhetővé tesszük számukra a modellt a ChatGPT‑ben. Így jobban megérthetjük, hogyan viselkednek a modellek a gyakorlatban⁠(új ablakban nyílik meg), és megalapozottabban dönthetünk a bevezetésükről.

Ebben a szakaszban a modell szélesebb körű internet-hozzáférést kap, és hozzáférhet a Slack-rendszerünkhöz, a kódbázisunkhoz és a belső infrastruktúránkhoz. Ez jelentős változást jelent a kockázatokban, mivel a modell műveletei immár közvetlenül hatnak az OpenAI fejlesztéséhez és működtetéséhez használt rendszerekre. A belső bevezetés során a biztonsági korlátozások helyett nagyobb mértékben kell támaszkodnunk a modell összehangoltságára, a rendszer védelmi mechanizmusaira és a monitorozásra.

Mielőtt egy élvonalbeli modellt az elkülönített környezeten kívül alkalmazhatnánk, tesztelnünk kell az összehangoltságát és monitorozhatóságát⁠(új ablakban nyílik meg). Összehangoltsági tesztjeink konkrét hibákat vizsgálnak (például a biztonsági és védelmi korlátozások megkerülését), és általános viselkedési hajlamokat is mérnek (például belső Codex-műveletsorok újramintavételezésével és az összehangoltsági hibák ellenőrzésével). Összehangoltsági és monitorozhatósági értékeléseinkről a legújabb GPT‑6 Astra rendszerkártyán⁠(új ablakban nyílik meg) olvashatsz bővebben.

Az éles környezeteink mintájára rendszerszintű osztályozókkal egészítjük ki a védelmet. Ezek az élvonalbeli modellekhez kötődő károk, például a kibervisszaélések és a biológiai fegyverek készítésére való felhasználás ellen védenek. A Codexet használó munkatársaktól általában az Auto-Review⁠(új ablakban nyílik meg) használatát is megköveteljük, amely értékeli a potenciálisan kockázatos műveleteket, és döntésre visszautalja őket a felhasználónak.

Végül a belső bevezetés során az élvonalbeli modellek minden inferenciafuttatásánál figyeljük az összehangoltsági hibákra utaló viselkedést. Mivel a modell ekkor már bővebb jogosultságokkal, valamint belső információkhoz és rendszerekhez való hozzáféréssel rendelkezik, különösen fontos az olyan kockázatok észlelése, mint az adatszivárogtatás, vagyis érzékeny adatok küldése illetéktelen célhelyre. A monitorozás az összehangoltsági hibák új formáinak⁠(új ablakban nyílik meg) vizsgálatában is segít.

Külső bevezetés: védelem a visszaélések és az összehangoltsági hibák ellen nagy léptékben

A nyilvános bevezetéssel a modellek jóval több felhasználóval, feladattal és környezettel találkoznak, ami növeli a kockázatok mértékét és sokféleségét. Ebben a szakaszban olyan potenciálisan rosszindulatú szereplők ellen is védekeznünk kell, akik szándékosan károkozásra utasítják a modellt.

A nyilvános kiadás előtt a modelleknek és a rendszer védelmi mechanizmusainak meg kell felelniük a külső bevezetésre vonatkozó biztonsági követelményeinknek. Ezt a következőkkel mérjük fel:

  • Összehangoltsági és biztonsági tesztek szélesebb körét végezzük el. Élvonalbeli modelljeinknél ez újabb adaptív tesztelési⁠ köröket is jelent belső, automatizált támadásszimulációs rendszereinkkel, hogy próbára tegyük a modell ellenálló képességét. A képesség- és biztonsági értékelések eredményeit a rendszerkártyáinkon⁠(új ablakban nyílik meg) tesszük közzé.

  • Legnagyobb képességű modelljeinket külső felekkel is teszteltetjük, hogy próbára tegyük mind a visszaélések elleni védelmet, mind a modellek alapvető összehangoltságát.

  • Megvizsgáljuk a belső bevezetés monitorozási jelzéseit, hogy nyomon kövessük az alapmodell összehangoltságának változásait.

A „szinkron” védelmi mechanizmusok (például a modellek biztonsági tanítása és a rendszerszintű osztályozók) mellett a külső bevezetéseknél utólagos szabályérvényesítést és vizsgálatot is alkalmazunk. Ezek a csapatok nagy léptékben működő vizsgáló ügynököket és emberi felülvizsgálatot együttesen alkalmaznak a potenciális fenyegetések és forrásaik felderítésére: a kibervisszaélésektől és a biológiai fegyverek készítésétől a desztilláción⁠ át a modell saját összehangoltsági hibáiig. Az utólagos szabályérvényesítés különösen hasznos a több fiókra kiterjedő információgyűjtéshez, amellyel átfogóbb képet kaphatunk egy lehetséges fenyegetésről.

Az ellenőrzött hozzáférési programok, például a Daybreak és a Rosalind⁠, újabb biztonsági réteget nyújtanak. Gyorsítják a védelmi szakemberek és a jogszerűen dolgozó kutatók munkáját, miközben korlátozzák a lehetséges támadók hozzáférését.

Incidenskezelés és nyilvánosságra hozatal

Ha hibát észlelünk valamelyik biztonsági rétegünkben, függetlenül attól, hogy történt-e tényleges károkozás, gyorsan ki akarjuk vizsgálni és súlyosság szerint besorolni, továbbá lehetőség szerint és indokolt esetben nyilvánosságra hozni. Az összehangoltsági hibák bejelentésére⁠ vonatkozó szabályzatunk szerint bármely munkatárs javasolhatja egy incidens nyilvánosságra hozatalát. A bejelentéseket kivizsgáljuk. Ha nincs egyetértés a nyilvánosságra hozatalról, a döntést a Biztonsági Tanácsadó Csoport (SAG) elé terjesztjük. A munkatársi bejelentések mellett aktívan keressük is az összehangoltsági incidenseket, hogy kezelhessük őket, és megoszthassuk a megállapításainkat.

Az összehangoltsági hibákról szóló jelentéseinket itt⁠(új ablakban nyílik meg) találod.

​


​

Ehhez kutatási előrelépés és működési fegyelem egyaránt kell: a korlátozások helyes beállítása, kölcsönhatásaik tesztelése és határozott fellépés, ha nem működnek. Egy hibásan beállított hálózati szolgáltatás vagy egy meghiúsult automatikus leállítás az egyébként erős védelmet is alááshatja.

Ahogy a modellek új képességekre tesznek szert, folyamatosan felül kell vizsgálnunk a védelmi mechanizmusaink alapfeltevéseit, és szükség szerint javítanunk kell a védelmet. A kutatás, a belső használat és a nyilvános bevezetés tanulságait be kell építenünk a következő modellek tanításába, értékelésébe és bevezetésébe.

Eredményeinket továbbra is rendszerkártyákban, incidensjelentésekben, a belső bevezetésről szóló kockázati jelentésekben⁠(új ablakban nyílik meg) és külső értékelésekben⁠ osztjuk meg, hogy mások is megvizsgálhassák megközelítésünket és annak korlátait. Ha a bizonyítékok nem érik el az általunk megkövetelt biztonsági szintet, ismét szüneteltetjük a tanítást vagy visszatartjuk a kiadást, amíg nem teljesülnek a követelmények.

Kapcsolódó kutatások és anyagok

Biztonsági követelmények meghatározása

Az összehangolt viselkedés meghatározása és értékelése

A modellek elkülönítése és a védelem fejlesztése

Incidenskezelés és nyilvánosságra hozatal

Kutatási előrelépések és alkalmazások

  • A kutatás felgyorsítása: belső nézőpont az OpenAI-nál – Korai bizonyítékok arról, hogyan alakítják át a kódoló ügynökök az OpenAI kutatását: egyre szélesebb használatukról, összetettebb feladataikról és a kísérletezésre gyakorolt hatásukról.

  • A Navier–Stokes-féle millenniumi problémáról – Egy belső MI-rendszer matematikai bizonyítása Lean-formalizálással, amely bemutatja a nagy léptékű kutatási alkalmazások képességeit.

  • Daybreak – Kiberbiztonsági programunk fejlett MI-képességeket, biztonsági eszközöket és támogatást nyújt ellenőrzött védelmi szakembereknek a sérülékenységek feltárásához és a védelem erősítéséhez.

  • Bemutatjuk az élettudományi kutatásra szánt GPT‑Rosalind modellt⁠ – Biológiára, gyógyszerkutatásra és transzlációs orvoslásra specializált modell, amely ellenőrzött hozzáférési programon keresztül érhető el a jogosult szervezeteknek.