A modellfejlesztés ütemezése a kritikus kiberképességek korában

Az elmúlt hetekben két fejlemény is rávilágított az egyre fejlettebb MI-rendszerekkel járó növekvő kockázatokra: az OpenAI–Hugging Face-incidens, valamint ettől függetlenül azok az előzetes bizonyítékok, amelyek szerint egyik hamarosan megjelenő modellünk, az Astra elérheti a kritikus kiberbiztonsági képesség küszöbértékét a Felkészültségi keretrendszerünk alapján. E fejlemények és belső kutatásaink gyors előrehaladása együttesen még sürgetőbbé tették, hogy a képzési folyamat minden szakaszában megerősítsük a felügyeleti, összehangolási és elszigetelési biztosítékainkat.

Ahogy a modellek egyre fejlettebbé válnak, úgy nőnek a belső fejlesztésükkel és tesztelésükkel járó kockázatok is. Felügyeleti, összehangolási és biztonsági normáinknak e kockázatok előtt kell járniuk. Biztosítani akartuk az e normák teljesítéséhez szükséges időt, ezért átmenetileg lassítottuk a kapacitásbővítés ütemét. Ennek részeként két hétre szüneteltettük a bevezetésre szánt legújabb modelljeink megerősítéses tanulását (RL), miközben tovább erősítettük és támadási teszteknek vetettük alá kutatási környezeteinket, valamint bővítettük felügyeleti rendszereink lefedettségét. A legnagyobb tervezett élvonalbeli RL-futtatásunk továbbra is szünetel, amíg kisebb léptékű képzésekkel és értékelésekkel vizsgáljuk a modell viselkedését, ellenőrizzük biztosítékainkat, és további bizonyítékokat gyűjtünk az összehangoltságra a folytatás előtt.

Az összehangolás – vagyis annak biztosítása, hogy az MI-rendszerek a szándékainknak megfelelően viselkedjenek és reagáljanak az emberi felügyeletre – régóta kutatási programunk központi eleme. Mostantól a képzés egész folyamata során meggyőzőbb bizonyítékokat követelünk meg az összehangolt viselkedésre, a már folyamatban lévő kutatásokra és értékelésekre építve. Az egyre fejlettebb rendszerek összehangoltságának fenntartása olyan kihívás, amellyel az egész szakterületnek foglalkoznia kell. A készülő modellek fejlődéséből látható jelek egyértelművé teszik, hogy átfogóbb megközelítésre van szükségünk, amely a jelenlegi Felkészültségi keretrendszerre épít, de túl is mutat rajta.

Fontosnak tartjuk, hogy átláthatóan bemutassuk megközelítésünk változását. Az alábbiakban bemutatjuk a kutatási folyamatainkban és infrastruktúránkban már végrehajtott változtatásokat, valamint a még folyamatban lévő munkát.

A fejlettebb modellek kidolgozására irányuló megközelítésünk három, egymást erősítő biztosítékon alapul:

1. A felügyelet észleli az aggodalomra okot adó viselkedést, és lehetővé teszi, hogy reagáljunk rá.
2. Az összehangolás csökkenti a káros vagy jogosulatlan műveletek valószínűségét.
3. A biztonsági intézkedések korlátozzák, hogy az MI-rendszerek mihez férhetnek hozzá, illetve mire lehetnek hatással.

Arra számítunk, hogy hamarosan a modellek végzik majd a biztonsági munka nagy részét, beleértve a más modellekkel szembeni védekezést is. Ez lehetővé teszi, hogy mindhárom biztosíték a modellek képességeivel együtt bővüljön, amit kulcsfontosságúnak tartunk.

Ezeket a biztosítékokat a kutatás és a bevezetés során egyaránt alkalmazzuk, az egyes modellek képességeihez, működési környezetéhez és kockázati szintjéhez igazítva.

Ahogy az élvonalbeli modellek kiberbiztonsági képességei fejlődnek, szigorítjuk az őket képző és értékelő környezetek biztonsági normáit. E normák teljesítése jelentős mérnöki munkát igényelt, és komoly költségekkel, valamint az élvonalbeli kutatás késedelmével járt. Közvetlenül az OpenAI–Hugging Face-incidens* után felfüggesztettük az élvonalbeli modellek inferenciáját a kutatási fürtökön azoknál a futtatásoknál, amelyek kódot hajthattak végre, vagy internet-hozzáférést biztosító eszközöket használhattak. Elég gyorsan visszaállítottunk egy korlátozottabb és biztonságosabb kódvégrehajtási lehetőséget, majd minden egyes munkaterhelést külön megvizsgáltunk annak eldöntésére, hogy biztonságosan folytatható-e. Egyes kutatási munkaterhelések az új ellenőrzések mellett folytatódhattak, másokhoz azonban további változtatásokra volt szükség.

A következő hetekben szigorúbb biztonsági követelményeket határoztunk meg az élvonalbeli kutatási munkaterhelésekre, és megkezdtük azok bevezetését. Például:

• Munkaterhelések elszigetelése: Mostantól erősebb elszigetelést („homokozókat”) követelünk meg azoknál a munkaterheléseknél, amelyek modell által létrehozott vagy más módon nem megbízható kódot hajtanak végre. Ez azokra a szoftverekre is vonatkozik, amelyek a modellkimenetek feldolgozása közben veszélybe kerülhetnek.
• Hálózati elszigetelés: További ellenőrzéseket vezettünk be a magasabb kockázatú és nem megbízható munkaterhelések internettől való elszigetelésére. Ezeket az ellenőrzéseket úgy alakítottuk ki, hogy egy munkaterhelés vagy támogató szolgáltatás veszélybe kerülése önmagában ne tegyen lehetővé jogosulatlan hozzáférést az internethez vagy más belső hálózatokhoz.
• Folyamatos biztonsági tesztelés: Úgy alakítottuk át környezetünket, hogy megszüntessük a potenciálisan sebezhető megosztott szolgáltatásokat, csökkentsük az állandó jogosultságokat, valamint javítsuk a biztonsági és bizalmi határokat. Emellett javítjuk a biztonsági naplók gyűjtésére és felügyeletére szolgáló képességeinket. Végül pedig olyan automatizálásba fektetünk be, amely modelljeinkkel folyamatosan, szimulált támadásokkal teszteli ezeket a határokat.

Ezek az ellenőrzések együttesen többrétegű védelmet nyújtanak, és segítenek megóvni kutatási környezetünket a támadásoktól. Jelenleg a legszigorúbb biztonsági biztosítékokat követeljük meg az Astrát vagy kibermodelleket érintő munkaterheléseknél, mivel megállapítottuk, hogy az Astra-modellek kritikus szintű kiberképességekkel rendelkezhetnek. Ezek a biztosítékok minden más, kiberbiztonsággal kapcsolatos munkaterhelésre is érvényesek.

Bár egyes Astra-képzések és -értékelések megfelelnek ezeknek a követelményeknek, számos munkaterhelés továbbra is szünetel, amíg teljesen át nem telepítjük és meg nem erősítjük őket az új biztonsági szint teljesítéséhez. Elsőként a biztonsági és összehangolási munkaterhelések új környezetekbe való áttelepítését részesítjük előnyben.

A felügyelet régóta fontos része modellfejlesztési folyamatunknak, beleértve a belső programozási ügynökök felügyeletét és a hosszú ideig futó munkameneteket is. Felügyeleti erőfeszítéseink különösen az élvonalbeli modellek belső bevezetéseire és élvonalbeli RL-képzéseire összpontosultak. Ezeket tekintettük a legnagyobb kockázatú munkaterheléseknek, mivel a fejlett modellképességeket eszközökhöz, érzékeny rendszerekhez, valamint belső vagy külső hálózatokhoz való hozzáféréssel ötvözhetik. Nem alkalmaztuk őket minden eszközhasználattal járó inferenciára és képzési futtatásra. Új felügyeleti rendszerünkkel átdolgoztuk és kibővítettük megközelítésünket.

Az új felügyeleti rendszer többlépcsős. Az aktivációosztályozókkal – a modell belső tevékenységét vizsgáló detektorokkal – kezdődik, amelyek minden mintavételezett tokennél lefutnak, és a lehetséges problémákat egyre kifinomultabb, nagy számításigényű automatizált vizsgálórendszerekhez továbbítják. Ezek a rendszerek az eszközműveleteket, a rendelkezésre álló érvelést és a tevékenységek teljes sorozatát vizsgálják jogosulatlan hozzáférés, adatlopás, romboló viselkedés és a biztosítékok kijátszására tett kísérletek után kutatva. Célunk, hogy a felügyeleti rendszerünk által felszínre hozott aggályos tevékenységről 30 percen belül riasztást adjunk ki. Ha a felügyeleti rendszer egy kritikus biztonsági határ valószínű megsértését észleli, a legmagasabb prioritású riasztást generálja. Jelenlegi megvalósításunkban a biztonsági, védelmi és kutatási csapatok azonnali értesítést kapnak. Ha 30 percen belül nem tudják egyértelműen megállapítani, hogy a jelzés téves riasztás, ezektől a csapatoktól elvárjuk a tevékenység leállítását.

Ez a felügyelet kötelező minden eszközöket használó RL-képzésnél és -értékelésnél a Sol képességi szintjét elérő vagy meghaladó modellek esetében. Miután augusztus 7-én megállapítottuk, hogy az Astra kritikus kiberképességekkel rendelkezhet, további felügyeleti követelményt vezettünk be az Astra minden eszközhasználattal járó inferenciájára, nem csupán az RL-képzésekre és -értékelésekre.

Ezek a biztosítékok jelentős számítási kapacitást igényelnek. Jelenlegi becsléseink szerint a felügyelet többletigénye a megfigyelt inferencia számítási kapacitásának nagyjából 20%-a, bár a költség jelentősen eltér a különböző képzési és értékelési munkaterheléseknél. A rendszerről egy hamarosan megjelenő blogbejegyzésben osztunk meg további részleteket.

Az összehangolási kutatás küldetésünk központi eleme. Küldetésünk annak biztosítása, hogy a mesterséges általános intelligencia az egész emberiség javát szolgálja. Ahogy a modellek olyan fejlett képességekre tesznek szert, mint a kibertámadások végrehajtása, és egyre összetettebb környezetekben működnek, egyre súlyosabb kockázatot jelentenek majd az összehangolástól eltérő viselkedések, például a jutalommanipuláció (amikor a modell úgy szerez magas jutalmat a képzés során, hogy valójában nem éri el a kívánt eredményt), a megtévesztés vagy a jogosulatlan hozzáférés.

A legfejlettebb modellek RL-futtatásainál mostantól a képzési folyamat több szakaszában alkalmazzuk alapvető összehangolási technikáinkat. Ennek részeként fejlesztjük a jutalmazási modelleket, hogy a különböző feladatokban és környezetekben jobban észleljék és visszaszorítsák a nem biztonságos viselkedést; arra képezzük a modelleket, hogy őszintébben számoljanak be műveleteikről, képességeikről és korlátaikról; valamint csökkentjük a jutalmak, értékelők, eszközök vagy a felügyelet gyengeségeit kihasználó viselkedéseket. Emellett növeljük az olyan viselkedések képzési lefedettségét, amelyek kárt okozhatnak, amikor a modellek külső rendszerekkel vagy erőforrásokkal lépnek kapcsolatba.

Továbbra is jelentős összegeket fektetünk az összehangolási kutatásba, bővítjük az értékelések lefedettségét, és a tanulságokat beépítjük a képzésbe és a biztosítékokba. A közeljövőben jóval többet tervezünk megosztani összehangolási kutatásainkról, többek között a modellek viselkedéséről szerzett ismereteinkről és az általunk feltárt új kihívásokról.

Továbbfejlesztjük Felkészültségi keretrendszerünket, hogy a képzés és a bevezetés során egységesítse ezeket a biztosítékokat, és jobban tükrözze a jövőbeli modellek képességeit, valamint működési környezetüket. Az e képességekkel együtt bővíthető módszerek kidolgozásához tartós befektetésre lesz szükség a modellek által támogatott biztonságba, a hatékonyabb felügyeletbe és az összehangolási kutatás további fejlesztésébe. Megközelítésünk fejlődésével külső szervezeteket is be kívánunk vonni, és több tanulságot szeretnénk megosztani.

Az élvonalbeli modellek képességei gyors ütemben fejlődnek. A megértésükre, összehangolásukra és védelmükre való képességünknek e fejlődés előtt kell járnia.

*Az elkövetkező hetekben műszaki jelentést teszünk közzé a tanulságainkról.