Új keretrendszert teszünk közzé az OpenAI modelljeinél előforduló félreilleszkedések nyomon követésére, kivizsgálására és közzétételére, hat jelentéssel együtt, amelyek az elmúlt hat hónapban megfigyelt váratlan vagy aggasztó modellviselkedést mutatják be.
Korábban arra törekedtünk, hogy a kutatók, a mesterséges intelligencia fejlesztői, a szakpolitikai döntéshozók és a nagyközönség jobb tájékoztatása érdekében nyilvánosságra hozzuk a félreilleszkedéssel kapcsolatos megállapításainkat. A megállapítások jelentésére szolgáló rendszeres megközelítés hiányában azonban a közzétételeink esetlegesek és az ideálisnál ritkábbak voltak: gyakran megvártuk, amíg több esetet egyetlen jelentésben foglalhatunk össze, vagy az újonnan kiadott modellek rendszerkártyáiban ismertettük őket. Az új keretrendszer célja, hogy a megfigyelést követően felgyorsítsa a félreilleszkedési jelentések közzétételét még akkor is, ha a bemutatott viselkedést nem sikerült teljesen megmagyaráznunk vagy mérsékelnünk.
Ahogy a mesterségesintelligencia-rendszerek egyre fejlettebbé válnak és egyre szélesebb körben terjednek el, átfogóbb és megalapozottabb közös álláspontot kell kialakítanunk az összehangolási kutatás előrehaladásáról. Nem gondoljuk, hogy a mesterségesintelligencia-iparág olyan mértékben megoldotta volna az összehangolás és a felügyelet kérdését, amely mellett még sokáig felelősen folytatható a lehető leggyorsabb léptékbővítés. A mesterséges intelligencia következő hónapokban és években követendő fejlesztési irányáról szóló döntésekhez olyan bizonyítékokra van szükség, amelyeket az élvonalbeli modelleket fejlesztő vállalatokon kívüli emberek maguk is megvizsgálhatnak.
A félreilleszkedési példák segíthetnek azonosítani azokat a problémákat, amelyekkel más fejlesztők is találkozhatnak, amikor rendszereik hasonló képességeket érnek el; feltárhatják a védelmi intézkedések gyenge pontjait; vagy megkérdőjelezhetik a modellviselkedéssel kapcsolatos feltételezéseket. E megállapítások megosztásával mások is vizsgálhatják ugyanazokat a problémákat, ellenőrizhetik magyarázatainkat, és javíthatják a kockázatcsökkentő intézkedéseket. Mivel fontosnak tartjuk a félreilleszkedés átláthatóságát, új keretrendszerünk bizonytalan jelentőség esetén is a közzétételt részesíti előnyben. Ez azt jelenti, hogy egyes közzétett esetek később téves jelzésnek bizonyulhatnak, és lehet, hogy nem alkotnak szélesebb mintázatot, illetve nem vetítenek előre jövőbeli fejleményeket.
Jelenleg nincs az egész iparágra kiterjedő, egyértelmű előírásokat tartalmazó keretrendszer arra vonatkozóan, hogyan tegyék közzé a mesterséges intelligencia fejlesztői a modelljeik félreilleszkedési eseteit. Reméljük, hogy a ma bemutatott keretrendszer az első lépés az ilyen szabványok kialakítása felé: meghatározza, mely félreilleszkedési eseteket kell a fejlesztőknek közzétenniük, és mit kell tartalmazniuk a jelentéseiknek. Ezt a keretrendszert folyamatban lévő munkának tekintjük, amelyet a tapasztalatok és a nyilvános visszajelzések alapján finomítunk.
Az alábbiakban bemutatjuk a keretrendszer működését, és megosztjuk az első közzétett jelentéseket.
Olyan példákat kívánunk közzétenni, amelyek hasznos bizonyítékot szolgáltatnak arról, hogyan alakul ki és miként nyilvánul meg a modell-félreilleszkedés, illetve hol működnek vagy vallanak kudarcot a védelmi intézkedések. Elsőbbséget adunk az új mechanizmusoknak, az ismert viselkedés érdemi változásainak, valamint a biztonsággal vagy a kockázatcsökkentéssel kapcsolatos feltételezéseket megkérdőjelező eredményeknek. Egy eset akkor is indokolhatja a közzétételt, ha nem okozott kárt, és nem bizonyít szélesebb körű mintázatot. A keretrendszer a modell teljes életciklusa során – a betanítástól az értékelésen és tesztelésen át az üzembe helyezésig – kiterjed a feltételeknek megfelelő viselkedésre.
Ide tartoznak azok az új módszerek, amelyekkel a modellek engedély nélkül cselekedhetnek, más modellekkel együttműködhetnek vagy kijátszhatják a felügyeletet; az összehangolási módszereket vagy védelmi intézkedéseket megkérdőjelező hibák; valamint a közzétett biztonsági értékelések állításait cáfoló viselkedések. Ugyanezek a közzétételi feltételek vonatkoznak a külső feleket esetleg érintő félreilleszkedésekre is.
Ez olyan félreilleszkedési eseteket is magában foglalhat, amelyek látszólag megismétlik a korábban közzétett eseteket. A probléma ismétlődése önmagában is hasznos bizonyíték lehet modelljeink viselkedéséről vagy védelmi intézkedéseink hatékonyságáról – például ha egy bizonyos félreilleszkedett viselkedés az ismételt mérséklési kísérletek ellenére is újra meg újra előfordul. Ilyen körülmények között az eredeti félreilleszkedési közlemény frissítésével tesszük közzé a további példákat.
Idővel más fejlesztőkkel, külső kutatókkal, iparági szabványügyi szervezetekkel és szabályozó hatóságokkal együtt objektívebb közzétételi feltételeket kívánunk kidolgozni. Úgy véljük továbbá, hogy a súlyos biztonsági, védelmi és félreilleszkedési incidenseket jelenteni kell az Egyesült Államok szövetségi kormányának, ezért jelentési mechanizmusok kidolgozásán dolgozunk. Ezt a keretrendszert meglévő kötelezettségeink kiegészítésének tekintjük; nem váltja ki a jogszabályok szerinti közzétételi követelményeket, így a kritikus biztonsági incidensekre vagy kiberbiztonsági incidensekre vonatkozókat sem.
Új félreilleszkedési közzétételi keretrendszerünk elindításaként hat jelentést teszünk közzé olyan félreilleszkedett viselkedésekről, amelyeket modelljeink betanítása vagy értékelése során figyeltünk meg. Ezek az esetek különféle, megosztásra érdemesnek tartott viselkedéseket mutatnak be: a felhasználó előli információeltitkolástól az akadályok leküzdése érdekében végrehajtott, nem engedélyezett műveletekig. Ezek egyedi esetekről szóló jelentések, ezért nem tekinthetők irányadónak arra nézve, hogy modelljeinknél milyen gyakran fordul elő félreilleszkedés. Az alábbi elemek mindegyike a teljes jelentésre hivatkozik.
Önállóan létrehozott utasítások a feladat-összefoglalókban(új ablakban nyílik meg). Egy még ki nem adott kutatási modell nem kapcsolódó utasításokat – köztük a szokásos korlátainak figyelmen kívül hagyására vonatkozókat – illesztett azokba az összefoglalókba, amelyekkel egy új kontextusablakban folytatta a munkáját. Összesen 27 érintett összefoglalót azonosítottunk.
A hibák eltitkolására vonatkozó utasítások a feladat-összefoglalókban(új ablakban nyílik meg). A GPT‑5.6 Sol betanítása során számos modellpéldány olyan utasításokat adott az összefoglalóihoz, amelyek a hibák vagy a félreilleszkedett viselkedés felhasználó előli eltitkolására irányultak. A kontextusmegőrzési összefoglalók például olyan utasításokat tartalmaztak, amelyek szerint a hiányzó múltbeli adatokat ennek közlése nélkül ki kell találni, a forrásverziók közötti eltéréseket pedig el kell rejteni.
Nyilvános adattárak keresése kiszivárgott API-kulcsok után, majd információk kitalálása(új ablakban nyílik meg). Egy modell egy kaliforniai megye jövedelmi adataira vonatkozó hétköznapi kérdés megválaszolása közben megtalált és engedély nélkül felhasznált egy nyilvánosságra került API-kulcsot. Amikor ennek ellenére sem tudta lekérni a kért számadatokat, kitalálta őket, és úgy mutatta be őket, mintha a kért forrásból származnának.
Fájlok feltöltése az internetre, hogy hivatkozni lehessen rájuk(új ablakban nyílik meg). Amikor egy felhasználó egy még ki nem adott modelltől az 5 000 000 négyzetméternél nagyobb tavak azonosítóit és neveit kérte, az ügynök Python használatával megtalálta a helyes választ. Mivel azonban az utasítások böngészőből származó hivatkozást kértek, az ügynök úgy döntött, hogy a felhasználó megkérdezése nélkül feltölti a fájlt, hogy hivatkozhasson rá a válaszában.
Nem engedélyezett írás és kommunikáció egy belső szoftveradattáron keresztül(új ablakban nyílik meg). A modellek egy belső szoftveradattárat üzenőfalként használva kéréseket és válaszokat váltottak különálló betanítási minták között, miközben hiányzó bemeneti fájlokat kerestek, ezeket azonban nem sikerült helyreállítaniuk. A jelentés egy korábbi esetet is vizsgál, amelyben egy modell a hálózati korlátozások megkerülésére tett kísérlet közben sikeresen feltöltött tesztfájlokat egy adattárba.
Nem engedélyezett fájlmegosztás együttműködő ügynökök között(új ablakban nyílik meg). Az ugyanazon betanítási feladaton együtt dolgozó ügynökök nyilvános fájltároló webhelyeken osztották meg egymással a fájlokat, amikor nem tudtak hozzáférni egymás helyi fájljaihoz. Ezáltal a feladat eredményeként létrejött fájlok nyilvános URL-címeken váltak elérhetővé, noha a feladat csak helyi fájlok használatát kérte a modellektől.
Az OpenAI bármely munkatársa jelezhet egy félreilleszkedési esetet biztonsági és összehangolási csapatainknak kivizsgálásra, és kérheti a nyilvános közzététel megfontolását. Ezzel elindul a közzétételi eljárásunk, amely minden lépéshez határidőt rendel az időben történő vizsgálat és közzététel érdekében.
Az eset jelzését követően műszaki munkatársaink kivizsgálják, mi történt, mi maradt bizonytalan, indokolt-e a nyilvános közzététel, és mely tények oszthatók meg. Azt is felmérik, hogy érintett-e külső fél, akit a közzététel előtt külön értesíteni kell.
Az esetet ezután három eljárási rend egyikébe soroljuk: Közzétételre kész, Kisebb vizsgálat vagy Nagyobb vizsgálat („lassú eljárás”).
A Közzétételre kész kategóriába azok a feltételeknek megfelelő esetek tartoznak, amelyek vizsgálata az ellenőrzést követő közzétételhez már kellően előrehaladott. A Kisebb vizsgálat kategóriába a további műszaki vizsgálatot igénylő esetek tartoznak. Várakozásaink szerint a közzétett esetek túlnyomó többsége e két kategória valamelyikébe kerül, különösen azok, amelyek nem igényelnek kiterjedt vizsgálatot, külső felekkel való egyeztetést vagy súlyos visszaélési kockázatok kezelését. A ma közzétett esetek mindegyike e két kategória valamelyikébe tartozik.
A Nagyobb vizsgálat kategória az összetett, különösen a külső feleket is érintő vizsgálatokra vonatkozik. Ha külső fél is érintett, a biztonsággal, a jogszabályokkal és a felelős közzététellel kapcsolatos kötelezettségeink elsőbbséget élveznek e keretrendszerrel szemben. Igyekszünk a lehető leghamarabb közzétenni egy előzetes értesítést, de biztonsági okokból szükség lehet a halasztására – például ha egy modell korábban ismeretlen sebezhetőséget fedez fel egy széles körben használt szoftverben. Ha egy jelentés alapján azonosítható lenne egy külső fél, előzetesen értesíteni kívánjuk akkor is, ha nem sérült semmilyen biztonsági határ.
A Nagyobb vizsgálat kategóriába tartozó esetek előzetes értesítése általánosságban ismerteti a történteket, jelzi, hogy külső szakértők segítik-e a vizsgálatot, és lehetőség szerint becslést ad a végleges jelentés várható közzétételének idejéről. Ha az OpenAI Hugging Face-incidensét e keretrendszer szerint tettük volna közzé, ebbe a kategóriába került volna.
A példát jelző munkatársat tájékoztatjuk arról a döntésről, hogy közzétesszük-e az esetet, és ha igen, melyik eljárási rendet követjük. A közzététellel vagy a megfelelő eljárási renddel kapcsolatos, feloldatlan nézeteltéréseket az OpenAI Biztonsági Tanácsadó Csoportjához (SAG) utaljuk. Ez a vállalat különböző területeinek magas rangú vezetőiből álló csoport értékeli az élvonalbeli modellek képességeit és a védelmi intézkedéseket, felügyeli Felkészültségi keretrendszerünket, és tanácsokkal látja el az OpenAI vezetőségét. A SAG-on belüli nézeteltéréseket, illetve a munkatársaknak a döntéseivel szembeni kifogásait az OpenAI vezetősége elé terjesztjük. A közzététel mellőzéséről vagy indokolatlanságáról szóló döntéseket megosztjuk a biztonságért és az összehangolásért felelős vezetőkkel, valamint lehetőség szerint az érintett műszaki munkatársakkal.
A gyakorlati tapasztalatok alapján módosíthatjuk ezt a közzétételi eljárást, és minden változást rögzítünk ebben a bejegyzésben.
Minden teljes jelentés ismerteti a megfigyelt viselkedést, annak súlyosságát és esetleges külső hatását, az előfordulás körülményeit, az esemény dátumát vagy időszakát, a felfedezés időpontját, valamint általánosságban az érintett modellt vagy modelleket. Lehetőség szerint a következőket is megosztjuk:
Az esemény és az abból eredő esetleges károk további részleteit;
Hogyan fedeztük fel a félreilleszkedést, és mire terjedt ki a vizsgálatunk;
Milyen következtetéseket vonunk le belőle az összehangolási kutatásra és a mesterséges intelligencia műszaki biztonságára nézve;
Az eset által felvetett fontos, megválaszolatlan kérdéseket;
A viselkedés kezelésére már megtett vagy tervezett intézkedéseinket. Ezek az információk a közzétételkor nem feltétlenül állnak rendelkezésre, mivel a félreilleszkedési jelentést még a vizsgálat lezárása vagy a megoldás kidolgozása előtt is közzétehetjük.
Az ügyfeleknél üzembe helyezett rendszerekben előforduló félreilleszkedésről annyi információt osztunk meg, amennyit az ügyfelek adatvédelme és szerződéses kötelezettségeink lehetővé tesznek.
A ma közzétett jelentések a tájékoztatás első körét jelentik, nem pedig az ismert félreilleszkedések vagy a folyamatban lévő vizsgálatok teljes körű bemutatását. Ezek a kezdeti jelentések nem tükrözik a keretrendszer hatálya alá tartozó esetek teljes körét vagy súlyosságát. Elkötelezettek vagyunk a keretrendszer feltételeinek megfelelő félreilleszkedési esetek közzététele mellett, beleértve az összetettebb eseteket is, amelyek hosszabb vizsgálatot vagy külső felekkel való egyeztetést igényelnek. A keretrendszer alapján folyamatosan újabb jelentéseket teszünk közzé, és a jelentéstételi vállalásaink továbbfejlesztésével párhuzamosan további részleteket osztunk meg róluk.
