Az OpenAI támadásszimulációs hálózata

Nyílt jelentkezést hirdetünk az OpenAI támadásszimulációs hálózatába, és várjuk mindazokat a szakértőket, akik szeretnének velünk együtt dolgozni az OpenAI modelljeinek biztonságosabbá tételén. Különböző területek szakértőit keressük, hogy együttműködjenek velünk MI-modelljeink alapos értékelésében és támadásszimulációs tesztelésében.

A támadásszimuláció^A szerves része az iteratív bevezetési folyamatunknak⁠. Az elmúlt néhány évben támadásszimulációs munkánk az OpenAI belső, támadói szemléletű tesztelésén túl külső szakértőkkel^B való együttműködéssel is bővült. Ők segítenek a szakterület-specifikus kockázati osztályozások kidolgozásában és az új rendszerek potenciálisan káros képességeinek értékelésében. Korábbi támadásszimulációs munkánkról, köztük a külső szakértőkkel folytatott együttműködéseinkről bővebben olvashatsz például a DALL·E 2⁠(új ablakban nyílik meg) és a GPT‑4⁠(új ablakban nyílik meg) modell kapcsán.^C

Ma egy szervezettebb kezdeményezést indítunk, amely ezekre a korábbi alapokra építve elmélyíti és kiszélesíti a külső szakértőkkel való együttműködésünket, hogy modelljeink biztonságosabbak legyenek. Munkafolyamatunk fontos része az egyéni szakértőkkel, kutatóintézetekkel és civil szervezetekkel való együttműködés. Ezt a munkát a külső szereplők által meghatározott irányítási gyakorlatok – például a független auditok – kiegészítésének tekintjük.

Az OpenAI támadásszimulációs hálózata megbízható és tapasztalt szakértők közössége. Tagjai átfogóan segíthetik kockázatértékelési és kockázatcsökkentési munkánkat, ahelyett, hogy minden jelentősebb modellbevezetés előtt külön kiválasztási folyamattal, egyszeri együttműködésekre keresnénk szakértőket. A hálózat tagjait szakértelmük alapján kérjük majd fel, hogy segítsék a támadásszimulációt a modell- és termékfejlesztési életciklus különböző szakaszaiban. Nem minden tag vesz majd részt minden új modell vagy termék tesztelésében, és az időráfordítást minden taggal külön egyeztetjük; ez akár évi 5–10 óra is lehet.

Az OpenAI megbízásából végzett támadásszimulációs kampányokon túl a tagoknak lehetőségük lesz egymással is megvitatni a támadásszimuláció általános gyakorlatait és eredményeit. Célunk, hogy sokszínűbb és folyamatos szakértői visszajelzést kapjunk, a támadásszimuláció pedig ismétlődő, egymásra épülő lépésekből álló folyamattá váljon. Ez a hálózat kiegészíti az MI biztonságosabbá tételét célzó többi együttműködési lehetőségünket, köztük a kutatói hozzáférési programunkat⁠ és a nyílt forráskódú értékelési eljárásainkat⁠(új ablakban nyílik meg).

Ez a hálózat egyedülálló lehetőséget kínál arra, hogy alakítsd a biztonságosabb MI-technológiák és irányelvek kidolgozását, valamint azt, hogy az MI milyen hatással lehet az életünkre, a munkánkra és az emberi kapcsolatainkra. A hálózathoz csatlakozva bekerülsz szakértőink körébe, akikhez modelljeink és rendszereink bevezetésének különböző szakaszaiban fordulhatunk értékelésért.

Az MI-rendszerek értékeléséhez számos szakterület ismeretére, sokféle nézőpontra és személyesen megélt tapasztalatra van szükség. A világ minden tájáról várjuk szakértők jelentkezését, és a kiválasztás során kiemelten figyelünk a földrajzi és szakterületi sokszínűségre. 

Többek között a következő területek érdekelnek minket:

Az MI-rendszerekkel vagy nyelvi modellekkel szerzett korábbi tapasztalat nem feltétel, de hasznos lehet. Számunkra az a legfontosabb, hogy kész legyél bekapcsolódni, és saját nézőpontoddal hozzájárulni az MI-rendszerek hatásainak értékeléséhez.

Az OpenAI támadásszimulációs hálózatának minden tagja díjazásban részesül, ha közreműködik egy támadásszimulációs projektben. Bár a hálózati tagság nem korlátozza kutatásaid közzétételét vagy más lehetőségek kihasználását, vedd figyelembe, hogy a támadásszimulációs és egyéb projektekben való részvétel gyakran titoktartási megállapodáshoz (NDA) kötött, illetve határozatlan idejű titoktartási kötelezettséggel jár.

A jelentkezés lezárult.

K: Mivel jár a hálózathoz való csatlakozás?

V: A hálózat tagjaként megkereshetünk egy új modell tesztelésének lehetőségével, vagy felkérhetünk egy már bevezetett modell valamely területének tesztelésére. A hálózat keretében végzett munkára titoktartási megállapodás (NDA) vonatkozik, bár korábban számos támadásszimulációs eredményünket közzétettük rendszerkártyákban és blogbejegyzésekben. A támadásszimulációs projektekre fordított idődért díjazásban részesülsz.

K: Mennyi időt kell a hálózat tagjaként vállalnom? 

V: A vállalt időráfordítás a saját időbeosztásodhoz igazítható. Fontos, hogy nem minden lehetőséggel keressük meg a hálózat minden tagját. Az OpenAI az adott támadásszimulációs projekthez leginkább illő résztvevőket választja ki, és az egymást követő támadásszimulációs kampányok során hangsúlyt helyez az új nézőpontok bevonására. Már évi 5 óra is értékes hozzájárulás lenne számunkra, ezért bátran jelentkezz, ha érdekel a lehetőség, de kevés időd van.

K: Mikor értesülnek a jelentkezők a felvételükről?

V: Az OpenAI folyamatosan választja ki a hálózat tagjait, jelentkezni pedig 2023. december 1-jéig lehet. A jelentkezési időszak után újra megvizsgáljuk, hogy a jövőben nyissunk-e újabb jelentkezési lehetőséget.

K: A hálózati tagság azt jelenti, hogy minden új modell támadásszimulációs tesztelésére felkérnek?

V: Nem. Az OpenAI az adott támadásszimulációs projekthez leginkább illő résztvevőket választja ki, ezért ne számíts arra, hogy minden új modellt tesztelhetsz.

K: Milyen szempontok alapján keresitek a hálózat tagjait?

V: Többek között a következő szempontokat vesszük figyelembe:

• Igazolt szakértelem vagy tapasztalat a támadásszimuláció szempontjából releváns valamely területen

• Elkötelezettség az MI biztonságosabbá tétele iránt

• Összeférhetetlenség hiánya

• Sokféle háttér és hagyományosan alulreprezentált csoportok képviselete

• Földrajzi sokszínűség 

• Több nyelv folyékony ismerete

• Technikai jártasság (nem feltétel)

K: Milyen más együttműködési lehetőségek vannak az MI biztonságosabbá tételére?

V: A hálózathoz való csatlakozáson túl más együttműködési lehetőségek is vannak arra, hogy hozzájárulj az MI biztonságosabbá tételéhez. Például kidolgozhatsz vagy elvégezhetsz biztonsági értékeléseket MI-rendszereken, és elemezheted az eredményeket.

Az OpenAI nyílt forráskódú Evals⁠(új ablakban nyílik meg) adattára, amelyet a GPT‑4 bevezetésekor⁠ tettünk közzé, könnyen használható sablonokkal és módszertani példákkal segíti az elindulást.

Az értékelések az egyszerű kérdés-válasz tesztektől az összetettebb szimulációkig terjedhetnek. Konkrét példaként íme néhány, az OpenAI által kidolgozott értékelési eljárás, amelyek különböző szempontokból vizsgálják az MI viselkedését:

Meggyőzés

• MakeMeSay⁠(új ablakban nyílik meg): Mennyire képes egy MI-rendszer rászedni egy másik MI-rendszert arra, hogy kimondjon egy titkos szót?

• MakeMePay⁠(új ablakban nyílik meg): Mennyire képes egy MI-rendszer rávenni egy másik MI-rendszert arra, hogy pénzt adományozzon?

• Szavazási javaslat⁠(új ablakban nyílik meg): Mennyire képes egy MI-rendszer befolyásolni, hogy egy másik MI-rendszer támogat-e egy politikai javaslatot?

Szteganográfia (rejtett üzenetküldés)

• Szteganográfia⁠(új ablakban nyílik meg): Mennyire képes egy MI-rendszer titkos üzeneteket továbbítani anélkül, hogy egy másik MI-rendszer leleplezné?

• Szövegtömörítés⁠(új ablakban nyílik meg): Mennyire képes egy MI-rendszer üzeneteket tömöríteni és visszaállítani, hogy lehetővé tegye titkos üzenetek elrejtését?

• Schelling-pont⁠(új ablakban nyílik meg): Mennyire képes egy MI-rendszer összehangoltan cselekedni egy másik MI-rendszerrel közvetlen kommunikáció nélkül?

Az MI-rendszerek értékelésében kreativitásra és kísérletezésre ösztönzünk. Ha elkészültél, örömmel fogadjuk értékelési eljárásodat a nyílt forráskódú Evals⁠(új ablakban nyílik meg) adattárban, hogy a szélesebb MI-közösség is használhassa.

Jelentkezhetsz a kutatói hozzáférési programunkba⁠ is, amely kreditekkel támogatja azokat a kutatókat, akik termékeinkkel az MI felelős bevezetését és a kapcsolódó kockázatok csökkentését vizsgálják.