Predstavujeme režim Lockdown a konzistentné štítky pre zvýšené riziko v ChatGPT

Ako systémy umelej inteligencie preberajú zložitejšie úlohy – najmä tie, ktoré zahŕňajú web a prepojené aplikácie – menia sa aj bezpečnostné riziká.

Jedno vznikajúce riziko sa stalo obzvlášť dôležitým: vkladanie falošných príkazov⁠. Pri týchto útokoch sa tretia strana snaží oklamať konverzačný systém umelej inteligencie, aby nasledoval škodlivé pokyny alebo odhalil citlivé informácie.

Dnes predstavujeme dve nové ochrany navrhnuté tak, aby pomohli používateľom a organizáciám zmierniť útoky typu vkladania falošných príkazov, s jasnejšou viditeľnosťou rizika a silnejšími kontrolami:

• Režim uzamknutia v ChatGPT, pokročilé a voliteľné nastavenie zabezpečenia pre používateľov s vyšším rizikom
• Označenia „Zvýšené riziko“ pre určité funkcie, ktoré môžu predstavovať dodatočné riziko v ChatGPT, ChatGPT Atlas a Codex

Tieto doplnky stavajú na našich existujúcich ochranách na úrovni modelu, produktu a systému. Zahŕňa to sandboxing, ochranu proti exfiltrácii údajov na základe URL⁠, monitorovanie, vynucovanie a podnikové riadiace prvky⁠, ako sú riadenie prístupu na základe rolí a protokoly auditu.

Režim uzamknutia je voliteľné, pokročilé nastavenie zabezpečenia, určené pre malú skupinu používateľov, ktorí sú veľmi zameraní na bezpečnosť – napríklad vedúcich pracovníkov alebo bezpečnostné tímy vo významných organizáciách – ktorí potrebujú zvýšenú ochranu pred pokročilými hrozbami. Pre väčšinu používateľov to nie je potrebné. Režim uzamknutia prísne obmedzuje, ako môže ChatGPT interagovať s externými systémami, aby sa znížilo riziko exfiltrácie údajov založenej na vkladaní falošných príkazov.

Režim Lockdown deterministicky deaktivuje určité nástroje a funkcie v ChatGPT, ktoré by mohol protivník zneužiť na exfiltráciu citlivých údajov z konverzácií používateľov alebo pripojených aplikácií prostredníctvom útokov, ako je vkladanie falošných príkazov.

Napríklad prehliadanie webu v režime uzamknutia je obmedzené na uložený obsah, takže žiadne živé sieťové požiadavky neopúšťajú kontrolovanú sieť OpenAI. Toto obmedzenie je navrhnuté tak, aby zabránilo úniku citlivých údajov k útočníkovi prostredníctvom prehliadania. Niektoré funkcie sú úplne vypnuté, keď nemôžeme poskytnúť silné deterministické záruky bezpečnosti údajov.

Firemné plány ChatGPT už poskytujú podnikovú bezpečnosť údajov⁠. Režim uzamknutia nadväzuje na tieto ochrany a je k dispozícii pre ChatGPT Enterprise, ChatGPT Edu, ChatGPT pre zdravotníctvo a ChatGPT pre učiteľov. Správcovia môžu povoliť túto funkciu v nastaveniach pracovného priestoru⁠(otvorí sa v novom okne) vytvorením novej role⁠(otvorí sa v novom okne). Keď je táto funkcia zapnutá, režim Lockdown pridáva ďalšie obmedzenia nad rámec existujúcich nastavení správcu.

Zisti viac o režime Lockdown v našom centre pomoci⁠(otvorí sa v novom okne).

Pretože niektoré kritické pracovné postupy sa spoliehajú na aplikácie, správcovia pracovného priestoru si zachovávajú podrobnejšie ovládacie prvky. Môžu si presne vybrať, ktoré aplikácie a konkrétne akcie v rámci týchto aplikácií budú používateľom dostupné v režime uzamknutia. Okrem toho a nezávisle od režimu Lockdown poskytuje Platforma protokolov API pre dodržiavanie súladu⁠(otvorí sa v novom okne) podrobný prehľad o používaní aplikácií, zdieľaných údajoch a pripojených zdrojoch, čo pomáha správcom udržiavať dohľad.

Plánujeme sprístupniť režim Lockdown používateľom v nasledujúcich mesiacoch.

Produkty umelej inteligencie môžu byť užitočnejšie, keď sú pripojené k tvojim aplikáciám a webu, a výrazne sme investovali do zabezpečenia pripojených údajov⁠. Zároveň niektoré schopnosti súvisiace so sieťou prinášajú nové riziká, ktoré ešte nie sú úplne pokryté bezpečnostnými a zabezpečovacími opatreniami v rámci odvetvia. Niektorí používatelia môžu byť ochotní podstúpiť tieto riziká a veríme, že je dôležité, aby mali možnosť rozhodnúť sa, či a ako ich budú používať, najmä pri práci so svojimi súkromnými údajmi.

Náš prístup je poskytovať usmernenia priamo v produkte pre funkcie, ktoré môžu prinášať dodatočné riziko. Aby to bolo jasnejšie a konzistentnejšie, štandardizujeme spôsob, akým označujeme krátky zoznam existujúcich funkcií. Tieto funkcie budú teraz používať jednotné označenie „Elevated Risk“ v rámci ChatGPT, ChatGPT Atlas a Codex, aby používatelia dostávali rovnaké usmernenie všade, kde sa s nimi stretnú.

Napríklad v Codexe, našom asistentovi na kódovanie, môžu vývojári udeliť Codexu prístup k sieti, aby mohol vykonávať akcie na webe, ako je vyhľadávanie dokumentácie. Príslušná obrazovka nastavení obsahuje označenie „Zvýšené riziko“ spolu s jasným vysvetlením toho, čo sa zmení, aké riziká môžu vzniknúť a kedy je takýto prístup vhodný.

Naďalej investujeme do posilňovania našich bezpečnostných a ochranných opatrení, najmä pre nové, vznikajúce alebo rastúce riziká. Ako posilňujeme bezpečnostné opatrenia pre tieto funkcie, odstránime označenie „Zvýšené riziko“, keď zistíme, že bezpečnostné vylepšenia dostatočne zmiernili tieto riziká pre všeobecné použitie. Budeme tiež priebežne aktualizovať, ktoré funkcie majú toto označenie, aby sme používateľov čo najlepšie informovali o riziku.