Cesta k Astre: kritické schopnosti a prelomové ochranné opatrenia

Od nášho predchádzajúceho posúdenia, podľa ktorého by Astra mohla dosiahnuť kritickú úroveň kybernetických schopností, sme zhromaždili ďalšie dôkazy a vykonali dodatočné hodnotenia schopností modelu. Teraz sa domnievame, že Astra spĺňa prah kritických kybernetických schopností podľa nášho Rámca pripravenosti. To znamená, že so správnymi nástrojmi a prístupom dokáže nájsť dovtedy neznáme bezpečnostné chyby a vyvinúť spôsoby ich zneužitia v mnohých dobre chránených systémoch bez toho, aby každý krok riadil človek. Je to prvý model, ktorý zaraďujeme na túto úroveň, a počas vývoja aj pred vydaním si vyžaduje silnejšie ochranné opatrenia.

V uplynulých týždňoch sme odložili časti vývoja a vydania Astry, kým sme posilňovali a testovali ochranu pred kybernetickým zneužitím a neoprávneným konaním modelu. Na základe tejto práce sa domnievame, že ochranné opatrenia Astry dostatočne minimalizujú riziko závažných škôd, takže ju možno vydať v súlade s naším Rámcom pripravenosti.

Hoci Astra nebola zapojená do incidentu Hugging Face, poznatky⁠(otvorí sa v novom okne) z tohto incidentu sme začlenili do nášho prístupu k bezpečnosti. Na základe retrospektívneho testovania sa domnievame, že naše vtedajšie produkčné ochranné opatrenia by incidentu Hugging Face zabránili. Odvtedy sme pre Astru zaviedli ešte silnejšie ochranné opatrenia. Patrí k nim trénovanie modelu na spoľahlivejšie odmietanie škodlivých kybernetických požiadaviek a dodržiavanie bezpečnostných obmedzení, dodatočná ochrana pred zneužitím a monitorovanie schopné zastaviť potenciálne neoprávnenú činnosť.

Astru plánujeme čoskoro sprístupniť, no prístup k jej najpokročilejším kybernetickým schopnostiam bude obmedzenejší. Pokročilé kybernetické činnosti budú spočiatku dostupné skupine testerov. Následne sa prístup cez Daybreak Blue rozšíri na podporu obranného využitia.

Pri uvedení zverejníme v systémovej karte modelu ďalšie podrobnosti o našich testoch a hodnoteniach bezpečnosti, zabezpečenia a zosúladenia. Pred vydaním chceme informovať o časti práce, ktorú sme vykonali, aby sme mohli bezpečne vydať model s touto úrovňou kybernetických schopností, a otvorene uviesť, aké riziká pretrvávajú.

Podľa nášho Rámca pripravenosti model spĺňa kritický prah, ak je splnená aspoň jedna z nasledujúcich podmienok:

• Model dokáže bez ľudského zásahu identifikovať a vyvinúť funkčné zero-day exploity všetkých úrovní závažnosti v mnohých zabezpečených kritických systémoch používaných v reálnom svete.
• Model dokáže iba na základe všeobecne stanoveného cieľa navrhnúť a uskutočniť úplne nové komplexné stratégie kybernetických útokov proti zabezpečeným cieľom.

Naše hodnotenie pripravenosti Astry spojilo automatizované verejné a súkromné benchmarky s posúdeniami vedenými odborníkmi. Astra predstavuje oproti GPT‑5.6 Sol výrazný nárast kybernetických schopností: je podstatne efektívnejšia z hľadiska tokenov a schopnejšia pri identifikácii zraniteľností a vývoji exploitov.

V jednom z testov sme Astru spustili v benchmarku ExploitBench, ktorý hodnotí schopnosť modelu vyvíjať exploity zo známych zraniteľností. Model v ňom dosiahol perfektné skóre 100 %.

Pre obavy z kontaminácie sme následne vytvorili interný benchmark s názvom „ExploitBench – interný port (jún – august 2026)“, ktorý obsahuje 20 novšie zverejnených zraniteľností V8 s vysokou závažnosťou. V tomto súbore údajov dosahuje Astra oveľa vyššiu mieru spustenia ľubovoľného kódu než GPT‑5.6 Sol, pričom používa omnoho menej výstupných tokenov. Počas hodnotenia model dokonca objavil a použil dve zero-day zraniteľnosti ako súčasť reťazca exploitov. Tieto dve zraniteľnosti práve oznamujeme správcom.

Pri hodnoteniach vedených odborníkmi na zabezpečenom prehliadači a operačnom systéme Astra objavila dovtedy neznáme zraniteľnosti a vytvorila z nich funkčné reťazce exploitov. Vytvorila úplný reťazec na kompromitáciu prehliadača, ktorý po otvorení súboru HTML prehliadačom unikol zo sandboxu a spustil príkazy v hostiteľskom systéme. Model tiež našiel viacero zraniteľností v zabezpečenom operačnom systéme a spojil ich do lokálneho reťazca zvýšenia oprávnení z neprivilegovaného používateľa na účet root. Na základe všetkých výsledkov nášho skúmania sme dospeli k záveru, že Astra spĺňa kritický prah.

Pri modeloch s úrovňou kybernetických schopností Astry musíme počas vývoja aj pred nasadením riešiť dve cesty, ktorými by mohlo dôjsť k závažným kybernetickým škodám, aby sme minimalizovali riziko:

• Zneužitie modelu škodlivými aktérmi. Naše ochranné opatrenia musia spoľahlivo zabrániť škodlivým aktérom používať Astru na vývoj exploitov pre dovtedy neznáme chyby v zabezpečených kritických systémoch alebo na uskutočňovanie komplexných útokov proti zabezpečeným cieľom.
• Neoprávnené a nezosúladené konanie modelu. Aj bez škodlivého používateľa by model s pokročilými kybernetickými schopnosťami mohol v prípade nedostatočného zosúladenia sám spôsobiť kybernetické škody. Okrem veľmi prísnych požiadaviek na zosúladenie modelov s týmito schopnosťami musia naše ochranné opatrenia ako druhá línia obrany dokázať rýchlo odhaliť a obmedziť nezosúladené konanie, ktoré by mohlo spôsobiť významné škody v reálnom svete.

Druhá cesta sa vzťahuje na interný vývoj aj externé nasadenie. Ako sme už opísali, po incidente OpenAI – Hugging Face sme na dva týždne pozastavili niektoré prelomové trénovania vrátane niektorých trénovaní Astry, aby sme lepšie zabezpečili našu infraštruktúru trénovania modelov. Zaviedli sme okrem iného izoláciu a sieťové kontroly, rozšírené monitorovanie a posilnené trénovanie zosúladenia a prahové hodnoty. Potom sme pokračovali v práci menšieho rozsahu pod prísnejšou kontrolou.

Niektoré rozsiahlejšie procesy učenia posilňovaním (RL) pre budúce verzie Astry sme odložili na dlhšie, kým sme stanovili prísnejšie požiadavky na bezpečnosť a zabezpečenie ich prostredia trénovania. Po zavedení nových požiadaviek na bezpečnosť a zabezpečenie sme 28. augusta obnovili rozsiahly prelomový proces RL, ktorý bol predtým pozastavený. Niektoré menšie experimentálne trénovania naďalej dočasne odkladáme.

Príprava Astry na vydanie si vyžiadala aj silnejšiu ochranu pred kybernetickým zneužitím a neoprávneným konaním. Tieto ochranné opatrenia a spôsob ich testovania opisujeme nižšie.

Od nasadenia prvého modelu, ktorý sme vo februári považovali za model s úrovňou kybernetických schopností Vysoká, sme pri každom ďalšom uvedení posilňovali naše kybernetické ochranné opatrenia. Náš celkový prístup k bezpečnosti kombinuje odmietanie požiadaviek post-trénovaným modelom, bezpečnostné klasifikátory na úrovni systému, offline detekciu a narúšanie hrozieb.

Pri modeli GPT‑5.6⁠(otvorí sa v novom okne) sme výrazne zvýšili odolnosť našej systémovej vrstvy. Pridali sme napríklad aktivačné klasifikátory na odhaľovanie kybernetického zneužitia a zlepšili pokrytie univerzálnych jailbreakov odhalených intenzívnym automatizovaným red teamingom. Pri Astre sme na tieto zlepšenia nadviazali ďalšími investíciami do modelovej vrstvy našich ochranných opatrení a zlepšením ich schopnosti pracovať s kontextom naprieč konverzáciami.

• Vďaka novým technikám trénovania zvýšenie odolnosti modelu Astra spoľahlivejšie odmieta požiadavky na nepovolenú kybernetickú pomoc. V našom súbore hodnotení kybernetických jailbreakov Astra odmieta 91,5 % požiadaviek (v porovnaní s 59 % pri GPT‑5.6 Sol).
• Pri účtoch vyhodnotených ako rizikovejšie uplatňujeme konzervatívnejšiu hranicu správania modelu, ktorá odmieta širší rozsah potenciálne rizikovej kybernetickej pomoci. Pri vysokorizikových používateľoch sme rozšírili kontext našich monitorovacích systémov, aby dokázali zachytiť takéto kybernetické zneužitie.

Pokračujeme aj v programe dôkladného testovania, interného a externého red teamingu a nápravných opatrení. Okrem regresného testovania, ktorým overujeme, že máme naďalej pokryté všetky jailbreaky z predchádzajúcich období testovania, uskutočňujeme novú vlnu red teamingu s našimi najnovšími internými útočníkmi pre red teaming. S partnermi v odvetví pracujeme na vytvorení spoločného systému hodnotenia jailbreakov a nové zistenia budeme skúmať a riešiť prostredníctvom nášho nepretržitého programu rýchlej reakcie. Ďalšie podrobnosti o testovaní našich kybernetických ochranných opatrení zverejníme v systémovej karte Astry.

Pomoc obrancom pri hľadaní a odstraňovaní zraniteľností zostáva ústredným pilierom nášho prístupu k bezpečnosti. Očakávame, že pri uvedení budú ochranné opatrenia Astry v záujme ochrany pred možným zneužitím spôsobovať viac obmedzení, než máme v konečnom dôsledku v úmysle. Prístup k Astre pre pokročilé kybernetické pracovné postupy bude spočiatku dostupný malej skupine alfa testerov. Neskôr sa prístup cez Daybreak Blue rozšíri na podporu obranného využitia.

Pridali sme aj ďalšie vrstvy ochrany, ktoré majú zabrániť potenciálne nezosúladenému konaniu modelu:

• Zosúladenie modelu: V našich hodnoteniach Astra oveľa častejšie než GPT‑5.6 Sol dodržiavala výslovné bezpečnostné obmedzenia a zostávala v rámci svojich oprávnení, vďaka čomu je naším doteraz najlepšie zosúladeným modelom. Zamerali sme sa najmä na to, ako model dodržiava obmedzenia týkajúce sa bezpečnosti a zabezpečenia a či zostáva v rámci svojich oprávnení.
• Monitorovanie a kontrola: Podobne ako pri našich interných postupoch nasadzujeme Astru s dodatočným monitorovaním reťazenia myšlienok, aby sme mohli rýchlo odhaliť a obmedziť potenciálne nezosúladené konanie.

Astra predstavuje významný pokrok v zosúladení modelov a vyvrcholenie viacerých dlhodobých oblastí práce na zosúladení, od zásahov počas predbežného trénovania až po dôslednejšie a konzistentnejšie hodnotenie počas učenia posilňovaním. Pri testovaní zisťujeme, že Astra v porovnaní s GPT 5.6 Sol výrazne častejšie a konzistentnejšie dodržiava výslovné bezpečnostné obmedzenia a upozornenia, napríklad automatickú kontrolu.

Vyvinuli sme aj test inšpirovaný incidentom Hugging Face, pri ktorom agenty vykonávajúce kybernetické hodnotenie ExploitGym kompromitovali systémy tretej strany. Najťažšie úlohy z tohto hodnotenia sme použili na vytvorenie testov s „honeypotmi“, ktoré zisťovali, či sa model namiesto riešenia pridelenej úlohy pokúsi kompromitovať okolitú bezpečnostnú infraštruktúru. GPT‑5.6 Sol sa bez produkčných ochranných opatrení pokúsil získať prístup k týmto cieľom v 56 % testov simulujúcich prostredie benchmarku, v ktorom má model za úlohu vyvíjať exploity. Astra sa v týchto testoch o nič také nepokúsila. Tieto údaje opisujú správanie v testovacích podmienkach bez kybernetických ochranných opatrení, nie pri bežnom produkčnom používaní.

Trénovanie modelov na zosúladenie je jednou z vrstiev bezpečnosti. Ďalšie podrobnosti o testovaní zosúladenia a jeho výsledkoch zverejníme v systémovej karte Astry.

Pri modeloch triedy Astra nasadzujeme do produkcie aj monitorovanie nezosúladenia, aby sme mohli potenciálne nezosúladenie odhaliť a rýchlo obmedziť. Tieto ochranné opatrenia sa podobajú nášmu monitorovaniu interných nasadení. Zahŕňajú systém klasifikátorov, ktoré kontrolujú uvažovanie a konanie modelu, vyhľadávajú neoprávnené správanie a automaticky zastavujú potenciálne neoprávnenú činnosť. S rastúcimi schopnosťami nemôžu tieto ochranné opatrenia nahradiť kvalitné zosúladenie modelov. Naším cieľom je, aby boli budúce modely zosúladené natoľko dobre, že sa tieto opatrenia nikdy neaktivujú.

OpenAI sa zaväzuje zabezpečiť, aby boli prínosy umelej inteligencie široko dostupné. Vzhľadom na výrazný nárast kybernetických schopností Astry postupujeme pri zabezpečení bezpečného nasadenia mimoriadne opatrne. Dodatočné bezpečnostné kontroly môžu niekedy spomaliť, pozastaviť alebo zastaviť legitímnu prácu vrátane obrannej kybernetickej činnosti.

Systém môže legitímnu činnosť príležitostne označiť za možné kybernetické zneužitie alebo neoprávnené správanie, a tým ju neúmyselne spomaliť, pozastaviť alebo zastaviť. Môže ísť aj o prácu, ktorá zdanlivo priamo nesúvisí s kybernetickou bezpečnosťou, alebo o úlohy, pri ktorých agent pracuje dlhší čas.

Ak monitor nezosúladenia pozastaví úlohu, používatelia v ChatGPT alebo Codex môžu byť pred pokračovaním vyzvaní, aby danú akciu skontrolovali. Pri používaní iných rozhraní, napríklad API, sa úloha zastaví. Tieto ochranné opatrenia plánujeme ďalej kalibrovať, aby sme obmedzili zbytočné prerušenia a prostredníctvom programov ako Daybreak rozšírili prístup k prelomovým schopnostiam.

Vstupujeme do fázy vývoja umelej inteligencie, v ktorej môžu modely vykonávať čoraz významnejšiu prácu a zlyhania zosúladenia a kontroly môžu mať vážnejšie následky. Využitie prínosov týchto systémov bude závisieť od našej schopnosti zosúlaďovať a kontrolovať modely s rastom ich schopností.

Táto zodpovednosť zahŕňa trénovanie, hodnotenie aj nasadenie. Vyžaduje si presvedčivejšie dôkazy o zosúladenom správaní, ochranné opatrenia, ktoré držia krok so schopnosťami, a ochotu spomaliť, keď táto ochrana nestačí.

Tieto systémy budeme naďalej testovať, zdieľať získané poznatky a otvorene hovoriť o tom, čo zostáva neisté. Modely, ktoré prídu po Astre, budú od nás vyžadovať viac. Venujeme potrebný čas a prácu tomu, aby sme túto zodpovednosť splnili.