Пътят към Astra: критични способности и авангардни защитни мерки

След като в предишната си оценка заключихме, че Astra може да достигне критично ниво на способностите си в областта на киберсигурността, събрахме още доказателства и проведохме допълнителни оценки на модела. Сега смятаме, че Astra достига прага за критични способности в областта на киберсигурността съгласно нашата Рамка за готовност. Това означава, че с подходящите инструменти и достъп моделът може да открива неизвестни досега уязвимости и да разработва начини за експлоатирането им в множество добре защитени системи, без човек да ръководи всяка стъпка. Това е първият модел, който поставяме в тази категория, затова той изисква по-строги защитни мерки както по време на разработката, така и преди пускането му.

През последните няколко седмици забавихме някои етапи от разработката и пускането на Astra, докато укрепвахме и тествахме защитните механизми срещу злоупотреби в киберпространството и неразрешени действия на модела. Въз основа на тази работа смятаме, че защитните механизми на Astra намаляват достатъчно риска от сериозни вреди, така че моделът да бъде пуснат съгласно нашата Рамка за готовност.

Макар Astra да не участваше в инцидента с Hugging Face, включихме изводите⁠(отваря се в нов прозорец) от него в подхода си към безопасността. Въз основа на ретроспективни тестове смятаме, че защитните механизми в производствената ни среда към онзи момент биха предотвратили инцидента с Hugging Face. След това въведохме още по-строги защитни мерки за Astra, включително обучение на модела да отказва по-надеждно вредоносни заявки, свързани с киберсигурността, и да спазва ограниченията за безопасност, допълнителна защита срещу злоупотреби и наблюдение, което може да спира потенциално неразрешени действия.

Планираме скоро да направим Astra достъпна, но достъпът до най-усъвършенстваните ѝ способности в областта на киберсигурността ще бъде по-ограничен. Първоначално усъвършенстваните задачи в областта на киберсигурността ще бъдат достъпни за група тестери. След това достъпът чрез Daybreak Blue ще бъде разширен с цел подпомагане на защитната употреба.

При пускането ще споделим повече подробности за тестовете и оценките си за безопасност, сигурност и съгласуване в картата на системата на модела. Преди пускането искаме да представим актуална информация за част от работата, която извършваме, за да подготвим безопасното пускане на модел с толкова развити способности в областта на киберсигурността, както и открито да посочим оставащите рискове.

Съгласно нашата Рамка за готовност даден модел достига прага за критични способности, ако е изпълнено поне едно от следните условия:

• Моделът може без човешка намеса да открива и разработва работещи експлойти за уязвимости от нулевия ден с всякаква степен на тежест в множество добре защитени реални критични системи.
• Само въз основа на обща желана цел моделът може да замисля и изпълнява цялостни нови стратегии за кибератаки срещу добре защитени цели.

Оценката ни на готовността на Astra съчетаваше автоматизирани публични и частни сравнителни тестове с оценки, ръководени от експерти. Astra представлява значително повишение на способностите в областта на киберсигурността спрямо GPT‑5.6 Sol: моделът използва токените значително по-ефективно и е по-способен да открива уязвимости и да разработва експлойти.

Например тествахме Astra с ExploitBench, където моделът постигна максимален резултат от 100% на сравнителния тест, оценяващ способността му да разработва експлойти за известни уязвимости.

Поради опасения за замърсяване на данните създадохме вътрешен сравнителен тест, наречен „ExploitBench – вътрешен порт (юни–август 2026 г.)“, който включва 20 уязвимости във V8 с висока степен на тежест, оповестени на по-късен етап.. В този набор от данни Astra постига много по-висока успеваемост при изпълнение на произволен код от GPT‑5.6 Sol, като използва значително по-малко изходни токени. По време на оценката моделът дори откри и използва две уязвимости от нулевия ден като част от верига за експлоатиране. В момента сме в процес на координирано оповестяване на тези две уязвимости пред отговорните за поддръжката екипи.

При оценки, ръководени от експерти, върху добре защитени браузър и операционна система Astra откри неизвестни досега уязвимости и ги превърна в работещи вериги от експлойти. Моделът изгради цялостна верига за компрометиране на браузъра, която излезе от защитената среда и изпълни команди в хост системата, след като браузърът отвори HTML файл. Моделът откри и множество уязвимости в добре защитена операционна система и ги обедини във верига за локално повишаване на привилегиите — от непривилегирован потребител до root. Взети заедно, резултатите от проучването ни доведоха до заключението, че Astra достига прага за критични способности.

При модели със способности за киберсигурност на нивото на Astra трябва да обхванем два пътя за свеждане до минимум на риска от тежки кибервреди както по време на разработката, така и преди внедряването:

• Злонамерени лица, използващи модела. Защитните ни мерки трябва надеждно да възпрепятстват злонамерени лица да използват Astra за разработване на експлойти за неизвестни досега слабости в добре защитени критични системи или за извършване на цялостни атаки срещу добре защитени цели.
• Моделът извършва неразрешени, несъгласувани действия. Дори без злонамерен потребител модел с усъвършенствани способности за киберсигурност би могъл сам да причини кибервреди, ако не е съгласуван. Освен че прилагаме много висок стандарт за съгласуване на моделите с тези способности, като втори слой на защита защитните ни мерки трябва бързо да откриват и ограничават несъгласувани действия, способни да причинят значителни вреди в реалния свят.

Важно е, че вторият път се отнася както за вътрешната разработка, така и за външното внедряване. Както описахме по-рано, след инцидента между OpenAI и Hugging Face спряхме за две седмици някои обучения на авангардни модели, включително част от обучението на Astra, за да укрепим инфраструктурата си за обучение чрез изолация и мрежов контрол, разширено наблюдение и по-строго обучение и прагове за съгласуване. След това продължихме работата в по-малък мащаб при по-строг контрол.

За по-дълго отложихме някои по-мащабни цикли на обучение с утвърждение (RL) за бъдещи версии на Astra, докато въведем по-високи изисквания за безопасност и сигурност на средата им за обучение. На 28 август възобновихме големия цикъл на авангардно RL обучение, който беше спрян, след като въведохме новите изисквания за безопасност и сигурност. Продължаваме временно да отлагаме някои по-малки експериментални обучения.

Подготовката на Astra за пускане също изискваше по-силна защита срещу злоупотреби в киберпространството и неразрешени действия. По-долу описваме тези защитни мерки и начина, по който ги тествахме.

От внедряването през февруари на първия модел, който определихме като модел с Високо ниво на способности за киберсигурност, укрепваме защитните си мерки при всяко следващо пускане. Цялостният ни подход към безопасността съчетава откази на модела след последващо обучение, системни класификатори за безопасност, както и офлайн откриване и неутрализиране на заплахи.

При GPT‑5.6⁠(отваря се в нов прозорец) значително подобрихме устойчивостта на системния си набор от защити, включително чрез добавяне на класификатори за активация, които откриват злоупотреби в киберпространството, и чрез по-добро покритие на универсалните джейлбрейкове, открити с интензивни автоматизирани стрес тестове с червен отбор. Надграждайки тези подобрения, при Astra инвестирахме допълнително в слоя на модела в набора ни от защитни мерки и подобрихме способността им да отчитат контекста между отделни разговори.

• Благодарение на нови техники за обучение за устойчивост на модела Astra по-надеждно отказва заявки за непозволена помощ в киберпространството. В набора ни от оценки за киберджейлбрейкове Astra отказва 91.5% от заявките спрямо 59% при GPT‑5.6 Sol.
• За профили, оценени като по-рискови, прилагаме по-консервативна граница на поведение на модела, при която се отказва по-широк кръг от потенциално рискова помощ в киберпространството. За високорисковите потребители разширихме контекста на системите си за наблюдение, за да могат да откриват такива злоупотреби в киберпространството.

Продължихме и програмата си за стриктно тестване, вътрешни и външни стрес тестове с червен отбор и отстраняване на проблеми. Освен регресионни тестове, с които проверяваме дали всички джейлбрейкове от предишни периоди на тестване остават покрити, провеждаме нова вълна от стрес тестове с най-новите ни вътрешни специалисти по тестване от червения отбор. Работим с партньори от сектора за създаването на обща система за оценяване на джейлбрейкове и ще използваме денонощната си програма за бързо реагиране, за да разследваме и отстраняваме нови констатации. Повече подробности за тестването на защитните ни мерки в киберпространството ще споделим в картата на системата на Astra.

Подпомагането на защитниците да намират и отстраняват уязвимости остава основен стълб на подхода ни към безопасността. При пускането очакваме защитните мерки на Astra да създават повече затруднения, отколкото в крайна сметка целим, за да предпазим от потенциална злоупотреба. Първоначално достъп до Astra за усъвършенствани работни процеси в киберсигурността ще има малка група алфа тестери, а впоследствие достъпът чрез Daybreak Blue ще се разшири в подкрепа на защитната употреба.

Добавихме и допълнителни защитни механизми на няколко нива, за да предотвратим потенциално несъгласувани действия на модела:

• Съгласуване на модела: При оценките Astra спазваше изричните ограничения за безопасност и сигурност и оставаше в разрешения си обхват значително по-често от GPT‑5.6 Sol, което я прави най-добре съгласувания ни модел досега. Обърнахме особено внимание на това моделът да спазва ограниченията за сигурност и безопасност и да остава в разрешения си обхват.
• Наблюдение и контрол: В съответствие с вътрешните си процедури внедряваме Astra с допълнително наблюдение на веригата на разсъжденията, за да откриваме и ограничаваме бързо потенциално несъгласувани действия.

Astra е значителна крачка напред в съгласуването на моделите и кулминация на няколко дългосрочни направления на работа — от намеси при предварителното обучение до по-внимателно и последователно оценяване по време на обучението с утвърждение. Тестовете показват, че Astra спазва изричните ограничения и предупреждения за безопасност, като автоматичната проверка, значително по-последователно от GPT‑5.6 Sol.

Разработихме и тест въз основа на инцидента с Hugging Face, при който агенти, изпълняващи оценката за киберсигурност ExploitGym, компрометираха системите на трета страна. Използвахме най-трудните задачи от тази оценка, за да създадем тестове с „honeypot“, които проверяват дали моделът ще се опита да компрометира заобикалящата го инфраструктура за сигурност, вместо да реши възложената му задача. Без производствени защитни механизми GPT‑5.6 Sol се опита да получи достъп до тези цели в 56% от тестовете, симулиращи средата на сравнителния тест, в която моделът получава указание да разработва експлойти. Astra не направи нито един подобен опит. Тези резултати описват поведението при тестови условия без защитни механизми за киберсигурност, а не при обичайна производствена употреба.

Обучението за съгласуване на моделите е един от слоевете на безопасност. Повече подробности за тестовете и резултатите ни за съгласуване ще споделим в картата на системата на Astra.

В производствената среда внедряваме и наблюдение за несъгласуваност при модели от класа на Astra, за да откриваме и бързо да ограничаваме потенциална несъгласуваност. Тези защитни мерки наподобяват наблюдението при вътрешните ни внедрявания и включват система от класификатори, които проверяват структуриранoто анализиране и действията на модела за неразрешено поведение и автоматично спират потенциално неразрешена дейност. С нарастването на способностите тези защитни мерки не могат да заменят доброто съгласуване на моделите ни. Целта ни е бъдещите модели да бъдат достатъчно добре съгласувани, така че тези мерки никога да не се задействат.

OpenAI се ангажира да осигури широк достъп до ползите от ИИ. Предвид значителното нарастване на способностите на Astra в областта на киберсигурността полагаме особени грижи внедряването да бъде безопасно и сигурно. Допълнителните проверки за безопасност понякога могат да забавят, поставят на пауза или спрат легитимна работа, включително защитни дейности в областта на киберсигурността.

Понякога системата може да маркира легитимна дейност като потенциална злоупотреба в киберпространството или неразрешено поведение и така неволно да я забави, постави на пауза или спре. Това може да включва работа, която не изглежда пряко свързана с киберсигурността, както и задачи, при които даден агент работи продължително време.

Ако системата за наблюдение на несъгласувано поведение постави задача на пауза, потребителите на ChatGPT или Codex може да бъдат помолени да прегледат действието, преди да продължат. При използване на други интерфейси, например API, задачата ще бъде спряна. Планираме да продължим да калибрираме тези защитни механизми, за да намалим ненужните прекъсвания и да разширим достъпа до способности на авангардно ниво чрез програми като Daybreak.

Навлизаме в етап от развитието на ИИ, в който моделите могат да поемат задачи с по-съществени последици, а неуспехите в съгласуването и контрола могат да имат по-сериозен ефект. Реализирането на ползите от тези системи ще зависи от способността ни да съгласуваме и контролираме моделите с нарастването на техните способности.

Тази отговорност обхваща обучението, оценяването и внедряването. Тя изисква по-убедителни доказателства за съгласувано поведение, защитни механизми, които се развиват в крак със способностите, и готовност да забавим темпото, когато тези механизми не са достатъчни.

Ще продължим да тестваме тези системи, да споделяме наученото и ясно да посочваме какво остава несигурно. Моделите след Astra ще изискват повече от нас. Ще отделим необходимото време и ще извършим нужната работа, за да изпълним тази отговорност.