Управување со ризици од гранична ВИ: од обука до примена
18 ноември 2026 · Безбедност
Способностите на најнапредните модели напредуваат сè побрзо, а нашата способност да ги разбереме, усогласиме и обезбедиме мора да остане чекор пред нив. Го регулираме темпото на развој и објавување на нашите модели, вклучително и со паузирање на внатрешната обука(се отвора во нов прозорец) или одложување на модели како GPT‑6.1 Astra кога ни треба повеќе време за да ги исполниме нашите безбедносни стандарди. Воведовме нови процеси, како што се документирани образложенија за безбедноста, и бараме посилни докази за усогласено однесување во текот на целата обука. Овие барања го забавуваат објавувањето модели, но ни даваат поголема увереност дека можеме безбедно да продолжиме.
По инцидентот со Hugging Face во јули, ги зајакнавме заштитните мерки и барањата за усогласеност при обуката, тестирањето и примената на моделите. Оваа објава објаснува како го проценуваме и управуваме ризикот во секоја фаза, од строго изолираните средини за обука до Codex што го користите на вашиот компјутер. Во секоја фаза ги оценуваме и моделите и заштитните мерки, а за премин во следната бараме безбедносна проверка.
Користиме повеќеслојна одбрана со повеќе нивоа на заштита што ја намалуваат зависноста од која било поединечна заштитна мерка. Ако еден слој откаже, другите помагаат да се спречи штетата, да се ограничат последиците или нè предупредуваат за да интервенираме.
Нашата заштита ја организираме во четири слоја:
Ефективното следење зависи од можноста за следење на моделот — колку сигурно системите за следење можат да откријат грешки или небезбедно однесување од расудувањето и дејствата на моделот. На пример, полесно се следи модел што ја изразува намерата да мами во својот синџир на размислување (CoT) отколку модел што ја изоставува таа информација. Ја оценуваме можноста за следење при обуката и пред примената, развиваме подобри методи за нејзино мерење(се отвора во нов прозорец) и истражуваме што влијае врз неа(се отвора во нов прозорец).
Инцидентот со Hugging Face покажа зошто не треба да се потпираме само на изолирани средини за да ги ограничиме многу способните модели. Сега ги следиме најнапредните модели во повеќето услови на внатрешна и надворешна примена, вклучително и при сите внатрешни примени што користат алатки.
Улогата на секој слој се менува во трите фази на развој и примена на моделите:
Истражување: Ги обучуваме, тестираме и користиме моделите во изолирани средини.
Внатрешна примена: Вработените во OpenAI ги користат моделите за практична работа.
Надворешна примена: Моделите стануваат пошироко достапни за луѓето и организациите.
Во различни фази се потпираме на различни слоеви. При обуката, кога усогласеноста е помалку сигурна, повеќе се потпираме на изолирањето и следењето. Како што моделите добиваат поширок пристап при примената, усогласеноста и системските контроли стануваат сè поважни. Во секоја фаза оценуваме дали комбинираната заштита е доволна за способностите и пристапот на моделот. Нашите заклучоци може да се разгледуваат со Советодавната група за безбедност и да бидат под надзор на Одборот за безбедност и сигурност при Управниот одбор на OpenAI Foundation.
Во истражувачката фаза ги оценуваме моделите за да стекнеме доверба во нивната усогласеност. Бидејќи сè уште не можеме целосно да се потпреме на усогласеноста за спречување штети, во голема мера се потпираме на безбедноста и изолирањето за да ограничиме до што можат да пристапат и што можат да прават.
Со оглед на сегашната состојба на истражувањата за усогласеност, системите за следење и безбедноста на интернет-инфраструктурата, сметаме дека одговорниот пристап е обуката на најнапредните модели да се спроведува без директен пристап до интернет. По инцидентот со Hugging Face, значително ги преструктуриравме внатрешните истражувачки системи за да ги ограничиме моделите преку:
изолирани средини што ги ограничуваат привилегиите на моделот
виртуелни машини за дополнително изолирање на работните процеси од основниот компјутер
мрежни периметри и периметри во облак што го одвојуваат целиот кластер од интернет
Постојано ја тестираме отпорноста на овој систем: тимови од нашите најсилни модели се обидуваат да пристапат до интернет, да ги пробијат безбедносните граници или да комуницираат со агенти од кои треба да бидат изолирани. Така проверуваме дали ограничувањата ги издржуваат способностите на моделите за кои се наменети.
Како дополнителен слој одбрана, ја следиме секоја инференција на најнапредните модели за да откриеме дали моделот ги заобиколил нашите непроменливи безбедносни услови. Ако следењето открие дека моделот пристапил до интернет, итно ги известуваме безбедносните тимови и автоматски го паузираме работниот процес.
Следењето е клучна резервна заштита кога изолацијата ќе попушти. Во неодамнешен извештај за неусогласеност споделивме дека системите за следење откриле внатрешен истражувачки модел што искористувал погрешна конфигурација на DNS(се отвора во нов прозорец) за да добие ограничен пристап до интернет. Ја паузиравме обуката и оценувањето на најспособните модели од 20 септември до 1 октомври додека го истражувавме и го отстранувавме безбедносниот пропуст.
За брзи и сигурни интервенции го изградивме Control Room, централен систем што ги следи истражувачките процеси и го запира натамошното генерирање излез од моделот во рок од 35 секунди по приемот на наредба за запирање задача. Овие контроли се спроведуваат директно во инфраструктурата за инференција, па не зависат од тоа дали секој истражувачки процес има сопствен механизам за исклучување. Кај истражувачките процеси со најнапредни модели, тие го запираат генерирањето излез и ако Control Room стане недостапен.
Тестирањето на отпорноста и следењето се надополнуваат. Не можеме да гарантираме дека изолираната средина е непробојна, но тестирањето на отпорноста ни помага да процениме колку напор му треба на моделот за да излезе од неа. Колку повеќе напор му треба на моделот, толку повеќе можности имаат системите за следење да го откријат и запрат.
Во истражувачката фаза бараме силни контроли за безбедност и следење од неколку причини:
Моделите сè уште се оценуваат. Некои сè уште не ги поминале обуката за безбедност, ревизиите на усогласеноста и проверките потребни за јавно објавување.
Условите за најнапредни истражувања може да ги зголемат ризиците. Одредени истражувачки задачи бараат поамбициозни конфигурации, што го прави моделот поистраен или поспособен отколку при вообичаената надворешна примена (на пример, за решавање на проблемот Навие–Стокс беше потребен тим од 10.000 агенти).
Обуката се одвива во голем обем, со помалку директен човечки надзор. За разлика од типична сесија со Codex, нашите процеси на обука вклучуваат многубројни дејства на моделот, без човек да ја следи секоја интеракција.
Пред широкото објавување, вработените преминуваат од истражувачко користење на најнапредните модели во изолирана средина кон внатрешно користење надвор од неа, на пример, со овозможување пристап до моделот преку ChatGPT за вработените. Така подобро разбираме како се однесуваат моделите во практични услови(се отвора во нов прозорец), што ни помага при одлучувањето за нивната примена.
Во оваа фаза, на моделот му даваме поширок пристап до интернет, нашиот Slack, нашиот изворен код и внатрешната инфраструктура. Ова значително го менува ризикот, бидејќи дејствата на моделот сега директно влијаат врз системите со кои го развиваме и управуваме OpenAI. При внатрешната примена, мора повеќе да се потпираме на усогласеноста на моделот, системските заштитни мерки и следењето, отколку на безбедносните контроли.
Пред да се примени надвор од изолираната средина, најнапредниот модел мора да помине тестови за усогласеност и можност за следење(се отвора во нов прозорец). Имаме збир процени на усогласеноста што проверуваат конкретни видови неусогласеност (како што е заобиколување на ограничувањата за безбедност и сигурност), но и општи склоности (како што се повторно земање примероци од внатрешните низи дејства на Codex и проверка за неусогласеност). Повеќе за нашите процени на усогласеноста и можноста за следење можете да прочитате во најновата системска картичка за GPT‑6 Astra(се отвора во нов прозорец).
По примерот на нашите продукциски конфигурации, додаваме уште еден слој одбрана со системски класификатори, наменети за заштита од штетите што ги овозможуваат најнапредните модели, како што се сајберзлоупотреба и развој на биолошко оружје. Од вработените што користат Codex генерално бараме и користење на Auto-Review(се отвора во нов прозорец), кој ги оценува потенцијално ризичните дејства и ги упатува назад до корисникот за одлука.
На крај, при внатрешната примена ја следиме секоја инференција на најнапредните модели за да откриеме неусогласено однесување. Бидејќи моделот сега има проширени привилегии и пристап до внатрешни информации и системи, особено е важно да се откриваат ризици како што се извлекување податоци или испраќање чувствителни податоци до неовластено одредиште. Следењето ни помага и да истражуваме нови форми на неусогласеност(се отвора во нов прозорец).
Јавната примена ги изложува моделите на многу повеќе корисници, задачи и средини, со што се зголемуваат и обемот и разновидноста на ризиците. Во оваа фаза мора да обезбедиме и заштита од потенцијално злонамерни актери кои намерно го насочуваат моделот да предизвика штета.
Пред јавното објавување, моделите и системските заштитни мерки мора да ги исполнат нашите безбедносни барања за надворешна примена. Ги оценуваме преку:
Спроведување поширок збир процени на усогласеноста и безбедноста. За нашите најнапредни модели, ова вклучува нови кругови адаптивно тестирање со нашите внатрешни автоматизирани системи за тестирање на отпорноста, за да се провери издржливоста на моделот во тешки услови. Резултатите од процените на способностите и безбедноста ги објавуваме во нашите системски картички(се отвора во нов прозорец).
За нашите најспособни модели спроведуваме и тестирање со трети лица за да ги провериме во тешки услови и заштитните мерки против злоупотреба и основната усогласеност на моделите.
Разгледување на сигналите од следењето при внатрешната примена за да се следат промените во основната усогласеност на базниот модел.
Покрај „синхроните“ заштитни мерки (како што е обуката за безбедност на моделите и системските класификатори), при надворешната примена спроведуваме и истраги и мерки надвор од реално време. Овие тимови комбинираат истражувачки агенти што работат во голем обем со човечка проверка за да откриваат и идентификуваат потенцијални извори на закани: од сајберзлоупотреба, развој на биолошко оружје и дестилација до неусогласеност на самиот модел. Спроведувањето мерки надвор од реално време е особено корисно за собирање информации од повеќе сметки, со цел да се добие поцелосна слика за потенцијална закана.
Програмите за доверлив пристап, како што се Daybreak и Rosalind, обезбедуваат дополнителен слој безбедност и ја забрзуваат работата на бранителите и легитимните истражувачи, а го ограничуваат пристапот на потенцијалните напаѓачи.
Кога ќе забележиме пропуст во некој безбедносен слој, без оглед дали навистина настанала штета, сакаме брзо да го истражиме, да му одредиме приоритет и, ако е можно и соодветно, јавно да го објавиме. Според нашата политика за пријавување неусогласеност, секој вработен може да предложи инцидент за јавно објавување. Овие пријави се истражуваат, а ако има несогласување дали треба јавно да се обелоденат, одлуката ѝ се препушта на нашата Советодавна група за безбедност. Покрај пријавите од вработените, проактивно бараме инциденти на неусогласеност за да ги решиме и да ги споделиме наодите.
Нашите извештаи за неусогласеност можете да ги погледнете тука(се отвора во нов прозорец).
Оваа работа зависи и од истражувачкиот напредок и од оперативната дисциплина: правилно поставување на контролите, тестирање на нивното заемно дејство и решително реагирање кога ќе откажат. Погрешно конфигурирана мрежна услуга или неуспешно автоматско запирање може да ја поткопаат инаку силната заштита.
Како што моделите стекнуваат нови способности, ќе мора постојано да ги преиспитуваме претпоставките зад заштитните мерки и да ги подобруваме каде што е потребно. Поуките од истражувањето, внатрешното користење и јавната примена мора да го обликуваат начинот на кој ги обучуваме, оценуваме и применуваме следните модели.
Ќе продолжиме да споделуваме наоди преку системски картички, извештаи за инциденти, извештаи за ризиците(се отвора во нов прозорец) при внатрешната примена и надворешни процени, за другите да можат критички да го разгледаат нашиот пристап и неговите ограничувања. Кога доказите нема да ги задоволат нашите безбедносни критериуми, повторно ќе ја паузираме обуката или ќе го одложиме објавувањето додека не се исполнат барањата.
Поставување безбедносни стандарди
Темпото на развој на модели во ера на способности критични за сајбербезбедноста — Како ја забавивме обуката на најнапредните модели, зајакнувајќи ја изолацијата, проширувајќи го следењето и барајќи посилни докази за усогласеност.
Кон документирани образложенија за безбедноста на обуката на гранична ВИ — Почетни насоки за безбедносни аргументи засновани врз докази, кои опфаќаат технички мерки, оперативни практики и истраги на неусогласеност.
Приоритети и принципи за ефективни процени од трети лица — Нашиот предлог за независно разгледување на образложенијата за безбедност, заштитните мерки, процените и однесувањето на моделите.
Периодичен преглед на процените на катастрофални ризици од внатрешната употреба(се отвора во нов прозорец) — Нашиот јавен извештај за јуни–септември 2026 ги опишува внатрешните примени на најнапредни модели, проценетите ризици и промените во заштитните мерки и управувањето.
Дефинирање и оценување на усогласеното однесување
Ажурирана спецификација на моделот за поспособна и покорисна ВИ — Како ја ажуриравме спецификацијата на моделот околу пет основни вредности што ги насочуваат неговото расудување, однесување и почитување на човечкиот надзор.
Разлики во безбедноста на агентите при оценување и продукциска работа и улогата на свесноста за оценувањето(се отвора во нов прозорец) — Студија за разликите меѓу безбедносните процени и однесувањето во продукција, вклучително и влијанието на толкувањето на целите на оценувањето врз резултатите.
Надвор од g-mean²: дополнителни метрики за можноста за следење(се отвора во нов прозорец) — Нови метрики за споредување на можноста за следење и процена на преостанатиот ризик во симулирани системи каде што системите за следење ги одбиваат излезите на моделите.
Системска картичка за GPT‑6 Astra(се отвора во нов прозорец) — Детални процени на способностите, безбедноста, усогласеноста и можноста за следење на Astra, заедно со заштитните мерки и ограничувањата при примената.
Ограничување на моделите и подобрување на заштитните мерки
Обезбедување на средината за обука на најнапредните модели — Како ја зајакнавме изолацијата, изградивме истражувачки средини без интернет и ги користевме најсилните модели за тестирање на границите на изолацијата.
Обучување класификатори на активации за безбедност и усогласеност(се отвора во нов прозорец) — Како класификаторите ги користат внатрешните активации на моделите за да откријат потенцијално штетно однесување и да прекинат одговори или повици до алатки.
Автоматска проверка на дејствата на агентите без синхрон човечки надзор(се отвора во нов прозорец) — Како посебен агент ги проверува дејствата што излегуваат од изолираната средина, овозможувајќи автономна работа на агентите за програмирање, а блокирајќи потенцијално штетни или неовластени дејства.
GPT‑Red: овозможување самоподобрување за поголема отпорност — Како обучуваме автоматизирани системи за тестирање на отпорноста преку игра против самите себе, за да откриваат ранливости и да ја подобрат отпорноста на моделите на вметнување промптови.
Control Room — Како ги следиме работните процеси низ истражувачката инфраструктура и брзо го запираме генерирањето излез од моделите кога ризиците за безбедноста или сигурноста бараат интервенција.
Одговор на инциденти и нивно објавување
Како откриваме неусогласеност кај најнапредните модели — Нашиот систем за следење комбинира сонди за активации, проверка со модели, автоматизирана истрага и човечки одговор за откривање и истражување загрижувачко однесување.
Инцидентот со Hugging Face и патот напред — Нашите наоди од инцидентот со Hugging Face и промените што ги поттикна во безбедноста, следењето и усогласеноста.
Агент употреби DNS за да пристапи до надворешен четбот(се отвора во нов прозорец) — Како истражувачки модел ги заобиколи интернет-ограничувањата преку недоволно филтрирање на DNS, како беше откриен со следење и кои контроли беа додадени потоа.
Попречување координирана кампања за дестилација на модели — Како истраживме и попречивме обиди за извлекување заштитено расудување на модели преку мерки врз сметки, технички контроли и координација со партнери.
Нашата рамка за пријавување неусогласеност на модели — Нашиот процес за следење, истражување и објавување загрижувачко однесување на моделите, вклучително и случаи со нејасни причини или значење.
Извештаи и известувања за неусогласеност(се отвора во нов прозорец) — Нашата збирка обелоденети инциденти и известувања покажува како настанува неусогласеноста и каде заштитните мерки успеваат или откажуваат.
Истражувачки напредок и примени
Забрзување на истражувањата: поглед од OpenAI — Рани докази за тоа како агентите за програмирање ги менуваат истражувањата во OpenAI: нивната растечка употреба, сè посложените задачи и влијанието врз експериментирањето.
За милениумскиот награден проблем Навие–Стокс — Математички доказ создаден од внатрешен систем со ВИ, со формализација во Lean, кој ги покажува способностите на обемните истражувачки примени.
Daybreak — Нашата програма за сајбербезбедност им обезбедува на проверени бранители напредни способности на ВИ, безбедносни алатки и поддршка за откривање ранливости и зајакнување на одбраната.
Го претставуваме GPT‑Rosalind за истражувања во биолошките науки — Специјализиран модел за биологија, откривање лекови и транслациска медицина, достапен за организации што ги исполнуваат условите преку програма за доверлив пристап.






