OpenAI

Управување со ризици од гранична ВИ: од обука до примена

18 ноември 2026 · Безбедност

Способностите на најнапредните модели напредуваат сè побрзо, а нашата способност да ги разбереме, усогласиме и обезбедиме мора да остане чекор пред нив. Го регулираме темпото на развој и објавување на нашите модели, вклучително и со паузирање на внатрешната обука⁠(се отвора во нов прозорец) или одложување на модели како GPT‑6.1 Astra кога ни треба повеќе време за да ги исполниме нашите безбедносни стандарди. Воведовме нови процеси, како што се документирани образложенија за безбедноста, и бараме посилни докази за усогласено однесување во текот на целата обука. Овие барања го забавуваат објавувањето модели, но ни даваат поголема увереност дека можеме безбедно да продолжиме.

По инцидентот со Hugging Face⁠ во јули, ги зајакнавме заштитните мерки и барањата за усогласеност при обуката, тестирањето и примената на моделите. Оваа објава објаснува како го проценуваме и управуваме ризикот во секоја фаза, од строго изолираните средини за обука до Codex што го користите на вашиот компјутер. Во секоја фаза ги оценуваме и моделите и заштитните мерки, а за премин во следната бараме безбедносна проверка.

Повеќеслојна одбрана низ целиот животен циклус на моделот

Користиме повеќеслојна одбрана со повеќе нивоа на заштита што ја намалуваат зависноста од која било поединечна заштитна мерка. Ако еден слој откаже, другите помагаат да се спречи штетата, да се ограничат последиците или нè предупредуваат за да интервенираме.

Нашата заштита ја организираме во четири слоја:

Ефективното следење зависи од можноста за следење на моделот — колку сигурно системите за следење можат да откријат грешки или небезбедно однесување од расудувањето и дејствата на моделот. На пример, полесно се следи модел што ја изразува намерата да мами во својот синџир на размислување (CoT) отколку модел што ја изоставува таа информација. Ја оценуваме можноста за следење при обуката и пред примената, развиваме подобри методи за нејзино мерење⁠(се отвора во нов прозорец) и истражуваме што влијае врз неа⁠(се отвора во нов прозорец).

Инцидентот со Hugging Face покажа зошто не треба да се потпираме само на изолирани средини за да ги ограничиме многу способните модели. Сега ги следиме најнапредните модели во повеќето услови на внатрешна и надворешна примена, вклучително и при сите внатрешни примени што користат алатки.

Улогата на секој слој се менува во трите фази на развој и примена на моделите:

  • Истражување: Ги обучуваме, тестираме и користиме моделите во изолирани средини.

  • Внатрешна примена: Вработените во OpenAI ги користат моделите за практична работа.

  • Надворешна примена: Моделите стануваат пошироко достапни за луѓето и организациите.

Во различни фази се потпираме на различни слоеви. При обуката, кога усогласеноста е помалку сигурна, повеќе се потпираме на изолирањето и следењето. Како што моделите добиваат поширок пристап при примената, усогласеноста и системските контроли стануваат сè поважни. Во секоја фаза оценуваме дали комбинираната заштита е доволна за способностите и пристапот на моделот. Нашите заклучоци може да се разгледуваат со Советодавната група за безбедност и да бидат под надзор на Одборот за безбедност и сигурност при Управниот одбор на OpenAI Foundation.

При истражувањето: ограничување на моделите во изолирани средини

Во истражувачката фаза ги оценуваме моделите за да стекнеме доверба во нивната усогласеност. Бидејќи сè уште не можеме целосно да се потпреме на усогласеноста за спречување штети, во голема мера се потпираме на безбедноста и изолирањето за да ограничиме до што можат да пристапат и што можат да прават.

Со оглед на сегашната состојба на истражувањата за усогласеност, системите за следење и безбедноста на интернет-инфраструктурата, сметаме дека одговорниот пристап е обуката на најнапредните модели да се спроведува без директен пристап до интернет. По инцидентот со Hugging Face, значително ги преструктуриравме внатрешните истражувачки системи за да ги ограничиме моделите преку:

  • изолирани средини што ги ограничуваат привилегиите на моделот

  • виртуелни машини за дополнително изолирање на работните процеси од основниот компјутер

  • мрежни периметри и периметри во облак што го одвојуваат целиот кластер од интернет

Постојано ја тестираме отпорноста на овој систем: тимови од нашите најсилни модели се обидуваат да пристапат до интернет, да ги пробијат безбедносните граници или да комуницираат со агенти од кои треба да бидат изолирани. Така проверуваме дали ограничувањата ги издржуваат способностите на моделите за кои се наменети.

Како дополнителен слој одбрана, ја следиме секоја инференција на најнапредните модели за да откриеме дали моделот ги заобиколил нашите непроменливи безбедносни услови. Ако следењето открие дека моделот пристапил до интернет, итно ги известуваме безбедносните тимови и автоматски го паузираме работниот процес.

Следењето е клучна резервна заштита кога изолацијата ќе попушти. Во неодамнешен извештај за неусогласеност споделивме дека системите за следење откриле внатрешен истражувачки модел што искористувал погрешна конфигурација на DNS⁠(се отвора во нов прозорец) за да добие ограничен пристап до интернет. Ја паузиравме обуката и оценувањето на најспособните модели од 20 септември до 1 октомври додека го истражувавме и го отстранувавме безбедносниот пропуст.

За брзи и сигурни интервенции го изградивме Control Room⁠, централен систем што ги следи истражувачките процеси и го запира натамошното генерирање излез од моделот во рок од 35 секунди по приемот на наредба за запирање задача. Овие контроли се спроведуваат директно во инфраструктурата за инференција, па не зависат од тоа дали секој истражувачки процес има сопствен механизам за исклучување. Кај истражувачките процеси со најнапредни модели, тие го запираат генерирањето излез и ако Control Room стане недостапен.

Тестирањето на отпорноста и следењето се надополнуваат. Не можеме да гарантираме дека изолираната средина е непробојна, но тестирањето на отпорноста ни помага да процениме колку напор му треба на моделот за да излезе од неа. Колку повеќе напор му треба на моделот, толку повеќе можности имаат системите за следење да го откријат и запрат.

Во истражувачката фаза бараме силни контроли за безбедност и следење од неколку причини:

  • Моделите сè уште се оценуваат. Некои сè уште не ги поминале обуката за безбедност, ревизиите на усогласеноста и проверките потребни за јавно објавување.

  • Условите за најнапредни истражувања може да ги зголемат ризиците. Одредени истражувачки задачи бараат поамбициозни конфигурации, што го прави моделот поистраен или поспособен отколку при вообичаената надворешна примена (на пример, за решавање на проблемот Навие–Стокс беше потребен тим од 10.000 агенти).

  • Обуката се одвива во голем обем, со помалку директен човечки надзор. За разлика од типична сесија со Codex, нашите процеси на обука вклучуваат многубројни дејства на моделот, без човек да ја следи секоја интеракција.

Внатрешна примена: тестирање на усогласеноста и внимателно следење на однесувањето

Пред широкото објавување, вработените преминуваат од истражувачко користење на најнапредните модели во изолирана средина кон внатрешно користење надвор од неа, на пример, со овозможување пристап до моделот преку ChatGPT за вработените. Така подобро разбираме како се однесуваат моделите во практични услови⁠(се отвора во нов прозорец), што ни помага при одлучувањето за нивната примена.

Во оваа фаза, на моделот му даваме поширок пристап до интернет, нашиот Slack, нашиот изворен код и внатрешната инфраструктура. Ова значително го менува ризикот, бидејќи дејствата на моделот сега директно влијаат врз системите со кои го развиваме и управуваме OpenAI. При внатрешната примена, мора повеќе да се потпираме на усогласеноста на моделот, системските заштитни мерки и следењето, отколку на безбедносните контроли.

Пред да се примени надвор од изолираната средина, најнапредниот модел мора да помине тестови за усогласеност и можност за следење⁠(се отвора во нов прозорец). Имаме збир процени на усогласеноста што проверуваат конкретни видови неусогласеност (како што е заобиколување на ограничувањата за безбедност и сигурност), но и општи склоности (како што се повторно земање примероци од внатрешните низи дејства на Codex и проверка за неусогласеност). Повеќе за нашите процени на усогласеноста и можноста за следење можете да прочитате во најновата системска картичка за GPT‑6 Astra⁠(се отвора во нов прозорец).

По примерот на нашите продукциски конфигурации, додаваме уште еден слој одбрана со системски класификатори, наменети за заштита од штетите што ги овозможуваат најнапредните модели, како што се сајберзлоупотреба и развој на биолошко оружје. Од вработените што користат Codex генерално бараме и користење на Auto-Review⁠(се отвора во нов прозорец), кој ги оценува потенцијално ризичните дејства и ги упатува назад до корисникот за одлука.

На крај, при внатрешната примена ја следиме секоја инференција на најнапредните модели за да откриеме неусогласено однесување. Бидејќи моделот сега има проширени привилегии и пристап до внатрешни информации и системи, особено е важно да се откриваат ризици како што се извлекување податоци или испраќање чувствителни податоци до неовластено одредиште. Следењето ни помага и да истражуваме нови форми на неусогласеност⁠(се отвора во нов прозорец).

Надворешна примена: заштита од злоупотреба и неусогласеност во голем обем

Јавната примена ги изложува моделите на многу повеќе корисници, задачи и средини, со што се зголемуваат и обемот и разновидноста на ризиците. Во оваа фаза мора да обезбедиме и заштита од потенцијално злонамерни актери кои намерно го насочуваат моделот да предизвика штета.

Пред јавното објавување, моделите и системските заштитни мерки мора да ги исполнат нашите безбедносни барања за надворешна примена. Ги оценуваме преку:

  • Спроведување поширок збир процени на усогласеноста и безбедноста. За нашите најнапредни модели, ова вклучува нови кругови адаптивно тестирање⁠ со нашите внатрешни автоматизирани системи за тестирање на отпорноста, за да се провери издржливоста на моделот во тешки услови. Резултатите од процените на способностите и безбедноста ги објавуваме во нашите системски картички⁠(се отвора во нов прозорец).

  • За нашите најспособни модели спроведуваме и тестирање со трети лица за да ги провериме во тешки услови и заштитните мерки против злоупотреба и основната усогласеност на моделите.

  • Разгледување на сигналите од следењето при внатрешната примена за да се следат промените во основната усогласеност на базниот модел.

Покрај „синхроните“ заштитни мерки (како што е обуката за безбедност на моделите и системските класификатори), при надворешната примена спроведуваме и истраги и мерки надвор од реално време. Овие тимови комбинираат истражувачки агенти што работат во голем обем со човечка проверка за да откриваат и идентификуваат потенцијални извори на закани: од сајберзлоупотреба, развој на биолошко оружје и дестилација⁠ до неусогласеност на самиот модел. Спроведувањето мерки надвор од реално време е особено корисно за собирање информации од повеќе сметки, со цел да се добие поцелосна слика за потенцијална закана.

Програмите за доверлив пристап, како што се Daybreak и Rosalind⁠, обезбедуваат дополнителен слој безбедност и ја забрзуваат работата на бранителите и легитимните истражувачи, а го ограничуваат пристапот на потенцијалните напаѓачи.

Одговор на инциденти и нивно објавување

Кога ќе забележиме пропуст во некој безбедносен слој, без оглед дали навистина настанала штета, сакаме брзо да го истражиме, да му одредиме приоритет и, ако е можно и соодветно, јавно да го објавиме. Според нашата политика за пријавување неусогласеност⁠, секој вработен може да предложи инцидент за јавно објавување. Овие пријави се истражуваат, а ако има несогласување дали треба јавно да се обелоденат, одлуката ѝ се препушта на нашата Советодавна група за безбедност. Покрај пријавите од вработените, проактивно бараме инциденти на неусогласеност за да ги решиме и да ги споделиме наодите.

Нашите извештаи за неусогласеност можете да ги погледнете тука⁠(се отвора во нов прозорец).

​


​

Оваа работа зависи и од истражувачкиот напредок и од оперативната дисциплина: правилно поставување на контролите, тестирање на нивното заемно дејство и решително реагирање кога ќе откажат. Погрешно конфигурирана мрежна услуга или неуспешно автоматско запирање може да ја поткопаат инаку силната заштита.

Како што моделите стекнуваат нови способности, ќе мора постојано да ги преиспитуваме претпоставките зад заштитните мерки и да ги подобруваме каде што е потребно. Поуките од истражувањето, внатрешното користење и јавната примена мора да го обликуваат начинот на кој ги обучуваме, оценуваме и применуваме следните модели.

Ќе продолжиме да споделуваме наоди преку системски картички, извештаи за инциденти, извештаи за ризиците⁠(се отвора во нов прозорец) при внатрешната примена и надворешни процени⁠, за другите да можат критички да го разгледаат нашиот пристап и неговите ограничувања. Кога доказите нема да ги задоволат нашите безбедносни критериуми, повторно ќе ја паузираме обуката или ќе го одложиме објавувањето додека не се исполнат барањата.

Поврзани истражувања и ресурси

Поставување безбедносни стандарди

Дефинирање и оценување на усогласеното однесување

Ограничување на моделите и подобрување на заштитните мерки

Одговор на инциденти и нивно објавување

Истражувачки напредок и примени

  • Забрзување на истражувањата: поглед од OpenAI — Рани докази за тоа како агентите за програмирање ги менуваат истражувањата во OpenAI: нивната растечка употреба, сè посложените задачи и влијанието врз експериментирањето.

  • За милениумскиот награден проблем Навие–Стокс — Математички доказ создаден од внатрешен систем со ВИ, со формализација во Lean, кој ги покажува способностите на обемните истражувачки примени.

  • Daybreak — Нашата програма за сајбербезбедност им обезбедува на проверени бранители напредни способности на ВИ, безбедносни алатки и поддршка за откривање ранливости и зајакнување на одбраната.

  • Го претставуваме GPT‑Rosalind за истражувања во биолошките науки⁠ — Специјализиран модел за биологија, откривање лекови и транслациска медицина, достапен за организации што ги исполнуваат условите преку програма за доверлив пристап.