OpenAI

Управљање ризицима граничног AI: од обуке до примене

18. новембар 2026. · Безбедност

Способности граничних модела све брже напредују, а наша способност да их разумемо, ускладимо и заштитимо мора остати корак испред. Прилагођавамо темпо развоја и објављивања модела, што укључује и паузирање интерне обуке⁠(отвара се у новом прозору) или одлагање објављивања модела попут GPT‑6.1 Astra када нам треба више времена да испунимо безбедносне стандарде. Увели смо нове процесе, попут доказивања безбедности, и захтевамо јаче доказе усклађеног понашања током целе обуке. Ови захтеви успоравају објављивање модела, али нам пружају већу сигурност да можемо безбедно напредовати.

Од инцидента са платформом Hugging Face⁠ у јулу, ојачали смо заштитне мере и захтеве усклађености за обуку, тестирање и примену модела. Овај текст објашњава како процењујемо ризик и управљамо њиме у свакој фази, од строго изолованих окружења за обуку до Codex-а који користите на рачунару. У свакој фази процењујемо и моделе и заштитне мере, а за прелазак у следећу фазу захтевамо безбедносну проверу.

Вишеслојна одбрана током животног циклуса модела

Користимо вишеслојну одбрану: више слојева заштите смањује зависност од било које појединачне мере. Ако један слој закаже, остали помажу да се спречи штета, ограниче последице или нас упозоре како бисмо реаговали.

Заштиту организујемо у четири слоја:

Делотворно праћење зависи од могућности праћења модела — колико поуздано системи за праћење могу открити грешке или небезбедно понашање на основу резоновања и радњи модела. На пример, модел који у свом начину резоновања (CoT) речима изрази намеру да вара лакше је пратити него модел који ту информацију изостави. Могућност праћења процењујемо током обуке и пре примене, развијамо боље методе за њено мерење⁠(отвара се у новом прозору) и истражујемо шта на њу утиче⁠(отвара се у новом прозору).

Инцидент са платформом Hugging Face показао је зашто се при ограничавању веома способних модела не смемо ослањати само на изолована окружења. Сада пратимо граничне моделе у већини окружења интерне и спољне примене, укључујући све интерне примене које користе алате.

Улога сваког слоја мења се кроз три фазе развоја и примене модела:

  • Истраживање: Обучавамо, тестирамо и користимо моделе у изолованим окружењима.

  • Интерна примена: Запослени у компанији OpenAI користе моделе у практичном раду.

  • Спољна примена: Модели постају доступни ширем кругу људи и организација.

У различитим фазама ослањамо се на различите слојеве. Током обуке, када је усклађеност мање извесна, више се ослањамо на изолацију и праћење. Како модели током примене добијају шири приступ, усклађеност и системске контроле постају све важније. У свакој фази процењујемо да ли је комбинована заштита довољна с обзиром на способности модела и приступ који има. Наши закључци могу бити размотрени са Саветодавном групом за безбедност и под надзором Одбора за безбедност и сигурност при Управном одбору организације OpenAI Foundation.

Током истраживања: задржавање модела у изолованим окружењима

У истраживачкој фази процењујемо моделе како бисмо стекли поверење у њихову усклађеност. Пошто се још не можемо потпуно ослонити на усклађеност ради спречавања штете, у великој мери користимо безбедносне мере и изолацију да ограничимо чему модели могу приступити и шта могу радити.

С обзиром на тренутно стање истраживања усклађености, система за праћење и безбедности интернет инфраструктуре, сматрамо да је одговорно обучавати граничне моделе без директног приступа интернету. Након инцидента са платформом Hugging Face, значајно смо реорганизовали интерне истраживачке системе како бисмо ограничили моделе помоћу:

  • изолованих окружења која ограничавају овлашћења модела

  • виртуелних машина које додатно одвајају радне процесе од рачунара на ком се извршавају

  • мрежних и облачних периметара који цео кластер одвајају од интернета

Овај систем стално тестирамо симулираним нападима: тимови наших најјачих модела покушавају да приступе интернету, пробију безбедносне границе или комуницирају са агентима од којих треба да буду изоловани. Тако проверавамо да ли ограничења одолевају способностима модела које треба да обуздају.

Као додатни слој одбране, пратимо свако извршавање граничних модела да бисмо открили да ли је модел заобишао наше непроменљиве безбедносне услове. Ако праћење открије да је модел приступио интернету, хитно обавештавамо безбедносне тимове и аутоматски паузирамо процес.

Праћење пружа кључну резервну заштиту када изолација закаже. У недавном извештају о неусклађености навели смо да су системи за праћење открили како интерни истраживачки модел користи погрешну DNS конфигурацију⁠(отвара се у новом прозору) да добије ограничен приступ интернету. Паузирали смо обуку и процену најспособнијих модела од 20. септембра до 1. октобра док смо истраживали и отклањали безбедносни пропуст.

За брзе и поуздане интервенције направили смо Control Room⁠, централни систем који прати истраживачке процесе и зауставља даље генерисање излаза модела у року од 35 секунди од пријема налога за прекид. Ове контроле се спроводе непосредно у инфраструктури за извршавање модела, па не зависе од тога да ли сваки истраживачки процес има сопствени механизам за гашење. У истраживачким процесима са граничним моделима оне заустављају генерисање излаза и ако Control Room постане недоступан.

Црвена команда и праћење допуњују се. Не можемо гарантовати да је изоловано окружење непробојно, али нам црвена команда помаже да проценимо колико би напора модел морао да уложи да из њега изађе. Што је моделу потребно више напора, то системи за праћење имају више прилика да га открију и зауставе.

У истраживачкој фази захтевамо снажне безбедносне контроле и праћење из неколико разлога:

  • Модели се још процењују. Код неких још нису завршени безбедносна обука, ревизије усклађености и провере неопходне за јавно објављивање.

  • Услови граничних истраживања могу повећати ризике. Неки истраживачки задаци захтевају амбициозније поставке, па модел постаје упорнији или способнији него што је уобичајено у спољној примени (на пример, за решавање Навије–Стоксовог проблема био је потребан тим од 10.000 агената).

  • Обука се одвија у великом обиму, уз мање непосредног људског надзора. За разлику од уобичајене сесије у Codex-у, наши процеси обуке обухватају велики број радњи модела, без особе која прати сваку интеракцију.

Интерна примена: провера усклађености и пажљиво праћење понашања

Пре ширег објављивања, запослени прелазе са истраживачке употребе граничних модела у изолованом окружењу на интерну употребу ван њега, на пример тако што им модел постаје доступан у ChatGPT‑у. То нам помаже да боље разумемо како се модели понашају у практичним условима⁠(отвара се у новом прозору) и доносимо одлуке о примени.

У овој фази моделу дајемо шири приступ интернету, нашем Slack-у, бази кода и интерној инфраструктури. То знатно мења ризик, јер радње модела сада непосредно утичу на системе које користимо за развој и рад компаније OpenAI. Током интерне примене морамо се више ослањати на усклађеност модела, системске заштитне мере и праћење него на безбедносне контроле.

Пре примене ван изолованог окружења, гранични модел мора проћи проверу усклађености и могућности праћења⁠(отвара се у новом прозору). Наш скуп процена усклађености обухвата провере конкретних облика неусклађености (попут заобилажења ограничења безбедности и сигурности) и општа мерења склоности (попут поновног узорковања интерних путања рада Codex-а и провере неусклађености). Више о нашим проценама усклађености и могућности праћења можете прочитати у најновијој системској картици модела GPT‑6 Astra⁠(отвара се у новом прозору).

По узору на продукциона окружења, додајемо слој одбране помоћу системских класификатора, осмишљених да штите од штетних последица граничних модела, попут сајберзлоупотребе и развоја биолошког оружја. Од запослених који користе Codex углавном захтевамо и аутоматску проверу⁠(отвара се у новом прозору), која процењује потенцијално ризичне радње и прослеђује их кориснику на разматрање.

Коначно, током интерне примене пратимо свако извршавање граничних модела ради откривања неусклађеног понашања. Пошто модел сада има шира овлашћења и приступ интерним информацијама и системима, нарочито је важно открити ризике попут извлачења података, односно слања осетљивих података на неодобрено одредиште. Праћење нам помаже и да истражимо нове облике неусклађености⁠(отвара се у новом прозору).

Спољна примена: заштита од злоупотребе и неусклађености у великом обиму

Јавна примена излаже моделе далеко већем броју корисника, задатака и окружења, чиме расту и обим и разноврсност ризика. У овој фази морамо се заштитити и од потенцијално злонамерних актера који модел намерно усмеравају да нанесе штету.

Пре јавног објављивања, модели и системске заштитне мере морају испунити наше безбедносне захтеве за спољну примену. Процењујемо их на следеће начине:

  • Спроводимо шири скуп процена усклађености и безбедности. За граничне моделе то обухвата нове кругове прилагодљивог тестирања⁠ уз наше интерне аутоматизоване системе црвене команде, којима проверавамо отпорност модела у захтевним условима. Резултате процена способности и безбедности објављујемо у системским картицама⁠(отвара се у новом прозору).

  • Најспособније моделе тестирамо и са трећим странама како бисмо у захтевним условима проверили и заштиту од злоупотребе и саму усклађеност модела.

  • Разматрамо упозорења система за праћење из фазе интерне примене како бисмо пратили промене у самој усклађености основног модела.

Поред „синхроних“ заштитних мера (попут безбедносне обуке модела и системских класификатора), у спољној примени користимо и накнадно спровођење правила и истраге. Ови тимови комбинују истраживачке агенте који раде у великом обиму са људским прегледом како би открили потенцијалне претње и њихове изворе: од сајберзлоупотребе, развоја биолошког оружја и дестилације⁠ до неусклађености самог модела. Накнадно спровођење правила нарочито помаже у прикупљању информација са више налога ради стварања целовитије слике о потенцијалној претњи.

Програми приступа за проверене кориснике, као што су Daybreak и Rosalind⁠, додају још један слој заштите и убрзавају рад стручњака за одбрану и легитимних истраживача, а ограничавају приступ потенцијалним нападачима.

Реаговање на инциденте и објављивање информација

Када приметимо пропуст у неком слоју заштите, без обзира на то да ли је штета заиста настала, желимо да га брзо истражимо, одредимо приоритет реаговања и, ако је могуће и примерено, објавимо информације о њему. Према нашој политици пријављивања неусклађености⁠, сваки запослени може предложити инцидент за јавно објављивање. Ове пријаве се истражују, а ако постоји неслагање о томе да ли их треба јавно објавити, одлука се упућује нашој Саветодавној групи за безбедност. Поред ослањања на пријаве запослених, активно трагамо за инцидентима неусклађености како бисмо их решили и поделили налазе.

Наше извештаје о неусклађености можете погледати овде⁠(отвара се у новом прозору).

​


​

Овај рад зависи и од истраживачког напретка и од оперативне дисциплине: правилног подешавања контрола, провере њиховог међусобног деловања и одлучног реаговања када закажу. Погрешно подешена мрежна услуга или неуспело аутоматско заустављање могу поткопати иначе снажну заштиту.

Како модели стичу нове способности, мораћемо стално да преиспитујемо претпоставке на којима заснивамо заштитне мере и да их унапређујемо где је потребно. Поуке из истраживања, интерне употребе и јавне примене морају усмеравати обуку, процену и примену наредних модела.

Наставићемо да делимо налазе кроз системске картице, извештаје о инцидентима, извештаје о ризицима⁠(отвара се у новом прозору) интерне примене и спољне процене⁠, како би други могли да преиспитају наш приступ, укључујући његова ограничења. Када ти докази не буду довољни за наше безбедносне стандарде, поново ћемо паузирати обуку или одложити објављивање док захтеви не буду испуњени.

Повезана истраживања и ресурси

Постављање безбедносних стандарда

Дефинисање и процена усклађеног понашања

Ограничавање модела и унапређење заштитних мера

Реаговање на инциденте и објављивање информација

Истраживачки напредак и примене

  • Убрзавање истраживања: поглед из компаније OpenAI — Рани докази о томе како програмерски агенти мењају истраживања у компанији OpenAI, укључујући њихову све ширу употребу, све сложеније задатке и утицај на експериментисање.

  • О Навије–Стоксовом миленијумском проблему — Математички доказ који је израдио интерни AI систем, уз формализацију у језику Lean, илуструје способности истраживачких примена великог обима.

  • Daybreak — Наш програм сајбербезбедности пружа провереним стручњацима за одбрану напредне AI способности, безбедносне алате и подршку за откривање рањивости и јачање заштите.

  • Представљамо GPT‑Rosalind за истраживања у наукама о животу⁠ — Специјализовани модел за биологију, откривање лекова и транслациону медицину, доступан организацијама које испуњавају услове кроз програм приступа за проверене кориснике.