Управљање ризицима граничног AI: од обуке до примене
18. новембар 2026. · Безбедност
Способности граничних модела све брже напредују, а наша способност да их разумемо, ускладимо и заштитимо мора остати корак испред. Прилагођавамо темпо развоја и објављивања модела, што укључује и паузирање интерне обуке(отвара се у новом прозору) или одлагање објављивања модела попут GPT‑6.1 Astra када нам треба више времена да испунимо безбедносне стандарде. Увели смо нове процесе, попут доказивања безбедности, и захтевамо јаче доказе усклађеног понашања током целе обуке. Ови захтеви успоравају објављивање модела, али нам пружају већу сигурност да можемо безбедно напредовати.
Од инцидента са платформом Hugging Face у јулу, ојачали смо заштитне мере и захтеве усклађености за обуку, тестирање и примену модела. Овај текст објашњава како процењујемо ризик и управљамо њиме у свакој фази, од строго изолованих окружења за обуку до Codex-а који користите на рачунару. У свакој фази процењујемо и моделе и заштитне мере, а за прелазак у следећу фазу захтевамо безбедносну проверу.
Користимо вишеслојну одбрану: више слојева заштите смањује зависност од било које појединачне мере. Ако један слој закаже, остали помажу да се спречи штета, ограниче последице или нас упозоре како бисмо реаговали.
Заштиту организујемо у четири слоја:
Делотворно праћење зависи од могућности праћења модела — колико поуздано системи за праћење могу открити грешке или небезбедно понашање на основу резоновања и радњи модела. На пример, модел који у свом начину резоновања (CoT) речима изрази намеру да вара лакше је пратити него модел који ту информацију изостави. Могућност праћења процењујемо током обуке и пре примене, развијамо боље методе за њено мерење(отвара се у новом прозору) и истражујемо шта на њу утиче(отвара се у новом прозору).
Инцидент са платформом Hugging Face показао је зашто се при ограничавању веома способних модела не смемо ослањати само на изолована окружења. Сада пратимо граничне моделе у већини окружења интерне и спољне примене, укључујући све интерне примене које користе алате.
Улога сваког слоја мења се кроз три фазе развоја и примене модела:
Истраживање: Обучавамо, тестирамо и користимо моделе у изолованим окружењима.
Интерна примена: Запослени у компанији OpenAI користе моделе у практичном раду.
Спољна примена: Модели постају доступни ширем кругу људи и организација.
У различитим фазама ослањамо се на различите слојеве. Током обуке, када је усклађеност мање извесна, више се ослањамо на изолацију и праћење. Како модели током примене добијају шири приступ, усклађеност и системске контроле постају све важније. У свакој фази процењујемо да ли је комбинована заштита довољна с обзиром на способности модела и приступ који има. Наши закључци могу бити размотрени са Саветодавном групом за безбедност и под надзором Одбора за безбедност и сигурност при Управном одбору организације OpenAI Foundation.
У истраживачкој фази процењујемо моделе како бисмо стекли поверење у њихову усклађеност. Пошто се још не можемо потпуно ослонити на усклађеност ради спречавања штете, у великој мери користимо безбедносне мере и изолацију да ограничимо чему модели могу приступити и шта могу радити.
С обзиром на тренутно стање истраживања усклађености, система за праћење и безбедности интернет инфраструктуре, сматрамо да је одговорно обучавати граничне моделе без директног приступа интернету. Након инцидента са платформом Hugging Face, значајно смо реорганизовали интерне истраживачке системе како бисмо ограничили моделе помоћу:
изолованих окружења која ограничавају овлашћења модела
виртуелних машина које додатно одвајају радне процесе од рачунара на ком се извршавају
мрежних и облачних периметара који цео кластер одвајају од интернета
Овај систем стално тестирамо симулираним нападима: тимови наших најјачих модела покушавају да приступе интернету, пробију безбедносне границе или комуницирају са агентима од којих треба да буду изоловани. Тако проверавамо да ли ограничења одолевају способностима модела које треба да обуздају.
Као додатни слој одбране, пратимо свако извршавање граничних модела да бисмо открили да ли је модел заобишао наше непроменљиве безбедносне услове. Ако праћење открије да је модел приступио интернету, хитно обавештавамо безбедносне тимове и аутоматски паузирамо процес.
Праћење пружа кључну резервну заштиту када изолација закаже. У недавном извештају о неусклађености навели смо да су системи за праћење открили како интерни истраживачки модел користи погрешну DNS конфигурацију(отвара се у новом прозору) да добије ограничен приступ интернету. Паузирали смо обуку и процену најспособнијих модела од 20. септембра до 1. октобра док смо истраживали и отклањали безбедносни пропуст.
За брзе и поуздане интервенције направили смо Control Room, централни систем који прати истраживачке процесе и зауставља даље генерисање излаза модела у року од 35 секунди од пријема налога за прекид. Ове контроле се спроводе непосредно у инфраструктури за извршавање модела, па не зависе од тога да ли сваки истраживачки процес има сопствени механизам за гашење. У истраживачким процесима са граничним моделима оне заустављају генерисање излаза и ако Control Room постане недоступан.
Црвена команда и праћење допуњују се. Не можемо гарантовати да је изоловано окружење непробојно, али нам црвена команда помаже да проценимо колико би напора модел морао да уложи да из њега изађе. Што је моделу потребно више напора, то системи за праћење имају више прилика да га открију и зауставе.
У истраживачкој фази захтевамо снажне безбедносне контроле и праћење из неколико разлога:
Модели се још процењују. Код неких још нису завршени безбедносна обука, ревизије усклађености и провере неопходне за јавно објављивање.
Услови граничних истраживања могу повећати ризике. Неки истраживачки задаци захтевају амбициозније поставке, па модел постаје упорнији или способнији него што је уобичајено у спољној примени (на пример, за решавање Навије–Стоксовог проблема био је потребан тим од 10.000 агената).
Обука се одвија у великом обиму, уз мање непосредног људског надзора. За разлику од уобичајене сесије у Codex-у, наши процеси обуке обухватају велики број радњи модела, без особе која прати сваку интеракцију.
Пре ширег објављивања, запослени прелазе са истраживачке употребе граничних модела у изолованом окружењу на интерну употребу ван њега, на пример тако што им модел постаје доступан у ChatGPT‑у. То нам помаже да боље разумемо како се модели понашају у практичним условима(отвара се у новом прозору) и доносимо одлуке о примени.
У овој фази моделу дајемо шири приступ интернету, нашем Slack-у, бази кода и интерној инфраструктури. То знатно мења ризик, јер радње модела сада непосредно утичу на системе које користимо за развој и рад компаније OpenAI. Током интерне примене морамо се више ослањати на усклађеност модела, системске заштитне мере и праћење него на безбедносне контроле.
Пре примене ван изолованог окружења, гранични модел мора проћи проверу усклађености и могућности праћења(отвара се у новом прозору). Наш скуп процена усклађености обухвата провере конкретних облика неусклађености (попут заобилажења ограничења безбедности и сигурности) и општа мерења склоности (попут поновног узорковања интерних путања рада Codex-а и провере неусклађености). Више о нашим проценама усклађености и могућности праћења можете прочитати у најновијој системској картици модела GPT‑6 Astra(отвара се у новом прозору).
По узору на продукциона окружења, додајемо слој одбране помоћу системских класификатора, осмишљених да штите од штетних последица граничних модела, попут сајберзлоупотребе и развоја биолошког оружја. Од запослених који користе Codex углавном захтевамо и аутоматску проверу(отвара се у новом прозору), која процењује потенцијално ризичне радње и прослеђује их кориснику на разматрање.
Коначно, током интерне примене пратимо свако извршавање граничних модела ради откривања неусклађеног понашања. Пошто модел сада има шира овлашћења и приступ интерним информацијама и системима, нарочито је важно открити ризике попут извлачења података, односно слања осетљивих података на неодобрено одредиште. Праћење нам помаже и да истражимо нове облике неусклађености(отвара се у новом прозору).
Јавна примена излаже моделе далеко већем броју корисника, задатака и окружења, чиме расту и обим и разноврсност ризика. У овој фази морамо се заштитити и од потенцијално злонамерних актера који модел намерно усмеравају да нанесе штету.
Пре јавног објављивања, модели и системске заштитне мере морају испунити наше безбедносне захтеве за спољну примену. Процењујемо их на следеће начине:
Спроводимо шири скуп процена усклађености и безбедности. За граничне моделе то обухвата нове кругове прилагодљивог тестирања уз наше интерне аутоматизоване системе црвене команде, којима проверавамо отпорност модела у захтевним условима. Резултате процена способности и безбедности објављујемо у системским картицама(отвара се у новом прозору).
Најспособније моделе тестирамо и са трећим странама како бисмо у захтевним условима проверили и заштиту од злоупотребе и саму усклађеност модела.
Разматрамо упозорења система за праћење из фазе интерне примене како бисмо пратили промене у самој усклађености основног модела.
Поред „синхроних“ заштитних мера (попут безбедносне обуке модела и системских класификатора), у спољној примени користимо и накнадно спровођење правила и истраге. Ови тимови комбинују истраживачке агенте који раде у великом обиму са људским прегледом како би открили потенцијалне претње и њихове изворе: од сајберзлоупотребе, развоја биолошког оружја и дестилације до неусклађености самог модела. Накнадно спровођење правила нарочито помаже у прикупљању информација са више налога ради стварања целовитије слике о потенцијалној претњи.
Програми приступа за проверене кориснике, као што су Daybreak и Rosalind, додају још један слој заштите и убрзавају рад стручњака за одбрану и легитимних истраживача, а ограничавају приступ потенцијалним нападачима.
Када приметимо пропуст у неком слоју заштите, без обзира на то да ли је штета заиста настала, желимо да га брзо истражимо, одредимо приоритет реаговања и, ако је могуће и примерено, објавимо информације о њему. Према нашој политици пријављивања неусклађености, сваки запослени може предложити инцидент за јавно објављивање. Ове пријаве се истражују, а ако постоји неслагање о томе да ли их треба јавно објавити, одлука се упућује нашој Саветодавној групи за безбедност. Поред ослањања на пријаве запослених, активно трагамо за инцидентима неусклађености како бисмо их решили и поделили налазе.
Наше извештаје о неусклађености можете погледати овде(отвара се у новом прозору).
Овај рад зависи и од истраживачког напретка и од оперативне дисциплине: правилног подешавања контрола, провере њиховог међусобног деловања и одлучног реаговања када закажу. Погрешно подешена мрежна услуга или неуспело аутоматско заустављање могу поткопати иначе снажну заштиту.
Како модели стичу нове способности, мораћемо стално да преиспитујемо претпоставке на којима заснивамо заштитне мере и да их унапређујемо где је потребно. Поуке из истраживања, интерне употребе и јавне примене морају усмеравати обуку, процену и примену наредних модела.
Наставићемо да делимо налазе кроз системске картице, извештаје о инцидентима, извештаје о ризицима(отвара се у новом прозору) интерне примене и спољне процене, како би други могли да преиспитају наш приступ, укључујући његова ограничења. Када ти докази не буду довољни за наше безбедносне стандарде, поново ћемо паузирати обуку или одложити објављивање док захтеви не буду испуњени.
Постављање безбедносних стандарда
Одређивање темпа развоја модела у доба способности критичних за сајбербезбедност — Како смо успорили обуку граничних модела док смо јачали изолацију, проширивали праћење и захтевали јаче доказе усклађености.
Ка доказивању безбедности обуке граничног AI — Почетне смернице за аргументацију безбедности засновану на доказима, која обухвата техничку заштиту, оперативне праксе и истраге неусклађености.
Приоритети и принципи за делотворне процене трећих страна — Наш предлог приступа независном преиспитивању доказа безбедности, заштитних мера, процена и понашања модела.
Периодични сажетак процена катастрофалних ризика интерне употребе(отвара се у новом прозору) — Наш јавни извештај за јун–септембар 2026. описује интерне примене граничних модела, процењене ризике и промене заштитних мера и управљања.
Дефинисање и процена усклађеног понашања
Ажуриране спецификације модела за способнији и кориснији AI — Како смо ажурирали спецификације модела око пет основних вредности које усмеравају расуђивање и понашање модела и поштовање људског надзора.
Разлике у безбедности агената између процене и продукције и улога свести о процењивању(отвара се у новом прозору) — Студија разлика између резултата безбедносних процена и понашања у продукцији, укључујући утицај тумачења циљева процене на учинак модела.
Више од g-mean²: допунске метрике могућности праћења(отвара се у новом прозору) — Нове метрике за поређење могућности праћења и процену преосталог ризика у симулираним системима у којима системи за праћење одбацују излазе модела.
Системска картица модела GPT‑6 Astra(отвара се у новом прозору) — Детаљне процене способности, безбедности, усклађености и могућности праћења модела Astra, уз заштитне мере и ограничења његове примене.
Ограничавање модела и унапређење заштитних мера
Обезбеђивање окружења за обуку наших граничних модела — Како смо ојачали изолацију, изградили истраживачка окружења без интернет везе и најјачим моделима тестирали границе изолације.
Обука класификатора активација за безбедност и усклађеност(отвара се у новом прозору) — Како класификатори користе унутрашње активације модела да открију потенцијално штетно понашање и прекину одговоре или позиве алата.
Аутоматска провера радњи агената без синхроног људског надзора(отвара се у новом прозору) — Како посебан агент процењује радње које прелазе границе изолованог окружења, омогућавајући програмерским агентима самосталан рад уз блокирање потенцијално штетних или неодобрених радњи.
GPT‑Red: самоунапређењем до веће отпорности — Како обучавамо аутоматизоване системе црвене команде кроз игру против себе да откривају рањивости и побољшавају отпорност модела на убацивање злонамерних инструкција.
Control Room — Како пратимо радне процесе у истраживачкој инфраструктури и брзо заустављамо генерисање излаза модела када ризици по безбедност или сигурност захтевају интервенцију.
Реаговање на инциденте и објављивање информација
Како откривамо неусклађеност граничних модела — Наш систем за праћење комбинује сонде активација, проверу помоћу модела, аутоматизовану истрагу и људско реаговање да открије и истражи забрињавајуће понашање.
Инцидент са платформом Hugging Face и наредни кораци — Наши налази о инциденту са платформом Hugging Face и промене које је подстакао у безбедности, праћењу и усклађености.
Агент је користио DNS да приступи спољном четботу(отвара се у новом прозору) — Како је истраживачки модел заобишао интернет ограничења због недовољног DNS филтрирања, како је праћење то открило и које су контроле затим додате.
Ометање координисане кампање дестилације модела — Како смо истражили и осујетили покушаје извлачења заштићеног резоновања модела мерама према налозима, техничким контролама и координацијом са партнерима.
Наш оквир за пријављивање неусклађености модела — Наш поступак праћења, истраживања и објављивања забрињавајућег понашања модела, укључујући случајеве чији узроци или значај остају неизвесни.
Извештаји и обавештења о неусклађености(отвара се у новом прозору) — Наша збирка објављених инцидената и обавештења показује како настаје неусклађеност и где заштитне мере успевају или заказују.
Истраживачки напредак и примене
Убрзавање истраживања: поглед из компаније OpenAI — Рани докази о томе како програмерски агенти мењају истраживања у компанији OpenAI, укључујући њихову све ширу употребу, све сложеније задатке и утицај на експериментисање.
О Навије–Стоксовом миленијумском проблему — Математички доказ који је израдио интерни AI систем, уз формализацију у језику Lean, илуструје способности истраживачких примена великог обима.
Daybreak — Наш програм сајбербезбедности пружа провереним стручњацима за одбрану напредне AI способности, безбедносне алате и подршку за откривање рањивости и јачање заштите.
Представљамо GPT‑Rosalind за истраживања у наукама о животу — Специјализовани модел за биологију, откривање лекова и транслациону медицину, доступан организацијама које испуњавају услове кроз програм приступа за проверене кориснике.






