Озық ЖИ тәуекелін басқару: оқытудан қолданысқа дейін
2026 жылғы 18 қараша · Қауіпсіздік
Озық модельдердің қабілеттері қарқынды дамып келеді. Оларды түсіну, ниетке сәйкестендіру және қорғау мүмкіндігіміз бұл дамудан озып отыруы керек. Модельдерімізді әзірлеу мен шығарудың қарқынын реттеп отырамыз. Қауіпсіздік стандарттарына жетуге қосымша уақыт қажет болса, ішкі оқытуды уақытша тоқтатамыз(жаңа терезеде ашылады) немесе GPT‑6.1 Astra сияқты модельдерді шығаруды кейінге қалдырамыз. Біз қауіпсіздік негіздемелері сияқты жаңа рәсімдер енгіздік және оқыту бойы ниетке сай мінез-құлықтың сенімдірек дәлелдерін талап етеміз. Бұл талаптар модельдерді шығару қарқынын баяулатады, бірақ алға қауіпсіз жылжуға сенімімізді арттырады.
Шілдедегі Hugging Face оқиғасынан бері модельдерді оқыту, сынау және қолданысқа енгізуге қатысты қорғаныс шаралары мен ниетке сәйкестік талаптарын күшейттік. Бұл жазбада қатаң оқшауланған оқыту орталарынан бастап компьютеріңізде қолданатын Codex жүйесіне дейінгі әр кезеңде тәуекелді қалай бағалап, басқаратынымыз түсіндіріледі. Әр кезеңде модельдерді де, қорғаныс шараларын да бағалаймыз. Келесі кезеңге өту үшін қауіпсіздік тексеруінен өтуді талап етеміз.
Бір ғана қорғаныс шарасына тәуелділікті азайтатын бірнеше қабаттан тұратын көпқабатты қорғанысты қолданамыз. Бір қабат істен шықса, қалғандары зиянның алдын алуға, салдарын шектеуге немесе араласуымыз үшін бізге белгі беруге көмектеседі.
Қорғанысымыз төрт қабатқа негізделеді:
Тиімді мониторинг модельдің бақыланғыштығына, яғни бақылау жүйелері модельдің ой қорытуы мен әрекеттерінен қателерді не қауіпті мінез-құлықты қаншалықты сенімді анықтай алатынына тәуелді. Мысалы, алдау ниетін ойлау тізбегінде (CoT) ашық білдіретін модельді бұл ақпаратты көрсетпейтін модельге қарағанда бақылау оңайырақ. Бақыланғыштықты оқыту кезінде және қолданысқа енгізер алдында бағалаймыз, оны өлшеу әдістерін(жаңа терезеде ашылады) жетілдіреміз және оған не әсер ететінін зерттейміз(жаңа терезеде ашылады).
Hugging Face оқиғасы аса қабілетті модельдерді шектеуде тек оқшаулауға сүйенуге болмайтынын көрсетті. Қазір озық модельдерді ішкі және сыртқы қолданыс орталарының көбінде, соның ішінде құралдар пайдаланылатын барлық ішкі қолданыста бақылаймыз.
Әр қабаттың рөлі модельді әзірлеу мен қолданысқа енгізудің үш кезеңінде өзгереді:
Зерттеу: модельдерді оқшауланған орталарда оқытамыз, сынаймыз және пайдаланамыз.
Ішкі қолданыс: OpenAI қызметкерлері модельдерді нақты жұмысқа пайдаланады.
Сыртқы қолданыс: модельдер кеңірек адамдар мен ұйымдар тобына қолжетімді болады.
Әр кезеңде әртүрлі қабаттарға сүйенеміз. Оқыту кезінде ниетке сәйкестікке сенім төменірек болғандықтан, оқшаулау мен мониторингке көбірек арқа сүйейміз. Қолданыс кезінде модельдердің қолжетімділігі кеңейген сайын, ниетке сәйкестік пен жүйелік бақылау шараларының маңызы артады. Әр кезеңде жиынтық қорғаныстың модель қабілеттері мен қолжетімділігіне сай жеткілікті екенін бағалаймыз. Қорытындыларымыз Қауіпсіздік жөніндегі консультативтік топпен бірге қаралып, OpenAI Foundation Директорлар кеңесінің Қауіпсіздік және қорғаныс комитетінің қадағалауына түсуі мүмкін.
Зерттеу кезеңінде модельдерді ниетке сәйкестігіне сенім қалыптастыру үшін бағалаймыз. Зиянның алдын алуда ниетке сәйкестікке әлі толық сене алмаймыз. Сондықтан модельдердің қол жеткізетін ресурстары мен әрекеттерін шектеу үшін қауіпсіздік пен оқшаулауға көп сүйенеміз.
Ниетке сәйкестік зерттеулерінің, мониторинг жүйелерінің және интернет инфрақұрылымы қауіпсіздігінің қазіргі деңгейіне сүйене отырып, озық модельдерді интернетке нақты уақыт режимінде қол жеткізу мүмкіндігін бермей оқытуды жауапты тәсіл деп санаймыз. Hugging Face оқиғасынан кейін модельдерді шектеу үшін ішкі зерттеу жүйелерін елеулі түрде қайта құрдық. Ол үшін мыналарды қолданамыз:
модель өкілеттіктерін шектейтін оқшауланған орталар
жұмыс жүктемесін негізгі компьютерден қосымша оқшаулайтын виртуалды машиналар
бүкіл кластерді интернеттен ажырататын желілік және бұлттық периметрлер
Бұл жүйені үздіксіз редтимингтен өткіземіз: ең мықты модельдеріміздің топтары интернетке шығуға, қорғаныс шекарасын бұзуға немесе өздерінен оқшаулануға тиіс агенттермен байланысуға тырысады. Бұл оқшаулаудың өзі шектеуге тиіс модельдердің қабілеттеріне төтеп бере алатынын тексеруге көмектеседі.
Қосымша қорғаныс ретінде озық модельдердің барлық инференсін бақылап, модельдің өзгермеуге тиіс қауіпсіздік шарттарын айналып өткен-өтпегенін анықтаймыз. Мониторинг модельдің интернетке шыққанын анықтаса, қауіпсіздік топтарына шұғыл хабарлаймыз және жұмыс жүктемесін автоматты түрде тоқтатамыз.
Оқшаулау бұзылғанда, мониторинг аса маңызды резервтік қорғаныс болады. Ниетке сәйкессіздік туралы жуырдағы есепте бақылау жүйелерінің ішкі зерттеу моделі DNS конфигурациясындағы қатені пайдаланып, интернетке шектеулі қол жеткізгенін анықтағаны(жаңа терезеде ашылады) туралы хабарладық. Оқиғаны тергеп, қауіпсіздік олқылығын жойғанша, 20 қыркүйектен 1 қазанға дейін ең қабілетті модельдерімізді оқыту мен бағалауды тоқтаттық.
Жедел әрі сенімді араласу үшін Control Room жүйесін құрдық. Бұл орталық жүйе зерттеу жүктемелерін қадағалап, тапсырманы тоқтату нұсқауын алғаннан кейін 35 секунд ішінде модельдің жаңа нәтиже шығаруын тоқтатады. Бұл бақылау шаралары тікелей инференс инфрақұрылымында орындалады. Сондықтан олар әр зерттеу жүктемесінің өз тоқтату тетігін іске асыруына тәуелді емес. Озық модельдерді зерттеу жүктемелерінде Control Room қолжетімсіз болса да, осы шаралар модельдің нәтиже шығаруын тоқтатады.
Редтиминг пен мониторинг бірін-бірі толықтырады. Оқшауланған ортадан шығу мүмкін емес деп кепілдік бере алмаймыз. Бірақ редтиминг модельге одан шығу үшін қанша күш қажет екенін бағалауға көмектеседі. Модельге неғұрлым көп күш қажет болса, бақылау жүйелерінің оны анықтап, тоқтатуға мүмкіндігі соғұрлым артады.
Зерттеу кезеңінде қатаң қауіпсіздік пен мониторинг шараларын бірнеше себеппен міндеттейміз:
Модельдерді бағалау әлі жүріп жатыр. Кейбірі көпшілікке ұсыну үшін қажет қауіпсіздік бойынша оқытудан, ниетке сәйкестік аудиттерінен және тексерулерден әлі толық өткен жоқ.
Озық зерттеу орталары тәуекелдерді күшейтуі мүмкін. Кейбір зерттеу міндеттері ауқымдырақ жүйелерді талап етеді. Мұндайда модель сыртқы қолданыстағыдан табандырақ не қабілеттірек болады (мысалы, Навье — Стокс есебін шешу үшін 10 000 агенттен тұратын топ қажет болды).
Ауқымды оқыту кезінде адамның тікелей бақылауы азаяды. Әдеттегі Codex сеансынан айырмашылығы, оқыту тапсырмаларында модель өте көп әрекет жасайды және әр өзара әрекетті адам қадағаламайды.
Көпшілікке ұсынар алдында қызметкерлер озық модельдерді оқшауланған ортада зерттеу үшін пайдаланудан оқшауланбаған ішкі қолданысқа көшеді. Мысалы, модель қызметкерлерге ChatGPT ішінде қолжетімді болады. Бұл модельдердің нақты жұмыс жағдайындағы мінез-құлқын(жаңа терезеде ашылады) жақсырақ түсінуге және қолданысқа енгізу туралы шешім қабылдауға көмектеседі.
Осы кезеңде модельге интернетке кеңірек, сондай-ақ Slack жүйемізге, код базамызға және ішкі инфрақұрылымға қолжетімділік береміз. Бұл тәуекелді едәуір өзгертеді: енді модель әрекеттері OpenAI қызметін дамытуға және жүргізуге арналған жүйелерімізге тікелей әсер етеді. Ішкі қолданыс кезінде қауіпсіздікті бақылау тетіктерінен гөрі модельдің ниетке сәйкестігіне, жүйелік қорғаныс шараларына және мониторингке көбірек сүйенуіміз керек.
Озық модель оқшауланған ортадан тыс қолданысқа енгізілмес бұрын, оның ниетке сәйкестігі мен бақыланғыштығы тексерілуі(жаңа терезеде ашылады) керек. Біз ниетке сәйкестікті бағалау кешенін қолданамыз. Ол сәйкессіздіктің нақты түрлерін (мысалы, қауіпсіздік пен қорғаныс шектеулерін айналып өтуді) де, жалпы бейімділікті де тексереді (мысалы, ішкі Codex әрекет тізбектерінен қайта іріктеп, сәйкессіздікті іздейді). Ниетке сәйкестік пен бақыланғыштықты бағалау туралы толығырақ соңғы GPT‑6 Astra жүйе картасынан(жаңа терезеде ашылады) біле аласыз.
Нақты қолданыс жүйелеріне ұқсатып, жүйелік жіктеуіштермен қосымша қорғаныс қабатын енгіземіз. Олар озық модельдерге байланысты кибертеріс пайдалану және биологиялық қару жасау сияқты зияндардан қорғауға арналған. Сондай-ақ Codex қолданатын қызметкерлерден әдетте Auto-Review(жаңа терезеде ашылады) пайдалануды талап етеміз. Ол ықтимал қауіпті әрекеттерді бағалап, пайдаланушының қарауына жібереді.
Соңында, ішкі қолданыста озық модельдердің әрбір инференсін ниетке сай емес мінез-құлыққа тексереміз. Модельдің өкілеттіктері кеңейіп, ішкі ақпарат пен жүйелерге қол жеткізетіндіктен, деректерді сыртқа әкету немесе құпия деректерді рұқсат етілмеген жерге жіберу сияқты тәуекелдерді анықтау ерекше маңызды болады. Мониторинг ниетке сәйкессіздіктің жаңа түрлерін(жаңа терезеде ашылады) зерттеуге де көмектеседі.
Көпшілікке ұсынылған модельдер әлдеқайда көп пайдаланушыға, міндетке және ортаға тап болады. Бұл тәуекелдердің ауқымын да, алуан түрлілігін де арттырады. Бұл кезеңде модельді қасақана зиян келтіруге бағыттайтын ықтимал қаскөйлерден де қорғануымыз керек.
Көпшілікке ұсынар алдында модельдер мен жүйелік қорғаныс шаралары сыртқы қолданысқа арналған қауіпсіздік талаптарымызға сай болуы керек. Оларды мына жолдармен бағалаймыз:
Ниетке сәйкестік пен қауіпсіздік бойынша кеңейтілген бағалау кешенін өткізу. Озық модельдер үшін бұған ішкі автоматтандырылған редтиминг құралдарымен бейімделмелі сынақтардың жаңа кезеңдерін өткізіп, модельдің төзімділігін қатаң тексеру кіреді. Қабілеттер мен қауіпсіздікті бағалау нәтижелерін жүйе карталарында(жаңа терезеде ашылады) жариялаймыз.
Ең қабілетті модельдерімізді үшінші тараптармен бірге де сынаймыз. Бұл теріс пайдаланудан қорғанысты да, модельдердің түпкі ниетке сәйкестігін де қатаң тексеруге мүмкіндік береді.
Базалық модельдің түпкі ниетке сәйкестігіндегі өзгерістерді қадағалау үшін ішкі қолданыс кезеңіндегі мониторинг белгілерін тексеру.
«Синхронды» қорғаныс шараларына (модельді қауіпсіздікке үйрету және жүйелік жіктеуіштер сияқты) қоса, сыртқы қолданыста нақты уақыттан тыс жүргізілетін ережелердің сақталуын қамтамасыз ету және тергеу шараларын да қолданамыз. Бұл топтар ауқымды тергеуші агенттерді адам тексеруімен ұштастырып, кибертеріс пайдалану, биологиялық қару жасау, дистилляция әрекеттері мен модельдің өзіндегі ниетке сәйкессіздікке байланысты ықтимал қауіп көздерін анықтайды. Нақты уақыттан тыс тексеру және шара қолдану түрлі аккаунттардан дерек жинап, ықтимал қауіптің толық көрінісін қалыптастыруға әсіресе көмектеседі.
Daybreak және Rosalind сияқты сенімді қолжетімділік бағдарламалары қосымша қорғаныс береді. Олар қорғаушылар мен адал ниетті зерттеушілердің жұмысын жеделдетіп, ықтимал шабуылшылардың қолжетімділігін шектейді.
Қауіпсіздік қабаттарының бірі істен шыққанын байқасақ, нақты зиян болған-болмағанына қарамастан, оны жедел тергеп, маңыздылығын бағалауды және мүмкін әрі орынды болса, сыртқа жариялауды көздейміз. Ниетке сәйкессіздік туралы хабарлау саясатымыз бойынша кез келген қызметкер оқиғаны жариялауға ұсына алады. Бұл хабарламалар тергеледі. Оларды сыртқа жариялау жөнінде келіспеушілік болса, шешім Қауіпсіздік жөніндегі консультативтік топтың қарауына беріледі. Қызметкерлер хабарламаларына сүйенумен қатар, ниетке сәйкессіздік оқиғаларын өзіміз де белсенді іздейміз. Осылайша оларды шешіп, нәтижелерін бөлісе аламыз.
Ниетке сәйкессіздік туралы есептерімізді осы жерден(жаңа терезеде ашылады) көре аласыз.
Бұл жұмыс зерттеудегі ілгерілеуге де, жұмыс тәртібін қатаң сақтауға да тәуелді: бақылау шараларын дұрыс баптау, өзара әсерін сынау және істен шыққанда батыл әрекет ету қажет. Қате бапталған желілік сервис немесе істемей қалған автоматты тоқтату тетігі өзге жағынан мықты қорғанысты әлсіретуі мүмкін.
Модельдер жаңа қабілеттерге ие болған сайын, қорғаныс шараларының негізіндегі болжамдарды қайта тексеріп, қажет жерін жетілдіріп отыруымыз керек. Зерттеу, ішкі және қоғамдық қолданыс тәжірибесі келесі модельдерді оқыту, бағалау және қолданысқа енгізу тәсілімізге негіз болуы тиіс.
Өзгелер тәсілімізді, соның ішінде оның шектеулерін мұқият талдай алуы үшін нәтижелерді жүйе карталары, оқиға есептері, ішкі қолданыс тәуекелі туралы есептер(жаңа терезеде ашылады) және сыртқы бағалаулар арқылы бөлісуді жалғастырамыз. Дәлелдер қауіпсіздік талабымызға жетпесе, талаптар орындалғанша оқытуды қайта тоқтатамыз немесе модельді шығармаймыз.
Қауіпсіздік стандарттарын белгілеу
Киберқауіпсіздік үшін шешуші қабілеттер дәуірінде модель әзірлеу қарқынын реттеу — Оқшаулауды күшейтіп, мониторингті кеңейтіп, ниетке сәйкестіктің сенімдірек дәлелдерін талап ете отырып, озық модельдерді оқытуды қалай баяулаттық.
Озық ЖИ оқытуға арналған қауіпсіздік негіздемелерін әзірлеу жолында — Техникалық қорғаныс, жұмыс тәжірибесі және ниетке сәйкессіздікті тергеуді қамтитын дәлелді қауіпсіздік негіздемелеріне арналған бастапқы нұсқаулар.
Үшінші тараптардың тиімді бағалауына арналған басымдықтар мен қағидаттар — Қауіпсіздік негіздемелерін, қорғаныс шараларын, бағалаулар мен модель мінез-құлқын үшінші тараптардың тексеруіне қатысты біз ұсынған тәсіл.
Ішкі қолданыстағы апатты тәуекел бағалауларының мерзімдік қорытындысы(жаңа терезеде ашылады) — 2026 жылғы маусым–қыркүйекті қамтитын ашық есепте озық модельдердің ішкі қолданысы, бағаланған тәуекелдері, қорғаныс пен басқарудағы өзгерістер сипатталады.
Ниетке сай мінез-құлықты анықтау және бағалау
Қабілетті әрі пайдалы ЖИ үшін жаңартылған модель сипаттамасы — Модельдердің пайымдауын, мінез-құлқын және адам бақылауын құрметтеуін бағыттау үшін модель сипаттамасын бес негізгі құндылыққа сүйеніп қалай жаңарттық.
Агент қауіпсіздігі: бағалау мен нақты қолданыстағы мінез-құлық айырмашылығы және модельдің бағаланып жатқанын аңғаруының рөлі(жаңа терезеде ашылады) — Қауіпсіздік бағалауларының нәтижелері мен нақты қолданыстағы мінез-құлық арасындағы айырмашылықтарды, соның ішінде модельдің бағалау мақсаттарын түсінуі нәтижелерге қалай әсер ететінін зерттеу.
g-mean² шегінен тыс: бақыланғыштықтың қосымша өлшемдері(жаңа терезеде ашылады) — Бақылау жүйелері модель нәтижелерін қабылдамайтын имитациялық жүйелерде бақыланғыштықты салыстыру мен қалдық тәуекелді бағалаудың жаңа өлшемдері.
GPT‑6 Astra жүйе картасы(жаңа терезеде ашылады) — Astra қабілеттерін, қауіпсіздігін, ниетке сәйкестігі мен бақыланғыштығын егжей-тегжейлі бағалау, сондай-ақ қолданысқа енгізу кезіндегі қорғаныс шаралары мен шектеулері.
Модельдерді шектеу және қорғанысты жетілдіру
Озық модельдерді оқыту ортасының қауіпсіздігін қамтамасыз ету — Оқшаулауды қалай күшейтіп, интернетсіз зерттеу орталарын құрдық және шектеу шекараларын ең мықты модельдерімізбен сынадық.
Қауіпсіздік пен ниетке сәйкестік үшін белсендіру жіктеуіштерін оқыту(жаңа терезеде ашылады) — Жіктеуіштер модельдің ішкі белсендірулерін пайдаланып, ықтимал зиянды мінез-құлықты қалай анықтайды және жауаптарды не құрал шақыруларын қалай үзеді.
Агент әрекеттерін адамның синхронды бақылауынсыз автоматты тексеру(жаңа терезеде ашылады) — Бөлек тексеруші агент оқшауланған орта шекарасынан өтетін әрекеттерді бағалайды: код жазатын агенттердің дербес жұмысын қолдап, ықтимал зиянды не рұқсатсыз әрекеттерді бұғаттайды.
GPT‑Red: төзімділік үшін өзін-өзі жетілдіру мүмкіндігін ашу — Осалдықтарды табу және модельдердің көмексөзге зиян келтіру төзімділігін арттыру үшін автоматтандырылған редтиминг агенттерін өзара бәсеке арқылы қалай оқытамыз.
Control Room — Зерттеу инфрақұрылымындағы жүктемелерді қалай қадағалап, қауіпсіздік не қорғаныс мәселелері араласуды талап еткенде модельдің нәтиже шығаруын жедел тоқтатамыз.
Оқиғаларға ден қою және оларды жариялау
Озық модельдердің ниетке сәйкессіздігін қалай анықтаймыз — Мониторинг жүйеміз алаңдатарлық мінез-құлықты анықтап, тергеу үшін белсендіруді талдау құралдарын, модельдік тексеруді, автоматты тергеуді және адамның ден қоюын біріктіреді.
Hugging Face оқиғасы және алдағы жол — Hugging Face оқиғасынан алған қорытындыларымыз және оның қауіпсіздікке, мониторингке, ниетке сәйкестікке әкелген өзгерістері.
Агент сыртқы чат-ботқа шығу үшін DNS пайдаланды(жаңа терезеде ашылады) — Зерттеу моделі жеткіліксіз DNS сүзгілеуі арқылы интернет шектеулерін қалай айналып өтті, мониторинг оны қалай анықтады және кейін қандай бақылау шаралары қосылды.
Модель дистилляциясының үйлестірілген науқанын тоқтату — Модельдің қорғалған ой қорытуын алуға талпыныстарды қалай тергеп, аккаунттарға шара қолдану, техникалық бақылау және серіктестермен үйлесу арқылы тоқтаттық.
Модельдің ниетке сәйкессіздігі туралы хабарлау жүйеміз — Модельдің алаңдатарлық мінез-құлқын, соның ішінде себебі не маңызы әлі белгісіз жағдайларды қадағалау, тергеу және жариялау рәсіміміз.
Ниетке сәйкессіздік туралы есептер мен хабарламалар(жаңа терезеде ашылады) — Сәйкессіздіктің қалай туындайтынын, қорғаныстың қай жерде жұмыс істеп, қай жерде істемейтінін көрсететін жарияланған оқиғалар мен хабарламалар жинағы.
Зерттеудегі ілгерілеу және қолданылуы
Зерттеуді жеделдету: OpenAI ішіндегі зерттеу үдерісіне көзқарас — Код жазатын агенттердің OpenAI зерттеулерін қалай өзгертіп жатқанының алғашқы деректері: олардың кеңінен қолданылуы, міндеттердің күрделенуі және эксперименттерге әсері.
Мыңжылдық сыйлығының Навье — Стокс есебі туралы — Ішкі ЖИ жүйесі жасаған, Lean тілінде формалданған математикалық дәлел ауқымды зерттеу қолданыстарының мүмкіндіктерін көрсетеді.
Daybreak — Киберқауіпсіздік бағдарламамыз тексеруден өткен қорғаушыларға осалдықтарды тауып, қорғанысты нығайту үшін озық ЖИ мүмкіндіктерін, қауіпсіздік құралдарын және қолдау ұсынады.
Тіршілік ғылымдары зерттеулеріне арналған GPT‑Rosalind моделімен танысыңыз — Биология, дәрі әзірлеу және трансляциялық медицинаға маманданған модель сенімді қолжетімділік бағдарламасы арқылы талапқа сай ұйымдарға ұсынылады.






