OpenAI

Озық ЖИ тәуекелін басқару: оқытудан қолданысқа дейін

2026 жылғы 18 қараша · Қауіпсіздік

Озық модельдердің қабілеттері қарқынды дамып келеді. Оларды түсіну, ниетке сәйкестендіру және қорғау мүмкіндігіміз бұл дамудан озып отыруы керек. Модельдерімізді әзірлеу мен шығарудың қарқынын реттеп отырамыз. Қауіпсіздік стандарттарына жетуге қосымша уақыт қажет болса, ішкі оқытуды уақытша тоқтатамыз⁠(жаңа терезеде ашылады) немесе GPT‑6.1 Astra сияқты модельдерді шығаруды кейінге қалдырамыз. Біз қауіпсіздік негіздемелері сияқты жаңа рәсімдер енгіздік және оқыту бойы ниетке сай мінез-құлықтың сенімдірек дәлелдерін талап етеміз. Бұл талаптар модельдерді шығару қарқынын баяулатады, бірақ алға қауіпсіз жылжуға сенімімізді арттырады.

Шілдедегі Hugging Face оқиғасынан⁠ бері модельдерді оқыту, сынау және қолданысқа енгізуге қатысты қорғаныс шаралары мен ниетке сәйкестік талаптарын күшейттік. Бұл жазбада қатаң оқшауланған оқыту орталарынан бастап компьютеріңізде қолданатын Codex жүйесіне дейінгі әр кезеңде тәуекелді қалай бағалап, басқаратынымыз түсіндіріледі. Әр кезеңде модельдерді де, қорғаныс шараларын да бағалаймыз. Келесі кезеңге өту үшін қауіпсіздік тексеруінен өтуді талап етеміз.

Модельдің бүкіл өмірлік цикліндегі көпқабатты қорғаныс

Бір ғана қорғаныс шарасына тәуелділікті азайтатын бірнеше қабаттан тұратын көпқабатты қорғанысты қолданамыз. Бір қабат істен шықса, қалғандары зиянның алдын алуға, салдарын шектеуге немесе араласуымыз үшін бізге белгі беруге көмектеседі.

Қорғанысымыз төрт қабатқа негізделеді:

Тиімді мониторинг модельдің бақыланғыштығына, яғни бақылау жүйелері модельдің ой қорытуы мен әрекеттерінен қателерді не қауіпті мінез-құлықты қаншалықты сенімді анықтай алатынына тәуелді. Мысалы, алдау ниетін ойлау тізбегінде (CoT) ашық білдіретін модельді бұл ақпаратты көрсетпейтін модельге қарағанда бақылау оңайырақ. Бақыланғыштықты оқыту кезінде және қолданысқа енгізер алдында бағалаймыз, оны өлшеу әдістерін⁠(жаңа терезеде ашылады) жетілдіреміз және оған не әсер ететінін зерттейміз⁠(жаңа терезеде ашылады).

Hugging Face оқиғасы аса қабілетті модельдерді шектеуде тек оқшаулауға сүйенуге болмайтынын көрсетті. Қазір озық модельдерді ішкі және сыртқы қолданыс орталарының көбінде, соның ішінде құралдар пайдаланылатын барлық ішкі қолданыста бақылаймыз.

Әр қабаттың рөлі модельді әзірлеу мен қолданысқа енгізудің үш кезеңінде өзгереді:

  • Зерттеу: модельдерді оқшауланған орталарда оқытамыз, сынаймыз және пайдаланамыз.

  • Ішкі қолданыс: OpenAI қызметкерлері модельдерді нақты жұмысқа пайдаланады.

  • Сыртқы қолданыс: модельдер кеңірек адамдар мен ұйымдар тобына қолжетімді болады.

Әр кезеңде әртүрлі қабаттарға сүйенеміз. Оқыту кезінде ниетке сәйкестікке сенім төменірек болғандықтан, оқшаулау мен мониторингке көбірек арқа сүйейміз. Қолданыс кезінде модельдердің қолжетімділігі кеңейген сайын, ниетке сәйкестік пен жүйелік бақылау шараларының маңызы артады. Әр кезеңде жиынтық қорғаныстың модель қабілеттері мен қолжетімділігіне сай жеткілікті екенін бағалаймыз. Қорытындыларымыз Қауіпсіздік жөніндегі консультативтік топпен бірге қаралып, OpenAI Foundation Директорлар кеңесінің Қауіпсіздік және қорғаныс комитетінің қадағалауына түсуі мүмкін.

Зерттеу кезінде: модельдерді оқшауланған орта шегінде ұстау

Зерттеу кезеңінде модельдерді ниетке сәйкестігіне сенім қалыптастыру үшін бағалаймыз. Зиянның алдын алуда ниетке сәйкестікке әлі толық сене алмаймыз. Сондықтан модельдердің қол жеткізетін ресурстары мен әрекеттерін шектеу үшін қауіпсіздік пен оқшаулауға көп сүйенеміз.

Ниетке сәйкестік зерттеулерінің, мониторинг жүйелерінің және интернет инфрақұрылымы қауіпсіздігінің қазіргі деңгейіне сүйене отырып, озық модельдерді интернетке нақты уақыт режимінде қол жеткізу мүмкіндігін бермей оқытуды жауапты тәсіл деп санаймыз. Hugging Face оқиғасынан кейін модельдерді шектеу үшін ішкі зерттеу жүйелерін елеулі түрде қайта құрдық. Ол үшін мыналарды қолданамыз:

  • модель өкілеттіктерін шектейтін оқшауланған орталар

  • жұмыс жүктемесін негізгі компьютерден қосымша оқшаулайтын виртуалды машиналар

  • бүкіл кластерді интернеттен ажырататын желілік және бұлттық периметрлер

Бұл жүйені үздіксіз редтимингтен өткіземіз: ең мықты модельдеріміздің топтары интернетке шығуға, қорғаныс шекарасын бұзуға немесе өздерінен оқшаулануға тиіс агенттермен байланысуға тырысады. Бұл оқшаулаудың өзі шектеуге тиіс модельдердің қабілеттеріне төтеп бере алатынын тексеруге көмектеседі.

Қосымша қорғаныс ретінде озық модельдердің барлық инференсін бақылап, модельдің өзгермеуге тиіс қауіпсіздік шарттарын айналып өткен-өтпегенін анықтаймыз. Мониторинг модельдің интернетке шыққанын анықтаса, қауіпсіздік топтарына шұғыл хабарлаймыз және жұмыс жүктемесін автоматты түрде тоқтатамыз.

Оқшаулау бұзылғанда, мониторинг аса маңызды резервтік қорғаныс болады. Ниетке сәйкессіздік туралы жуырдағы есепте бақылау жүйелерінің ішкі зерттеу моделі DNS конфигурациясындағы қатені пайдаланып, интернетке шектеулі қол жеткізгенін анықтағаны⁠(жаңа терезеде ашылады) туралы хабарладық. Оқиғаны тергеп, қауіпсіздік олқылығын жойғанша, 20 қыркүйектен 1 қазанға дейін ең қабілетті модельдерімізді оқыту мен бағалауды тоқтаттық.

Жедел әрі сенімді араласу үшін Control Room⁠ жүйесін құрдық. Бұл орталық жүйе зерттеу жүктемелерін қадағалап, тапсырманы тоқтату нұсқауын алғаннан кейін 35 секунд ішінде модельдің жаңа нәтиже шығаруын тоқтатады. Бұл бақылау шаралары тікелей инференс инфрақұрылымында орындалады. Сондықтан олар әр зерттеу жүктемесінің өз тоқтату тетігін іске асыруына тәуелді емес. Озық модельдерді зерттеу жүктемелерінде Control Room қолжетімсіз болса да, осы шаралар модельдің нәтиже шығаруын тоқтатады.

Редтиминг пен мониторинг бірін-бірі толықтырады. Оқшауланған ортадан шығу мүмкін емес деп кепілдік бере алмаймыз. Бірақ редтиминг модельге одан шығу үшін қанша күш қажет екенін бағалауға көмектеседі. Модельге неғұрлым көп күш қажет болса, бақылау жүйелерінің оны анықтап, тоқтатуға мүмкіндігі соғұрлым артады.

Зерттеу кезеңінде қатаң қауіпсіздік пен мониторинг шараларын бірнеше себеппен міндеттейміз:

  • Модельдерді бағалау әлі жүріп жатыр. Кейбірі көпшілікке ұсыну үшін қажет қауіпсіздік бойынша оқытудан, ниетке сәйкестік аудиттерінен және тексерулерден әлі толық өткен жоқ.

  • Озық зерттеу орталары тәуекелдерді күшейтуі мүмкін. Кейбір зерттеу міндеттері ауқымдырақ жүйелерді талап етеді. Мұндайда модель сыртқы қолданыстағыдан табандырақ не қабілеттірек болады (мысалы, Навье — Стокс есебін шешу үшін 10 000 агенттен тұратын топ қажет болды).

  • Ауқымды оқыту кезінде адамның тікелей бақылауы азаяды. Әдеттегі Codex сеансынан айырмашылығы, оқыту тапсырмаларында модель өте көп әрекет жасайды және әр өзара әрекетті адам қадағаламайды.

Ішкі қолданыс: ниетке сәйкестікті тексеру, мінез-құлықты мұқият бақылау

Көпшілікке ұсынар алдында қызметкерлер озық модельдерді оқшауланған ортада зерттеу үшін пайдаланудан оқшауланбаған ішкі қолданысқа көшеді. Мысалы, модель қызметкерлерге ChatGPT ішінде қолжетімді болады. Бұл модельдердің нақты жұмыс жағдайындағы мінез-құлқын⁠(жаңа терезеде ашылады) жақсырақ түсінуге және қолданысқа енгізу туралы шешім қабылдауға көмектеседі.

Осы кезеңде модельге интернетке кеңірек, сондай-ақ Slack жүйемізге, код базамызға және ішкі инфрақұрылымға қолжетімділік береміз. Бұл тәуекелді едәуір өзгертеді: енді модель әрекеттері OpenAI қызметін дамытуға және жүргізуге арналған жүйелерімізге тікелей әсер етеді. Ішкі қолданыс кезінде қауіпсіздікті бақылау тетіктерінен гөрі модельдің ниетке сәйкестігіне, жүйелік қорғаныс шараларына және мониторингке көбірек сүйенуіміз керек.

Озық модель оқшауланған ортадан тыс қолданысқа енгізілмес бұрын, оның ниетке сәйкестігі мен бақыланғыштығы тексерілуі⁠(жаңа терезеде ашылады) керек. Біз ниетке сәйкестікті бағалау кешенін қолданамыз. Ол сәйкессіздіктің нақты түрлерін (мысалы, қауіпсіздік пен қорғаныс шектеулерін айналып өтуді) де, жалпы бейімділікті де тексереді (мысалы, ішкі Codex әрекет тізбектерінен қайта іріктеп, сәйкессіздікті іздейді). Ниетке сәйкестік пен бақыланғыштықты бағалау туралы толығырақ соңғы GPT‑6 Astra жүйе картасынан⁠(жаңа терезеде ашылады) біле аласыз.

Нақты қолданыс жүйелеріне ұқсатып, жүйелік жіктеуіштермен қосымша қорғаныс қабатын енгіземіз. Олар озық модельдерге байланысты кибертеріс пайдалану және биологиялық қару жасау сияқты зияндардан қорғауға арналған. Сондай-ақ Codex қолданатын қызметкерлерден әдетте Auto-Review⁠(жаңа терезеде ашылады) пайдалануды талап етеміз. Ол ықтимал қауіпті әрекеттерді бағалап, пайдаланушының қарауына жібереді.

Соңында, ішкі қолданыста озық модельдердің әрбір инференсін ниетке сай емес мінез-құлыққа тексереміз. Модельдің өкілеттіктері кеңейіп, ішкі ақпарат пен жүйелерге қол жеткізетіндіктен, деректерді сыртқа әкету немесе құпия деректерді рұқсат етілмеген жерге жіберу сияқты тәуекелдерді анықтау ерекше маңызды болады. Мониторинг ниетке сәйкессіздіктің жаңа түрлерін⁠(жаңа терезеде ашылады) зерттеуге де көмектеседі.

Сыртқы қолданыс: теріс пайдаланудан және ниетке сәйкессіздіктен кең ауқымда қорғау

Көпшілікке ұсынылған модельдер әлдеқайда көп пайдаланушыға, міндетке және ортаға тап болады. Бұл тәуекелдердің ауқымын да, алуан түрлілігін де арттырады. Бұл кезеңде модельді қасақана зиян келтіруге бағыттайтын ықтимал қаскөйлерден де қорғануымыз керек.

Көпшілікке ұсынар алдында модельдер мен жүйелік қорғаныс шаралары сыртқы қолданысқа арналған қауіпсіздік талаптарымызға сай болуы керек. Оларды мына жолдармен бағалаймыз:

  • Ниетке сәйкестік пен қауіпсіздік бойынша кеңейтілген бағалау кешенін өткізу. Озық модельдер үшін бұған ішкі автоматтандырылған редтиминг құралдарымен бейімделмелі сынақтардың⁠ жаңа кезеңдерін өткізіп, модельдің төзімділігін қатаң тексеру кіреді. Қабілеттер мен қауіпсіздікті бағалау нәтижелерін жүйе карталарында⁠(жаңа терезеде ашылады) жариялаймыз.

  • Ең қабілетті модельдерімізді үшінші тараптармен бірге де сынаймыз. Бұл теріс пайдаланудан қорғанысты да, модельдердің түпкі ниетке сәйкестігін де қатаң тексеруге мүмкіндік береді.

  • Базалық модельдің түпкі ниетке сәйкестігіндегі өзгерістерді қадағалау үшін ішкі қолданыс кезеңіндегі мониторинг белгілерін тексеру.

«Синхронды» қорғаныс шараларына (модельді қауіпсіздікке үйрету және жүйелік жіктеуіштер сияқты) қоса, сыртқы қолданыста нақты уақыттан тыс жүргізілетін ережелердің сақталуын қамтамасыз ету және тергеу шараларын да қолданамыз. Бұл топтар ауқымды тергеуші агенттерді адам тексеруімен ұштастырып, кибертеріс пайдалану, биологиялық қару жасау, дистилляция⁠ әрекеттері мен модельдің өзіндегі ниетке сәйкессіздікке байланысты ықтимал қауіп көздерін анықтайды. Нақты уақыттан тыс тексеру және шара қолдану түрлі аккаунттардан дерек жинап, ықтимал қауіптің толық көрінісін қалыптастыруға әсіресе көмектеседі.

Daybreak және Rosalind⁠ сияқты сенімді қолжетімділік бағдарламалары қосымша қорғаныс береді. Олар қорғаушылар мен адал ниетті зерттеушілердің жұмысын жеделдетіп, ықтимал шабуылшылардың қолжетімділігін шектейді.

Оқиғаларға ден қою және оларды жариялау

Қауіпсіздік қабаттарының бірі істен шыққанын байқасақ, нақты зиян болған-болмағанына қарамастан, оны жедел тергеп, маңыздылығын бағалауды және мүмкін әрі орынды болса, сыртқа жариялауды көздейміз. Ниетке сәйкессіздік туралы хабарлау⁠ саясатымыз бойынша кез келген қызметкер оқиғаны жариялауға ұсына алады. Бұл хабарламалар тергеледі. Оларды сыртқа жариялау жөнінде келіспеушілік болса, шешім Қауіпсіздік жөніндегі консультативтік топтың қарауына беріледі. Қызметкерлер хабарламаларына сүйенумен қатар, ниетке сәйкессіздік оқиғаларын өзіміз де белсенді іздейміз. Осылайша оларды шешіп, нәтижелерін бөлісе аламыз.

Ниетке сәйкессіздік туралы есептерімізді осы жерден⁠(жаңа терезеде ашылады) көре аласыз.

​


​

Бұл жұмыс зерттеудегі ілгерілеуге де, жұмыс тәртібін қатаң сақтауға да тәуелді: бақылау шараларын дұрыс баптау, өзара әсерін сынау және істен шыққанда батыл әрекет ету қажет. Қате бапталған желілік сервис немесе істемей қалған автоматты тоқтату тетігі өзге жағынан мықты қорғанысты әлсіретуі мүмкін.

Модельдер жаңа қабілеттерге ие болған сайын, қорғаныс шараларының негізіндегі болжамдарды қайта тексеріп, қажет жерін жетілдіріп отыруымыз керек. Зерттеу, ішкі және қоғамдық қолданыс тәжірибесі келесі модельдерді оқыту, бағалау және қолданысқа енгізу тәсілімізге негіз болуы тиіс.

Өзгелер тәсілімізді, соның ішінде оның шектеулерін мұқият талдай алуы үшін нәтижелерді жүйе карталары, оқиға есептері, ішкі қолданыс тәуекелі туралы есептер⁠(жаңа терезеде ашылады) және сыртқы бағалаулар⁠ арқылы бөлісуді жалғастырамыз. Дәлелдер қауіпсіздік талабымызға жетпесе, талаптар орындалғанша оқытуды қайта тоқтатамыз немесе модельді шығармаймыз.

Тақырыпқа қатысты зерттеулер мен ресурстар

Қауіпсіздік стандарттарын белгілеу

Ниетке сай мінез-құлықты анықтау және бағалау

Модельдерді шектеу және қорғанысты жетілдіру

Оқиғаларға ден қою және оларды жариялау

Зерттеудегі ілгерілеу және қолданылуы