Control Room

Модельдеріміз қуаттырақ болып, оларға байланысты қауіпсіздік пен қорғаныс тәуекелдері артқан сайын, ықтимал мәселелерді анықтап, қажет кезде модельдердің жұмысын тез тоқтата алуымыз барған сайын маңызды бола түседі. Осы міндетті шешу үшін Control Room жүйесін жасадық.

Control Room — зерттеу инфрақұрылымымыздағы модельдердің есептеу тапсырмаларын бақылап, қауіпсіздікке не қорғанысқа қатысты алаңдаушылық туғанда оларды тез тоқтатуға арналған орталық жүйе. Ол зерттеулердегі барлық инференс тапсырмасын, соның ішінде модельдерді оқыту мен бағалауға арналған агенттік сэмплингті, деректерді өңдеуді және басқа жұмыстарды біріктіреді. Ол мақсаттарға қайшы мінез-құлықты бақылау жүйелерімізбен бірге жұмыс істейді. Тапсырманы тоқтату немесе кідірту үшін араласу туралы шешім қабылданғаннан кейін 35 секунд ішінде модельдің нәтиже шығаруын тоқтатады. Ол басқа жүйелер істен шыққанда да жұмысын жалғастыратындай, ал Control Room жүйесінің өзі істен шықса, модельдің нәтиже шығаруын тоқтататындай жасалған.

Control Room оған ең үлкен қажеттілік бар ортада — бүкіл зерттеу инфрақұрылымымызда — қазірдің өзінде іске қосылған. Сыртқы пайдаланушыларға модельдерді ұсынатын технологиялық стегіміз әуелден әлдеқайда орталықтандырылған. Қажет болса, іске қосылған модельдерді тез өшіру мүмкіндігі де онда жақсы жолға қойылған.

Control Room бірнеше жүйені біріктіру арқылы жұмыс істейді: есептеу тапсырмасы, инференс қозғалтқышы және орталықтандырылған Control Room қызметі.

• Есептеу тапсырмасы — орындалып жатқан жұмыс. Мысалы, күшейтпелі оқыту эксперименті, бағалау, үлкен көлемді сэмплинг немесе деректерді өңдеу тапсырмасы. Агенттік инференсті орындайтын әрбір зерттеу тапсырмасының бекітілген қауіпсіздік негіздемесімен байланыстырылуын талап етеміз.

• Инференс қозғалтқышы, немесе қысқаша қозғалтқыш — модельдің өзі. Қозғалтқышты тікелей GPU құрылғыларында жұмыс істейтін модельдің миы деп елестетуге болады. Есептеу тапсырмасы әдетте бір немесе бірнеше модельді пайдаланады. Олар бір немесе бірнеше түрлі инференс қозғалтқышында жұмыс істеуі мүмкін. Бір инференс қозғалтқышын бірнеше түрлі есептеу тапсырмасы пайдалануы мүмкін.

• Control Room қызметі тапсырмаларды қадағалап, олардың модель нәтижелерін алуды жалғастыруына рұқсат беруді басқарады. Қозғалтқыштар сұрауды орындамас бұрын Control Room қызметінен рұқсат тексереді. Тапсырма тоқтатылған болса, қызмет сұрауды қабылдамай, әрі қарай нәтиже шығаруға жол бермейді.

Control Room мынадай тәртіппен біріктірілген:

• Жаңа тапсырма басталғанда, есептеу тапсырмасының коды Control Room жүйесінен жаңа job_id сұрайды.

• Есептеу тапсырмасына модельден токендер алу қажет болған сайын, ол сол модельді іске қосып тұрған инференс қозғалтқышына job_id мәнін қоса жіберіп, сұрау жолдайды. Қозғалтқыш job_id мәнін Control Room жүйесіне жіберіп, осы сұрауды орындауға рұқсат сұрайды.

• Control Room тапсырманың тоқтатылған-тоқтатылмағанын тексереді. Тоқтатылған болса, инференс сұрауын қабылдамайды. Қозғалтқыш есептеу тапсырмасының инференс сұрауына бас тарту жауабын беріп, модельдің сол тапсырма үшін әрі қарай нәтиже шығаруын тоқтатады.

Озық модельдерге арналған барлық күшейтпелі оқыту тапсырмамыз бақылаушы модельмен бірге орындалады. Бақылаушы — оқытылып жатқан модельдің барлық әрекетін тексеретін және мәселе анықтаса, ескерту беретін басқа модель. Мысалы, жуырдағы DNS-ке қатысты оқиғаны⁠(жаңа терезеде ашылады) бақылаушы модель анықтаған.

Control Room мен бақылау жүйеміз мынадай тәртіппен біріктірілген:

• Бақылау жүйесі ықтимал мәселені анықтаса, оның сипаты мен ауырлығына қарай тапсырманы тоқтату туралы шешім қабылдауы мүмкін.

• Бұл жағдайда бақылау жүйесі Control Room жүйесіне job_id мәнін қоса жіберіп, тапсырманы тоқтату туралы хабар жібереді. Control Room тапсырманың тоқтатылғанын тіркейді.

• Осы job_id мәні бар тапсырма келесі жолы кез келген қозғалтқыштағы кез келген модельден қосымша токендер алу үшін инференс сұрауын жіберсе, сұрау қабылданбайды да, модельдің әрі қарай нәтиже шығаруы тоқтайды.

Control Room тапсырманы тоқтату нұсқауын алған сәттен бастап оның әрі қарай орындалуы мүмкін болмайтын сәтке дейін ең көбі 35 секунд өтеді. Бұл 35 секундтық кідіріс қажетті трафик көлемін өңдеу үшін қолданылатын, инференске берілген рұқсаттарды кэштеу қабатынан туындайды. Тапсырмаларды бірден тоқтата алу үшін осы уақытты нөлге дейін қысқартуға тырысып жатырмыз.

Эксперименттер, бағалау тапсырмалары және басқа да есептеу тапсырмалары әдетте зерттеушілердің немесе зерттеу топтарының қарамағында болады және солардың басқаруымен орындалады. Сондықтан есептеу тапсырмаларының коды жиі өзгереді және қауіпсіздіктің негізгі қорғаныс тетіктерін енгізуге ең қолайлы орын емес. Осы себепті жүйеміз есептеу тапсырмасының коды қате істесе немесе мүлде істен шықса да, жұмысын жалғастыра алатындай жасалған.

Бұған тоқтату тетігін инференс қабатына енгізу арқылы қол жеткіземіз. Есептеу тапсырмаларының коды сан алуан әрі орталықтандырылмаған. Ал OpenAI зерттеулерінің барлығында инференс кодының санаулы ғана орындалу жолы қолданылады және олар әлдеқайда орталықтандырылған, бірізді түрде іске қосылады. Демек, инференс қабатын бірыңғай бақылау нүктесі ретінде пайдалана аламыз. Бұл зерттеулерде орындалатын барлық модель инференсінің әрбір сұрау бойынша Control Room рұқсат тексеруінен өтетініне сенімді кепілдік береді. Бұған қоса, пайдаланушылардың Control Room енгізілмеген немесе өшірілген, бақылаудан тыс қозғалтқыш нұсқаларын байқаусызда не әдейі іске қоспағанын агенттер мен бағдарламалық құралдар арқылы үздіксіз тексереміз.

Сондай-ақ жүйеміз «ақау кезінде рұқсатты бұғаттау» қағидасымен жұмыс істейді. Яғни қозғалтқыштардағы Control Room интеграциясы былай бапталған: Control Room қызметі жүйелік қатеден немесе кез келген басқа себеппен, соның ішінде қаскүнемнің араласуынан өшіп қалса, қалыпты жұмысы қалпына келгенше барлық инференс сұрауына тыйым салынады. Ақау кезінде рұқсатты бұғаттау тетігі қазір озық модельдерді зерттеуге арналған барлық есептеу тапсырмасына енгізілген. Алдағы бірнеше күнде оны қалған зерттеу тапсырмаларының бәріне енгізіп бітіреміз.

Control Room — озық модельдерді қауіпсіз оқыту мен қолданысқа енгізуге бағытталған кешенді тәсіліміздің бір бөлігі ғана. Алдағы айларда жүйені нығайтып, ауқымын кеңейтуді жалғастырамыз. Сонымен қатар көзделген мақсаттарға қайшы мінез-құлық пен қауіпсіздік бұзылуын бақылауға да қаражат жұмсаймыз. AGI-ді қауіпсіз әрі қорғалған түрде әзірлеу мен қолданысқа енгізуге арналған жүйелерді құруға үлес қосқыңыз келсе, біз⁠ мамандар іздеп жатырмыз⁠!