Control Room

Како наши модели постају моћнији, а пратећи ризици по безбедност и сигурност расту, све је важније да можемо да откријемо потенцијалне проблеме и, када затреба, брзо зауставимо рад модела. Да бисмо то омогућили, направили смо Control Room.

Control Room је централни систем за праћење радних задатака модела широм наше истраживачке инфраструктуре и њихово брзо заустављање када се појави забринутост за безбедност или сигурност. Он повезује све истраживачке радне задатке који користе инференцију, укључујући узорковање помоћу агената за обуку и евалуацију модела, обраду података и друго. Ради заједно са нашим системима за праћење неусклађености и зауставља генерисање излаза модела у року од 35 секунди од одлуке да се задатак заустави или паузира. Направљен је тако да настави да ради чак и када други системи откажу, а да заустави генерисање излаза модела ако сам Control Room престане да ради.

Control Room је већ уведен широм наше истраживачке инфраструктуре, где је потреба за њим највећа. Наша инфраструктура за пружање услуга модела спољним корисницима већ је по природи знатно централизованија, са добро развијеним оперативним могућностима за брзо искључивање модела из употребе када је то потребно.

Control Room функционише повезивањем неколико система: радног задатка, механизма за инференцију и централизоване услуге Control Room.

• Радни задатак је задатак који се извршава, попут експеримента са подстицајним учењем, евалуације, обимног узорковања или обраде података. Захтевамо да сваки истраживачки радни задатак који користи агентску инференцију буде повезан са одобреним образложењем безбедности.

• Механизам за инференцију, или само механизам, јесте сам модел. Механизам можете замислити као мозак модела, који ради директно на графичким процесорима. Радни задатак обично користи један или више модела, који могу да раде на једном или више различитих механизама за инференцију. Исти механизам за инференцију може да користи више различитих радних задатака.

• Услуга Control Room прати задатке и одређује да ли смеју да наставе да генеришу излаз модела. Пре испуњавања захтева, механизми проверавају одобрење код услуге Control Room. Ако је задатак заустављен, услуга одбија захтев и спречава даље генерисање излаза.

Control Room је интегрисан на следећи начин:

• При покретању новог задатка, код радног задатка тражи нови job_id од система Control Room.

• Кад год радни задатак треба да узоркује токене из модела, шаље захтев механизму за инференцију на ком тај модел ради и прослеђује job_id. Механизам тражи дозволу од система Control Room да испуни тај захтев, прослеђујући му job_id.

• Control Room проверава да ли је тај задатак прекинут и, ако јесте, одбија захтев за инференцију. Механизам одбија захтев радног задатка за инференцију и тиме зауставља даље генерисање излаза модела за тај задатак.

Сви наши задаци подстицајног учења граничних модела извршавају се уз надзорни модел. Надзорни модел је други модел који проверава све што модел на обуци ради и шаље упозорење ако открије проблем. На пример, наш недавни инцидент повезан са DNS-ом⁠(отвара се у новом прозору) открио је надзорни модел.

Control Room и наш систем за надзор повезани су на следећи начин:

• Ако систем за надзор открије потенцијални проблем, може да одлучи да заустави задатак, у зависности од околности и озбиљности проблема.

• У том случају, систем за надзор шаље систему Control Room поруку да заустави задатак, уз његов job_id. Control Room бележи да је задатак прекинут.

• Када задатак са тим job_id следећи пут пошаље захтев за инференцију како би узорковао још токена из било ког модела на било ком механизму, захтев ће бити одбијен, чиме се зауставља даље генерисање излаза модела.

Од тренутка када Control Room прими налог за заустављање задатка до тренутка када даље извршавање више није могуће може проћи највише 35 секунди. Ово кашњење од 35 секунди потиче од слоја за кеширање одобрења за инференцију, који омогућава обраду потребног обима саобраћаја. Радимо на томе да ово време сведемо на нулу како бисмо задатке могли да зауставимо одмах.

За радне задатке, укључујући експерименте, евалуације и слично, обично су задужени истраживачи или истраживачки тимови, који их и извршавају. Зато се код радних задатака често мења и није идеално место за уградњу кључних мера на којима почива безбедност. Наше решење је стога осмишљено тако да буде отпорно на грешке или кварове у коду радних задатака.

То постижемо уградњом механизма за прекид у слој за инференцију. Код радних задатака веома је разноврстан и децентрализован. Насупрот томе, у свим истраживањима компаније OpenAI користи се тек неколико путања извршавања кода за инференцију, а њихово увођење у рад знатно је централизованије и уједначеније. То значи да слој за инференцију може да служи као обавезна контролна тачка, што нам даје чврсте гаранције да сваки захтев за инференцију модела у истраживањима подлеже провери одобрења у систему Control Room. Поред тога, непрекидно спроводимо провере помоћу агената и програма како бисмо утврдили да корисници, случајно или намерно, не покрећу неовлашћене имплементације механизама за инференцију у којима Control Room није уграђен или је онемогућен.

На крају, наш систем „у случају отказа блокира приступ“. То значи да је интеграција система Control Room у механизме за инференцију подешена тако да, ако услуга Control Room престане да ради, било због системске грешке или искључивања из било ког другог разлога, укључујући злонамерно ометање, сви захтеви за инференцију буду одбијени док Control Room не настави нормалан рад. Блокирање приступа у случају отказа сада је уведено за све истраживачке радне задатке са граничним моделима, а у наредних неколико дана биће уведено и за све преостале истраживачке радне задатке.

Control Room је само један део нашег свеобухватног приступа безбедној обуци и примени граничних модела. У наредним месецима наставићемо да јачамо и проширујемо систем, уз улагања у надзор ради откривања понашања неусклађеног са намерама људи и нарушавања сигурности. Ако желите да помогнете у изградњи система за безбедан и сигуран развој и примену AGI, погледајте⁠ отворене позиције⁠!