Control Room

Како што нашите модели стануваат помоќни, а поврзаните ризици за безбедноста и сигурноста растат, сè поважно е да можеме да откриеме потенцијални проблеми и брзо да ја запреме работата на моделите кога е потребно. За да го овозможиме тоа, го изградивме Control Room.

Control Room е централен систем за следење на работните задачи со модели низ нашата истражувачка инфраструктура и нивно брзо запирање кога ќе се појави загриженост за безбедноста или сигурноста. Тој ги поврзува сите истражувачки работни задачи што користат инференција, вклучувајќи генерирање примероци со агенти за обука и евалуација на модели, обработка на податоци и друго. Системот работи заедно со нашите системи за следење на неусогласеност и го запира генерирањето излезни резултати од моделите во рок од 35 секунди по одлуката да се интервенира со запирање или паузирање на задача. Изграден е да продолжи да работи дури и кога други системи ќе откажат, а ако самиот Control Room престане да работи, да го запре генерирањето излезни резултати од моделите.

Control Room веќе е воведен низ нашата истражувачка инфраструктура, каде што потребата е најголема. Нашата инфраструктура за опслужување на надворешни корисници со модели по својата природа веќе е многу поцентрализирана и има добро развиени оперативни можности за брзо исклучување на моделите од употреба кога е потребно.

Control Room функционира преку интеграција на неколку системи: работната задача, механизмот за инференција и централизираната услуга Control Room.

• Работната задача е задачата што се извршува, како експеримент со зајакнување на учењето, евалуација, генерирање голем обем примероци или обработка на податоци. Бараме секоја истражувачка работна задача што врши инференција со агенти да биде поврзана со одобрено образложение за безбедноста.

• Механизмот за инференција, или само механизмот, е самиот модел. Механизмот може да го замислите како мозокот на моделот, кој работи директно на графички процесори. Една работна задача обично користи еден или повеќе модели, кои може да работат на еден или повеќе различни механизми за инференција. Истиот механизам за инференција може да го користат повеќе различни работни задачи.

• Услугата Control Room ги следи задачите и контролира дали смеат да продолжат да генерираат излезни резултати од моделите. Пред да исполнат барање, механизмите проверуваат кај услугата Control Room дали имаат дозвола. Ако задачата е запрена, услугата го одбива барањето и го спречува понатамошното генерирање резултати.

Control Room е интегриран на следниов начин:

• При стартување нова задача, кодот на работната задача бара нов job_id од Control Room.

• Секогаш кога работната задача треба да генерира токени од модел, испраќа барање до механизмот за инференција на кој работи моделот, проследувајќи го job_id. Механизмот бара дозвола од Control Room да го исполни тоа барање и му го проследува job_id.

• Control Room проверува дали задачата е прекината и, ако е така, го одбива барањето за инференција. Механизмот одговара со одбивање на барањето за инференција од работната задача, со што го запира понатамошното генерирање излезни резултати од моделот за таа задача.

Сите наши задачи за зајакнување на учењето кај граничните модели се извршуваат со модел за надзор. Моделот за надзор е друг модел што проверува сè што прави моделот што се обучува и испраќа предупредување ако открие проблем. На пример, нашиот неодамнешен инцидент поврзан со DNS⁠(се отвора во нов прозорец) беше откриен од модел за надзор.

Control Room и нашиот систем за следење се интегрирани на следниов начин:

• Ако системот за следење открие потенцијален проблем, може да одлучи да ја запре задачата во зависност од околностите и сериозноста на проблемот.

• Во тој случај, системот за следење испраќа порака до Control Room да ја запре задачата, проследувајќи го job_id. Control Room бележи дека задачата е прекината.

• Следниот пат кога задачата со тој job_id ќе испрати барање за инференција за да генерира уште токени од кој било модел што работи на кој било механизам, барањето ќе биде одбиено, со што ќе се запре понатамошното генерирање излезни резултати од моделот.

Од моментот кога Control Room ќе добие наредба да запре задача до моментот кога нејзиното понатамошно извршување веќе не е можно поминуваат најмногу 35 секунди. Доцнењето од 35 секунди се должи на слој за кеширање на овластувањата за инференција, неопходен за поддршка на потребниот обем на сообраќај. Работиме на тоа да го сведеме ова време на нула за да можеме веднаш да ги прекинуваме задачите.

Работните задачи, вклучувајќи експерименти, евалуации и слично, обично се во надлежност на истражувачи или истражувачки тимови, кои и ги извршуваат. Поради тоа, кодот на работните задачи често се менува и не е идеално место за спроведување на клучните заштитни мерки врз кои се потпира безбедноста. Затоа, нашата имплементација е осмислена да биде отпорна на грешки или неисправности во кодот на работните задачи.

Ова го постигнуваме со имплементирање на механизмот за прекинување во слојот за инференција. Кодот на работните задачи е многу разновиден и децентрализиран. Наспроти тоа, во сите истражувања на OpenAI се користат само мал број патеки за извршување на кодот за инференција, а нивното пуштање во работа е многу поцентрализирано и поеднообразно. Тоа значи дека слојот за инференција може да служи како задолжителна контролна точка, каде што можеме да добиеме силни гаранции дека секое барање за инференција од модел во истражувањата подлежи на проверка на овластувањето од Control Room. Дополнително, постојано вршиме проверки со агенти и со програмски средства за да се увериме дека корисниците случајно или злонамерно не стартуваат неовластени имплементации на механизми во кои Control Room не е имплементиран или е оневозможен.

На крај, нашиот систем „блокира при откажување“. Тоа значи дека интеграцијата на Control Room во механизмите е конфигурирана така што, ако услугата Control Room престане да работи поради системска грешка или биде оневозможена од која било друга причина, вклучувајќи злонамерна интервенција, сите барања за инференција ќе бидат одбиени додека Control Room не продолжи со нормална работа. Блокирањето при откажување веќе е воведено за сите истражувачки работни задачи со гранични модели, а во следните неколку дена ќе биде воведено и за сите преостанати истражувачки работни задачи.

Control Room е само еден дел од нашиот сеопфатен пристап кон безбедна обука и пуштање во употреба на гранични модели. Во наредните месеци ќе продолжиме да го зајакнуваме и прошируваме системот, паралелно со вложувањата во следење на неусогласено однесување и нарушувања на сигурноста. Ако сакате да помогнете во изградбата на системи за безбеден и сигурен развој и пуштање во употреба на AGI, бараме⁠ нови колеги⁠!