Control Room

Habang mas lumalakas ang aming mga modelo at lumalaki ang kaakibat na panganib sa kaligtasan at seguridad, lalong nagiging mahalaga na matukoy namin ang mga posibleng problema at mabilis na maihinto ang mga modelo kapag kinakailangan. Para matugunan ito, binuo namin ang Control Room.

Ang Control Room ay isang sentral na sistema para subaybayan ang mga workload ng modelo sa aming buong imprastraktura ng pananaliksik at mabilis na ihinto ang mga ito kapag may mga alalahanin sa kaligtasan o seguridad. Ikinokonekta nito ang bawat workload ng inference sa pananaliksik, kabilang ang sampling gamit ang mga agent para sa pagsasanay at pagsusuri ng modelo, pagproseso ng data, at iba pa. Gumagana ito kasama ng aming mga sistema ng pagsubaybay sa misalignment, at pinatitigil nito ang output ng modelo sa loob ng 35 segundo mula sa desisyong mamagitan upang ihinto o pansamantalang ihinto ang isang job. Binuo ito upang patuloy na gumana kahit pumalya ang ibang mga sistema, at upang ihinto ang output ng modelo kung mismong Control Room ang hindi gumana.

Naka-deploy na ang Control Room sa aming buong imprastraktura ng pananaliksik, kung saan ito pinakakailangan. Likas nang mas sentralisado ang aming stack para sa paghahatid ng mga modelo sa mga panlabas na user, at mayroon itong matatag na kakayahang operasyonal para mabilis na ihinto ang mga naka-deploy na modelo kung kinakailangan.

Gumagana ang Control Room sa pamamagitan ng pag-uugnay ng ilang sistema: ang workload, ang inference engine, at ang sentralisadong serbisyo ng Control Room.

• Ang workload ay ang job na pinapatakbo, gaya ng eksperimento sa pagpapatibay ng pag-aaral, pagsusuri, o job para sa malakihang sampling o pagproseso ng data. Inaatasan namin na ang bawat workload sa pananaliksik na nagsasagawa ng inference gamit ang mga agent ay maiugnay sa isang aprobadong batayan ng kaligtasan.

• Ang inference engine, o engine lang, ay ang mismong modelo. Maihahambing ang engine sa utak ng modelo, na direktang tumatakbo sa mga GPU. Karaniwang gumagamit ang isang workload ng isa o higit pang modelo, na maaaring tumatakbo sa isa o higit pang magkakaibang inference engine. Maaaring gamitin ng higit sa isang workload ang iisang inference engine.

• Sinusubaybayan ng serbisyo ng Control Room ang mga job at kinokontrol kung papayagan ang mga ito na patuloy na bumuo ng output ng modelo. Kumukonsulta ang mga engine sa serbisyo ng Control Room bago tugunan ang isang kahilingan. Kung naihinto na ang isang job, tinatanggihan ng serbisyo ang kahilingan upang wala nang mailabas na output.

Ganito isinasama ang Control Room sa proseso:

• Kapag nagsisimula ng bagong job, humihiling ang code ng workload ng bagong job_id mula sa Control Room.

• Sa tuwing kailangang mag-sample ng mga token mula sa isang modelo ang workload, nagpapadala ito ng kahilingan sa inference engine na nagpapatakbo ng modelong iyon, kasama ang job_id. Humihingi ang engine ng pahintulot sa Control Room para tugunan ang kahilingang iyon, at ipinapasa rin nito ang job_id sa Control Room.

• Sinusuri ng Control Room kung naihinto na ang job na iyon, at kung oo, tinatanggihan nito ang kahilingan sa inference. Tumatanggi ang engine sa kahilingan sa inference ng workload, kaya hindi na makakabuo ng karagdagang output ang modelo para sa job na iyon.

Lahat ng aming job para sa pagpapatibay ng pag-aaral ng mga frontier na modelo ay tumatakbo nang may tagasubaybay. Ang tagasubaybay ay isa pang modelo na sumusuri sa lahat ng ginagawa ng modelong sinasanay at nagbibigay ng alerto kung may matukoy itong problema. Halimbawa, natukoy ng isang tagasubaybay ang aming kamakailang insidenteng may kaugnayan sa DNS⁠(magbubukas sa bagong window).

Ganito pinag-uugnay ang Control Room at ang aming sistema ng pagsubaybay:

• Kung may matukoy na posibleng problema ang sistema ng pagsubaybay, maaari nitong piliing ihinto ang job depende sa mga detalye at kalubhaan nito.

• Sa ganitong sitwasyon, nagpapadala ang sistema ng pagsubaybay ng mensahe sa Control Room para ihinto ang job, kasama ang job_id. Itinatala ng Control Room na naihinto na ang job.

• Sa susunod na magpadala ang job na may ganoong job_id ng kahilingan sa inference para mag-sample ng higit pang token mula sa anumang modelo na tumatakbo sa anumang engine, tatanggihan ang kahilingan, kaya wala nang ilalabas na output ang modelo.

Hindi lalampas sa 35 segundo mula sa pagtanggap ng Control Room ng utos na ihinto ang isang job hanggang sa puntong hindi na ito makakapagpatuloy. Ang 35 segundong pagkaantala ay dulot ng caching layer para sa awtorisasyon ng inference, na ginagamit upang kayanin ang kinakailangang dami ng trapiko. Sinisikap naming gawing zero ang tagal na ito para maihinto namin kaagad ang mga job.

Ang mga workload, kabilang ang mga eksperimento, trabaho para sa pagsusuri, at iba pa, ay karaniwang pag-aari at pinapatakbo ng mga mananaliksik o pangkat ng mga mananaliksik. Dahil dito, madalas magbago ang code ng workload, kaya hindi ito ang pinakamainam na lugar para ipatupad ang mahahalagang proteksyong sandigan ng kaligtasan. Kaya idinisenyo namin ang aming implementasyon upang patuloy na gumana kahit may bug o sira ang code ng workload.

Nagagawa namin ito sa pamamagitan ng pagpapatupad ng mekanismo ng paghinto sa inference layer. Lubhang magkakaiba ang code ng mga workload at hindi sentralisado ang mga ito. Sa kabilang banda, kakaunti lang ang mga code path para sa inference na ginagamit sa lahat ng pananaliksik ng OpenAI, at higit na sentralisado at pare-pareho ang pag-deploy ng mga ito. Ibig sabihin, maaaring magsilbing iisang daanan ang inference layer kung saan matitiyak namin nang may mataas na kumpiyansa na lahat ng inference ng modelo sa pananaliksik ay sumasailalim sa pagsusuri ng awtorisasyon ng Control Room sa bawat kahilingan sa inference. Patuloy rin kaming nagsasagawa ng mga pagsusuyod gamit ang mga agent at programa upang tiyaking hindi aksidente o sadyang nagpapatakbo ang mga user ng mga hindi awtorisadong implementasyon ng engine na walang Control Room o naka-disable ito.

Panghuli, “nagsasara kapag pumalya” ang aming sistema. Ibig sabihin, naka-configure ang integrasyon ng Control Room sa mga engine upang tanggihan ang lahat ng kahilingan sa inference kapag hindi gumana ang serbisyo ng Control Room—dahil man sa error sa sistema o dahil na-disable ito sa anumang dahilan, kabilang ang pakikialam ng taong may masamang layunin—hanggang sa bumalik sa normal ang operasyon ng Control Room. Naipatupad na ang pagsasara kapag pumalya sa lahat ng workload para sa pananaliksik sa mga frontier na modelo, at matatapos ang pagpapatupad nito sa lahat ng natitirang workload sa pananaliksik sa mga susunod na araw.

Isang bahagi lang ang Control Room ng aming komprehensibong diskarte sa ligtas na pagsasanay at pag-deploy ng mga frontier na modelo. Patuloy naming palalakasin at palalawakin ang sistema sa mga darating na buwan, kasabay ng aming pamumuhunan sa pagsubaybay sa mga pag-uugaling lihis sa nilalayong layunin at mga paglabag sa seguridad. Kung gusto mong tumulong sa pagbuo ng mga sistema para sa ligtas at protektadong pagbuo at pag-deploy ng AGI, naghahanap kami⁠ ng mga bagong empleyado⁠!