Control Room

Eftir því sem líkönin okkar verða öflugri og áhættan sem þeim fylgir eykst verður sífellt mikilvægara að geta greint hugsanleg vandamál og stöðvað líkönin hratt þegar þörf krefur. Til að mæta þessari þörf bjuggum við til Control Room.

Control Room er miðlægt kerfi sem fylgist með vinnsluverkum líkana í öllum rannsóknarinnviðum okkar og stöðvar þau hratt þegar áhyggjur vakna af öryggi. Það tengir saman öll ályktunarverk í rannsóknarstarfinu, þar á meðal sýnatöku með fulltrúum við þjálfun og mat líkana, gagnavinnslu og fleira. Það vinnur með kerfum okkar sem vakta frávik frá ætluðum markmiðum og stöðvar myndun úttaks frá líkönum innan 35 sekúndna frá ákvörðun um að grípa inn í og stöðva verk eða gera hlé á því. Það er hannað til að halda áfram að virka þótt önnur kerfi bili og stöðva myndun úttaks frá líkönum ef Control Room sjálft fer niður.

Control Room er þegar í notkun í öllum rannsóknarinnviðum okkar, þar sem þörfin er mest. Kerfin sem veita ytri notendum aðgang að líkönunum okkar eru í eðli sínu mun miðlægari. Þar er þegar til staðar vel þróuð rekstrargeta til að taka líkön hratt úr notkun ef þörf krefur.

Control Room samþættir nokkra þætti: vinnsluverkið, ályktunarvélina og miðlægu Control Room-þjónustuna.

• Vinnsluverkið er verkið sem er í keyrslu, svo sem tilraun með styrkingarnám, mat, umfangsmikil sýnataka eða gagnavinnsla. Við krefjumst þess að öll rannsóknarverk sem nota ályktunarvinnslu fulltrúa séu tengd samþykktri öryggisröksemdafærslu.

• Ályktunarvélin, eða einfaldlega vélin, er líkanið sjálft. Líta má á vélina sem heila líkansins, sem keyrir beint á skjáörgjörvum. Vinnsluverk notar yfirleitt eitt eða fleiri líkön, sem kunna að keyra á einni eða fleiri ályktunarvélum. Fleiri en eitt vinnsluverk geta notað sömu ályktunarvélina.

• Control Room-þjónustan fylgist með verkum og stýrir því hvort þau megi halda áfram að láta líkön mynda úttak. Vélarnar hafa samband við Control Room-þjónustuna áður en þær afgreiða beiðni. Ef verk hefur verið stöðvað hafnar þjónustan beiðninni og kemur þannig í veg fyrir frekara úttak.

Control Room er samþætt á eftirfarandi hátt:

• Þegar nýtt verk er ræst biður kóði vinnsluverksins Control Room um nýtt job_id.

• Í hvert sinn sem vinnsluverkið þarf að taka sýni af tókum úr líkani sendir það beiðni til ályktunarvélar sem keyrir líkanið og lætur job_id fylgja. Vélin biður Control Room um heimild til að afgreiða beiðnina og sendir job_id áfram til Control Room.

• Control Room athugar hvort verkið hafi verið stöðvað og hafnar ályktunarbeiðninni ef svo er. Vélin svarar ályktunarbeiðni vinnsluverksins með synjun og kemur þannig í veg fyrir að líkanið myndi frekara úttak fyrir það verk.

Öll styrkingarnámsverk okkar fyrir háþróuð líkön keyra með vöktunarlíkani. Vöktunarlíkan er annað líkan sem skoðar allt sem líkanið í þjálfun gerir og sendir viðvörun ef það greinir vandamál. Til dæmis greindi vöktunarlíkan nýlegt atvik sem tengdist DNS⁠(opnast í nýjum glugga) hjá okkur.

Control Room og vöktunarkerfið okkar eru samþætt á eftirfarandi hátt:

• Ef vöktunarkerfið greinir hugsanlegt vandamál getur það ákveðið að stöðva verkið, eftir eðli og alvarleika vandans.

• Þá sendir vöktunarkerfið skilaboð til Control Room um að stöðva verkið og lætur job_id fylgja. Control Room skráir að verkið hafi verið stöðvað.

• Næst þegar verkið með þetta job_id sendir ályktunarbeiðni um að taka fleiri sýni af tókum verður henni hafnað, óháð því hvaða líkan á í hlut og óháð því hvaða vél það keyrir á. Þannig er komið í veg fyrir frekara úttak frá líkönum.

Frá því að Control Room fær fyrirmæli um að stöðva verk líða að hámarki 35 sekúndur þar til frekari vinnsla er útilokuð. Þessi 35 sekúndna töf stafar af skyndiminnislagi fyrir heimildir til ályktunarvinnslu, sem þarf til að anna umferðinni. Við vinnum að því að eyða þessari töf svo við getum stöðvað verk samstundis.

Rannsakendur eða rannsóknarteymi hafa yfirleitt umsjón með vinnsluverkum, svo sem tilraunum og matsverkum, og sjá um keyrslu þeirra. Því breytist kóði vinnsluverkanna oft og hentar ekki vel til að innleiða mikilvægar varnir sem öryggi kerfisins byggist á. Af þessum sökum er útfærslan okkar hönnuð til að þola galla eða bilanir í kóða vinnsluverkanna.

Við náum þessu fram með því að útfæra stöðvunarbúnaðinn í ályktunarlaginu. Kóði vinnsluverkanna er mjög fjölbreyttur og dreifður. Hins vegar eru aðeins örfáar kóðaleiðir fyrir ályktunarvinnslu notaðar í öllum rannsóknum OpenAI og uppsetningar þeirra eru mun miðlægari og samræmdari. Ályktunarlagið getur því þjónað sem sameiginlegur eftirlitspunktur. Þar getum við tryggt með mikilli vissu að við hverja ályktunarbeiðni í rannsóknarstarfinu séu heimildir kannaðar hjá Control Room. Við látum einnig fulltrúa og hefðbundin forrit stöðugt leita að því hvort notendur hafi óvart eða af ásetningi ræst óheimilar útfærslur á vélum þar sem Control Room hefur ekki verið innleitt eða verið gert óvirkt.

Að lokum „lokar kerfið við bilun“. Það þýðir að samþætting Control Room við vélarnar er stillt þannig að ef Control Room-þjónustan fer niður er öllum ályktunarbeiðnum hafnað þar til hún starfar eðlilega á ný. Þetta gildir hvort sem orsökin er kerfisvilla eða þjónustan hefur verið gerð óvirk af öðrum sökum, þar á meðal vegna íhlutunar illviljaðs aðila. Lokun við bilun hefur nú verið innleidd fyrir öll vinnsluverk við rannsóknir á háþróuðum líkönum og innleiðingu hennar fyrir öll önnur rannsóknarverk lýkur á næstu dögum.

Control Room er aðeins einn þáttur í heildrænni nálgun okkar að öruggri þjálfun og notkun háþróaðra líkana. Við höldum áfram að styrkja og útvíkka kerfið á næstu mánuðum, samhliða fjárfestingu okkar í eftirliti með hegðun sem samræmist ekki ætluðum markmiðum og öryggisbrotum. Ef þú vilt hjálpa til við að byggja kerfi sem tryggja örugga þróun og notkun AGG, þá erum við⁠ að ráða⁠!