Control Room

Kun malliemme kyvykkyys kasvaa ja niihin liittyvät turvallisuus- ja tietoturvariskit suurenevat, on yhä tärkeämpää pystyä havaitsemaan mahdolliset ongelmat ja pysäyttämään mallien toiminta tarvittaessa nopeasti. Tätä varten kehitimme Control Roomin.

Control Room on keskitetty järjestelmä, jolla seurataan mallien työkuormia koko tutkimusinfrastruktuurissamme ja pysäytetään ne nopeasti, jos turvallisuus- tai tietoturvahuolia ilmenee. Se yhdistää kaikki tutkimuksen päättelytyökuormat, kuten mallien koulutuksessa ja arvioinnissa käytettävän agenttipohjaisen näytteistyksen sekä tietojenkäsittelyn. Se toimii yhdessä tavoitteiden vastaista toimintaa valvovien järjestelmiemme kanssa ja pysäyttää mallin tuotoksen generoinnin 35 sekunnin kuluessa päätöksestä pysäyttää tai keskeyttää ajo. Se on rakennettu toimimaan myös muiden järjestelmien vikaantuessa ja pysäyttämään mallin tuotoksen generoinnin, jos Control Room itse lakkaa toimimasta.

Control Room on jo käytössä koko tutkimusinfrastruktuurissamme, jossa tarve on suurin. Ulkoisille käyttäjille malleja tarjoava teknologiapinomme on jo luonteeltaan huomattavasti keskitetympi, ja meillä on vakiintuneet toimintavalmiudet poistaa mallien käyttöönotot nopeasti käytöstä tarvittaessa.

Control Room yhdistää muutaman järjestelmän: työkuorman, päättelymoottorin ja keskitetyn Control Room -palvelun.

• Työkuorma on suoritettava ajo, kuten vahvistusoppimiskoe, arviointi tai laajamittainen näytteistys- tai tietojenkäsittelyajo. Edellytämme, että jokainen agenttipohjaista päättelyä käyttävä tutkimustyökuorma on liitetty hyväksyttyyn turvallisuusperusteluun.

• Päättelymoottori eli lyhyesti moottori on itse malli. Moottoria voi ajatella mallin aivoina, jotka toimivat suoraan grafiikkasuorittimilla. Työkuorma käyttää yleensä yhtä tai useampaa mallia, joita voidaan ajaa yhdellä tai useammalla eri päättelymoottorilla. Samaa päättelymoottoria voi käyttää useampi kuin yksi työkuorma.

• Control Room -palvelu seuraa ajoja ja määrää, saavatko ne jatkaa mallin tuotoksen generointia. Moottorit tarkistavat luvan Control Room -palvelusta ennen pyynnön toteuttamista. Jos ajo on pysäytetty, palvelu hylkää pyynnön ja estää lisätuotoksen generoinnin.

Control Room on integroitu seuraavasti:

• Kun uusi ajo käynnistetään, työkuorman koodi pyytää Control Roomilta uuden job_id-tunnisteen.

• Aina kun työkuorman on näytteistettävä tokeneita mallista, se lähettää pyynnön mallia ajavalle päättelymoottorille ja välittää mukana job_id-tunnisteen. Moottori pyytää Control Roomilta lupaa toteuttaa pyynnön ja välittää job_id-tunnisteen Control Roomille.

• Control Room tarkistaa, onko ajo lopetettu. Jos on, se hylkää päättelypyynnön. Moottori vastaa työkuorman päättelypyyntöön kieltäytymällä, jolloin mallin tuotosta ei enää generoida kyseiselle ajolle.

Kaikissa edistyneiden malliemme vahvistusoppimisajoissa on käytössä valvontamalli. Valvontamalli on toinen malli, joka tarkkailee koulutettavan mallin kaikkea toimintaa ja antaa hälytyksen havaitessaan ongelman. Esimerkiksi äskettäinen DNS:ään liittyvä poikkeamatilanteemme⁠(avautuu uudessa ikkunassa) havaittiin valvontamallin avulla.

Control Room ja valvontajärjestelmämme on integroitu seuraavasti:

• Jos valvontajärjestelmä havaitsee mahdollisen ongelman, se voi päättää pysäyttää ajon ongelman luonteen ja vakavuuden perusteella.

• Tällöin valvontajärjestelmä lähettää Control Roomille viestin ajon pysäyttämiseksi ja välittää mukana job_id-tunnisteen. Control Room kirjaa ajon lopetetuksi.

• Kun samalla job_id-tunnisteella toimiva ajo seuraavan kerran lähettää päättelypyynnön näytteistääkseen lisää tokeneita mistä tahansa mallista millä tahansa moottorilla, pyyntö hylätään ja mallin tuotoksen generointi pysähtyy.

Siitä, kun Control Room saa ohjeen pysäyttää ajon, kuluu enintään 35 sekuntia siihen, ettei ajo voi enää edetä. 35 sekunnin viive johtuu päättelylupien välimuistikerroksesta, jota tarvitaan suuren liikennemäärän käsittelyyn. Pyrimme lyhentämään viiveen nollaan, jotta voimme lopettaa ajot välittömästi.

Työkuormat, kuten kokeet ja arviointiajot, ovat yleensä tutkijoiden tai tutkijaryhmien vastuulla ja hallinnassa. Siksi työkuormien koodi muuttuu usein, eikä se ole ihanteellinen paikka kriittisten turvatoimien toteuttamiseen. Tästä syystä toteutuksemme on suunniteltu kestämään työkuormien koodissa olevia virheitä ja vikoja.

Tämä onnistuu toteuttamalla lopetusmekanismi päättelykerroksessa. Työkuormien koodi on hyvin vaihtelevaa ja hajautettua. Sen sijaan koko OpenAI:n tutkimuksessa käytetään vain hyvin harvoja päättelyn koodipolkuja, ja niiden käyttöönotot ovat huomattavasti keskitetympiä ja yhdenmukaisempia. Päättelykerros voi siis toimia valvontapisteenä, jossa voimme varmistaa luotettavasti, että kaikki tutkimuksessa ajettava mallien päättely käy läpi Control Roomin lupatarkistuksen jokaisen päättelypyynnön yhteydessä. Lisäksi teemme jatkuvasti agenttipohjaisia ja ohjelmallisia tarkistuksia varmistaaksemme, etteivät käyttäjät vahingossa tai tahallaan käynnistä luvattomia päättelymoottoritoteutuksia, joissa Control Room puuttuu tai on poistettu käytöstä.

Järjestelmämme myös estää toiminnan häiriötilanteessa: moottorien Control Room -integraatio on määritetty niin, että jos Control Room -palvelu lakkaa toimimasta järjestelmävirheen tai muun syyn, kuten pahantahtoisen peukaloinnin, vuoksi, kaikki päättelypyynnöt hylätään, kunnes Control Room toimii taas normaalisti. Häiriötilanteessa toiminnan estävä toimintatapa on nyt käytössä kaikissa edistyneiden mallien tutkimustyökuormissa. Sen käyttöönotto kaikissa muissa tutkimustyökuormissa valmistuu lähipäivinä.

Control Room on vain yksi osa kokonaisvaltaista lähestymistapaamme edistyneiden mallien turvalliseen koulutukseen ja käyttöönottoon. Jatkamme järjestelmän vahvistamista ja laajentamista tulevina kuukausina. Samalla panostamme valvontaan, jolla havaitaan tavoitteiden vastaista toimintaa ja tietoturvaloukkauksia. Jos haluat auttaa rakentamaan järjestelmiä AGI:n turvallista ja tietoturvallista kehitystä ja käyttöönottoa varten, tutustu⁠ avoimiin työpaikkoihimme⁠!