Julkaisemme tänään tutkimusesikatselun gpt-oss-safeguardista, avoimen painotuksen päättelymalleistamme turvaluokitustehtäviin, jotka ovat saatavilla kahdessa koossa: gpt-oss-safeguard-120b ja gpt-oss-safeguard-20b. Nämä mallit ovat hienosäädettyjä versioita gpt-oss avoimista malleistamme ja ovat saatavilla samalla Apache 2.0 -lisenssillä, minkä ansiosta niitä voi käyttää, muokata ja ottaa käyttöön vapaasti. Molemmat mallit voi ladata tänään Hugging Face(avautuu uudessa ikkunassa) -sivustolta.
gpt-oss-safeguard-mallit käyttävät päättelyä tulkitakseen suoraan kehittäjän antaman käytännön päättelyhetkellä – luokitellen käyttäjäviestit, vastaukset ja kokonaiset keskustelut kehittäjän tarpeiden mukaan. Kehittäjä päättää aina, mitä käytäntöä käytetään, joten vastaukset ovat asiaankuuluvia ja mukautettuja kehittäjän käyttötapaukseen. Malli käyttää ajatusketjua, jota kehittäjä voi tarkastella, selvittääkseen, miten malli tekee päätöksiään. Lisäksi käytäntö annetaan päättelyn aikana sen sijaan, että se koulutettaisiin mallille, joten kehittäjien on helppo muokata käytäntöjä iteratiivisesti suorituskyvyn parantamiseksi. Tämä lähestymistapa, jonka alun perin kehitimme sisäiseen käyttöön, on huomattavasti joustavampi kuin perinteinen menetelmä, jossa luokittelijaa koulutetaan epäsuorasti päättelemään päätösraja suuresta määrästä merkittyjä esimerkkejä.
gpt-oss-safeguard antaa kehittäjille mahdollisuuden asettaa käyttötapaukseensa parhaiten sopivat käyttörajat. Esimerkiksi videopelien keskustelufoorumi saattaa haluta kehittää käytännön, jolla luokitellaan viestejä, jotka käsittelevät pelissä tapahtuvaa huijaamista, tai tuotearvostelusivusto saattaa haluta käyttää omaa käytäntöään seuloakseen arvosteluja, jotka vaikuttavat todennäköisesti tekaistuilta.
Malli ottaa kerralla kaksi syötettä – käytännön ja kyseisellä käytännöllä luokiteltavan sisällön – ja tuottaa päätelmän siitä, mihin sisältö sijoittuu, sekä sen päättelyn. Kehittäjät päättävät, miten he käyttävät näitä johtopäätöksiä omissa turvatoimissaan, jos lainkaan. Olemme nähneet tämän päättelyyn perustuvan lähestymistavan toimivan erityisen hyvin tilanteissa, joissa:
- Mahdollinen haitta on syntymässä tai kehittymässä, ja käytäntöjen on mukauduttava nopeasti.
- Aihepiiri on hyvin vivahteikas ja pienempien luokittelijoiden on vaikea käsitellä sitä.
- Kehittäjillä ei ole tarpeeksi näytteitä kouluttaakseen korkealaatuista luokittelijaa jokaista alustalla olevaa riskiä varten.
- Viive on vähemmän tärkeää kuin korkealaatuisten ja selitettävien merkintöjen tuottaminen.
Julkaisemme tämän gpt-oss-safeguard-esikatseluversion saadaksemme palautetta tutkimus- ja turvallisuusyhteisöltä ja kehittääksemme mallin suorituskykyä. Työskentelimme kuukausien ajan tämän avoimen painon julkaisun parissa yhdessä ROOSTin(avautuu uudessa ikkunassa) kanssa tunnistaaksemme kehittäjien keskeiset tarpeet, testataksemme mallia ja laatiaksemme kehittäjädokumentaatiota. Osana tätä julkistusta ROOST perustaa tänään käynnistettävän malliyhteisön(avautuu uudessa ikkunassa), joka tutkii avoimia tekoälymalleja verkkotilojen suojaamiseksi. Tämän julkaisun ohella julkaisemme lyhyen teknisen raportin, jossa kerrotaan tarkemmin tämän esikatselumallin turvallisuussuorituskyvystä.
Turvallisuusasioissa uskomme kerrokselliseen puolustukseen. Koulutamme mallejamme vastaamaan turvallisesti ja toteutamme lisäsuojauskerroksia havaitsemaan ja käsittelemään mahdollisesti vaarallisia syötteitä ja tuotoksia käytäntöjemme mukaisesti. Turvaluokittelijat, jotka erottavat turvallisen ja vaarallisen sisällön tietyllä riskialueella, ovat pitkään olleet ensisijainen puolustuskerros, sekä meidän että muiden suurten kielimallien kohdalla.
Perinteiset turvaluokittelijat, kuten Moderation API(avautuu uudessa ikkunassa) -rajapintamme kautta saatavilla olevat, kehitetään kuratoimalla manuaalisesti tuhansia esimerkkejä turvallisesta ja vaarallisesta sisällöstä ennalta määriteltyjen turvakäytäntöjen mukaisesti. Tämän koulutusdatan avulla luokittelija oppii erottamaan turvalliset ja vaaralliset tuotokset. Tässä perinteisessä lähestymistavassa luokittelija ei koskaan itse asiassa näe turvakäytäntöä. Sen sijaan se pyrkii päättelemään esimerkkien luokittelussa käytetyn käytännön etsimällä yhtäläisyyksiä sisällössä, joka on merkitty vaaralliseksi, ja eroja vaarallisen ja turvallisen sisällön välillä.
Perinteisillä luokittelijoilla voi olla korkea suorituskyky, alhainen viive ja edulliset käyttökustannukset. Riittävän esimerkkimäärän kerääminen koulutukseen voi kuitenkin olla aikaa vievää ja kallista, ja käytännön päivittäminen tai muuttaminen vaatii luokittelijan uudelleenkouluttamista.
gpt-oss-safeguard on erilainen, koska sen päättelykyvyt antavat kehittäjille mahdollisuuden soveltaa mitä tahansa käytäntöä, mukaan lukien itse kirjoittamiaan tai muista lähteistä poimittuja käytäntöjä, ja päättely auttaa malleja yleistämään juuri kirjoitettuihin käytäntöihin. Turvakäytäntöjen lisäksi gpt-oss-safeguardia voi käyttää sisällön merkitsemiseen muilla tavoilla, jotka ovat tärkeitä tietyille tuotteille ja alustoille.
Pääasialliset päättelymallimme oppivat nyt turvallisuuskäytäntömme suoraan ja käyttävät päättelykykyään arvioidakseen, mikä on turvallista. Tämä lähestymistapa, jota kutsumme nimellä harkittu linjaus, parantaa merkittävästi aiempia turvallisuuskoulutusmenetelmiä ja tekee päättelymalleistamme useilla osa-alueilla turvallisempia kuin niiden ei-päättelyyn perustuvat edeltäjät, vaikka niiden kyvykkyydet kasvavat. Päättely ei kuitenkaan ole hyödyllistä vain itse mallien kouluttamisessa. Se luo myös uusia mahdollisuuksia kerrokselliseen puolustukseen. Päättelyyn perustuvat lähestymistavat ovat joustavampia ja vähemmän aiemman koulutuksensa yksityiskohtien rajoittamia, etuja, jotka joskus enemmän kuin oikeuttavat niiden edellyttämät lisälaskentakustannukset ja viiveen.
gpt-oss-safeguard on avoimen painotuksen toteutus lähestymistavasta, jonka kehitimme sisäisesti Safety Reasoner -nimisessä työkalussa. Aloitimme vahvistusoppimiseen perustuvan hienosäädön käytäntöjen merkintätehtävissä ja palkitsimme mallia ihmisasiantuntijoiden oikeiden arvioiden peilaamisesta. Se opetti mallia päättelemään, miten käytäntö johtaa sen päätökseen. Nykyään Safety Reasoner auttaa meitä päivittämään turvakäytäntöjämme tuotannossa dynaamisesti nopeammin kuin luokittelijan uudelleenkouluttaminen kestäisi. Se tekee Safety Reasonerista keskeisen työkalun iteratiivisessa käyttöönotossa: kun otamme uusia malleja käyttöön tuotannossa, aloitamme usein tiukemmilla käytännöillä ja käytämme suhteellisen paljon laskentatehoa tarvittaessa, jotta Safety Reasoner voi huolellisesti soveltaa kyseisiä käytäntöjä. Sitten mukautamme käytäntöjämme sitä mukaa, kun ymmärrämme paremmin tuotannossa olevia riskejä. Joissakin viimeaikaisissa julkistuksissamme turvapäättelyyn käytetty osuus kokonaislaskennasta on ollut jopa 16 %.
Safety Reasoner on tullut turvallisuusratkaisumme keskeiseksi osaksi. Kuvan luontia ja Sora 2:ta varten se suorittaa dynaamisia, vaiheittaisia tuotosten arviointeja tunnistaakseen ja estääkseen vaaralliset tuotokset reaaliajassa. Biologian ja itsetuhoisuuden kaltaisilla aloilla suoritamme Moderation API:ssa käytettyjen kaltaisia malleja pieninä, nopeina ja korkean palautuvuuden luokittelijoina määrittämään, mikä sisältö kuuluu kiinnostuksen kohteena olevaan alaan, ja käytämme sitten Safety Reasoneria sisällön tarkastamiseen. Safety Reasoner luokittelee mallin tuotokset tarkan taksonomian avulla määrittääkseen parhaan vastaustavan, ja se on osa monikerroksisia suojatoimiamme järjestelmissä, kuten GPT‑5:ssä ja ChatGPT Agentissa. Lisäksi GPT‑OSS‑Safeguard -mallit tuovat nyt tämän saman lähestymistavan kaikkien saataville.
Arvioimme gpt-oss-safeguard-malleja sekä sisäisillä että ulkoisilla arviointiaineistoilla.
Sisäisessä arvioinnissa annoimme gpt-oss-safeguardille useita käytäntöjä samanaikaisesti päättelyhetkellä. Jokaisen testisyötteen osalta arvioimme, luokitteleeko gpt-oss-safeguard tekstin oikein kaikkien käytettyjen käytäntöjen mukaisesti. Se on haastava tehtävä, koska mallia pidetään tarkkana vain, jos se vastaa täsmälleen kaikkien käytettyjen käytäntöjen kultaisen joukon merkintöjä.
Gpt-oss-safeguard-mallimme ja sisäinen Safety Reasoner päihittävät avoimet gpt-5-thinking- ja gpt-oss-mallit monipolitiikan tarkkuudessa. Gpt-oss-safeguard-mallien parempi suorituskyky verrattuna gpt-5-thinking-malleihin on erityisen yllättävää, kun otetaan huomioon edellisten mallien pieni koko.
Arvioimme näitä malleja edelleen moderointiaineistolla(avautuu uudessa ikkunassa), jonka julkaisimme vuoden 2022 tutkimusjulkaisumme(avautuu uudessa ikkunassa) mukana, ja ToxicChatilla(avautuu uudessa ikkunassa), joka on julkinen vertailuarvo avoimen lähdekoodin keskustelubotille tehtyjen käyttäjäkyselyiden perusteella.
Vuoden 2022 moderoinnin arviointiaineistolla arvioimme sisäisten turvallisuuskäytäntöjemme perusteella (mukauttaen yhtä käytäntöä myöhempien muutosten huomioon ottamiseksi). gpt-oss-safeguard suoriutui hieman paremmin kuin kaikki muut testatut mallit, mukaan lukien sisäinen Safety Reasoner ja gpt-5-thinking, vaikka ero Safety Reasonerin ja gpt-oss-safeguardin välillä ei ole tilastollisesti merkitsevä.
ToxicChatin osalta teimme arvion käyttämällä lyhyttä käsin kirjoitettua kehotetta, jota oli mukautettu joistakin sisäisistä käytännöistämme. Sisäinen Safety Reasonerimme suoriutui jälleen gpt-5-thinking-mallia paremmin, kun taas sekä gpt-5-thinking että Safety Reasoner suoriutuivat vain marginaalisesti paremmin kuin gpt-oss-safeguard-120b ja gpt-oss-safeguard-20b. Odotamme, että gpt-oss-safeguardin suhteellisen pieni koko tekee siitä edelleen suositeltavan tämän tyyppisiin tehtäviin.
Gpt-oss-safeguard-mallissa on kaksi erityistä rajoitusta. Ensinnäkin olemme havainneet, että kymmenillä tuhansilla korkealaatuisesti merkityillä näytteillä koulutetut luokittelijat pystyvät edelleen luokittelemaan sisältöä paremmin kuin gpt-oss-safeguard, kun se päättelee suoraan käytännöstä. Ajan käyttäminen erillisen luokittelijan kouluttamiseen voi olla parempi vaihtoehto paremman suorituskyvyn saavuttamiseksi monimutkaisissa riskeissä.
Toiseksi, gpt-oss-safeguard voi vaatia aikaa ja laskentatehoa, mikä tekee sen skaalaamisesta haastavaa koko alustan sisällölle. Sisäisesti käsittelemme tätä Safety Reasonerin avulla useilla tavoilla: (1) Käytämme pienempiä ja nopeampia luokittelijoita arvioitavan sisällön määrittämiseen. (2) Joissakin olosuhteissa käytämme Safety Reasoneria asynkronisesti tarjoamaan pienen viiveen käyttökokemuksen ja samalla säilytämme mahdollisuuden puuttua asiaan, jos havaitsemme vaarallista sisältöä.
gpt-oss-safeguard on OpenAI:n ensimmäinen yhteisön kanssa rakennettu avoin turvallisuusmallisto. Olemme kehittäneet gpt-oss-safeguardia yhteistyössä SafetyKitin, ROOSTin, Tomoron ja Discordin luotettavuus- ja turvallisuusasiantuntijoiden kanssa osana varhaista testausta. ROOSTin teknologiajohtaja Vinay Rao sanoo: ”gpt-oss-safeguard on ensimmäinen avoimen lähdekoodin päättelymalli, jossa on ’tuo omat käytäntösi ja haittavaikutusten määritelmäsi’ -rakenne. Organisaatioilla on oikeus vapaasti tutkia, muokata ja käyttää kriittisiä suojausteknologioita sekä oikeus innovoida. Testeissämme se oli osaava ymmärtämään erilaisia käytäntöjä, selittämään päättelyään ja osoittamaan vivahteita käytäntöjen soveltamisessa, minkä uskomme olevan hyödyllistä rakentajille ja turvatiimeille.
Jatkamme yhteistyötä yhteisön kanssa parantaaksemme avoimia turvatyökaluja, mukaan lukien ROOST Malli Community (RMC). ROOST Malli Community (RMC) kokoaa yhteen turvallisuusalan ammattilaiset ja tutkijat jakamaan parhaita käytäntöjä avoimen lähdekoodin tekoälymallien toteuttamiseksi turvallisuustyönkuluissa, mukaan lukien arviointitulokset ja mallipalaute. Lisätietoja tästä kumppanuudesta ja osallistumismahdollisuuksista saa RMC GitHub -varastosta(avautuu uudessa ikkunassa).
Voit aloittaa rakentamisen näillä malleilla lataamalla ne Hugging Face(avautuu uudessa ikkunassa)-sivustolta.
