Kielimallien mukauttaminen noudattamaan ohjeita

Olemme kouluttaneet kielimalleja, jotka seuraavat käyttäjien aikomuksia paljon paremmin kuin GPT‑3 ja tekevät niistä myös totuudenmukaisempia ja vähemmän toksisia käyttämällä linjaustutkimuksemme kautta kehittämiämme tekniikoita. Nämä InstructGPT-mallit, jotka koulutetaan ihmisten kanssa, ovat nyt käytössä oletuskielimallina API-rajapinnassamme.

OpenAI API -rajapinta perustuu GPT‑3‑kielimalleihin⁠, jotka voidaan houkutella suorittamaan luonnollisen kielen tehtäviä huolellisesti suunniteltujen tekstikehotteiden avulla. Nämä mallit voivat kuitenkin myös tuottaa tuotoksia, jotka ovat epätotuudenmukaisia, toksisia tai heijastavat haitallisia tunteita. Se johtuu osittain siitä, että GPT‑3 on koulutettu ennustamaan seuraava sana suuresta internet-tekstiaineistosta sen sijaan, että se suorittaisi turvallisesti käyttäjän haluaman kielitehtävän. Toisin sanoen nämä mallit eivät ole yhdenmukaisia käyttäjiensä kanssa.

Jotta mallimme olisivat turvallisempia, hyödyllisempiä ja yhdenmukaisempia, käytämme tekniikkaa nimeltä vahvistusoppiminen ihmispalautteesta (RLHF)⁠. Asiakkaidemme API:in lähettämien kehotteiden perusteella merkitsijämme näyttävät esityksiä halutusta mallin toiminnasta ja luokittelevat useita malliemme tuotoksia. Sitten käytämme näitä tietoja GPT‑3:n hienosäätöön.

Tuloksena olevat InstructGPT‑mallit noudattavat ohjeita paljon paremmin kuin GPT‑3. Ne myös keksivät faktoja harvemmin ja osoittavat jonkin verran vähemmän toksisten tuotosten luomista. Merkitsijämme suosivat 1.3B InstructGPT -mallimme tuotoksia 175B GPT‑3 -mallin tuotoksiin verrattuna, vaikka siinä on yli 100 kertaa vähemmän parametreja. Samaan aikaan osoitamme, että meidän ei tarvitse tinkiä GPT‑3:n ominaisuuksista mitattuna mallimme suoriutumisella akateemisissa NLP-arvioinneissa.

Nämä InstructGPT‑mallit, jotka ovat olleet API:n beeta-vaiheessa yli vuoden, ovat nyt API:ssamme käytettävissä olevia oletuskielimalleja.^B Uskomme, että kielimallien hienosäätö ihmisten kanssa on tehokas työkalu niiden turvallisuuden ja luotettavuuden parantamiseksi, ja jatkamme kehittämistä tähän suuntaan.

Tämä on ensimmäinen kerta, kun useiden⁠ vuosien ajan⁠ tekemäämme⁠ linjaustutkimusta^{1, 2 ja 3} on sovellettu tuotteeseemme. Työmme liittyy myös viimeaikaiseen tutkimukseen, jossa hienosäädetään kielimalleja noudattamaan ohjeita akateemisten NLP-tietojoukkojen, erityisesti FLAN'in⁴ ja T0:n, avulla.⁵ Työmme keskeinen motivaatio on lisätä hyödyllisyyttä ja totuudenmukaisuutta samalla, kun lievennetään kielimallien haittoja ja vinoumia.^{6, 7, 8, 9 ja 10} Joissakin aiemmissa tämänsuuntaisissa tutkimuksissamme⁠ on havaittu, että voimme vähentää haitallisia tuotoksia hienosäätämällä pientä kuratoitua ihmisdemonstraatioiden tietojoukkoa.¹¹ Muissa tutkimuksissa on keskitytty koulutusta edeltävän tietojoukon suodattamiseen,¹² turvallisuuskohtaisiin ohjaustunnuksiin^{13 ja 14} tai mallien luomisen ohjaamiseen.^{15 ja 16} Tutkimme näitä ja muita ideoita meneillään olevassa yhdenmukaistamistutkimuksessamme.

Ensin arvioimme, kuinka hyvin InstructGPT:n tuotokset noudattavat käyttäjän ohjeita, vertaamalla sen tuotoksia GPT‑3:n tuloksiin. Olemme havainneet, että InstructGPT‑malleja suositaan merkittävästi sekä InstructGPT- että GPT‑3‑malleille API:n kautta lähetetyissä kehotteissa. Tämä pätee, kun lisäämme etuliitteen GPT‑3‑kehotteeseen, jotta se siirtyy ns. käskyjä seuraavaan tilaan.

Malliemme turvallisuuden mittaamiseen käytämme ensisijaisesti joukkoa olemassa olevia mittareita julkisesti saatavilla olevista tietojoukoista. Verrattuna GPT‑3:een InstructGPT tuottaa vähemmän matkivia valheita (TruthfulQA'n¹⁷ mukaan) ja on vähemmän toksinen (RealToxicityPromptsin¹⁸ mukaan). Suoritamme myös ihmisten tekemiä arviointeja API-kehotteiden jakelusta ja olemme havainneet, että InstructGPT keksii tosiasioita (nk. hallusinoi) harvemmin ja tuottaa sopivampia tuloksia.^C

Lopuksi havaitsimme, että InstructGPT‑tuotoksia suositaan asiakasjakelussamme FLAN⁴- ja T0⁵-tuotoksiin verrattuna. Se osoittaa, että FLAN'in ja T0:n kouluttamiseen käytetyt tiedot, jotka ovat enimmäkseen akateemisia NLP-tehtäviä, eivät täysin edusta sitä, miten käyttöön otettuja kielimalleja käytetään käytännössä.

InstructGPT‑mallien kouluttamisessa ydintekniikkamme on ihmisen palautteeseen perustuva vahvistusoppiminen (RLHF)⁠ eli menetelmä, jota olimme mukana kehittämässä aiemmassa linjaustutkimuksessamme. Tämä tekniikka käyttää ihmisen mieltymyksiä palkitsemissignaalina malliemme hienosäätöön. Se on tärkeää, koska ratkaisemamme turvallisuus- ja kohdistusongelmat ovat monimutkaisia ​​ja subjektiivisia, eivätkä yksinkertaiset automaattiset mittarit täysin tallenna niitä.

Keräämme ensin tietojoukon ihmisen kirjoittamista demonstraatioista API:lle lähetetyistä kehotteista ja käytämme tätä ohjatun oppimisen perustasojemme kouluttamiseen. Seuraavaksi keräämme joukon ihmisen merkitsemiä vertailuja kahden mallin tuotosten välillä suuremmalla joukolla API-kehotteita. Sitten koulutamme palkitsemismallin (RM) tälle tietojoukolle ennustaaksemme, mitä tuotosta merkintöjen tekijät suosivat. Lopuksi käytämme tätä palkitsemismallia palkitsemisfunktiona ja hienosäädämme GPT‑3‑käytäntöämme tämän palkkion maksimoimiseksi käyttämällä PPO-algoritmia⁠.

Yksi tapa ajatella tätä prosessia on, että se tuo käyttöön ominaisuuksia, jotka GPT‑3:lla jo oli, mutta joita oli vaikea saada aikaan pelkällä nopealla suunnittelulla. Se johtuu siitä, että koulutusmenetelmämme kyky opettaa mallille uusia ominaisuuksia on rajallinen verrattuna esikoulutuksen aikana opittuun, koska se käyttää alle 2 % laskennasta ja datasta mallin esikoulutukseen verrattuna.

Tämän lähestymistavan rajoituksena on, että se tuo mukanaan eräänlaisen yhdenmukaistusveron: mallien yhdenmukaistaminen vain asiakastehtävien kanssa voi heikentää niiden suorituskykyä joissakin muissa akateemisissa NLP-tehtävissä. Se ei ole toivottavaa, koska jos kohdistustekniikkamme heikentävät malleja ihmisille tärkeissä tehtävissä, niitä ei todennäköisesti käytännössä oteta käyttöön. Olemme löytäneet yksinkertaisen algoritmisen muutoksen, joka minimoi tämän yhdenmukaistusveron: RL-hienosäädön aikana sekoitamme joukkoon pienen osan GPT‑3:n kouluttamiseen käytetystä alkuperäisestä datasta ja koulutamme tätä dataa normaalilla logaritmisen uskottavuuden maksimoinnilla.^D Se ylläpitää suurin piirtein samanlaista suorituskykyä turvallisuuden ja ihmismieltymysten osalta samalla, kun se lieventää suorituskyvyn laskuja akateemisissa tehtävissä ja useissa tapauksissa jopa ylittää GPT‑3:n perustason.

Menettelytapamme yhdenmukaistaa malliemme käyttäytymisen sekä malliemme kouluttamiseen käytettävän datan merkitsijöiden mieltymysten että meidän tutkijoidemme mieltymysten kanssa, jotka ohjaamme merkitsijöiden toimintaa kirjallisten ohjeiden, esimerkeistä annettavan suoran palautteen ja epävirallisten keskustelujen avulla. Siihen vaikuttavat myös asiakkaamme ja API-käytäntöihimme epäsuorasti sisältyvät mieltymykset. Valitsimme merkintöjen tekijät, jotka suoriutuivat hyvin seulontatestissä, jossa arvioitiin kykyä tunnistaa ja vastata arkaluonteisiin kysymyksiin. Nämä erilaiset dataan vaikuttavat tekijät eivät kuitenkaan takaa, että mallimme ovat linjassa minkään laajemman ryhmän mieltymysten kanssa.

Teimme kaksi koetta tämän selvittämiseksi. Ensin arvioimme GPT‑3:a ja InstructGPT:tä käyttämällä poissaolevia merkitsijöitä^E, jotka eivät tuottaneet mitään koulutusdataa. Havaitsimme, että nämä merkitsijät suosivat InstructGPT‑mallien tuotoksia suunnilleen samaan tahtiin kuin koulutusmerkitsijämme. Toiseksi koulutamme palkitsemismalleja merkitsijöiden osajoukon datan perusteella ja olemme havainneet, että ne kykenevät hyvin ennustamaan eri merkitsijöiden osajoukon mieltymyksiä. Se viittaa siihen, että mallimme eivät ole pelkästään sopeutuneet liikaa koulutusmerkitsijöiden mieltymyksiin. Tarvitaan kuitenkin lisää tutkimusta sen selvittämiseksi, miten nämä mallit toimivat laajemmilla käyttäjäryhmillä ja miten ne toimivat syötteissä, joissa ihmiset ovat eri mieltä halutusta toiminnasta.

Merkittävästä edistyksestä huolimatta InstructGPT‑mallimme ovat kaikkea muuta kuin täysin yhdenmukaisia ​​tai turvallisia. Ne tuottavat edelleen toksisia tai puolueellisia tuotoksia, keksivät tosiasioita ja tuottavat seksuaalista ja väkivaltaista sisältöä ilman nimenomaista kehotusta. Koneoppimisjärjestelmän turvallisuus ei kuitenkaan riipu pelkästään pohjana olevien mallien käyttäytymisestä, vaan myös siitä, miten näitä malleja käytetään. API-rajapintamme turvallisuuden tukemiseksi jatkamme potentiaalisten sovellusten tarkastamista⁠(avautuu uudessa ikkunassa) ennen niiden julkaisemista, tarjoamme sisältösuodattimia vaarallisten täydennysten havaitsemiseksi ja valvomme väärinkäytön varalta.

Mallien kouluttamisen sivutuotteena käyttäjän ohjeiden noudattamiseen on se, että ne voivat olla alttiimpia väärinkäytöksille, jos niitä käsketään tuottamaan vaarallisia tuotoksia. Sen ratkaiseminen edellyttää, että mallimme kieltäytyvät tietyistä ohjeista. Sen tekeminen luotettavaksi on tärkeä avoin tutkimusongelma, johon olemme innolla tarttumassa.

Lisäksi monissa tapauksissa keskimääräisen merkitsijän mieltymysten mukauttaminen ei välttämättä ole toivottavaa. Esimerkiksi luotaessa tekstiä, joka vaikuttaa suhteettomasti johonkin vähemmistöryhmään, kyseisen ryhmän mieltymyksiä tulisi painottaa enemmän. Tällä hetkellä InstructGPT on koulutettu noudattamaan englanninkielisiä ohjeita. Siksi se on puolueellinen englantia puhuvien ihmisten kulttuuriarvojen suhteen. Tutkimme merkitsijöiden mieltymysten välisiä eroja ja erimielisyyksiä, jotta voimme ehdollistaa mallimme tiettyjen populaatioiden arvoihin. Yleisemmin ottaen mallien tulosten yhdenmukaistaminen tiettyjen ihmisten arvojen kanssa tuo mukanaan vaikeita valintoja, joilla on yhteiskunnallisia vaikutuksia. Lopulta meidän on luotava vastuulliset ja osallistavat prosessit näiden päätösten tekemiseksi.

Tämä on linjaustutkimuksemme ensimmäinen sovellus tuotteeseemme. Tuloksemme osoittavat, että nämä tekniikat parantavat merkittävästi yleiskäyttöisten tekoälyjärjestelmien ja ihmisten tarkoitusperien yhteensopivuutta. Tämä on kuitenkin vasta alkua: jatkamme näiden tekniikoiden kehittämistä parantaaksemme nykyisten ja tulevien malliemme yhdenmukaisuutta kohti ihmisille turvallisia ja hyödyllisiä kielityökaluja.

Jos olet kiinnostunut näistä tutkimussuunnista, tule meille töihin⁠(avautuu uudessa ikkunassa)!