GPT‑4

Oleme loonud GPT‑4, mis on OpenAI süvaõppe edasiarendamise jõupingutuste viimane verstapost. GPT‑4 on suur multimodaalne mudel (aktsepteerib pildi- ja tekstisisendeid, väljastab tekstiväljundeid), mis on paljudes reaalsetes olukordades inimestest küll vähem võimekas, kuid näitab mitmesugustel professionaalsetel ja akadeemilistel võrdlusalustel inimtasemel tulemusi. Näiteks sooritab see simuleeritud advokaadieksami, saavutades tulemuse, mis on umbes 10% parimate testitegijate seas; seevastu GPT‑3.5 skoor oli umbes alumise 10% hulgas. Oleme 6 kuu vältel GPT‑4 mudelit iteratiivselt joondanud⁠, kasutades õppetunde meie vastandimudeli alusel testimise programmist ja ChatGPT‑st, saavutades seni parimad tulemused (kuigi mitte täiuslikud) faktilisuses, juhitavuses ja kaitsepiirangutest väljapoole minemise vältimises.

Viimase kahe aasta jooksul oleme ümber ehitanud kogu oma süvaõppe platvormi ja koos Azure'iga loonud meie töökoormuse jaoks täiesti uue superarvuti. Aasta tagasi koolitasime GPT‑3.5 süsteemi esimese „katseversioonina”. Leidsime ja parandasime mõned vead ning täiendasime oma teoreetilisi aluseid. Selle tulemusena oli meie GPT‑4 koolitusprotsess enneolematult stabiilne (vähemalt meie jaoks!), saades meie esimeseks suureks mudeliks, mille koolitustulemusi suutsime täpselt ette ennustada. Kuna keskendume jätkuvalt usaldusväärsele skaleerimisele, on meie eesmärk oma metoodikat lihvida, et saaksime tulevast võimekust üha pikemalt ette ennustada ja selleks valmistuda – midagi, mida peame ohutuse seisukohast väga oluliseks.

Avaldame GPT‑4 tekstisisestuse funktsiooni ChatGPT ja API kaudu (koos ootenimekirjaga⁠). Pildisisendi kasutamise võimekuse laiemalt kättesaadavaks tegemiseks valmistudes teeme alustuseks tihedat koostööd ühe partneriga⁠(avaneb uues aknas). Samuti teema avatud lähtekoodina kättesaadavaks OpenAI Evals⁠(avaneb uues aknas) raamistiku tehisaru mudelite jõudluse automatiseeritud hindamiseks, et igaüks saaks teatada meie mudelite puudustest ja aidata kaasa edasiste parenduste tegemisele.

Tavavestluses võib GPT‑3.5 ja GPT‑4 mudelite erinevus olla väga väike. Erinevus ilmneb siis, kui ülesande keerukus saavutab piisava künnise –GPT‑4 on usaldusväärsem, loomingulisem ja suudab käsitseda palju nüansirikkamaid juhiseid kui GPT‑3.5.

Kahe mudeli erinevuse mõistmiseks testisime neid mitmesuguste võrdlusaluste baasil, sealhulgas simuleerides algselt inimestele mõeldud eksameid. Me kasutasime kõige uuemaid avalikult kättesaadavaid teste (olümpiaadide ja valikvastusega küsimuste puhul) või ostsime 2022–2023. aasta harjutustestide väljaandeid. Me ei teinud nende eksamite jaoks mingit konkreetset koolitust. Mudel nägi koolituse ajal väikest osa eksamiküsimustest, kuid usume, et tulemused on representatiivsed –üksikasjad leiate meie tehnilisest aruandest⁠(avaneb uues aknas).

siseviide ¹

Hindasime GPT‑4 mudelit ka traditsiooniliste masinõppe mudelite jaoks loodud võrdlusaluste alusel. GPT‑4 ületab oluliselt olemasolevaid suuri keelemudeleid ning enamikku tipptasemel (SOTA) mudeleid, mis võivad sisaldada võrdlusaluse-spetsiifilisi konstruktsioone või täiendavaid koolitusprotokolle:

Paljud olemasolevad masinõppe võrdlusuuringud on kirjutatud inglise keeles. Et saada esialgne ülevaade võimekusest teistes keeltes, tõlkisime MMLU võrdlusaluse—14 000 valikvastusega probleemi komplekti, mis hõlmab 57 teemat—Azure Translate'i abil erinevatesse keeltesse (vt lisa⁠). 24-l juhul 26-st testitud keelest ületab GPT‑4 inglise keelde tõlkimise võimekuse poolest GPT‑3.5 mudelit ja teisi suuri keelemudeleid (LLM) (Chinchilla, PaLM), sealhulgas piiratud andmestikuga keelte, nagu läti, kõmri ja suahiili, puhul:

Oleme kasutanud GPT‑4 mudelit ka asutusesiseselt, mis on mõjutanud oluliselt selliseid funktsioone nagu tugi, müük, sisu modereerimine ja programmeerimine. Me kasutame seda ka inimeste abistamiseks tehisaru väljundite hindamisel, alustades oma joondamisstrateegia⁠ teist etappi.

GPT‑4 võtab vastu teksti- ja pildiviipasid, mis – sarnaselt ainult teksti sisestamise võimalusele – võimaldab kasutajal määrata mis tahes nägemis- või keeleülesande. Konkreetsemalt genereerib see tekstiväljundid (inimkeeles, koodis jne), sisendite põhjal, mis koosnevad tekstist ja piltidest. GPT‑4 võimekus erinevates valdkondades – sealhulgas teksti ja fotosid sisaldavate dokumentide, diagrammide või kuvatõmmiste puhul – sarnaneb selle võimekusega tekstipõhiste sisendite töötlemisel. Lisaks saab seda täiendada testimise ajal kasutatavate tehnikatega, mis on välja töötatud ainult tekstipõhiste keelemudelite jaoks, sealhulgas mitme näitega ja mõttelõnga⁠(avaneb uues aknas) promptimine. Pildisisendi kasutamine on endiselt uurimistöö tasemel ja pole avalikult kättesaadav.

Hindame GPT‑4 jõudlust, vastandades selle kitsa standardsete akadeemilise visiooni võrdlusaluste kogumile. Kuid need numbrid ei kajasta täielikult selle võimekust, kuna avastame pidevalt uusi ja põnevaid ülesandeid, mida mudel suudab lahendada. Kavatseme peagi avaldada täiendavaid analüüse ja hindamisandmeid ning põhjalikult uurida testimistehnikate mõju.

siseviide^A

Oleme töötanud kõigi meie tehisarude käitumise määratlemist⁠ käsitlevas postituses esiletoodud plaani aspektide, sealhulgas juhitavuse, kallal. Selle asemel, et kasutada klassikalist ChatGPT isiksus, millel on kindel sõnavara, toon ja stiil, saavad arendajad (ja peagi ka ChatGPT kasutajad) nüüd oma tehisaru stiili ja ülesande ise määrata, kirjeldades neid juhiseid „süsteemisõnumis”. Süsteemisõnumid võimaldavad API kasutajatel oma kasutajakogemust teatud piirides⁠(avaneb uues aknas) oluliselt kohandada. Jätkame selle koha pealt täiustuste tegemist (ja teame eriti hästi, et süsteemisõnumid on lihtsaim viis praeguse mudeli piirangutest kõrvale hiilimiseks, st piirangute järgimine pole täiuslik), kuid julgustame sind seda proovima ja oma arvamust meiega jagama.

Vaatamata oma võimekusele on GPT‑4 mudelil sarnased piirangud nagu varasematel GPT‑mudelitel. Mis kõige tähtsam, see ei ole ikka veel täiesti usaldusväärne (see „hallutsineerib” fakte ja teeb arutlusvigu). Keelemudeli väljundite kasutamisel tuleb olla väga ettevaatlik, eriti suure riskiga kontekstide puhul, kus täpne protokoll (näiteks inimese analüüs, täiendava kontekstiga toetamine või suure riskiga kasutuste täielik vältimine) peab vastama konkreetse kasutusjuhtumi vajadustele.

Kuigi see on endiselt tõsine probleem, vähendab GPT‑4 hallutsinatsioone varasemate mudelitega võrreldes (mis on iga iteratsiooniga ise paranenud) märkimisväärselt. GPT‑4 saavutab meie sisemistes vastandlikes faktilisuse hindamistes 40% kõrgema tulemuse kui meie viimane GPT‑3.5:

Oleme teinud edusamme selliste väliste võrdlusalustega nagu TruthfulQA, mis testib mudeli võimet eraldada fakte vastandlikult valitud valeväidete hulgast. Nendele küsimustele on lisatud faktiliselt valed vastused, mis on statistiliselt atraktiivsed.

GPT‑4 baasmudel on selles ülesandes vaid veidi parem kui GPT‑3.5. Samas pärast RLHF-meetodil⁠ koolitust (rakendades sama protsessi, mida kasutasime GPT‑3.5⁠ puhul) on erinevus märkimisväärne. Allpool toodud näidete põhjal võib öelda, et GPT‑4 tõrgub valimast üldtuntud väljendeid (vanale koerale uusi trikke ei õpeta, kuid võib peenemad nüansid (Elvis Presley polnud näitleja poeg) kahe silma vahele jätta.

Mudeli väljundid võivad olla mitmel moel kallutatud – oleme selles osas edusamme teinud, kuid teha on veel palju. Nagu kirjeldasime ka oma hiljutises blogipostituses⁠ on meie eesmärk luua tehisarusüsteemid, millel on mõistlikud vaikimisi käitumismudelid, mis peegeldavad laia kasutajaskonna väärtushinnanguid, võimaldavad neid süsteeme laiade laias ulatuses kohandada ja koguda avalikkuse arvamusi selle kohta, millised need piirangud peaksid olema.

GPT‑4 mudel pole üldiselt teadlik sündmustest, mis juhtusid pärast selle andmestiku koostamise lõpetamist (september 2021), ja see ei õpi oma kogemustest. Mõnikord võib see teha lihtsaid arutlusvigu, mis ei tundu sobivat kokku pädevusega paljude valdkondade lõikes, või olla liiga kergeusklik, aktsepteerides kasutajalt ilmselgelt valesid väiteid. Ja mõnikord võib see jääda keeruliste probleemide lahendamisel hätta samamoodi nagu inimesed, näiteks tekitades enda loodud koodi turvaauke.

GPT‑4 võib oma ennustustes ka enesekindlalt eksida, kuna ei kontrolli oma tööd uuesti, kui on tõenäoline, et see teeb vea. Huvitaval kombel on eelnevalt treenitud baasmudel väga hästi kalibreeritud (selle ennustatud kindlus vastuse suhtes vastab üldiselt õigesti vastamise tõenäosusele). Meie praeguse koolitusjärgse protsessi tulemusena on kalibreerimine siiski vähenenud.

Oleme GPT‑4 kallal pidevalt töötanud, et muuta see turvalisemaks ja koolitusprotsessi algusest peale paremini joondatuks, tehes selleks jõupingutusi, nagu koolitusandmete valik ja filtreerimine, hindamised ja ekspertide kaasamine, mudeli ohutuse parandamine ning jälgimine ja jõustamine.

GPT‑4 mudeliga kaasnevad sarnased riskid, nagu varasemate mudelitega, näiteks kahjulike nõuannete, vigase koodi või ebatäpse teabe pakkumine. Siiski toovad GPT‑4 lisavõimalused kaasa uusi riske. Nende riskide ulatuse mõistmiseks kaasasime selle vastasemudeli meetodil testimiseks üle 50 eksperdi sellistest valdkondadest nagu tehisintellekti joondamise riskid, küberturvalisus, bioriskid, usaldus ja ohutus ning rahvusvaheline julgeolek. Nende järeldused võimaldasid meil testida mudeli käitumist kõrge riskiga valdkondades, mille hindamiseks on vaja eriteadmisi. Nende ekspertide tagasiside ja andmed aitasid meil mudelit täiustada ja parendada. Näiteks oleme kogunud täiendavaid andmeid, et parandada GPT‑4 võimet keelduda vastamast ohtlike kemikaalide sünteesimist puudutavatele päringutele.

GPT‑4 mudelile antakse RLHF-koolituse käigus täiendav ohutu käitumise eest tasustav signaal, et vähendada kahjulikke väljundeid (nagu on määratletud meie kasutustingimustes⁠(avaneb uues aknas)), treenides mudelit sellise sisuga päringutest keelduma. Tasustamise eest vastutab GPT‑4 näideteta promptimise klassifikaator, mis hindab ohutusega seotud viipade põhjal ohutuspiire ja väljundi stiili. Selleks, et mudel ei keelduks ohututest päringutest, koostame erinevate allikate põhjal mitmekesise andmestiku (nt märgistatud tootmisandmed, inimestest vastased, mudeli koostatud viiped) ja rakendame ohutuse eest tasustavat signaali (positiivse või negatiivse väärtusega) nii lubatud kui ka keelatud kategooriatele. 

Meie leevendusmeetmed on GPT‑4 ohutusomadusi võrreldes GPT‑3.5 mudeliga oluliselt parandanud. Oleme vähendanud mudeli kalduvust vastata keelatud sisuga päringutele 82% võrra võrreldes GPT‑3.5‑ga ning GPT‑4 vastab 29% sagedamini tundlikele päringutele (nt meditsiiniline nõustamine ja enesevigastamine) vastavalt meie poliitikale.

Üldiselt raskendab meie mudelitasandi sekkumine halva käitumise esilekutsumist, kuid see on siiski võimalik. Lisaks on endiselt olemas kõrvalehiilimise meetodeid (jailbreak), mille abil saab luua meie kasutustingimusi⁠ rikkuvat sisu. Kuna tehisarusüsteemide „risk tokeni kohta“ suureneb, on väga oluline saavutada nende sekkumiste äärmiselt suur usaldusväärsus; praegu on oluline täiendada neid piiranguid kasutuselevõtul rakendatavate ohutusmeetoditega, nagu võimaliku kuritarvituse suhtes jälgimine.

GPT‑4 ja selle järgnevad mudelid võivad ühiskonda oluliselt mõjutada nii positiivsel kui ka negatiivsel viisil. Teeme koostööd väliste teadlastega, et parandada meie arusaamist võimalikest mõjudest ning koostada hinnanguid ohtlike võimete kohta, mille tuleviku süsteemid võivad omandada. Peagi jagame rohkem oma mõtteid GPT‑4 ja teiste tehisarusüsteemide võimaliku sotsiaalse ja majandusliku mõju kohta.

Nagu varasemate GPT‑mudelite puhul, koolitati ka GPT‑4 baasmudelit ennustama dokumendi järgmist sõna, kasutades selleks nii avalikult kättesaadavaid andmeid (nt internetiandmeid) kui ka meie litsentsitud andmeid. Andmed on veebipõhine andmekorpus, mis sisaldab matemaatikaülesannete õigeid ja valesid lahendusi, nõrku ja tugevaid arutluskäike, vasturääkivaid ja järjepidevaid väiteid, ning esindab suurt hulka ideoloogiaid ja ideid.

Seega, kui talle esitatakse küsimus, võib baasmudel vastata mitmel erineval viisil, mis ei pruugi ühtida kasutaja kavatsusega. Kasutaja kavatsusega kooskõlla viimiseks piirangute raames arendame mudeli käitumist, kasutades kinnistavat õppimist inimeste tagasisidega(RLHF).⁠

Huvitav on see, et mudeli võimekus näib tulenevat peamiselt eelnevast koolitusprotsessist – RLHF ei paranda eksamisooritust (ilma aktiivse pingutuseta see tegelikult halveneb). Kuid mudeli suunamine toimub järgneva koolitusprotsessi käigus – baasmudel vajab viiba tehnoloogiat, et üldse teada, et see peaks küsimustele vastama.

GPT‑4 projekti peamine eesmärk on olnud ennustatavalt skaleeritava süvaõppeplatvormi loomine. Peamine põhjus on see, et väga suure mahuga koolitusprotsesside puhul, nagu GPT‑4 õpetmaisel, ei ole võimalik teha ulatuslikku mudelispetsiifilist häälestust. Töötasime välja raamistiku ja optimeerimismeetodi, mis toimivad erinevatel tasanditel väga etteaimatavalt. Selle mastaabitavuse kontrollimiseks ennustasime täpselt GPT‑4 lõplikku kaotust meie sisemises koodibaasis (mis ei ole osa koolituspaketist), ekstrapoleerides mudelitest, mida treeniti sama metoodika abil, kuid kasutades 10 000 korda väiksemat arvutusvõimsust:

Nüüd, kui suudame täpselt ennustada koolitamise ajal optimeeritavat mõõdikut (kaotus), hakkame välja töötama metoodikat, et ennustada paremini tõlgendatavaid mõõdikuid. Näiteks ennustasime edukalt läbimise määra HumanEval⁠(avaneb uues aknas) andmestiku alamhulgas, ekstrapoleerides mudelitest, mille arvutusvõimsus on 1000 korda väiksem:

Mõningaid võimeid on endiselt raske ennustada. Näiteks oli Inverse Scaling Prize võistlus, mille eesmärk oli leida mõõdik, mis halveneb mudeli arvutusvõimsuse suurenemisel, ja tagajärjest tulenev erapoolikus⁠(avaneb uues aknas) oli üks võitjaid. Nagu ka ühe teise hiljutise tulemuse⁠(avaneb uues aknas) puhul, pöörab GPT‑4 trendi ümber:

Usume, et masinõppe tulevaste võimaluste täpne ennustamine on oluline osa ohutusest, millele ei pöörata selle võimalikku mõju arvestades piisavalt tähelepanu (kuigi mitme asutuse jõupingutused on meid julgustanud). Suurendame oma jõupingutusi, et töötada välja meetodid, mis annaksid ühiskonnale paremaid suuniseid selle kohta, mida tulevastelt süsteemidelt oodata, ja loodame, et sellest saab valdkonna ühine eesmärk.

OpenAI Evals⁠(avaneb uues aknas) on meie avatud lähtekoodiga tarkvararaamistik võrdlusaluste loomiseks ja käitamiseks, et hinnata mudeleid, nagu GPT‑4, kontrollides nende jõudlust eksemplaride kaupa. Kasutame Evalsi oma mudelite arendamise suunamiseks (nii puuduste tuvastamiseks kui ka regressioonide vältimiseks) ning meie kasutajad saavad seda rakendada mudeliversioonide (mis hakkavad nüüd regulaarselt välja tulema) toimivuse jälgimiseks ja tooteintegratsioonide arendamiseks. Näiteks on Stripe kasutanud Evalsi oma inimhinnangute täiendamiseks ja oma GPT‑põhise dokumenteerimistööriista täpsuse mõõtmiseks.

Kuna lähtekood on täies mahus avatud, toetab Evals uute klasside kirjutamist kohandatud hindamisloogika⁠(avaneb uues aknas) rakendamiseks. Meie enda kogemuste põhjal järgivad paljud võrdlusalused siiski ühte mõnedest „mallidest”, seega oleme lisanud ka meile kõige kasulikumad mallid⁠(avaneb uues aknas) (sealhulgas malli „mudelipõhiste hinnangute” jaoks – oleme avastanud, et GPT‑4 on üllatavalt võimeline oma tööd ise kontrollima). Üldiselt on kõige tõhusam viis uue hindamismudeli loomiseks⁠(avaneb uues aknas) esitada andmed ja üks neist mallidest isendada. Ootame põnevusega, mida teised suudavad nende mallide ja Evalsiga üldisemalt luua.

Loodame, et Evalsist saab vahend, mille abil jagada ja ühiselt luua võrdlusaluseid, mis esindavad võimalikult laia valikut tõrkeid ja keerulisi ülesandeid. Järgneva näitena oleme loonud loogikamõistatuste⁠(avaneb uues aknas) hindamisraamistiku, mis sisaldab kümmet viipa, millele GPT‑4 ei oska vastata. Evals võimaldab rakendada ka olemasolevaid võrdlusaluseid; oleme näitena lisanud mitu märkmikku⁠(avaneb uues aknas), milles rakendatakse akadeemilisi võrdlusaluseid, ja mõned CoQA⁠(avaneb uues aknas) (väikeste alamhulkade) integreerimise variatsioonid.

Kutsume kõiki kasutama Evalsi meie mudelite testimiseks ja kõige huvitavamaid näiteid ka jagama. Usume, et Evals saab olema meie mudelite kasutamise ja edasiarendamise protsessi lahutamatu osa ning oleme väga tänulikud panustamise, küsimuste ja tagasiside⁠(avaneb uues aknas) eest.

ChatGPT Plus tellijad saavad juurdepääsu mudelile GPT‑4 ChatGPT.com⁠(avaneb uues aknas) lehel koos kasutuse piirmääraga. Seame täpse kasutuse piirmäära vastavalt nõudlusele ja süsteemi tegelikule jõudlusele, kuid eeldame, et meie võimsus on esialgu tõsiselt piiratud (kuigi suurendame ja optimeerime seda lähikuudel).

Sõltuvalt liiklusmustritest võime suurema mahuga GPT‑4 kasutamiseks kasutusele võtta uue püsitellimuse taseme; loodame mingil hetkel pakkuda ka teatud hulka tasuta GPT‑4 päringuid, et ka püsitellimuseta inimesed saaksid seda proovida.

Juurdepääsu saamiseks GPT‑4 API-le (mis kasutab sama ChatCompletions API-t⁠(avaneb uues aknas) kui gpt-3.5-turbo), registreeru meie ootenimekirja⁠. Alustame praegu mõnede arendajate kaasamisega ja suurendame mahte järk-järgult, et tasakaalustada võimekust ja nõudlust. Kui oled teadlane, kes uurib tehisintellekti või tehisintellekti joondumise probleemide ühiskondlikku mõju, võid taotleda subsideeritud juurdepääsu ka meie teadustöötajate kaasamisprogrammi (Researcher Access Program)⁠ kaudu.

Pärast juurdepääsu saamist saad teha ainult tekstipõhiseid päringuid GPT‑4 mudelile (pildisisendi kasutamine on endiselt piiratud alfastaadiumis), mida me uuendame aja jooksul uute versioonide loomisel automaatselt meie soovitatud stabiilse mudeliga (saad praeguse versiooni kinnitada, aktiveerides gpt-4-0314, mida toetame kuni 14. juunini). Hinnastamine on 0,03 dollarit 1000 sisendi tokeni kohta ja 0,06 dollarit 1000 väljundi tokeni kohta. Vaikimisi määrade piirangud on 40 000 tokenit minutis ja 200 päringut minutis.

GPT‑4 konteksti aken on 8192 tokenit. Samuti pakume piiratud juurdepääsu meie 32 768 tokeniga (umbes 50 lehekülge teksti) konteksti akna versioonile GPT‑4‑32k, mida värskendatakse aja jooksul automaatselt (praegune versioon on GPT‑4‑32k‑0314, toetatakse kuni 14. juunini). Hinnastamine on 0,06 dollarit 1000 sisendi tokeni kohta ja 0,12 dollarit 1000 väljundi tokeni kohta. Täiustame endiselt mudeli kvaliteeti suurema konteksti akna jaoks ja oleksime tänulikud tagasiside eest selle kohta, kuidas see sinu kasutusjuhtumi puhul toimib. Me töötleme 8K ja 32K mootorite taotlusi erineva kiirusega vastavalt võimsusele, seega võid saada neile juurdepääsu erinevatel aegadel.

Soovime, et GPT‑4‑st saaks väärtuslik vahend, mis parandab inimeste elu, pakkudes tuge paljudele rakendustele. Teha on veel palju ja loodame, et suudame seda mudelit parandada kogukonna ühiste jõupingutuste kaudu, mis arendavad mudelid edasi, uurivad seda ja panustavad sellesse.

Lisateabe saamiseks: Loe artiklit⁠(avaneb uues aknas) / Vaata süsteemikaarti⁠(avaneb uues aknas) / Proovi mudelit ChatGPT Plus⁠(avaneb uues aknas) / Proovi mudelit Playground⁠(avaneb uues aknas) / Vaata uuesti demo otseülekannet⁠(avaneb uues aknas) / Panusta OpenAI Evals raamistikku⁠(avaneb uues aknas)

Näide oskuste mitmekesisuse hindamise analüüs (MMLU) küsimustest, mis on tõlgitud teistesse keeltesse. Pane tähele, et kasutame järjepidevaid valikutokeneid (A–D):