GPT‑4

Við höfum búið til GPT‑4, nýjasta áfangann í viðleitni OpenAI til að auka umfang djúpnáms. GPT‑4 er stórt fjölþáttalíkan (tekur við mynd- og textainntökum, gefur frá sér textafrálag) sem, þó að það sé ekki eins fært og menn í mörgum raunverulegum aðstæðum, sýnir frammistöðu á mannlegu stigi á ýmsum faglegum og fræðilegum viðmiðum. Til dæmis stenst það hermt lögmannspróf með einkunn sem er í kringum efstu 10% próftakenda; aftur á móti var einkunn GPT‑3.5 um það bil í neðstu 10%. Við höfum varið 6 mánuðum í að samræma⁠ GPT‑4 ítrekað með því að nýta lærdóma úr mótstöðuprófunaráætlun okkar og ChatGPT, sem hefur leitt til okkar bestu niðurstaðna hingað til (þó langt frá því að vera fullkomnar) varðandi staðreyndaleik, stýranleika og að halda sig innan öryggisramma.

Undanfarin tvö ár höfum við endurbyggt allan djúpnámsstafla okkar og, ásamt Azure, hannað ofurtölvu frá grunni fyrir vinnuálag okkar. Fyrir ári síðan þjálfuðum við GPT‑3.5 sem fyrstu „prufukeyrslu“ kerfisins. Við fundum og löguðum nokkrar villur og bættum fræðilegan grunn okkar. Fyrir vikið var prufukeyrsla GPT‑4 okkar (fyrir okkur að minnsta kosti!) fordæmalaust stöðugt og varð fyrsta stóra líkanið okkar sem við gátum nákvæmlega spáð fyrir um frammistöðu þess fyrirfram. Á meðan við höldum áfram að einbeita okkur að áreiðanlegri stigstærð, stefnum við að því að skerpa á aðferðafræði okkar til að hjálpa okkur að spá fyrir og undirbúa okkur fyrir framtíðargetu sífellt lengra fram í tímann—eitthvað sem við teljum mikilvægt fyrir öryggi.

Við erum að gefa út textainntakshæfni GPT‑4 í gegnum ChatGPT og API (með biðlista⁠). Til að undirbúa myndinntakshæfnina fyrir víðtækara framboð erum við í nánu samstarfi við einn samstarfsaðila⁠(opnast í nýjum glugga) til að byrja. Við erum einnig að opna kóðann fyrir OpenAI Evals⁠(opnast í nýjum glugga), ramma okkar fyrir sjálfvirkt mat á frammistöðu gervigreindarlíkana, til að leyfa öllum að tilkynna um galla í líkönum okkar til að hjálpa til við að leiðbeina frekari úrbótum.

Í frjálslegu samtali getur greinarmunurinn á GPT‑3.5 og GPT‑4 verið lúmskur. Munurinn kemur í ljós þegar flækjustig verkefnisins nær nægilegum viðmiðunarmörkum — GPT‑4 er áreiðanlegra, skapandi og getur tekist á við mun blæbrigðaríkari leiðbeiningar en GPT‑3.5.

Til að skilja muninn á líkönunum tveimur, prófuðum við á ýmsum viðmiðunarprófum, þar á meðal að líkja eftir prófum sem upphaflega voru hönnuð fyrir menn. Við héldum áfram með því að nota nýjustu opinberlega tiltæku prófin (í tilviki Ólympíuleikanna og AP frjálsra svarspurninga) eða með því að kaupa 2022–2023 útgáfur af æfingaprófum. Við gerðum enga sérstaka þjálfun fyrir þessi próf. Minnihluti vandamálanna í prófunum sást af líkaninu meðan á þjálfun stóð, en við teljum niðurstöðurnar vera fullnægjandi—sjá tækniskýrslu⁠(opnast í nýjum glugga) okkar til að fá nánari upplýsingar.

innri tilvísun ¹

Við metum einnig GPT‑4 á hefðbundnum viðmiðum sem eru hönnuð fyrir vélnám og líkön. GPT‑4 skarar fram úr núverandi stórum tungumálalíkönum, ásamt flestum nýjustu háþróuðu (SOTA) líkönum sem geta innihaldið viðmiðunarsértæka hönnun eða viðbótarþjálfunarferla:

Margar núverandi ML viðmiðanir eru skrifaðar á ensku. Til að fá fyrstu tilfinningu fyrir getu á öðrum tungumálum, þýddum við MMLU-viðmiðið—safn af 14.000 fjölvalsspurningum sem ná yfir 57 efni—á ýmis tungumál með Azure Translate (sjá viðauka⁠). Í 24 af 26 tungumálum sem prófuð voru, skarar GPT‑4 fram úr enskum frammistöðu GPT‑3.5 og annarra LLMs (Chinchilla, PaLM), þar á meðal fyrir tungumál með litlum úrræðum eins og lettnesku, velsku og swahíli:

Við höfum líka verið að nota GPT‑4 innanhúss, með miklum áhrifum á hlutverk eins og aðstoð, sölu, ritstýringu efnis og forritun. Við erum einnig að nota það til að aðstoða fólk við að meta frálög gervigreindar og hefja annan áfanga í samræmingarstefnu⁠ okkar.

GPT‑4 getur tekið við kvaðningu sem inniheldur texta og myndir, sem—líkt og í textastillingunni - gerir notandanum kleift að tilgreina hvaða sjón- eða tungumálaverkefni sem er. Sérstaklega býr það til frálög (náttúrulegt tungumál, kóða o.s.frv.) miðað við inntak sem samanstendur af blönduðum texta og myndum. Á ýmsum lénum—þar á meðal skjölum með texta og ljósmyndum, skýringarmyndum eða skjámyndum—sýnir GPT‑4 svipaða getu og það gerir á inntak sem er eingöngu texti. Ennfremur er hægt að auka það með prófunartækni sem var þróuð fyrir tungumálalíkön sem eingöngu eru textamiðuð, þar á meðal spurningar með svörum og hugsanaþráður⁠(opnast í nýjum glugga) kvaðningu. Myndinntök eru enn í forskoðun og ekki aðgengileg almenningi.

Við forskoðum frammistöðu GPT‑4 með því að meta hana á þröngu safni af stöðluðum fræðilegum sjónrænum viðmiðum. Hins vegar tákna þessar tölur ekki að fullu hversu mikið líkanið getur þar sem við erum stöðugt að uppgötva ný og spennandi verkefni sem það getur tekist á við. Við höfum áætlun um að gefa út frekari greiningar og matstölur ásamt ítarlegri rannsókn á áhrifum prófunartækni fljótlega.

innri neðanmálsgrein ^A

Við höfum verið að vinna að hverjum þætti áætlunarinnar sem lýst er í færslu okkar um skilgreiningu á hegðun gervigreindar⁠, þar á meðal stýringarhæfni. Frekar en hinn klassíski persónuleiki ChatGPT með fastan málstíl, tón og stíl, geta forritarar (og fljótlega ChatGPT‑notendur) nú skilgreint stíl og verkefni gervigreindar sinnar með því að lýsa þeim í „kerfisskilaboðunum“. Kerfisskilaboð gera API notendum kleift að sérsníða upplifun notenda sinna verulega innan marka⁠(opnast í nýjum glugga). Við munum halda áfram að gera endurbætur hér (og sérstaklega vitum við að kerfisskilaboð eru auðveldasta leiðin til að „jailbreaka“ núverandi líkan, þ.e. fylgni við mörkin er ekki fullkomin), en við hvetjum þig til að prófa það og láta okkur vita hvað þér finnst.

Þrátt fyrir getu sína hefur GPT‑4 svipaðar takmarkanir og fyrri GPT‑líkön. Mikilvægast er að það er enn ekki fullkomlega áreiðanlegt (það „ofskynjar“ staðreyndir og gerir rökvillur). Mikla varúð ber að sýna þegar notað er frálag tungumálalíkans, sérstaklega í háhættusamhengjum, með nákvæmum verklagsreglum (eins og mannlegri endurskoðun, viðbótarsamhengi eða að forðast notkun í háhættusamhengjum alfarið) sem samræmast þörfum tiltekins notkunartilviks.

Þó að það sé enn raunverulegt vandamál, dregur GPT‑4 verulega úr ofskynjunum samanborið við fyrri líkön (sem sjálf hafa verið að batna með hverri endurtekningu). GPT‑4 skorar 40% hærra en nýjasta GPT‑3.5 okkar í innra mati okkar á andstæðulegum staðreyndaprófunum:

Við höfum náð framförum á ytri viðmiðunum eins og TruthfulQA, sem prófar getu líkansins til að greina staðreyndir frá andstæðilega völdum röngum fullyrðingum. Þessar spurningar eru paraðar við svör sem eru staðreyndalega röng en tölfræðilega aðlaðandi.

Grunnlíkan GPT‑4 er aðeins örlítið betra í þessu verkefni en GPT‑3.5; þó, eftir RLHF⁠ eftirþjálfun (með sama ferli og við notuðum með GPT‑3.5⁠) Það er stórt bil. Með því að skoða nokkur dæmi hér að neðan, forðast GPT‑4 að velja algeng orðatiltæki (þú getur ekki kennt gömlum hundi að sitja), en það getur samt misst af lúmskum smáatriðum (Elvis Presley var ekki sonur leikara).

Líkanið getur haft ýmsa hlutdrægni í frálögum sínum—við höfum náð framförum á þessu sviði en það er enn meira sem þarf að gera. Samkvæmt nýlegri bloggfærslu⁠ okkar stefnum við að því að gera gervigreindarkerfi sem við byggjum með hæfilega sjálfgefna hegðun sem endurspeglar breitt svið gilda notenda, leyfa aðlögun þessara kerfa innan víðtækra marka og fá opinbera inntakið um hver þessi mörk ættu að vera.

GPT‑4 skortir almennt þekkingu á viðburðum sem hafa átt sér stað eftir að langflest gögn þess hætta (september 2021) og það lærir ekki af reynslu sinni. Það getur stundum gert einfaldar röksemdarfærsluvillur sem virðast ekki samræmast hæfni á svo mörgum lénum eða verið of auðtrúa við að samþykkja augljósar rangfærslur frá notanda. Og stundum getur það mistekist í erfiðum vandamálum á sama hátt og menn gera, eins og að setja inn öryggisveikleika í kóða sem það framleiðir.

GPT‑4 getur einnig verið fullvisst um rangar spár sínar og gætir ekki að því að fara aftur yfir vinnu sína þegar líklegt er að það geri mistök. Það er athyglisvert að grunnlíkanið sem hefur verið fyrirfram þjálfað er mjög vel stillt (spáð traust þess á svari passar almennt við líkurnar á að vera rétt). Hins vegar, með núverandi ferli okkar eftir þjálfun, er kvörðunin minnkuð.

Við höfum verið að þróa GPT‑4 til að gera það öruggara og betur samræmt frá upphafi þjálfunar, með aðgerðum eins og vali og síu á forþjálfunargögnum, mati og þátttöku sérfræðinga, úrbótum á öryggi líkansins og eftirliti og framfylgd.

GPT‑4 hefur svipaðar áhættur og fyrri líkön, eins og að búa til skaðleg ráð, gallaðan kóða eða ónákvæmar upplýsingar. Hins vegar leiða viðbótarmöguleikar GPT‑4 til nýrra áhættuþátta. Til að skilja umfang þessara áhætta, fengum við yfir 50 sérfræðinga frá lénum eins og áhættu við gervigreindarsamræmingu, netöryggi, líffræðilegum áhættum, trausti og öryggi, og alþjóðlegu öryggi til að prófa líkanið á andstæðan hátt. Niðurstöður þeirra virkjaði okkur sérstaklega til að prófa hegðun líkana á áhættusvæðum sem krefjast sérfræðiþekkingar til að meta. Ábending og gögn frá þessum sérfræðingum flæddu inn í mótvægisaðgerðir okkar og endurbætur á líkaninu; til dæmis höfum við safnað viðbótargögnum til að bæta getu GPT‑4 til að hafna beiðnum um hvernig eigi að búa til hættuleg efni.

GPT‑4 innleiðir viðbótaröryggismerki á meðan á RLHF-þjálfun stendur til að minnka skaðleg frálög (eins og skilgreint er í notkunarleiðbeiningum⁠(opnast í nýjum glugga) okkar) með því að þjálfa líkanið til að hafna beiðnum um slíkt efni. Verðlaunin eru veitt af GPT‑4 zero-shot flokkunaraðila sem metur öryggismörk og frágangstíl á öryggistengdum kvaðningum. Til að koma í veg fyrir að líkanið hafni gildum beiðnum, söfnum við fjölbreyttu gagnasafni frá ýmsum aðilum (t.d. merktum framleiðslugögnum, rauðteymi manna, kvaðningum sem líkanið býr til) og beitum öryggisverðlaunamerkinu (með jákvæðu eða neikvæðu gildi) á bæði leyfða og óleyfða flokka. 

Mótvægisaðgerðir okkar hafa verulega bætt marga öryggiseiginleika GPT‑4 samanborið við GPT‑3.5. Við höfum dregið úr tilhneigingu líkansins til að svara beiðnum um óleyfilegt efni um 82% samanborið við GPT‑3.5, og GPT‑4 bregst við viðkvæmum beiðnum (t.d. læknisráðgjöf og sjálfsskaða) í samræmi við reglur okkar 29% oftar.

Á heildina litið auka inngrip okkar á líkansstigi erfiðleikann við að kalla fram slæma hegðun, en það er samt mögulegt. Að auki eru enn til „jailbreaks“ til að búa til efni sem brýtur gegn notkunarleiðbeiningum okkar⁠. Eftir því sem „áhætta á hvert tákn“ í gervigreindarkerfum eykst, verður mikilvægt að ná mjög háu stigi áreiðanleika í þessum inngripum; í bili er mikilvægt að bæta við þessar takmarkanir með öryggisaðferðum við dreifingu, eins og að fylgjast með misnotkun.

GPT‑4 og arftakalíkön hafa möguleika á að hafa veruleg áhrif á samfélagið á bæði jákvæðan og skaðlegan hátt. Við erum í samstarfi við utanaðkomandi vísindamenn til að bæta skilning okkar og mat á hugsanlegum áhrifum, sem og til að þróa mat á hættulegum eiginleikum sem kunna að koma fram í framtíðarkerfum. Við munum fljótlega deila meira af hugmyndum okkar um möguleg félagsleg og efnahagsleg áhrif GPT‑4 og annarra gervigreindarkerfa.

Eins og fyrri GPT‑líkön var GPT‑4 grunnlíkanið þjálfað til að spá fyrir um næsta orð í skjali og var þjálfað með því að nota opinberlega aðgengileg gögn (svo sem gögn af netinu) sem og gögn sem við höfum fengið leyfi fyrir. Gögnin eru vefskala safn sem inniheldur réttar og rangar lausnir á stærðfræðivandamálum, veika og sterka röksemdafærslu, sjálfmisvísandi og samræmdar fullyrðingar, og endurspegla mikla fjölbreytni í hugmyndafræði og hugmyndum.

Þegar kvaðning er lögð fyrir líkanið getur það svarað á margvíslegan hátt sem gæti verið langt frá því sem notandinn ætlar sér. Til að samræma það við áform notandans innan öryggisviðmiða, fínstillum við hegðun líkansins með því að nota styrkingarnám með mannlegri ábendingu (RLHF).⁠

Athugaðu að hæfileikar líkansins virðast koma fyrst og fremst frá forþjálfunarferlinu - RLHF bætir ekki prófárangur (án virkrar reynslu rýrir það hann í raun). En stýring líkansins kemur frá eftirþjálfunarferlinu—grunnlíkanið þarf fyrirspurnahönnun til að átta sig á því að það eigi að svara spurningunum.

Mikil áhersla í GPT‑4 verkefninu hefur verið lögð á að þróa djúpnámsstafla sem stækkar á fyrirsjáanlegan hátt. Rökin eru sú að fyrir mjög stórar þjálfunarlotur eins og GPT‑4 er ekki framkvæmanlegt að gera umfangsmikla líkansértæka fínstillingu. Við þróuðum innviði og hagræðingu sem hafa mjög fyrirsjáanlega hegðun á mörgum stigum. Til að staðfesta þessa stigstærð spáðum við nákvæmlega fyrirfram um endanlegt tap GPT‑4 á innri kóðagrunni okkar (ekki hluti af þjálfunarsettinu) með því að framreikna frá líkönum sem voru þjálfuð með sömu aðferðafræði en notuðu 10.000x minni útreikninga:

Nú þegar við getum nákvæmlega spáð fyrir um það mæligildi sem við fínstillum á meðan á þjálfun stendur (tap), erum við farin að þróa aðferðafræði til að spá fyrir um túlkanlegri mæligildi. Til dæmis spáðum við fyrir um árangurshlutfall í hlutmengi HumanEval⁠(opnast í nýjum glugga) gagnasafnsins með góðum árangri, með því að framreikna úr líkönum með 1.000x minni útreikningum:

Enn er erfitt að spá fyrir um suma getu. Til dæmis var Inverse Scaling Prize keppni um að finna mæligildi sem versnar eftir því sem útreikningar líkans aukast, og hindsight neglect⁠(opnast í nýjum glugga) var einn af sigurvegurunum. Rétt eins og með aðra nýlega niðurstöðu,⁠(opnast í nýjum glugga) snýr GPT‑4 þróuninni við:

Við teljum að það sé mikilvægt að spá nákvæmlega fyrir um framtíðargetu vélnáms, þar sem það er mikilvægur þáttur í öryggi sem fær ekki nægilega athygli miðað við möguleg áhrif þess (þó við höfum verið hvött af viðleitni á nokkrum stofnunum). Við erum að auka viðleitni okkar til að þróa aðferðir sem veita samfélaginu betri leiðsögn um hvað má búast við af framtíðarkerfum, og við vonum að þetta verði sameiginlegt markmið á þessu sviði.

Við erum að opna OpenAI Evals⁠(opnast í nýjum glugga), hugbúnaðarramma okkar til að búa til og keyra viðmið til að meta líkön eins og GPT‑4, á meðan við skoðum frammistöðu þeirra út frá hverju sýnishorni. Við notum Evals til að leiðbeina þróun líkanna okkar (bæði til að bera kennsl á galla og koma í veg fyrir afturför) og notendur okkar geta notað það til að fylgjast með frammistöðu yfir útgáfur líkanna (sem munu nú koma út reglulega) og þróa vörusamþættingar. Til dæmis hefur Stripe notað Evals til að bæta við mannlegt mat sitt til að mæla nákvæmni GPT‑knúins skjalatólsins.

Þar sem kóðinn er allur opinn veitir Evals aðstoð við að skrifa nýja klasa til að útfæra sérsniðna matsrökfræði⁠(opnast í nýjum glugga). Að okkar eigin reynslu fylgja hins vegar mörg viðmið einu af fáum „sniðmátum“, svo við höfum einnig tekið með sniðmátin⁠(opnast í nýjum glugga) sem hafa reynst gagnlegust innanhúss (þar á meðal sniðmát fyrir „líkan evals“—við höfum komist að því að GPT‑4 er furðu fært um að athuga eigin vinnu). Almennt er áhrifaríkasta leiðin til að búa til nýtt eval⁠(opnast í nýjum glugga) að búa til eitt af þessum sniðmátum og veita gögn. Við erum spennt að sjá hvað aðrir geta búið til með þessum sniðmátum og með Evals almennt.

Við vonumst til að Evals verði verkvangur til að deila og safna saman viðmiðum, sem tákna eins breitt safn af bilunarstillingum og erfiðum verkefnum og mögulegt er. Sem dæmi til að fylgja höfum við búið til rökþrautir⁠(opnast í nýjum glugga) eval sem inniheldur tíu kvaðningar þar sem GPT‑4 mistekst. Evals er einnig samhæft við innleiðingu núverandi viðmiða; við höfum bætt við nokkrum minnisbókum⁠(opnast í nýjum glugga) sem innleiða fræðileg viðmið og nokkrum afbrigðum af samþættingu (lítilla undirmengja af) CoQA⁠(opnast í nýjum glugga) sem dæmi.

Við bjóðum öllum að nota Evals til að prófa líkönin okkar og senda inn áhugaverðustu dæmin. Við trúum því að Evals verði órjúfanlegur hluti af ferlinu við að nota og þróa líkönin okkar, og við fögnum beinum framlögum, spurningum og ábendingum⁠(opnast í nýjum glugga).

ChatGPT Plus-áskrifendur munu fá GPT‑4 aðgang á chatgpt.com⁠(opnast í nýjum glugga) með notkunarhámarki. Við munum aðlaga nákvæma notkunarhámarkið eftir eftirspurn og frammistöðu kerfisins í reynd, en við gerum ráð fyrir að afkastagetan verði alvarlega takmörkuð (þó við munum auka og hagræða á komandi mánuðum).

Það fer eftir umferðarmynstrinu sem við sjáum en við gætum kynnt nýtt áskriftarstig fyrir meiri notkun á GPT‑4; við vonumst einnig til að bjóða upp á einhverjar ókeypis GPT‑4 fyrirspurnir svo þeir sem eru án áskriftar geti prófað það líka.

Til að fá aðgang að GPT‑4 API (sem notar sama ChatCompletions API⁠(opnast í nýjum glugga) og gpt-3.5-turbo), skaltu skrá þig á biðlistann okkar⁠. Við munum byrja að bjóða nokkrum forriturum í dag og auka smám saman til að halda jafnvægi á milli getu og eftirspurnar. Ef þú ert rannsakandi sem rannsakar samfélagsleg áhrif gervigreindar eða jöfnunarmála á gervigreindarsviði geturðu einnig sótt um niðurgreiddan aðgang í gegnum Aðgangsáætlun fyrir rannsakendur⁠ okkar.

Þegar þú hefur aðgang geturðu sent texta-eingöngu beiðnir til GPT‑4 líkansins (myndainntak eru enn í takmarkaðri alfaútgáfu), sem við munum sjálfkrafa uppfæra í ráðlagða stöðuga útgáfu okkar þegar við gerum nýjar útgáfur með tímanum (þú getur fest núverandi útgáfu með því að kalla á GPT‑4‑0314, sem við munum styðja til 14. júní). Verðið er $0,03 fyrir hvert 1 þús. kvaðningartákn og $0,06 fyrir hvert 1 þús. lokunartákn. Sjálfgefin hraðatakmörk eru 40 þús. tákn á mínútu og 200 beiðnir á mínútu.

gpt-4 hefur samhengilengd upp á 8.192 tákn. Við erum einnig að veita takmarkaðan aðgang að 32,768-samhengis (um 50 blaðsíður af texta) útgáfu okkar, gpt-4-32k, sem verður einnig uppfærð sjálfkrafa með tímanum (núverandi útgáfa gpt-4-32k-0314, einnig studd til 14. júní). Verðið er $0,06 fyrir hvert 1 þús. kvaðningartákn og $0,12 fyrir hvert 1 þús. lokunartákn. Við erum enn að bæta gæði líkansins fyrir langt samhengi og viljum gjarnan fá ábendingar um hvernig það gengur fyrir notkunartilfelli þitt. Við erum að vinna úr beiðnum um 8K og 32K vélarnar á mismunandi hraða miðað við afkastagetu, svo þú gætir fengið aðgang að þeim á mismunandi tímum.

Við hlökkum til að GPT‑4 verði dýrmætt tæki til að bæta líf fólks með því að knýja mörg snjallforrit. Það er enn mikið verk fyrir höndum og við hlökkum til að bæta þetta líkan með sameiginlegu átaki samfélagsins sem byggir ofan á, kannar og leggur af mörkum til líkansins.

Frekari upplýsingar: Lesa grein⁠(opnast í nýjum glugga) / Skoða kerfiskort⁠(opnast í nýjum glugga) / Prófa ChatGPT Plus⁠(opnast í nýjum glugga) / Prófa í Playground⁠(opnast í nýjum glugga) / Horfa aftur á kynningu í beinu streymi⁠(opnast í nýjum glugga) / Styrkja OpenAI Evals⁠(opnast í nýjum glugga)

Dæmi um MMLU-spurningar, þýddar á önnur tungumál. Athugið, við notum samræmd tákn (A–D):