Image GPT

Faighimid amach, díreach mar is féidir le samhail mhór trasfhoirmitheoir atá oilte ar theanga téacs comhleanúnach a ghiniúint, gur féidir leis an tsamhail chéanna sin atá oilte ar sheichimh picteilíní comhlánuithe⁠ íomhá agus samplaí⁠ comhleanúnacha a ghiniúint. Trí chomhghaol a bhunú idir cáilíocht samplaí agus cruinneas rangaithe íomhánna, léirímid go bhfuil gnéithe inár samhail giniúna is fearr atá iomaíoch freisin leis na líonraí comhfhillte barrleibhéil sa suíomh neamhmhaoirsithe.

Is dúshlán fadbhunaithe don mheaisínfhoghlaim í foghlaim neamhmhaoirsithe agus féinmhaoirsithe,¹ nó foghlaim gan sonraí arna lipéadú ag daoine. Le déanaí, d’éirigh thar barr léi i dteanga, mar tá samhlacha trasfhoirmitheoir² cosúil le BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ agus leaganacha eile^{7, 8, 9, 10} tar éis barrfheidhmíocht a bhaint amach ar réimse leathan tascanna teanga. Mar sin féin, níor éirigh leis an aicme leathan chéanna samhlacha gnéithe láidre a tháirgeadh do rangú íomhánna.¹¹ Tá sé mar aidhm ag ár gcuid oibre an bhearna seo a thuiscint agus a líonadh.

Tá samhlacha trasfhoirmitheoir cosúil le BERT agus GPT‑2 fearann-neamhspleách, rud a chiallaíonn gur féidir iad a chur i bhfeidhm go díreach ar sheichimh 1-T d’aon chineál. Nuair a chuirimid oiliúint ar GPT‑2 ar íomhánna atá dí-rollaithe ina seichimh fhada picteilíní, ar a dtugaimid iGPT, faighimid amach gur cosúil go dtuigeann an tsamhail tréithe íomhá 2-T ar nós cuma agus catagóir réada. Léirítear é seo leis an réimse éagsúil de shamplaí íomhá comhleanúnacha a ghineann sí, fiú gan treoir ó lipéid a sholáthraíonn daoine. Mar chruthúnas breise, baineann gnéithe ón tsamhail feidhmíocht úrscothach amach ar roinnt tacar sonraí rangaithe agus cruinneas neamhmhaoirsithe beagnach úrscothach^A ar ImageNet.

1. Ní léirímid ach cruinneas probe líneach ImageNet do iGPT‑XL toisc nár chríochnaigh turgnaimh eile sular ghá dúinn aistriú go saoráidí sár-ríomhaireachta eile.
2. Bhain Bit-L, a cuireadh faoi oiliúint ar JFT (300M íomhá le 18K rang), toradh 99.3 amach.

Chun acmhainneacht samhaltú seicheamh giniúnach^{17, 18, 19, 20, 21, 22} mar algartam foghlama neamhmhaoirsithe ilchuspóireach a aibhsiú, úsáidimid d’aon ghnó an ailtireacht trasfhoirmitheoir chéanna le GPT‑2 i dteanga. Mar thoradh air sin, teastaíonn i bhfad níos mó ríomhaireachta uainn chun gnéithe a tháirgeadh atá iomaíoch leis na cinn ó líonraí comhfhillte neamhmhaoirsithe is fearr.^{13, 23, 24, 25, 12} Mar sin féin, tugann ár dtorthaí le fios gur féidir le GPT‑2 mór gnéithe den scoth a fhoghlaim gan gá le roghanna dearaidh ailtireachta fearann-shonracha^{26, 27, 28} nuair a thugtar aghaidh ar fhearann nua nach fios cad iad na tosaíochtaí cearta samhla.

I dteanga, d’éirigh thar barr le halgartaim foghlama neamhmhaoirsithe a bhraitheann ar thuar focal (cosúil le GPT‑2 agus BERT), agus bhain siad feidhmíocht den scoth amach ar réimse leathan tascanna teanga. Cúis amháin a d’fhéadfadh a bheith leis an rath seo ná go dtagann samplaí de thascanna teanga iartheachtacha chun cinn go nádúrtha i dtéacs: is minic a leanann freagraí ceisteanna (rud a d’fhéadfadh cabhrú le freagairt ceisteanna) agus is minic a leanann achoimrí sleachta (rud a d’fhéadfadh cabhrú le hachoimriú). I gcodarsnacht leis sin, ní léir go bhfuil lipéid do na híomhánna lena mbaineann siad i seichimh picteilíní.

Fiú gan an mhaoirseacht shoiléir seo, tá cúis ann fós go bhféadfadh GPT‑2 ar íomhánna oibriú: d’fhéadfadh trasfhoirmitheoir sách mór atá oilte ar thuar an chéad phicteilín eile foghlaim sa deireadh samplaí éagsúla^B le réada atá inaitheanta go soiléir a ghiniúint. Nuair a fhoghlaimíonn sé é sin a dhéanamh, tugann smaoineamh ar a dtugtar “Anailís trí Shintéis”^{29, 30, C} le fios go mbeidh eolas ag an tsamhail ar chatagóirí réad freisin. Spreag an smaoineamh seo go leor samhlacha giniúna luatha^{31, 32, 33, 34, 35, 36}, agus níos déanaí ba shampla é BigBiGAN³⁷ a tháirg samplaí agus gnéithe spreagúla. Inár gcuid oibre, léirímid ar dtús go mbaineann samhlacha giniúna níos fearr feidhmíocht rangaithe níos láidre amach. Ansin, trí GPT‑2 a bharrfheabhsú le haghaidh cumas giniúna, bainimid feidhmíocht rangaithe barrleibhéil amach i go leor suíomhanna, ag soláthar tuilleadh fianaise ar anailís trí shintéis.

Is algartam foghlama neamhmhaoirsithe uilíoch é samhaltú seicheamh giniúnach: ós rud é gur féidir gach cineál sonraí a léiriú mar sheichimh bheart, is féidir trasfhoirmitheoir a chur i bhfeidhm go díreach ar aon chineál sonraí gan innealtóireacht bhreise. Déanann ár gcuid oibre tástáil ar chumhacht na ginearálachta seo trí ailtireacht a úsáideadh chun GPT‑2 a oiliúint ar theanga nádúrtha a chur i bhfeidhm go díreach ar ghiniúint íomhá. Roghnaíomar d’aon ghnó gan aon eolas sainiúil ar íomhánna a chódú de láimh i bhfoirm comhfhilleadh³⁸ nó teicnící amhail aird choibhneasta,³⁹ aird scaipthe,⁴⁰ agus leabuithe suímh 2-T.²⁷

Mar thoradh ar a ghinearálacht, éilíonn ár modh i bhfad níos mó ríomhaireachta chun feidhmíocht iomaíoch a bhaint amach sa suíomh neamhmhaoirsithe. Go deimhin, is iad modhanna codarsnachta^{41, 42, 43, 44, 45, 13, 23, 24, 25, 12} na modhanna is éifeachtúla ó thaobh ríomhaireachta de fós chun gnéithe ardchaighdeáin a tháirgeadh ó íomhánna. Mar sin féin, trí a thaispeáint go bhfuil samhail trasfhoirmitheoir neamhmhaoirsithe iomaíoch leis na líonraí comhfhillte neamhmhaoirsithe is fearr,^{24, 25, 12} cuirimid fianaise ar fáil gur féidir eolas fearainn atá códaithe de láimh a mhalartú ar ríomhaireacht. I bhfearainn nua,^{46, 47} áit nach bhfuil mórán eolais le códú de láimh, is cosúil gur teicníc oiriúnach é ríomhaireacht a mhéadú chun í a thástáil.

Cuirimid oiliúint ar iGPT‑S, iGPT‑M, agus iGPT‑L, trasfhoirmitheoirí ina bhfuil 76M, 455M, agus 1.4B paraiméadar faoi seach, ar ImageNet. Cuirimid oiliúint freisin ar iGPT‑XL^D, trasfhoirmitheoir le 6.8 billiún paraiméadar, ar mheascán de ImageNet agus íomhánna ón ngréasán. Mar gheall ar an gcostas ríomhaireachta mór a bhaineann le seichimh fhada a mhúnlú le haird dhlúth, cuirimid oiliúint ag na taifigh ísle 32x32, 48x48, agus 64x64.

Cé go bhfuil sé mealltach oibriú ag taifigh níos ísle fós chun costas ríomhaireachta a laghdú tuilleadh, léirigh obair roimhe seo go dtosaíonn feidhmíocht an duine ar rangú íomhánna ag titim go tapa faoi na méideanna seo.⁴⁸ Ina áit sin, spreagtha ag pailéid taispeána datha luatha,⁴⁹ cruthaímid ár bpailéad dathanna 9-giotán féin chun picteilíní a léiriú. Tríd an bpailéad seo a úsáid, bíonn fad an tseichimh ionchuir 3 huaire níos giorra ná an pailéad caighdeánach (R, G, B), agus an dath fós á ionchódú go dílis.

Tá dhá mhodh againn chun feidhmíocht samhla a mheas, agus baineann tasc rangaithe iartheachtach leis an mbeirt acu. Úsáideann an chéad cheann, ar a dtugaimid probe líneach, an tsamhail oilte chun gnéithe^E a bhaint as na híomhánna sa tacar sonraí iartheachtach, agus ansin oireann sé aischéimniú lóistíoch do na lipéid. Déanann an dara modh an tsamhail iomlán a mhionchoigeartú^F ar an tacar sonraí iartheachtach.

Ós rud é nach léir go mbaineann tuar na chéad phicteilíní eile le rangú íomhánna, seans nach iad gnéithe na sraithe deirí na cinn is tuarthaí do chatagóir an réada. Léiríonn ár gcéad toradh gur feidhm í cáilíocht na ngnéithe a ardaíonn go géar ar dtús agus a laghdaíonn go beag ina dhiaidh sin de réir doimhneachta. Tugann an t-iompar seo le fios go n-oibríonn samhail ghiniúnach trasfhoirmitheoir in dhá chéim: sa chéad chéim, bailíonn gach suíomh eolas óna chomhthéacs máguaird chun gné íomhá comhthéacsaithe a thógáil. Sa dara céim, úsáidtear an ghné chomhthéacsaithe seo chun tasc tuartha coinníollaí an chéad phicteilín eile a réiteach. Cuireann feidhmíocht dhá chéim ár bpróbanna líneacha i gcuimhne líonra néarach neamhmhaoirsithe eile, an t-uath-ionchódóir bottleneck, atá deartha de láimh ionas go n-úsáidtear na gnéithe sa lár.

Bunaíonn ár gcéad toradh eile an nasc idir feidhmíocht ghiniúnach agus cáilíocht gnéithe. Faighimid amach go mbíonn feidhmíocht ghiniúnach níos fearr mar thoradh ar scála ár samhlacha a mhéadú agus oiliúint ar feadh níos mó atriallta, agus aistríonn sé sin go díreach go cáilíocht gnéithe níos fearr.

Nuair a mheasaimid ár ngnéithe ag úsáid probanna líneacha ar CIFAR-10, CIFAR-100, agus STL-10, sáraímid gnéithe ó gach algartam aistrithe maoirsithe agus neamhmhaoirsithe. Tá ár dtorthaí láidir freisin sa suíomh mionchoigeartaithe iomláin.

Comparáid idir cruinnis probe líneach agus mionchoigeartaithe idir ár samhlacha agus na samhlacha is fearr a úsáideann aistriú ImageNet neamhmhaoirsithe nó maoirsithe. Cuirimid AutoAugment san áireamh freisin, an tsamhail is fearr a cuireadh faoi oiliúint ceann go ceann ar CIFAR.

I bhfianaise athbheochan an spéise i bhfoghlaim neamhmhaoirsithe agus féinmhaoirsithe ar ImageNet, déanaimid measúnú freisin ar fheidhmíocht ár samhlacha ag úsáid probanna líneacha ar ImageNet. Is suíomh an-deacair é seo, ós rud é nach ndéanaimid oiliúint ag taifeach ionchuir caighdeánach ImageNet. Mar sin féin, tugann probe líneach ar na 1536 gné ó shraith is fearr iGPT‑L atá oilte ar íomhánna 48x48 cruinneas barr-1 de 65.2%, rud a sháraíonn AlexNet.

Tuairiscíonn modhanna codarsnachta a dtorthaí is fearr de ghnáth ar 8192 gné, mar sin go hidéalach dhéanfaimis measúnú ar iGPT le toise leabaithe 8192 chun comparáid a dhéanamh. Mar sin féin, tá oiliúint ar a leithéid de shamhail róchostasach, mar sin ina áit sin ceanglaímid gnéithe ó iliomad sraitheanna mar chomhfhogasú. Ar an drochuair, bíonn comhghaol idir ár ngnéithe thar shraitheanna, mar sin teastaíonn níos mó díobh uainn chun a bheith iomaíoch. Trí 15360 gné a thógáil ó 5 shraith in iGPT‑XL faightear cruinneas barr-1 de 72.0%, rud a sháraíonn AMDIM, MoCo, agus CPC v2, ach atá fós níos laige ná SimCLR de bhearna mheasartha.

Comparáid idir cruinnis probe líneach idir ár samhlacha agus samhlacha féinmhaoirsithe úrscothacha. Bainimid feidhmíocht iomaíoch amach agus muid ag oiliúint ag taifigh ionchuir i bhfad níos ísle, cé go dteastaíonn níos mó paraiméadar agus ríomhaireachta ónár modh.

Toisc gur sháraigh samhlacha teanga mascaithe cosúil le BERT samhlacha giniúna ar fhormhór na dtascanna teanga, déanaimid measúnú freisin ar fheidhmíocht BERT ar ár samhlacha íomhá. In ionad ár samhail a oiliúint chun an chéad phicteilín eile a thuar i bhfianaise gach picteilín roimhe, cuirimid masc ar 15% de na picteilíní agus cuirimid oiliúint ar ár samhail chun iad a thuar ó na cinn neamhmhascaithe. Faighimid amach, cé go bhfuil feidhmíocht probe líneach ar shamhlacha BERT i bhfad níos measa, go sáraíonn siad le linn mionchoigeartaithe:

Cé go ngeallann foghlaim neamhmhaoirsithe gnéithe den scoth gan gá le sonraí arna lipéadú ag daoine, tá dul chun cinn suntasach déanta le déanaí faoi chreat níos flaithiúla na foghlama leathmhaoirsithe, a cheadaíonn méid teoranta sonraí arna lipéadú ag daoine. Is minic a bhraitheann modhanna leathmhaoirsithe rathúla ar theicnící cliste amhail rialtú comhsheasmhachta, méadú sonraí, nó bréaglipéadú, agus ní raibh cur chuigeanna bunaithe go hiomlán ar ghiniúint^{54, 55} iomaíoch le blianta. Déanaimid measúnú ar iGPT‑L^G ar thagarmharc iomaíoch don fho-réimse seo agus faighimid amach go sáraíonn probe líneach simplí ar ghnéithe ó íomhánna neamh-mhéadaithe Mean Teacher⁵⁶ agus MixMatch,⁵⁷ cé go bhfuil sé níos laige ná FixMatch.⁵⁹

Comparáid ar fheidhmíocht ar CIFAR-10 ísealsonraí. Trí leas a bhaint as go leor íomhánna ImageNet gan lipéad, is féidir le iGPT‑L feidhmiú níos fearr ná modhanna cosúil le Mean Teacher agus MixMatch ach tá sé fós níos laige ná na modhanna barr feabhais. Tá ár gcur chuige i leith foghlaim leathmhaoirsithe an-simplí ós rud é nach n-oireann muid ach aicmitheoir aischéimnithe lóistíoch ar ghnéithe iGPT‑L gan aon mhéadú sonraí ná mionchoigeartú—difríocht shuntasach ó chur chuigeanna leathmhaoirsithe atá deartha go speisialta.

Cé gur léirigh muid go bhfuil iGPT in ann gnéithe íomhá cumhachtacha a fhoghlaim, tá teorainneacha suntasacha fós lenár gcur chuige. Toisc go n-úsáidimid an trasfhoirmitheoir seicheamh ginearálta a úsáidtear do GPT‑2 i dteanga, éilíonn ár modh méideanna móra ríomhaireachta: cuireadh oiliúint ar iGPT‑L ar feadh thart ar 2500 V100-lá agus is féidir samhail MoCo24⁠ a bhfuil feidhmíocht chomhchosúil aici a oiliúint i thart ar 70 V100-lá.

Ar an gcaoi chéanna, múnlaímid ionchuir ísealtaifigh ag úsáid trasfhoirmitheora, agus úsáideann formhór na dtorthaí féinmhaoirsithe ionchódóirí bunaithe ar chomhfhilleadh ar féidir leo ionchuir ardtaifigh a ionghabháil go héasca. Seans go mbeidh gá le hailtireacht nua, amhail trasfhoirmitheoir ilscála fearann-neamhspleách, chun scála níos faide. I bhfianaise na dteorainneacha seo, feidhmíonn ár gcuid oibre go príomha mar chruthúnas coincheapa ar chumas samhlacha teanga móra bunaithe ar thrasfhoirmitheoirí léirithe neamhmhaoirsithe den scoth a fhoghlaim i bhfearainn nua, gan gá le heolas fearainn atá crua-chódaithe. Mar sin féin, cuireann an costas suntasach acmhainní chun na samhlacha seo a oiliúint agus cruinneas níos fearr modhanna bunaithe ar líonraí néaracha comhfhillte cosc ar na léirithe seo a bheith praiticiúil in iarratais fhíorshaoil sa réimse radhairc.

Ar deireadh, is féidir le samhlacha giniúna claontachtaí a léiriú mar thoradh ar na sonraí ar cuireadh oiliúint orthu. Tá go leor de na claontachtaí seo úsáideach, mar shampla glacadh leis go seasann meascán de phicteilíní donna agus glasa do bhrainse clúdaithe le duilleoga, agus ansin an claonadh sin a úsáid chun leanúint leis an íomhá. Ach beidh cuid de na claontachtaí seo díobhálach, nuair a bhreathnaítear orthu trí lionsa cothroime agus ionadaíochta. Mar shampla, má fhorbraíonn an tsamhail coincheap amhairc d’eolaí atá claonta i dtreo na bhfear, d’fhéadfadh sí íomhánna d’eolaithe a chomhlánú go comhsheasmhach le daoine a chuireann fireannacht i láthair, seachas meascán inscní. Táimid ag súil go mbeidh ar fhorbróirí níos mó airde a thabhairt ar na sonraí a chuireann siad isteach ina gcórais agus tuiscint níos fearr a fháil ar an ngaol atá acu le claontachtaí i samhlacha oilte.

Léirigh muid gur féidir le trasfhoirmitheoir seicheamh a bheith iomaíoch leis na líonraí comhfhillte is fearr le haghaidh rangú íomhá neamhmhaoirsithe trí eolas 2-T a mhalartú ar scála⁶⁰ agus trí ghnéithe tuarthacha a roghnú ó lár an líonra. Go háirithe, bhain muid ár dtorthaí amach trí mhúnla teanga GPT‑2 a chur i bhfeidhm go díreach ar ghiniúint íomhá. Tugann ár dtorthaí le fios, de bharr a shimplíochta agus a ghinearálta, go bhféadfadh trasfhoirmitheoir seicheamh, má tá dóthain ríomhaireachta ar fáil, a bheith ina bhealach éifeachtach sa deireadh chun gnéithe den scoth a fhoghlaim i go leor fearann.

Má tá fonn ort obair linn ar an réimse taighde seo, táimid ag earcú⁠!