Léim go dtí an príomhábhar
OpenAI

13 Aibreán 2022

Foilsiú

Giniúint íomhá ordlathach téacs-choinníollach le latents CLIP

Giniúint Íomhá Ordlathach Téacs-Choinníollach le Latents CLIP
Ag lódáil…

Achoimre

Tá sé léirithe go bhfoghlaimíonn samhlacha codarsnacha cosúil le CLIP léirithe láidre d’íomhánna a ghabhann le séimeantacht agus stíl araon. Chun leas a bhaint as na léirithe seo do ghiniúint íomhá, molaimid samhail dhá chéim: prior a ghineann leabú íomhá CLIP bunaithe ar fhotheideal téacs, agus díchódóir a ghineann íomhá faoi choinníoll an leabaithe íomhá. Léirímid go bhfeabhsaíonn giniúint shainráite léirithe íomhá éagsúlacht íomhánna gan mórán caillteanais i bhfótaréalachas ná i gcosúlacht fotheideal. Is féidir lenár ndíchódóirí atá coinníollaithe ar léirithe íomhá éagsúlachtaí d’íomhá a tháirgeadh freisin a chaomhnaíonn a séimeantacht agus a stíl araon, agus sonraí neamhriachtanacha nach bhfuil sa léiriú íomhá á n-athrú. Ina theannta sin, cumasaíonn comhspás leabaithe CLIP láimhsithe íomhá faoi threoir teanga ar bhealach neamh-iarracht. Úsáidimid samhlacha idirleata don díchódóir agus déanaimid turgnamh le samhlacha uathaischéimnitheacha agus idirleata araon don prior, agus faighimid amach go bhfuil na cinn dheireanacha níos éifeachtúla ó thaobh ríomha de agus go dtáirgeann siad samplaí ar chaighdeán níos airde.

Údair

Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, Mark Chen