CLIP: Мәтін мен кескіндерді байланыстыру

Біз CLIP деп аталатын нейрондық желіні таныстырып отырмыз, ол табиғи тілдік қадағалау арқылы визуалды ұғымдарды тиімді үйренеді. CLIP-ті танылуы тиіс визуалды санаттардың атауларын ғана беру арқылы кез келген визуалды жіктеу бенчмаркіне қолдануға болады, бұл GPT‑2 және GPT‑3‑тің «мысалсыз» мүмкіндіктеріне ұқсас.

Терең оқыту компьютерлік көруді түбегейлі өзгерткеніне қарамастан, қазіргі тәсілдердің бірнеше ірі мәселесі бар: әдеттегі көру деректер жиындарын жасау көп еңбекті және қымбатты талап етеді, бірақ олар визуалды ұғымдардың тар жиынын ғана үйретеді; стандартты көру модельдері бір ғана тапсырмаға жақсы және тек соған жарайды, ал жаңа тапсырмаға бейімдеу үшін едәуір күш қажет; сондай-ақ бенчмарктерде жақсы жұмыс істейтін модельдер стресс-тесттерде көңіл көншітпейтіндей нашар нәтиже көрсетеді,^{1, 2, 3, 4} бұл компьютерлік көрудегі бүкіл терең оқыту тәсіліне күмән тудырады.

Біз осы мәселелерді шешуді мақсат ететін нейрондық желіні ұсынамыз: ол интернетте молынан қолжетімді әртүрлі табиғи тілдік қадағалаумен бірге келетін өте алуан түрлі кескіндерде үйретілген. Жобасы бойынша бұл желіге табиғи тілде нұсқау беріп, бенчмарк өнімділігін тікелей оңтайландырмай-ақ, көптеген жіктеу бенчмарктерін орындауға болады; бұл GPT‑2⁵ және GPT‑3‑тің⁶ «мысалсыз⁠(жаңа терезеде ашылады)» мүмкіндіктеріне ұқсас. Бұл — маңызды өзгеріс: бенчмарк үшін тікелей оңтайландырмау арқылы ол әлдеқайда өкілді болатынын көрсетеміз; біздің жүйе осы «төзімділік алшақтығын» 75%-ға дейін қысқартып, бастапқы ResNet-50⁷ моделінің ImageNet⁠(жаңа терезеде ашылады) мысалсыз режиміндегі өнімділігіне тең келеді, әрі бастапқы 1.28M таңбаланған мысалдардың ешқайсысын қолданбайды.

CLIP (Contrastive Language–Image Pre-training) мысалсыз тасымалдау, табиғи тілдік қадағалау және мультимодальды оқыту бойынша ауқымды жұмыстарға сүйенеді. Дерексіз оқыту идеясы он жылдан астам уақыт бұрын пайда болды⁸ бірақ соңғы уақытқа дейін ол негізінен компьютерлік көруде бұрын көрілмеген нысан санаттарына жалпылау тәсілі ретінде зерттелді.^{9 және 10} Маңызды түйсік — жалпылау мен тасымалдауды іске асыру үшін икемді болжау кеңістігі ретінде табиғи тілді пайдалану болды. 2013 жылы Стэнфордтағы Ричард Сочер және әріптестері¹¹ CIFAR-10 бойынша сөз векторларының ендіру кеңістігінде болжау жасайтын модельді үйретіп, оның бұрын көрілмеген екі класты болжай алатынын көрсетіп, тұжырымдаманың жұмыс істейтінін дәлелдеді. Сол жылы DeVISE¹² осы тәсілді кеңейтіп, ImageNet моделін бастапқы 1000 үйрету жиынынан тыс нысандарды дұрыс болжай алатындай етіп дәл баптауға болатынын көрсетті.

CLIP үшін ең шабыттандырғаны — 2016 жылы FAIR-тегі Ang Li және оның әріптестерінің¹³ жұмысы; олар табиғи тілдік қадағалауды қолданып, бірнеше бар компьютерлік көру жіктеу деректер жиындарына, мысалы, канондық ImageNet деректер жиынына мысалсыз тасымалдауды жүзеге асыруға болатынын көрсетті. Олар бұған ImageNet CNN моделін 30 миллион Flickr фотосының атаулары, сипаттамалары және тегтеріндегі мәтіннен анағұрлым кең визуалды ұғымдар жиынын (visual n-grams) болжауға дәл баптау арқылы қол жеткізді және ImageNet мысалсыз режимінде 11.5% дәлдікке жетті.

Соңында, CLIP — өткен жылы табиғи тілдік қадағалау арқылы визуалды ұсынуларды үйренуді қайта қарастырған мақалалар тобының бір бөлігі. Бұл бағытта ³² трансформер сияқты заманауи архитектуралар қолданылады және оған авторегрессиялық тілдік модельдеуді зерттеген VirTex,³³ маскаланған тілдік модельдеуді қарастырған ICMLM,³⁴ және CLIP үшін қолданатын дәл сол контрастивті мақсатты, бірақ медициналық кескіндеу саласында зерттеген ConVIRT³⁵ кіреді.

Қарапайым алдын ала үйрету тапсырмасын ауқымдау әртүрлі кескін жіктеу деректер жиындарында бәсекеге қабілетті мысалсыз өнімділікке жету үшін жеткілікті екенін көрсетеміз. Біздің әдіс молынан қолжетімді қадағалау көзіне сүйенеді: интернеттің әр жерінен табылатын кескіндермен жұпталған мәтін. Бұл дерек CLIP үшін келесі жанама үйрету тапсырмасын жасауға қолданылады: берілген кескін үшін кездейсоқ іріктелген 32,768 мәтін үзіндісінің қайсысы біздің деректер жиынымызда шынында сонымен жұпталғанын болжау.

Бұл тапсырманы шешу үшін біздің түйсігіміз бойынша CLIP модельдері кескіндердегі сан алуан визуалды ұғымдарды тануды және оларды атауларымен байланыстыруды үйренуі керек. Соның нәтижесінде CLIP модельдерін дерлік кез келген визуалды жіктеу тапсырмасына қолдануға болады. Мысалы, егер деректер жиынының тапсырмасы иттер мен мысықтардың фотоларын жіктеу болса, біз әр кескін үшін CLIP моделі «a photo of a dog» немесе «a photo of a cat» деген мәтіндік сипаттаманың қайсысы онымен жұпталуы ықтималырақ екенін болжай ма, соны тексереміз.

CLIP компьютерлік көрудегі стандартты терең оқыту тәсілінің бірқатар ірі мәселелерін азайту үшін жасалған:

Қымбат деректер жиындары: Терең оқытуға көп дерек керек, ал көру модельдері дәстүрлі түрде қолмен таңбаланған, құруы қымбат және алдын ала анықталған визуалды ұғымдардың шектеулі санына ғана қадағалау беретін деректер жиындарында үйретіліп келді. Осы саладағы ең ірі бастамалардың бірі ImageNet деректер жиыны 22,000 нысан санаты үшін 14 миллион кескінді белгілеуге 25,000-нан астам жұмысшыны қажет етті. Ал CLIP интернетте ашық қолжетімді мәтін–кескін жұптарынан үйренеді. Үлкен әрі қымбат таңбаланған деректер жиындарына қажеттілікті азайту алдыңғы жұмыстарда, атап айтқанда өзін-өзі қадағалайтын оқытуда,^{14, 15, 16} контрастивті әдістерде,^{17, 18, 19, 20, 21} өзін-өзі үйрету тәсілдерінде,^{22 және 23} және генеративті модельдеуде^{24, 25, 26, 27} кеңінен зерттелді.

Тар ауқымды: ImageNet моделі 1000 ImageNet санатын болжауда жақсы, бірақ «қораптан шыққан күйінде» сонымен ғана шектеледі. Егер басқа кез келген тапсырманы орындағымыз келсе, ML маманына жаңа деректер жиынын құрып, шығыс head-ын қосып, модельді дәл баптау қажет. Ал CLIP-ті қосымша үйрету мысалдарынсыз-ақ әртүрлі визуалды жіктеу тапсырмаларына бейімдеуге болады. CLIP-ті жаңа тапсырмаға қолдану үшін, тек CLIP мәтін кодтағышына тапсырманың визуалды ұғымдарының атауларын «айтуымыз» керек, сонда ол CLIP-тің визуалды ұсынуларының сызықтық жіктеуішін шығарады. Бұл жіктеуіштің дәлдігі көбіне толық қадағаланатын модельдермен бәсекеге түсе алады.

Төменде біз әртүрлі деректер жиындарындағы мысалдар бойынша мысалсыз CLIP жіктеуіштерінің кездейсоқ, әдейі таңдалмаған болжамдарын көрсетеміз.

Нақты әлемдегі әлсіз өнімділік: Терең оқыту жүйелері көру бенчмарктерінде адам деңгейіндегі, тіпті адамнан жоғары өнімділікке жетеді деп жиі хабарланады^{28 және A}, бірақ нақты ортада қолданылғанда олардың өнімділігі бенчмарк қалыптастырған күтуден әлдеқайда төмен болуы мүмкін. Басқаша айтқанда, «бенчмарк өнімділігі» мен «нақты өнімділік» арасында алшақтық бар. Біздің жорамалымызша, бұл алшақтық модельдер тек бенчмарктегі өнімділікті оңтайландырып, сол арқылы «алдағандықтан» туындайды; бұл өткен жылдардағы емтихан сұрақтарын ғана оқып, сынақтан өткен студентке ұқсайды. Ал CLIP моделін бенчмарктерде олардың деректерімен үйретпей-ақ бағалауға болады, сондықтан ол мұндай жолмен «алдап» кете алмайды. Соның нәтижесінде оның бенчмарк өнімділігі нақты ортадағы өнімділігін әлдеқайда дәлірек көрсетеді. «Алаяқтық гипотезасын» тексеру үшін біз CLIP-тің ImageNet үшін «дайындалуға» мүмкіндігі болғанда оның өнімділігі қалай өзгеретінін де өлшейміз. CLIP белгілерінің үстіне сызықтық жіктеуіш орнатылғанда, ол ImageNet тест жиынындағы CLIP дәлдігін шамамен 10%-ға арттырады. Алайда бұл жіктеуіш «төзімді» өнімділікті өлшейтін тағы 7 деректер жиынынан тұратын бағалау топтамасында орта есеппен жақсырақ нәтиже бермейді.³⁰

1. CLIP өте тиімді

CLIP сүзгіден өтпеген, өте алуан түрлі және шуы көп деректерден үйренеді және мысалсыз түрде қолдануға арналған. GPT‑2 мен 3-тен мұндай деректерде үйретілген модельдердің сенімді мысалсыз өнімділікке жете алатынын білеміз; алайда мұндай модельдер елеулі есептеу ресурстарын қажет етеді. Қажет есептеуді азайту үшін біз тәсіліміздің үйрету тиімділігін жақсартудың алгоритмдік жолдарына назар аудардық.

Есептеу шығынын айтарлықтай үнемдеуге әкелген екі алгоритмдік таңдауды келтіреміз. Біріншісі — мәтін мен кескіндерді байланыстыру үшін контрастивті мақсатты қолдану.^{31, 17, 35} Бастапқыда біз VirTex-ке ұқсас кескіннен мәтінге тәсілді зерттедік,³³ бірақ оны state-of-the-art өнімділікке дейін ауқымдауда қиындықтарға тап болдық. Шағын және орта ауқымды тәжірибелерде CLIP қолданатын контрастивті мақсат ImageNet мысалсыз жіктеуінде 4x–10x тиімдірек екенін анықтадық. Екінші таңдау — Vision Transformer-ді қолдану,³⁶ ол бізге стандартты ResNet-пен салыстырғанда есептеу тиімділігінде қосымша 3x өсім берді. Нәтижесінде, ең жақсы өнімділік көрсеткен CLIP моделіміз 256 GPU-да 2 апта бойы үйретіледі, бұл бар ірі ауқымды кескін модельдеріне ұқсас.^{37, 23, 38, 36}

2. CLIP икемді және жалпылама

Визуалды ұғымдардың кең ауқымын табиғи тілден тікелей үйренетіндіктен, CLIP модельдері бар ImageNet модельдеріне қарағанда едәуір икемді әрі жалпылама. Олардың көптеген әртүрлі тапсырманы мысалсыз орындай алатынын байқадық. Мұны растау үшін біз CLIP-тің мысалсыз өнімділігін 30-дан астам түрлі деректер жиынында өлшедік, олардың ішінде нәзік деңгейдегі нысан жіктеуі, геолокализация, бейнелердегі әрекетті тану және OCR сияқты тапсырмалар бар.^B Атап айтқанда, OCR үйрену — стандартты ImageNet модельдерінде кездеспейтін қызықты мінез-құлықтың мысалы. Жоғарыда біз әр мысалсыз жіктеуіштен кездейсоқ, әдейі таңдалмаған бір болжамды көрсетеміз.

Бұл нәтиже сызықтық зондтар қолданылатын ұсынуды үйренудің стандартты бағалауында да көрінеді. Ең жақсы CLIP моделі біз сынаған 26 түрлі тасымалдау деректер жиынының 20-сында көпшілікке қолжетімді ең үздік ImageNet моделі — Noisy Student EfficientNet-L2-ден²³ озып түседі.

CLIP әдетте кең таралған нысандарды тануда жақсы нәтиже көрсеткенімен, кескіндегі нысандар санын санау сияқты анағұрлым абстрактілі не жүйелі тапсырмаларда және фотодағы ең жақын көліктің қаншалық жақын екенін болжау сияқты күрделірек тапсырмаларда қиналады. Осы екі деректер жиынында мысалсыз CLIP кездейсоқ болжаудан сәл ғана жақсы. Сондай-ақ мысалсыз CLIP көлік модельдерінің айырмасын, ұшақ нұсқаларын немесе гүл түрлерін ажырату сияқты өте нәзік жіктеуде тапсырмаға тән модельдермен салыстырғанда қиналады.

CLIP алдын ала үйрету деректер жиыны қамтымаған кескіндерге жалпылауда да әлі әлсіз. Мысалы, CLIP қабілетті OCR жүйесін үйренсе де, MNIST деректер жиынындағы қолжазба цифрларымен бағаланғанда мысалсыз CLIP тек 88% дәлдікке жетеді, бұл осы деректер жиынындағы адамның 99.75% көрсеткішінен әлдеқайда төмен. Ақырында, CLIP-тің мысалсыз жіктеуіштері сөз қолданысына не тұжырымға сезімтал болуы мүмкін екенін байқадық және кейде жақсы жұмыс істеу үшін сынақ пен қателікке негізделген «көмексөз инженериясын» қажет етеді.

CLIP адамдарға өз жіктеуіштерін жасауға мүмкіндік береді және тапсырмаға тән үйрету деректерінің қажеттілігін жояды. Бұл кластардың қалай жасалғаны модельдің өнімділігіне де, бұрмалануларына да қатты әсер етуі мүмкін. Мысалы, Fairface³⁹ нәсіл белгілері^C және «criminal», «animal» сияқты бірнеше өрескел терминдерден тұратын белгілер жиыны берілгенде, модель 0–20 жастағы адамдардың суреттерін шамамен ~32.3% жағдайда өрескел санатқа жатқызуға бейім екенін байқадық. Алайда ықтимал кластар тізіміне «child» класын қосқанда, бұл мінез-құлық ~8.7%-ға дейін төмендейді.

Бұдан бөлек, CLIP-ке тапсырмаға тән үйрету деректері қажет болмағандықтан, ол кейбір тар ауқымды тапсырмаларды әлдеқайда жеңіл ашуы мүмкін. Бұл тапсырмалардың кейбірі құпиялылыққа немесе бақылауға қатысты тәуекелдер туғызуы мүмкін, сондықтан біз бұл алаңдаушылықты CLIP-тің атақты адамдарды сәйкестендірудегі өнімділігін зерттеу арқылы қарастырамыз. 100 кандидаттың ішінен таңдалатын «нақты ортадағы» атақты адамдар кескіндерін жіктеуде CLIP-тің top-1 дәлдігі 59.2%, ал 1000 ықтимал нұсқаның ішінен таңдағанда top-1 дәлдігі 43.3%. Тапсырмаға тәуелсіз алдын ала үйрету арқылы мұндай нәтижелерге жету назар аударарлық болғанымен, бұл өнімділік кең қолжетімді өндірістік деңгейдегі модельдермен салыстырғанда бәсекеге қабілетті емес. Біз CLIP тудыратын қиындықтарды өз мақаламызда⁠(жаңа терезеде ашылады) әрі қарай зерттейміз және бұл жұмыс осындай модельдердің мүмкіндіктерін, кемшіліктері мен бұрмалануларын сипаттау жөніндегі болашақ зерттеулерге түрткі болады деп үміттенеміз. Осындай сұрақтар бойынша зерттеу қауымдастығымен өзара әрекеттесуге қуаныштымыз.

CLIP арқылы біз жақында NLP саласында серпіліс жасаған, интернет ауқымындағы табиғи тілге негізделген тапсырмаға тәуелсіз алдын ала үйретуді басқа салалардағы терең оқыту өнімділігін жақсарту үшін де пайдалануға бола ма екенін тексердік. Бұл тәсілді компьютерлік көруге қолданғандағы осы уақытқа дейін көрген нәтижелер бізді қуантады. GPT тобы сияқты, CLIP алдын ала үйрету барысында әртүрлі тапсырмаларды үйренеді, мұны біз мысалсыз тасымалдау арқылы көрсетеміз. Сондай-ақ ImageNet бойынша нәтижелеріміз бізді жігерлендіреді: олар мысалсыз бағалау модельдің мүмкіндігін неғұрлым дәл көрсететін өлшем екенін меңзейді.