Image GPT

Хэл дээр сургагдсан том трансформер загвар уялдаатай текст үүсгэж чаддагтай адил, пикселийн дараалал дээр сургагдсан яг тэр загвар уялдаатай дүрсний нөхөлт⁠ болон жишээ⁠ үүсгэж чаддагийг бид тогтоосон. Жишээний чанар ба дүрс ангиллын нарийвчлалын хоорондын хамаарлыг тогтоосноор манай шилдэг үүсмэл загвар хяналтгүй орчинд шилдэг convolutional сүлжээнүүдтэй өрсөлдөхүйц шинжүүдийг мөн агуулж байгааг харуулж байна.

Хяналтгүй болон self-supervised сургалт¹ буюу хүний шошголсон өгөгдөлгүй суралцах нь машин сургалтын олон жилийн сорилт байсаар ирсэн. Сүүлийн үед энэ нь хэлний салбарт гайхалтай амжилт үзүүлж, BERT,³ GPT‑2,⁴ RoBERTa,⁵ T5,⁶ болон бусад хувилбарууд^{7, 8, 9, 10} зэрэг трансформер² загварууд хэлний өргөн хүрээний даалгаварт дээд түвшний гүйцэтгэл үзүүлсэн. Гэвч энэ өргөн ангиллын ижил загварууд дүрс ангилалд хүчтэй шинж гаргахад амжилттай байгаагүй.¹¹ Манай ажил энэ зөрүүг ойлгож, арилгахыг зорьж байна.

BERT, GPT‑2 зэрэг трансформер загварууд нь domain agnostic, өөрөөр хэлбэл ямар ч хэлбэрийн 1-D дараалалд шууд хэрэглэж болдог. Бид урт пикселийн дараалал болгон задласан зургууд дээр GPT‑2‑ыг сургахад, үүнийг iGPT гэж нэрлэдэг, загвар нь объектын харагдах байдал, ангилал зэрэг 2-D дүрсний шинж чанарыг ойлгож байгаа мэт харагддагийг олсон. Үүнийг хүний өгсөн шошгын чиглүүлэлтгүй байсан ч түүний үүсгэдэг уялдаатай дүрсний жишээнүүдийн олон янз хүрээ нотолж байна. Нэмэлт баталгаа болгон, загварын шинжүүд нь хэд хэдэн ангиллын өгөгдлийн цуглуулгад хамгийн сүүлийн үеийн гүйцэтгэлд хүрч, ImageNet дээр state-of-the-art-д ойр хяналтгүй нарийвчлал^A үзүүлдэг.

1. Бид ImageNet-ийн linear probe нарийвчлалыг зөвхөн iGPT‑XL‑д харуулсан, учир нь өөр туршилтуудыг өөр суперкомпьютерийн байгууламж руу шилжихээс өмнө дуусгаж амжаагүй.
2. JFT дээр (18K ангилалтай 300M зураг) сургагдсан Bit-L нь 99.3 гэсэн үр дүнд хүрсэн.

Үүсгэх^{17, 18} дарааллын загварчлалыг^{19, 20, 21, 22} ерөнхий зориулалтын хяналтгүй сургалтын алгоритм болох боломжийг онцлохын тулд бид хэл дээрх GPT‑2‑той ижил трансформер архитектурыг зориуд ашигласан. Үүний үр дагаварт бид шилдэг хяналтгүй convolutional сүлжээнүүдийн шинжүүдтэй өрсөлдөхүйц шинжүүд гаргахын тулд мэдэгдэхүйц их тооцоолол шаарддаг.^{13, 23, 24, 25, 12} Гэсэн ч зөв загварын priori нь тодорхойгүй шинэ домэйнтой тулгарахад том GPT‑2 нь домэйнд тусгай^{26, 27, 28} архитектурын шийдэлгүйгээр маш сайн шинжүүд сурч чадна гэдгийг бидний үр дүн харуулж байна.

Хэлний салбарт үгийн таамаглалд тулгуурладаг хяналтгүй сургалтын алгоритмууд (GPT‑2, BERT зэрэг) асар амжилттай байж, хэлний олон төрлийн даалгаварт дээд түвшний гүйцэтгэл үзүүлсэн. Энэ амжилтын нэг боломжит шалтгаан нь доош урсгалын хэлний даалгаврын жишээнүүд текст дотор байгалиараа оршдогт байж болно: асуултын араас ихэвчлэн хариулт (асуулт-хариултад тусалж болох), өгүүлбэрийн хэсгийн араас ихэвчлэн хураангуй (хураангуйлалтад тусалж болох) дагалддаг. Харин пикселийн дарааллууд нь өөрт нь хамаарах зургуудын шошгыг тодорхой агуулдаггүй.

Ийм ил тод хяналтгүй байсан ч зураг дээрх GPT‑2 ажиллаж болох нэг шалтгаан бий: дараагийн пиксел таамаглах дээр сургагдсан хангалттай том трансформер эцэстээ тод танигдах объектуудтай, олон янз^B жишээ үүсгэж сурах боломжтой. Үүнийг сурмагц “Analysis by Synthesis”^{29, 30, C} гэж нэрлэгддэг санаа нь загвар объектын ангиллын талаар мөн мэдэх болно гэж үздэг. Эртний олон үүсмэл загвар^{31, 32, 33, 34, 35, 36} энэ санаанаас сэдэлтэй байсан бөгөөд илүү сүүлд BigBiGAN³⁷ нь урам өгсөн жишээ болон шинжүүдийг гаргасан нэг жишээ болсон. Манай ажилд бид эхлээд илүү сайн үүсмэл загварууд илүү хүчтэй ангиллын гүйцэтгэлтэй болдгийг харуулсан. Дараа нь GPT‑2‑ыг үүсгэх чадварт зориулан оновчлох замаар бид олон нөхцөлд дээд түвшний ангиллын гүйцэтгэлд хүрч, analysis by synthesis-ийн нэмэлт нотолгоог гаргасан.

Үүсгэх дарааллын загварчлал нь бүх нийтийн хяналтгүй сургалтын алгоритм юм: бүх төрлийн өгөгдлийг байтын дараалал хэлбэрээр илэрхийлж болдог тул трансформерыг нэмэлт инженерчлэлгүйгээр ямар ч төрлийн өгөгдөлд шууд хэрэглэж болно. Манай ажил энэ ерөнхий чанарын хүчийг шалгахын тулд GPT‑2‑ыг байгалийн хэл дээр сургахад ашигласан архитектурыг зураг үүсгэхэд шууд хэрэглэсэн. Бид convolution³⁸ эсвэл relative attention,³⁹ sparse attention,⁴⁰ 2-D position embedding²⁷ зэрэг арга хэлбэрээр дүрсэнд тусгай мэдлэгийг гараар кодлохоос зориуд татгалзсан.

Ерөнхий чанарынхаа үр дагаварт манай арга хяналтгүй нөхцөлд өрсөлдөхүйц гүйцэтгэлд хүрэхийн тулд мэдэгдэхүйц их тооцоолол шаарддаг. Үнэхээр ч contrastive аргууд^{41, 42, 43, 44, 45, 13, 23, 24, 25, 12} нь зургаас өндөр чанартай шинж гарган авах хамгийн тооцооллын хувьд үр ашигтай аргууд хэвээр байна. Гэсэн ч хяналтгүй трансформер загвар нь хамгийн сайн хяналтгүй convolutional сүлжээнүүдтэй өрсөлдөж чаддагийг^{24, 25, 12} харуулснаар бид гараар кодлосон домэйны мэдлэгийг тооцооллоор орлуулж болдгийн нотолгоо өгч байна. Гараар кодлох мэдлэг бага байдаг шинэ домэйнуудад^{46, 47} тооцооллыг өсгөх нь туршиж үзэх тохиромжтой арга мэт санагдаж байна.

Бид 76M, 455M, 1.4B параметртэй трансформерууд болох iGPT‑S, iGPT‑M, iGPT‑L‑ийг тус тус ImageNet дээр сургадаг. Мөн 6.8 тэрбум параметртэй трансформер болох iGPT‑XL^D-ийг ImageNet болон вэбээс авсан зургуудын холимог дээр сургадаг. Нягт attention-тай урт дарааллыг загварчлах тооцооллын өртөг өндөр тул бид 32x32, 48x48, 64x64 гэсэн бага нягтрал дээр сургадаг.

Тооцооллын зардлыг цааш бууруулахын тулд бүр ч бага нягтралтай ажиллах нь сэтгэл татам боловч өмнөх ажлууд эдгээр хэмжээнээс доош хүний дүрс ангиллын гүйцэтгэл огцом буурдгийг харуулсан.⁴⁸ Харин үүний оронд эртний өнгөт дэлгэцийн палитраас⁴⁹ сэдэл авч, пикселийг илэрхийлэх өөрсдийн 9-бит өнгийн палитрыг бид бүтээсэн. Энэ палитрыг ашиглахад стандарт (R, G, B) палитртай харьцуулахад оролтын дарааллын урт 3 дахин богино болдог ч өнгийг үнэнчээр кодолсон хэвээр байдаг.

Загварын гүйцэтгэлийг үнэлэхдээ бид доош урсгалын ангиллын даалгавар оролцуулдаг хоёр аргыг ашигладаг. Эхнийхийг нь бид linear probe гэж нэрлэдэг бөгөөд сургагдсан загварыг ашиглан доош урсгалын өгөгдлийн цуглуулга дахь зургуудаас шинжүүдийг^E гаргаж аваад, дараа нь шошгон дээр логистик регресс тааруулдаг. Хоёр дахь арга нь бүхэл загварыг доош урсгалын өгөгдлийн цуглуулга дээр fine-tune^F хийдэг.

Дараагийн пикселийг таамаглах нь дүрс ангилалтай илт хамааралтай биш тул төгсгөлийн давхаргын шинжүүд нь объектын ангиллыг таамаглахад хамгийн сайн байх албагүй. Бидний эхний үр дүн шинжийн чанар нь гүний дагуу эхлээд огцом өсөөд, дараа нь бага зэрэг буурдаг функц болохыг харуулж байна. Энэ зан төлөв нь трансформер үүсмэл загвар хоёр үе шаттай ажилладагийг санал болгодог: эхний үед байрлал бүр хүрээлэх контекстоосоо мэдээлэл цуглуулж, контекстжүүлсэн дүрсний шинжийг бүтээдэг. Хоёр дахь үед энэ контекстжүүлсэн шинжийг нөхцөлт дараагийн пиксел таамаглах даалгаврыг шийдэхэд ашигладаг. Манай linear probe-уудын ажиглагдсан хоёр үе шаттай гүйцэтгэл нь дунд хэсгийн шинжүүдийг ашиглахаар гараар зохиосон bottleneck autoencoder гэх өөр нэг хяналтгүй мэдрэлийн сүлжээг санагдуулж байна.

Бидний дараагийн үр дүн үүсгэх гүйцэтгэл ба шинжийн чанарын хоорондын холбоог тогтоож байна. Бид загварынхаа хэмжээг өсгөх болон илүү олон итерациар сургах нь хоёулаа илүү сайн үүсгэх гүйцэтгэлд хүргэж, энэ нь шууд илүү сайн шинжийн чанарт шилждэгийг олсон.

Бид CIFAR-10, CIFAR-100, STL-10 дээрх шинжүүдээ linear probe ашиглан үнэлэхэд supervised болон unsupervised дамжуулалтын бүх алгоритмын шинжүүдийг давдаг. Бүрэн fine-tuning орчинд ч бидний үр дүн хүчтэй байна.

Манай загварууд болон хяналтгүй эсвэл хяналттай ImageNet дамжуулалт ашигладаг шилдэг загваруудын linear probe ба fine-tune нарийвчлалын харьцуулалт. Мөн бид CIFAR дээр төгсгөлөөс төгсгөлд сургагдсан хамгийн өндөр үзүүлэлттэй загвар болох AutoAugment-ийг оруулсан.

ImageNet дээрх хяналтгүй болон self-supervised сургалтад сонирхол дахин сэргэснийг харгалзан, бид загваруудынхаа гүйцэтгэлийг ImageNet дээр linear probe ашиглан мөн үнэлсэн. Энэ нь ялангуяа хэцүү нөхцөл, учир нь бид стандарт ImageNet оролтын нягтрал дээр сургадаггүй. Гэсэн хэдий ч 48x48 зургууд дээр сургагдсан iGPT‑L‑ийн хамгийн сайн давхаргын 1536 шинж дээрх linear probe нь 65.2% top-1 нарийвчлал өгч, AlexNet-ийг давсан.

Contrastive аргууд ихэвчлэн 8192 шинж дээрх хамгийн сайн үр дүнгээ тайлагнадаг тул харьцуулахын тулд embedding хэмжээ 8192 бүхий iGPT‑ийг үнэлэх нь зүйтэй байх байв. Гэвч ийм загварыг сургах нь хэт өндөр өртөгтэй тул бид оронд нь хэд хэдэн давхаргын шинжүүдийг ойролцоолол болгон залгасан. Харамсалтай нь манай шинжүүд давхаргуудын хооронд хоорондоо уялдаатай байх хандлагатай тул өрсөлдөх чадвартай байхын тулд илүү олныг хэрэгтэй болдог. iGPT‑XL‑ийн 5 давхаргаас 15360 шинж авахад 72.0% top-1 нарийвчлал гарч, AMDIM, MoCo, CPC v2-ыг давсан ч SimCLR-ээс мэдэгдэхүйц зөрүүтэй доогуур хэвээр байна.

Манай загварууд болон хамгийн сүүлийн үеийн self-supervised загваруудын linear probe нарийвчлалын харьцуулалт. Бид маш бага оролтын нягтрал дээр сургаж байгаа ч өрсөлдөхүйц гүйцэтгэл үзүүлж байгаа боловч манай арга илүү олон параметр, илүү их тооцоолол шаарддаг.

BERT зэрэг masked language model-ууд хэлний ихэнх даалгаварт үүсмэл загваруудаас илүү гарсан тул бид BERT-ийг дүрсний загварууд дээрээ мөн үнэлсэн. Бид загвараа өмнөх бүх пикселийг өгөөд дараагийн пикселийг таамаглуулахын оронд пикселүүдийн 15%-ийг халхалж, халхлагдаагүй пикселүүдээс тэдгээрийг таамаглуулахаар сургадаг. Бид BERT загваруудын linear probe гүйцэтгэл мэдэгдэхүйц муу ч fine-tuning үед онцгой сайн байгааг олсон:

Хяналтгүй сургалт нь хүний шошголсон өгөгдөл шаардалгүйгээр маш сайн шинжүүдийг амладаг ч хүний шошголсон өгөгдлийн хязгаарлагдмал хэмжээг зөвшөөрдөг, илүү уян хүрээ болох хагас хяналттай сургалтын дор сүүлийн үед мэдэгдэхүйц ахиц гарсан. Амжилттай хагас хяналттай аргууд ихэвчлэн consistency regularization, өгөгдлийн нэмэгдүүлэлт, эсвэл pseudo-labeling зэрэг ухаалаг техникүүдэд тулгуурладаг бөгөөд цэвэр үүсгэхэд суурилсан аргууд^{54, 55} олон жил өрсөлдөх чадваргүй байсан. Бид iGPT‑L^G-ийг энэ дэд салбарын өрсөлдөөнтэй жишиг дээр үнэлэхэд, өгөгдөл нэмэгдүүлээгүй зургуудын шинжүүд дээрх энгийн linear probe нь Mean Teacher⁵⁶ болон MixMatch-ийг давсан ч FixMatch-ээс⁵⁹ доогуур байгааг олсон.

Бага өгөгдөлтэй CIFAR-10 дээрх гүйцэтгэлийн харьцуулалт. Олон шошгогүй ImageNet зургуудыг ашигласнаар iGPT‑L нь Mean Teacher, MixMatch зэрэг аргуудыг давж чаддаг ч хамгийн сүүлийн үеийн аргуудаас доогуур хэвээр байна. Манай хагас хяналттай сургалтын арга маш энгийн: бид ямар нэг өгөгдөл нэмэгдүүлэлт эсвэл fine-tuning хийхгүйгээр зөвхөн iGPT‑L‑ийн шинжүүд дээр логистик регрессийн ангилагч тааруулдаг—энэ нь тусгайлан зохиосон хагас хяналттай аргуудаас мэдэгдэхүйц ялгаатай.

Бид iGPT нь хүчирхэг дүрсний шинжүүд сурч чаддагийг харуулсан ч манай аргад мэдэгдэхүйц хязгаарлалтууд байсаар байна. Хэл дээрх GPT‑2‑д ашигладаг ерөнхий дарааллын трансформерыг хэрэглэдэг учраас манай арга их хэмжээний тооцоолол шаарддаг: iGPT‑L‑ийг ойролцоогоор 2500 V100-өдөр сургаж байхад ижил төстэй гүйцэтгэлтэй MoCo24⁠ загварыг ойролцоогоор 70 V100-өдөрт сургаж болно.

Үүнтэй холбоотойгоор бид бага нягтралтай оролтыг трансформероор загварчилдаг бол ихэнх self-supervised үр дүн өндөр нягтралтай оролтыг амархан боловсруулж чаддаг convolution-д суурилсан encoder-уудыг ашигладаг. Цааш өргөжүүлэхийн тулд domain-agnostic multiscale transformer зэрэг шинэ архитектур хэрэгтэй байж магадгүй. Эдгээр хязгаарлалтыг харгалзан үзвэл манай ажил нь том трансформер дээр суурилсан хэлний загварууд хатуу кодлосон домэйн мэдлэггүйгээр шинэ домэйнуудад маш сайн хяналтгүй төлөөлөл сурч чаддагийг харуулсан proof-of-concept үзүүлэн болж байна. Гэвч эдгээр загварыг сургахад гарах их нөөцийн өртөг болон convolutional neural network-д суурилсан аргуудын илүү өндөр нарийвчлал нь эдгээр төлөөллийг харааны домэйны бодит хэрэглээнд ашиглах боломжийг хязгаарлаж байна.

Эцэст нь, үүсмэл загварууд сурсан өгөгдлөөсөө үүдэлтэй гажуудлуудыг илэрхийлж болно. Эдгээрийн олон нь ашиг тустай байдаг, жишээ нь бор ба ногоон пикселийн хослолыг навчаар бүрхэгдсэн мөчир гэж үзээд энэ гажуудлыг ашиглан зургийг үргэлжлүүлэх гэх мэт. Гэвч шударга байдал, төлөөллийн өнцгөөс харахад эдгээр гажуудлын зарим нь хор хөнөөлтэй байна. Тухайлбал, хэрэв загвар эрдэмтнийг эрэгтэй тал руу хазайсан дүрслэлээр ойлгодог бол эрдэмтдийн зургийг нөхөхдөө янз бүрийн хүйсийн холимог биш, тогтмол эрэгтэй төрхтэй хүмүүсээр нөхөж магадгүй. Хөгжүүлэгчид системдээ оруулж буй өгөгдөлдөө улам их анхаарч, энэ нь сургагдсан загвар дахь гажуудалтай хэрхэн холбоотойг илүү сайн ойлгох шаардлагатай болно гэж бид үзэж байна.

2-D мэдлэгийг хэмжээтэй⁶⁰ сольж, сүлжээний дундаас таамаглах шинжүүдийг сонгосноор дарааллын трансформер нь хяналтгүй дүрс ангилалд шилдэг convolutional сүлжээнүүдтэй өрсөлдөж чаддгийг бид харууллаа. Онцлоход, бид GPT‑2 хэлний загварыг шууд зураг үүсгэхэд хэрэглэснээр эдгээр үр дүнд хүрсэн. Бидний үр дүн энгийн бөгөөд ерөнхий шинж чанараас нь шалтгаалан хангалттай тооцоолол өгвөл дарааллын трансформер нь олон домэйнд маш сайн шинжүүд сурах үр дүнтэй арга болж чадна гэдгийг санал болгож байна.

Хэрэв та энэ судалгааны чиглэл дээр бидэнтэй хамтран ажиллах сонирхолтой бол, бид ажилд авч байна⁠!