DALL·E 2 алдын ала үйрету кезіндегі тәуекелді азайту шаралары

DALL·E 2⁠ сиқырын кең аудиториямен бөлісу үшін бізге қуатты суретті генерациялау модельдерімен байланысты қауіптерді азайту қажет болды. Осы мақсатта жасалған суреттер біздің қорғаныс шараларын⁠(жаңа терезеде ашылады) бұзып кетпеуі үшін түрлі контент саясатын⁠(жаңа терезеде ашылады) енгіздік.

Бұл жазба осы қорғаныс шараларының ішіндегі DALL·E 2 үйренетін деректерді тікелей өзгертетін бір бөлігі — алдын ала үйрету кезіндегі тәуекелді азайту шараларына арналған. Атап айтқанда, DALL·E 2 интернеттен алынған жазуы бар жүздеген миллион суретте үйретіледі, ал модель нені үйренетінін өзгерту үшін біз осы суреттердің бір бөлігін алып тастаймыз және қайта салмақтаймыз.

Бұл жазба үш бөлімнен тұрады, олардың әрқайсысы алдын ала үйрету кезіндегі әртүрлі тәуекелді азайту шарасын сипаттайды:

• Бірінші бөлімде біз DALL·E 2-нің үйрету деректер жиынынан зорлық-зомбылық пен жыныстық сипаттағы суреттерді қалай сүзгенімізді сипаттаймыз. Бұл шара болмаса, модель осындай мазмұн сұралғанда графикалық не ашық суреттер шығаруды үйренер еді, тіпті көзге зиянсыз көрінетін көмексөздерге жауап ретінде мұндай суреттерді байқаусызда қайтаруы да мүмкін еді.
• Екінші бөлімде біз үйрету деректерін сүзу ығысуды күшейте алатынын көрсетеміз және бұл әсерді азайтатын техникамызды сипаттаймыз. Мысалы, бұл шарасыз сүзілген деректерде үйретілген модельдер бастапқы деректер жиынында үйретілген модельдермен салыстырғанда кейде ер адамдар бейнеленген суреттерді көбірек, ал әйелдер бейнеленген суреттерді азырақ жасайтынын байқадық.
• Соңғы бөлімде біз есте сақтау мәселесіне көшеміз және DALL·E 2 сияқты модельдер кейде жаңа суреттер жасаудың орнына үйретілген суреттерді қайта шығара алатынын көрсетеміз. Іс жүзінде біз бұл суретті қайта шығару құбылысы деректер жиынында көп рет қайталанған суреттерден туындайтынын анықтадық және мәселені деректер жиынындағы басқа суреттерге көрнекі түрде ұқсас суреттерді алып тастау арқылы азайтамыз.

Үйрету деректері кез келген үйренген модельдің қабілеттерін қалыптастыратындықтан, деректерді сүзу модельдің қалаусыз қабілеттерін шектеудің қуатты құралы болып табылады. Біз бұл тәсілді екі санатқа — графикалық зорлық-зомбылықты және жыныстық мазмұнды бейнелейтін суреттерге — қолданып, DALL·E 2-ні үйретер алдында осы санаттардағы суреттерді деректер жиынынан сүзу үшін жіктеуіштерді пайдаландық. Біз бұл сурет жіктеуіштерін өз ішімізде үйреттік және деректер жиынын сүзудің үйретілген модельге әсерін зерттеуді жалғастырып жатырмыз.

Сурет жіктеуіштерімізді үйрету үшін біз бұрын GLIDE⁠(жаңа терезеде ашылады) үшін үйрету деректерін сүзуде қолданған тәсілді қайта пайдаландық. Бұл тәсілдің негізгі қадамдары мыналар: алдымен белгілегіміз келетін сурет санаттарына арналған сипаттама жасаймыз; екіншіден, әр санат үшін бірнеше жүз оң және теріс мысал жинаймыз; үшіншіден, көбірек дерек жинап, дәлдік/қамту ымыраласуын жақсарту үшін белсенді оқыту процедурасын қолданамыз; және соңында, алынған жіктеуішті бүкіл деректер жиынында дәлдіктен гөрі қамтуды қолдайтын сақ жіктеу шегімен жүргіземіз. Бұл шектерді орнатқанда, біз барлық жаман деректерді сүзуді барлық жақсы деректерді қалдырудан жоғары қойдық. Себебі кейінірек модельге жаңа нәрселерді үйрету үшін оны әрқашан көбірек дерекпен fine-tuning жасай аламыз, ал модельге бұрыннан үйреніп қойған нәрсені ұмыттыру әлдеқайда қиын.

Белсенді оқыту кезеңінде біз ықтимал қиын немесе қате жіктелген суреттерге адам белгілерін жинау арқылы жіктеуіштерімізді итеративті түрде жетілдірдік. Атап айтқанда, біз деректер жиынымыздан (онда белгіленбеген жүздеген миллион сурет бар) адамдарға белгілеуге көрсету үшін суреттерді таңдау мақсатында белсенді оқытудың екі әдісін қолдандық. Біріншіден, жіктеуішіміздің жалған оң көрсеткішін азайту үшін (яғни зиянсыз суретті зорлық-зомбылық немесе жыныстық мазмұн деп қате жіктеу жиілігін), біз ағымдағы модель оң деп жіктеген суреттерге адам белгілерін тағайындадық. Бұл қадам жақсы жұмыс істеуі үшін біз жіктеу шегін қайтарым шамамен 100% болатындай, бірақ жалған оң көрсеткіші жоғары болатындай етіп баптадық; осылайша, біздің белгілеушілер көбіне шын мәнінде теріс жағдайларды белгіледі. Бұл әдіс жалған оң нәтижелерді азайтуға және белгілеушілердің ықтимал зиянды суреттерді қарау қажеттілігін төмендетуге көмектескенімен, ол модель қазір өткізіп алып жүрген қосымша оң жағдайларды табуға көмектеспейді.

Жіктеуішіміздің жалған теріс көрсеткішін азайту үшін біз белсенді оқытудың екінші әдісін қолдандық: ең жақын көршіні іздеу. Атап айтқанда, біз ағымдағы белгіленген деректер жиынымыздан модель теріс деп қате жіктеуге бейім болған оң үлгілерді табу үшін көп еселі айқас тексеруді жүргіздік (мұны істеу үшін біз шынымен де train-validation бөліністері әртүрлі жіктеуіштің жүздеген нұсқасын үйреттік). Содан кейін біз осы үлгілердің перцептивті белгілер кеңістігіндегі ең жақын көршілерін табу үшін белгіленбеген суреттердің үлкен топтамасын сканерлеп, табылған суреттерге адам белгілерін тағайындадық. Есептеу инфрақұрылымымыздың арқасында жіктеуішті үйретуді де, ең жақын көршіні іздеуді де көптеген GPU-ға оңай масштабтадық, бұл белсенді оқыту қадамын сағаттар не күндер емес, бірнеше минут ішінде орындауға мүмкіндік берді.

Деректер сүзгілеріміздің тиімділігін тексеру үшін біз бірдей гиперпараметрлермен екі GLIDE моделін үйреттік: бірін сүзілмеген деректерде, екіншісін сүзгіден кейінгі деректер жиынында. Біріншісін сүзілмеген модель, ал екіншісін сүзілген модель деп атаймыз. Күткендей, сүзілген модель мұндай мазмұнға арналған сұрауларға жауап ретінде әдетте азырақ ашық немесе графикалық мазмұн шығарғанын байқадық. Алайда біз деректерді сүзудің күтпеген жанама әсерін де таптық: ол модельдің белгілі бір демографиялық топтарға қатысты ығысуларын тудырды немесе күшейтті.

Генеративті модельдер өздерінің үйрету деректерінің таралуын, соның ішіндегі кез келген ығысуларды да, сәйкестендіруге тырысады. Соның нәтижесінде, үйрету деректерін сүзу кейінгі модельдерде ығысу тудыруы немесе күшейтуі мүмкін. Жалпы алғанда, бастапқы деректер жиынындағы ығысуларды түзету — біз зерттеуді жалғастырып жатқан күрделі әлеуметтік-техникалық міндет, әрі бұл жазбаның аясынан тыс. Мұнда біз қарастыратын мәселе — нақты деректерді сүзудің өзінен туындайтын ығысудың күшеюі. Біздің тәсіл арқылы біз сүзілген модельдің сүзілмеген модельден күштірек ығысқан болмауын қамтамасыз етуді, яғни деректерді сүзуден туындайтын таралу ығысуын азайтуды мақсат етеміз.

Сүзуге байланысты ығысудың күшеюіне нақты мысал ретінде “a ceo” көмексөзін қарастырайық. Біздің сүзілмеген модель осы көмексөз үшін суреттер жасағанда, ол әйелдерге қарағанда ер адамдардың суреттерін көбірек шығаруға бейім болды, және бұл ығысудың көп бөлігі қазіргі үйрету деректеріміздің көрінісі деп ойлаймыз. Алайда дәл сол көмексөзді сүзілген моделіміз арқылы жүргізгенде, ығысу күшейгендей көрінді; генерациялар дерлік тек ер адамдардың суреттері болды.

Біз бұл нақты ығысудың күшеюі екі жерден туындайды деп болжаймыз: біріншіден, бастапқы деректер жиынында әйелдер мен ерлердің көрсетілуі шамамен тең болса да, деректер жиыны әйелдерді көбірек сексуалдандырылған контекстерде көрсетуге ығысқан болуы мүмкін; екіншіден, деректерді жинау мен тексеру кезеңдерінде бұлай болмауын қамтамасыз етуге тырысқанымызға қарамастан, жіктеуіштеріміздің өзінде іске асыруға немесе сынып анықтамасына байланысты ығысу болуы мүмкін. Осы екі әсердің салдарынан біздің сүзгі әйелдердің суреттерін ерлерге қарағанда көбірек алып тастауы мүмкін, бұл модель үйрету кезінде көретін гендерлік арақатынасты өзгертеді.

Сүзгі тудырған ығысуды тереңірек зерттеу үшін бізге деректер сүзгілеріміздің әртүрлі ұғымдарға қатысты ығысуды қаншалықты өзгертіп жатқанын өлшеудің жолы қажет болды. Маңыздысы, біздің зорлық-зомбылық пен жыныстық мазмұн сүзгілеріміз тек суретке негізделген, бірақ деректер жиынымыздың мультимодаль табиғаты бұл сүзгілердің мәтінге әсерін тікелей өлшеуге мүмкіндік береді. Әр суретке мәтіндік тақырыпша қоса берілетіндіктен, біз қолмен таңдалған кілтсөздердің сүзілген және сүзілмеген деректер жиынындағы салыстырмалы жиілігін қарап, сүзгілердің белгілі бір ұғымға қаншалықты әсер етіп жатқанын бағалай алдық.

Мұны іс жүзінде жүзеге асыру үшін біз Apache Spark арқылы екі деректер жиынындағы барлық тақырыпшалар бойынша бірнеше кілтсөздің (мысалы, “parent”, “woman”, “kid”) жиілігін есептедік. Деректер жиынымызда жүздеген миллион мәтін-сурет жұбы болса да, бұл кілтсөз жиіліктерін есептеу біздің есептеу кластерімізді пайдаланып небәрі бірнеше минут алды.

Кілтсөз жиіліктерін есептегеннен кейін біз деректер жиыны сүзгілеріміз кейбір кілтсөздердің жиілігін басқаларға қарағанда көбірек бұрмалағанын растай алдық. Мысалы, сүзгілер “woman” сөзінің жиілігін 14%-ға азайтса, “man” сөзінің жиілігі тек 6%-ға азайды. Бұл ауқымды түрде, біз екі деректер жиынында да үйретілген GLIDE модельдерінен үлгі алу барысында анекдоттық түрде байқаған нәрсені растады.

Енді бізде сүзгі тудырған ығысуды өлшеуге арналған жанама көрсеткіш болған соң, оны азайтудың жолы қажет болды. Бұл мәселені шешу үшін біз сүзілген деректер жиынының таралуы сүзілмеген суреттердің таралуына жақсырақ сәйкес келетіндей етіп оны қайта салмақтауды мақсат еттік. Бұл идеяны түсіндіретін қарапайым мысал ретінде, деректер жиынымыз 50% мысық фотосуреттерінен және 50% ит фотосуреттерінен тұрады делік, бірақ деректер сүзгілері иттердің 75%-ын, ал мысықтардың тек 50%-ын алып тастайды. Соңғы деректер жиыны ⅔ мысық және ⅓ ит болады, ал осы деректер жиынында үйретілген ықтималдыққа негізделген генеративті модель иттерге қарағанда мысықтардың суреттерін көбірек жасауы ықтимал. Бұл теңгерімсіздікті әрбір ит суретінің үйрету шығынын 2-ге көбейту арқылы түзете аламыз, бұл әрбір ит суретін екі рет қайталағанның әсерін береді. Белгілі болғандай, біз бұл тәсілді нақты деректер жиындарымыз бен модельдерімізге көп жағдайда автоматты түрде масштабтай аламыз, яғни қандай белгілерді қайта салмақтағымыз келетінін қолмен таңдаудың қажеті жоқ.

Сүзілген деректер жиынындағы суреттер үшін салмақтарды Choi et al. (2019)⁠(жаңа терезеде ашылады) қолданған тәсілге ұқсас арнайы жіктеуіштің ықтималдықтары арқылы есептейміз. Бұл жіктеуішті үйрету үшін біз екі деректер жиынынан да біркелкі түрде суреттер алып, суреттің қай деректер жиынынан шыққанын болжаймыз. Атап айтқанда, бұл модель P(unfiltered|image) ықтималдығын болжайды, мұндағы априор P(unfiltered) = 0.5. Іс жүзінде бұл модельдің тым қуатты болғанын қаламаймыз, әйтпесе ол бастапқыда сүзгілеріміз іске асыратын нақты функцияны үйреніп алуы мүмкін. Оның орнына біз модельдің бастапқы деректер сүзгілерімізден гөрі тегіс болғанын қалаймыз: ол сүзгілер әсер ететін кең санаттарды қамтып, бірақ нақты бір суреттің сүзілетін-сүзілмейтініне әлі де сенімсіз болуы тиіс. Осы мақсатта біз шағын CLIP⁠ моделінің үстіне сызықтық probe үйреттік.

Суреттің сүзілмеген деректер жиынынан шығу ықтималдығын болжайтын жіктеуіш болған соң, бұл болжамды әлі де сурет салмағына айналдыруымыз керек. Мысалы, P(unfiltered|image) = 0.8 делік. Бұл үлгінің сүзілген деректерге қарағанда сүзілмеген деректерде 4 есе жиірек кездесетінін білдіреді, сондықтан 4 салмағы теңгерімсіздікті түзетуі керек. Жалпырақ айтқанда, біз P(unfiltered|image)/P(filtered|image) салмағын қолдана аламыз.^A

Бұл қайта салмақтау сызбасы күшейтілген ығысуды шын мәнінде қаншалықты азайтады? Алдыңғы сүзілген моделімізді жаңа салмақтау сызбасымен fine-tuning жасағанда, fine-tuning жасалған модельдің мінез-құлқы біз бұрын тапқан ығысқан мысалдарда сүзілмеген модельге әлдеқайда жақын болды. Бұл жігерлендіргенімен, біз осы шараны кілтсөзге негізделген ығысу эвристикасы арқылы анағұрлым мұқият бағалағымыз келді. Жаңа салмақтау сызбасын ескеріп кілтсөз жиіліктерін өлшеу үшін, сүзілген деректер жиынындағы кілтсөздің әрбір кездесуін оны қамтитын үлгінің салмағымен жай ғана өлшей аламыз. Осылай істегенде, сүзілген деректер жиынындағы үлгі салмақтарын көрсететін кілтсөз жиіліктерінің жаңа жиынын аламыз.

Біз тексерген кілтсөздердің көпшілігі бойынша қайта салмақтау сызбасы сүзу тудырған жиілік өзгерісін азайтты. Бұрынғы “man” және “woman” мысалдары үшін салыстырмалы жиілік төмендеуі тиісінше 1% және –1% болды, ал олардың алдыңғы мәндері 14% және 6% еді. Бұл метрика нақты сүзу ығысуының тек жанама көрсеткіші ғана болғанымен, суретке негізделген қайта салмақтау сызбамыздың мәтінге негізделген метриканы соншалықты елеулі жақсартатыны көңілге медеу береді.

Біз DALL·E 2-дегі қалған ығысуларды зерттеуді жалғастырып жатырмыз, ішінара модель мінез-құлқын ауқымдырақ бағалау және сүзудің ығысу мен қабілеттердің дамуына қалай әсер еткенін зерттеу арқылы.

Біз DALL·E 2-ге дейінгі ішкі алдыңғы модельдеріміз кейде үйрету суреттерін сөзбе-сөз қайталап шығаратынын байқадық. Бұл мінез-құлық жағымсыз болды, өйткені біз DALL·E 2 әдепкі бойынша түпнұсқа, бірегей суреттер жасағанын және бар суреттердің бөліктерін жай ғана «құрастырып» қоймағанын қаладық. Бұған қоса, үйрету суреттерін сөзбе-сөз қайта шығару авторлық құқықты бұзу, меншік және құпиялылыққа қатысты құқықтық сұрақтар туындатуы мүмкін (егер адамдардың фотосуреттері үйрету деректерінде болған болса).

Суретті қайталап шығару мәселесін жақсырақ түсіну үшін біз жиі қайталанған суреттерге әкелетін көмексөздер деректер жиынын жинадық. Мұны істеу үшін біз үйретілген модельді пайдаланып, үйрету деректер жиынымыздан 50 000 көмексөз үшін суреттер үлгіледік және үлгілерді сәйкес үйрету суретімен перцептивті ұқсастығы бойынша сұрыптадық. Соңында біз жоғарғы сәйкестіктерді қолмен қарап шығып, жалпы 50 мың көмексөздің ішінен бірнеше жүз ғана шынайы қайталанатын жұп таптық. Қайта шығару деңгейі 1%-дан аз болып көрінгенімен, жоғарыда аталған себептерге байланысты оны 0-ге дейін түсіру қажет деп санадық.

Қайта шығарылған суреттер деректер жиынын зерттегенде, біз екі заңдылықты байқадық. Біріншіден, суреттердің бәрі дерлік қарапайым векторлық графика болды, олардағы ақпарат аз болғандықтан есте сақтауға оңай болған шығар. Екіншіден, және одан да маңыздысы, бұл суреттердің бәрінің үйрету деректер жиынында өте көп ұқсас көшірмелері болды. Мысалы, сағат 1-ді көрсетіп тұрған сағатқа ұқсайтын векторлық графика болуы мүмкін — бірақ кейін біз дәл сондай сағат 2-ні, одан кейін 3-ті және т.б. көрсететін үйрету үлгісін табатын едік. Мұны түсінгеннен кейін, біз таратылған ең жақын көршіні іздеу әдісін қолданып, шынында да қайта шығарылған суреттердің бәрінің деректер жиынында перцептивті тұрғыдан ұқсас көшірмелері бар екенін растадық. Басқа⁠(жаңа терезеде ашылады) жұмыстарда⁠(жаңа терезеде ашылады) да үлкен тілдік модельдерде ұқсас құбылыс байқалған, онда деректердің қайталануы есте сақтаумен тығыз байланысты екені анықталған.

Жоғарыдағы тұжырым, егер деректер жиынымыздағы қайталанатындарды жойсақ, қайта шығару мәселесін шешуіміз мүмкін екенін көрсетті. Бұған жету үшін біз ұқсас көрінетін суреттер топтарын анықтау үшін нейрондық желіні қолдануды, содан кейін әр топтан бір суреттен басқасының бәрін жоюды жоспарладық.^B

Алайда бұл үшін әр суреттің деректер жиынындағы кез келген басқа суреттің көшірмесі екенін тексеру қажет болар еді. Біздің толық деректер жиынымызда жүздеген миллион сурет болғандықтан, барлық көшірмені табу үшін аңғал тәсілмен жүздеген квадриллион сурет жұбын тексеру керек болар еді. Бұл техникалық тұрғыдан мүмкін болғанымен, әсіресе үлкен есептеу кластерінде, біз құнының аз ғана бөлігіне дерлік сондай жақсы жұмыс істейтін әлдеқайда тиімді балама таптық.Қайталанатындарды жою алдында деректер жиынын кластерлесек не болатынын қарастырайық. Жақын үлгілер жиі бір кластерге түсетіндіктен, қайталанатын жұптардың көбі кластер шекарасынан өтпейді. Сонда біз әр кластер ішіндегі үлгілердің қайталануын тексеріп, кластерден тыс көшірмелерді тексермей-ақ қоя аламыз, тек барлық қайталанатын жұптардың аз ғана бөлігін жіберіп аламыз. Бұл аңғал тәсілден әлдеқайда жылдам, өйткені енді суреттердің әрбір жұбын тексерудің қажеті жоқ.^C

Бұл тәсілді деректеріміздің шағын ішкі жиынында эмпирикалық тексергенде, K=1024 кластер қолданылғанда барлық қайталанатын жұптардың 85%-ын тапты. Жоғарыдағы алгоритмнің табыстылық деңгейін жақсарту үшін біз бір маңызды байқауды пайдаландық: деректер жиынының әртүрлі кездейсоқ ішкі жиындарын кластерлегенде, алынған кластер шекаралары көбіне айтарлықтай өзгеше болады. Сондықтан егер қайталанатын жұп деректерді бір кластерлеу кезінде кластер шекарасынан өтіп кетсе, сол жұп басқа кластерлеуде бір кластердің ішіне түсуі мүмкін. Неғұрлым көп кластерлеу жасап көрсеңіз, берілген қайталанатын жұпты табу ықтималдығы соғұрлым жоғары болады. Іс жүзінде біз бес кластерлеуді пайдалануға тоқтадық, яғни әр суреттің көшірмелерін бес түрлі кластердің бірігуінен іздейміз. Тәжірибеде бұл деректеріміздің бір ішкі жиынында барлық қайталанатын жұптардың 97%-ын тапты.

Таңғаларлығы, қайталанатындарды жою нәтижесінде деректер жиынымыздың шамамен төрттен бірі алынып тасталды. Табылған ұқсас көшірме жұптарды қарағанымызда, олардың көбінде мағыналы өзгерістер бар екенін көрдік. Жоғарыдағы сағат мысалын еске түсіріңіз: деректер жиынында бір сағаттың тәуліктің әртүрлі уақытын көрсететін көптеген суреті болуы мүмкін. Мұндай суреттер модельге осы нақты сағаттың сыртқы түрін есте сақтатуы ықтимал болғанымен, олар модельге сағаттағы тәулік уақыттарын ажыратуды үйренуге де көмектесуі мүмкін. Қанша дерек алынып тасталғанын ескерсек, осындай суреттерді өшіру модельдің өнімділігіне зиян тигізуі мүмкін бе деп алаңдадық.

Қайталанатындарды жоюдың модельдерімізге әсерін тексеру үшін біз бірдей гиперпараметрлері бар екі модельді үйреттік: бірін толық деректер жиынында, екіншісін қайталанатындары жойылған нұсқада. Модельдерді салыстыру үшін біз бастапқы GLIDE моделін бағалауда қолданған сол адамдық бағалауларды пайдаландық. Таңғаларлығы, адам бағалаушылары қайталанатындары жойылған деректерде үйретілген модельді аздап артық көрді, бұл деректер жиынындағы артық суреттердің көп мөлшері іс жүзінде өнімділікке зиян келтіргенін көрсетті.

Қайталанатындары жойылған деректерде үйретілген модельді алғаннан кейін, біз бұрын үйрету деректер жиынындағы 50 мың көмексөз бойынша жасаған қайта шығару іздеуін қайта жүргіздік. Жаңа модельге үйрету деректер жиынындағы суреттің дәл көмексөзі берілгенде, ол ешқашан үйрету суретін қайта шығармайтынын анықтадық. Бұл тексерісті одан әрі қатаңдату үшін біз 50 мың жасалған суреттің әрқайсысы бойынша бүкіл үйрету деректер жиынына ең жақын көршіні іздеуді де орындадық. Осылайша, модель белгілі бір көмексөзбен байланысты суреттен басқа бір суретті қайта шығарып жатқан жағдайды да байқай аламыз деп ойладық. Тіпті осындай мұқият тексерістің өзінде де біз суретті қайта шығару жағдайын ешқашан таппадық.

Жоғарыда талқыланған тәуекелді азайту шараларының бәрі DALL·E 2-мен байланысты қауіптерді азайту мақсатымызға қарай елеулі ілгерілеуді білдіргенімен, әр шараны әлі де жақсартуға болады:

• Алдын ала үйретуге арналған жақсырақ сүзгілер DALL·E 2-ні көбірек деректерде үйретуге және модельдегі ығысуды одан әрі азайтуға мүмкіндік беруі мүмкін. Біздің қазіргі сүзгілер жіберіп алу деңгейі төмен болатындай етіп, бірақ жалған оң нәтижелер көп болатын құнмен бапталған. Соның салдарынан, сүзгіден өткен суреттердің көбі контент саясатымызды мүлде бұзбаса да, біз бүкіл деректер жиынымыздың шамамен 5%-ын алып тастадық. Сүзгілерімізді жақсарту осы үйрету деректерінің бір бөлігін қайтаруға мүмкіндік беруі мүмкін.
• Ығысу жүйені әзірлеу мен енгізудің көптеген кезеңінде пайда болады және күшеюі мүмкін. DALL·E 2 сияқты жүйелердегі ығысуды және осы ығысудан туындайтын зиянды бағалау мен азайту — біздің кеңірек миссиямыздың бір бөлігі ретінде OpenAI-де зерттеуді жалғастырып жатқан маңызды пәнаралық мәселе. Бұл бағыттағы жұмысымызға мәселені жақсырақ түсінуге арналған бағалау жүйелерін құру, жаңа деректер жиындарын іріктеу және неғұрлым берік әрі өкілді технологиялар жасау үшін адам кері байланысы мен fine-tuning сияқты әдістерді қолдану кіреді.
• Сондай-ақ терең оқыту жүйелеріндегі есте сақтау мен жалпылауды зерттеуді жалғастыру аса маңызды. Қайталанатындарды жою есте сақтаудың алдын алуда жақсы алғашқы қадам болғанымен, ол DALL·E 2 сияқты модельдердің үйрету деректерін неге немесе қалай есте сақтайтыны туралы білетініміздің бәрін ашып бермейді.