Pereiti prie pagrindinio turinio
OpenAI

Vaizdo įrašo kūrimas iš teksto

Visus šiame puslapyje esančius vaizdo įrašus tiesiogiai generavo „Sora“ be jokių pakeitimų.

Įkeliama...

Mokome DI suprasti ir imituoti judantį fizinį pasaulį, siekdami mokyti modelius, kurie padeda žmonėms spręsti problemas, reikalaujančias sąveikos realiame pasaulyje.

Pristatome „Sora“ – mūsų teksto keitimo į vaizdo įrašą modelį. „Sora“ gali generuoti iki minutės trukmės vaizdo įrašus, išlaikydama vaizdo kokybę ir atitiktį naudotojo raginimui.

Šiandien „Sora“ tampa pristatoma testavimo, skirto nustatyti spragas, specialistams, kurie stengsis įvertinti kritines sritis dėl žalos ar rizikos. Taip pat suteikiame prieigą daugeliui vizualiųjų menininkų, dizainerių ir filmų kūrėjų, kad gautume atsiliepimų, kaip patobulinti modelį, kad jis būtų kuo naudingesnis kūrybinių industrijų profesionalams.

Anksti dalijamės savo mokslinių tyrimų pažanga, kad galėtume pradėti dirbti ir gauti atsiliepimų iš žmonių, nepriklausančių „OpenAI“, ir padėti visuomenei suprasti, kokios DI galimybės mūsų laukia tateityje.

„Sora“ gali generuoti sudėtingas scenas su keliais personažais, konkrečių tipų judesiais ir tiksliomis objekto ir fono detalėmis. Modelis supranta ne tik tai, ko naudotojas paprašė raginime, bet ir tai, kaip tie dalykai egzistuoja fiziniame pasaulyje.

Modelis puikiai supranta kalbą, todėl gali tiksliai interpretuoti raginimus ir generuoti įtikinamus personažus, išreiškiančius ryškias emocijas. „Sora“ taip pat gali sukurti kelis kadrus viename generuotame vaizdo įraše, kuriuose tiksliai išlaikomi personažai ir vizualinis stilius.

Dabartinį modelį dar galima tobulinti. Jam gali būti sunku imituoti sudėtingos scenos fiziką ir jis gali nesuprasti konkrečių priežasties ir pasekmės atvejų (pavyzdžiui, veikėjui atsikandus sausainio, jame gali nelikti žymės). Modelis taip pat gali painioti raginime nurodytas erdvines detales, pavyzdžiui, nemokėti atskirti kairės nuo dešinės, arba jam gali būti sunku tiksliai apibūdinti laikui bėgant vykstančius įvykius, pavyzdžiui, konkrečias kameros trajektorijas.

Sauga

Prieš pateikdami „Sora“ „OpenAI“ produktuose, imsimės kelių svarbių saugos veiksmų. Bendradarbiaujame su testavimo siekiant atrasti spragas specialistais – tokių sričių kaip dezinformacija, neapykantą kurstantis turinys ir šališkumas ekspertais, kurie testuos modelį, siekdami nustatyti spragas.

Taip pat kuriame įrankius, padedančius aptikti klaidinantį turinį, pavyzdžiui, aptikimo klasifikatorių, galintį nustatyti, kada „Sora“ sugeneravo vaizdo įrašą. Ateityje planuojame įtraukti C2PA metaduomenis(atsidaro naujame lange), jei modelį įdiegsime „OpenAI“ produkte.

Ne tik kuriame naujus metodus, kad pasiruštume diegimui, bet ir naudojame esamus saugos metodus(atsidaro naujame lange), kuriuos sukūrėme savo produktams, naudojantiems DALL E 3 – jie tinka ir „Sora“.

Pavyzdžiui, „OpenAI“ produkte mūsų teksto klasifikatorius tikrins ir atmes tekstinės įvesties raginimus, kurie pažeidžia mūsų naudojimo politiką, pavyzdžiui, tuos, kuriais prašoma itin žiauraus, seksualinio pobūdžio turinio, neapykantą kurstančių vaizdų, įžymybių atvaizdų ar kitų asmenų intelektinės nuosavybės. Taip pat sukūrėme patikimus vaizdų klasifikatorius, kurie naudojami kiekvieno generuoto vaizdo įrašo kadrams peržiūrėti, siekiant padėti užtikrinti, kad jis atitiktų mūsų naudojimo politiką, prieš parodant jį naudotojui.

Bendradarbiausime su politikos formuotojais, švietėjais ir menininkais visame pasaulyje, kad suprastume jų susirūpinimą ir nustatytume teigiamus šios naujos technologijos naudojimo atvejus. Nepaisant išsamių tyrimų ir bandymų, negalime numatyti visų naudingų būdų, kuriais žmonės naudos mūsų technologiją, nei visų būdų, kuriais ja piktnaudžiaus. Štai kodėl manome, kad mokymasis iš naudojimo realiame pasaulyje yra labai svarbus komponentas, norint ilgainiui sukurti ir išleisti vis saugesnes DI sistemas.

Research techniques

„Sora“ yra difuzinis modelis, kuris generuoja vaizdo įrašą pradėdamas nuo statiškai triukšmingo vaizdo ir palaipsniui jį keisdamas, per daugelį žingsnių pašalindamas triukšmą.

„Sora“ gali generuoti ištisus vaizdo įrašus iš karto arba pailginti jau sugeneruotus vaizdo įrašus. Suteikdami modeliui galimybę numatyti daugelį kadrų iš anksto, išsprendėme sudėtingą problemą – užtikrinti, kad objektas išliktų toks pat, net jei laikinai dingsta iš akiračio.

Panašiai kaip GPT modeliai, „Sora“ naudoja transformatoriaus architektūrą, užtikrinančią puikų mastelio keitimo našumą.

Vaizdo įrašus ir vaizdus pateikiame kaip mažesnių duomenų vienetų, vadinamų lopais (angl. patches), rinkinius, kurių kiekvienas yra panašus į GPT žetona (angl. token). Suvienodinę duomenų vaizdavimo būdą, galime mokyti difuzinius transformatorius naudoti įvairesnius vaizdinius duomenis nei anksčiau, apimančius skirtingą trukmę, skiriamąją gebą ir formato santykį.

„Sora“ remiasi ankstesniais DALL E ir GPT modelių tyrimais. Jame naudojama DALL E 3 antraščių atkūrimo technika, kuri apima išsamių aprašomųjų antraščių generavimą vaizdiniams mokymo duomenims. Dėl to modelis gali tiksliau laikytis naudotojo tekstinių instrukcijų generuojamame vaizdo įraše.

Modelis gali ne tik generuoti vaizdo įrašą vien iš tekstinių instrukcijų, bet ir paimti esamą nejudantį vaizdą bei iš jo sugeneruoti vaizdo įrašą, tiksliai ir atidžiai atkurdamas smulkias vaizdo turinio detales. Modelis taip pat gali paimti esamą vaizdo įrašą ir jį pratęsti arba užpildyti trūkstamus kadrus. Daugiau sužinosite mūsų techniniame pranešime.

„Sora“ yra pagrindas modeliams, galintiems suprasti ir imituoti realų pasaulį – manome, kad ši galimybė bus svarbus etapas siekiant dirbtinio bendrojo intelekto (angl. artificial general intelligence, AGI).

Įkeliama...