Lumaktaw sa pangunahing content
OpenAI

Gumagawa ng video mula sa text

Direktang binuo ng Sora ang lahat ng video sa page na ito nang walang binago.

Naglo-load…

Tinuturuan namin ang AI na maunawaan at i-simulate ang pisikal na mundo na gumagalaw, na may layuning magsanay ng mga modelo na tutulong sa mga tao na lutasin ang mga problemang nangangailangan ng interaction sa totoong mundo.

Ipinapakilala ang Sora, ang aming text-to-video na modelo. Kayang bumuo ng Sora ng mga video na hanggang isang minuto habang pinapanatili ang visual na kalidad at sumusunod sa prompt ng user.

Ngayon, magiging available na ang Sora sa mga red teamer para masuri ang mga kritikal na bahagi para sa mga pinsala o panganib. Bibigyan din namin ng access ang ilang visual artist, designer at filmmaker para makakuha ng feedback sa kung paano pagandahin ang modelo para lubos na maging kapaki-pakinabang sa mga creative professional.

Ibabahagi namin nang maaga ang aming progreso sa pananaliksik para magsimulang makipagtulungan sa at makakuha ng feedback mula sa mga taong hindi bahagi ng OpenAI, at para bigyan ang publiko ng ideya kung ano ang mga kakayahan ng AI na paparating.

Kayang bumuo ng Sora ng mga kumplikadong eksena na may maraming character, mga partikular na uri ng galaw, at mga tumpak na detalye ng subject at background. Nauunawaan ng modelo hindi lang ang hinihiling ng user sa prompt, kundi pati na rin kung paano umiiral ang mga bagay na iyon sa pisikal na mundo.

May malalim na pag-unawa sa wika ang modelo, kaya tumpak nitong nabibigyang-kahulugan ang mga prompt at nakakabuo ito ng mga nakakaengganyong character na nagpapahayag ng mga buhay na buhay na damdamin. Puwede ring gumawa ang Sora ng maraming shot sa loob ng isang nabuong video na tumpak na naipapakita ang mga character at visual style.

Puwede pang pagandahin ang kasalukuyang modelo. Maaaring mahirapan itong i-simulate ang physics ng isang kumplikadong eksena, at maaaring hindi nito maunawaan ang mga partikular na pagkakataon ng sanhi at epekto (halimbawa: maaaring hindi magkaroon ng kagat ang isang cookie pagkatapos itong kagatan ng isang character). Maaari ding malito ang modelo sa mga detalye ng espasyo na kasama sa isang prompt, tulad ng pagtukoy sa kaliwa mula sa kanan, o maaari itong mahirapan sa mga tumpak na paglalarawan ng mga event na nangyayari sa paglipas ng panahon, tulad ng mga partikular na trajectory ng camera.

Kaligtasan

May gagawin kaming ilang mahalagang hakbang para sa kaligtasan bago gawing available ang Sora sa mga produkto ng OpenAI. Nakikipagtulungan kami sa mga red teamer — mga eksperto sa domain sa mga larangan tulad ng maling impormasyon, mapoot na content, at bias — na susubok sa modelo bilang adversary.

Gumagawa rin kami ng mga tool na nakakatulong sa pag-detect ng mapanlinlang na content, tulad ng detection classifier na matutukoy kung binuo ng Sora ang isang video. Pinaplano naming isama ang metadata ng C2PA(magbubukas sa bagong window) sa hinaharap kung ide-deploy namin ang modelo sa produkto ng OpenAI.

Bukod sa pagbuo namin ng mga bagong technique para maghanda para sa pag-deploy, gagamitin din namin ang mga kasalukuyang pamamaraan sa kaligtasan(magbubukas sa bagong window) na binuo namin para sa aming mga produkto na gumagamit ng DALL·E 3, na naaangkop din sa Sora.

Halimbawa, kapag nasa isang produkto na ng OpenAI, susuriin at tatanggihan ng aming classifier ng text ang mga text input prompt na lumalabag sa aming mga patakaran sa paggamit, tulad ng mga humihiling ng matinding karahasan, sekswal na content, mapoot na imagery, likeness ng celebrity, o IP ng iba. Bumuo rin kami ng mahuhusay na classifier ng larawan na ginagamit upang suriin ang mga frame ng bawat video na binuo upang matiyak na sumusunod ito sa aming mga patakaran sa paggamit, bago ito ipakita sa user.

Makikipagtulungan kami sa mga tagapagbatas, tagapagturo, at mga artist sa buong mundo upang maunawaan ang kanilang mga alalahanin at matukoy ang mga positibong use case para sa bagong teknolohiyang ito. Sa kabila ng malawak na pananaliksik at pagsubok, hindi namin matutukoy ang lahat ng kapaki-pakinabang na paraan kung paano gagamitin ng mga tao ang aming teknolohiya, o ang lahat ng paraan kung paano ito aabusuhin ng mga tao. Iyon ang dahilan kung bakit naniniwala kami na mahalagang bahagi ng paggawa at pag-release ng mga mas ligtas na AI system ang pagkatuto mula sa paggamit sa totoong buhay sa paglipas ng panahon.

Research techniques

Ang Sora ay isang diffusion model, na bumubuo ng video sa pamamagitan ng pagsisimula sa isang video na mukhang static noise at unti-unti nito itong binabago sa pamamagitan ng pag-alis ng noise sa maraming hakbang.

Kayang bumuo ng Sora ng mga buong video nang sabay-sabay o palawigin ang mga nabuong video upang pahabain ang mga ito. Sa pamamagitan ng pagbibigay sa modelo ng kakayahang makita ang maraming frame nang sabay-sabay, nalutas namin ang mahirap na problema ng pagtiyak na hindi magbabago ang subject kahit na pansamantala itong mawala sa view.

Katulad ng mga modelo ng GPT, gumagamit ang Sora ng transformer architecture, na nagbibigay ng mahusay na performance sa pag-scale.

Inilalarawan namin ang mga video at larawan bilang mga koleksyon ng maliliit na unit ng data na tinatawag na mga patch, at katulad ng token sa GPT ang bawat isa sa mga ito. Dahil pinag-isa ang paraan ng paglalarawan sa data, puwede nating sanayin ang mga diffusion transformer sa mas malawak na hanay ng visual data kaysa dati, na sumasaklaw sa iba't ibang tagal, resolution, at mga aspect ratio.

Ang Sora ay nakabatay sa nakaraang pananaliksik sa mga modelo ng DALL·E at GPT. Ginagamit nito ang technique sa recaptioning mula sa DALL·E 3, kung saan bumubuo ng mga lubos na mapaglarawang caption para sa visual data ng pagsasanay. Dahil dito, mas tapat na nasusunod ng modelo ang mga text na tagubilin ng user sa nabuong video.

Bukod sa kakayahang bumuo ng video mula lang sa mga text na tagubilin, kaya rin ng modelo na kumuha ng still image na mayroon na at bumuo ng video mula rito, at ia-animate nito ang mga content ng larawan nang may katumpakan at pagtuon sa maliliit na detalye. Kaya rin ng modelo na kumuha ng video na mayroon na at palawakin ito o punan ang mga nawawalang frame. Matuto pa sa aming teknikal na ulat.

Ang Sora ay nagsisilbing pundasyon para sa mga modelo na kayang maunawaan at i-simulate ang totoong mundo, na isang kakayahan na sa palagay namin ay magiging mahalagang milestone para sa pagkamit ng AGI.

Naglo-load...