Langkau ke kandungan utama
OpenAI

Cipta video daripada teks

Semua video di halaman ini dijana secara langsung oleh Sora tanpa sebarang pengubahsuaian.

Memuat…

Kami mengajar AI untuk memahami dan mensimulasikan dunia fizikal yang bergerak, dengan tujuan untuk melatih model yang akan membantu orang ramai menyelesaikan masalah yang memerlukan interaksi dunia sebenar.

Memperkenalkan Sora, model teks-ke-video kami. Sora boleh menjana video sehingga satu minit sambil mengekalkan kualiti visual dan mematuhi prom pengguna.

Hari ini, Sora kini boleh diakses oleh pasukan merah untuk menilai bahagian kritikal yang berbahaya atau risiko. Kami juga memberikan akses kepada beberapa artis visual, pereka bentuk, dan pembuat filem untuk mendapatkan maklum balas tentang cara memajukan model agar ia menjadi model paling bermanfaat untuk profesional kreatif.

Kami berkongsi kemajuan penyelidikan kami lebih awal untuk mula bekerjasama dan mendapatkan maklum balas daripada orang di luar OpenAI serta untuk memberi gambaran kepada orang ramai tentang keupayaan AI yang akan datang.

Sora mampu jana adegan kompleks dengan pelbagai aksara, jenis gerakan tertentu, dan butiran subjek serta latar belakang yang tepat. Model ini memahami bukan sahaja apa yang pengguna minta dalam prom, tetapi juga bagaimana perkara-perkara tersebut wujud dalam dunia fizikal.

Model ini mempunyai pemahaman yang mendalam tentang bahasa, membolehkannya mentafsirkan prom dengan tepat dan menjana aksara menarik yang meluahkan emosi yang bertenaga. Sora juga boleh mencipta pelbagai tangkapan dalam satu video yang dijana sambil mengekalkan aksara dan gaya visual dengan tepat.

Model semasa masih mempunyai ruang untuk penambahbaikan. Ia mungkin menghadapi kesukaran untuk mensimulasikan fizik dalam pemandangan yang kompleks, dan mungkin tidak memahami contoh khusus sebab dan akibat (contohnya: biskut mungkin tidak menunjukkan tanda selepas watak menggigitnya). Model ini juga mungkin terkeliru dengan butiran ruang yang termasuk di dalam prom, seperti membezakan kiri dari kanan, atau menghadapi kesukaran dengan penerangan tepat mengenai peristiwa yang berlaku dari semasa ke semasa, seperti lintasan kamera tertentu.

Keselamatan

Kami akan mengambil beberapa langkah keselamatan penting sebelum menjadikan Sora tersedia dalam produk OpenAI. Kami bekerjasama dengan pasukan merah — pakar domain dalam bidang seperti maklumat salah, kandungan kebencian, dan berat sebelah — yang akan menguji model secara berlawanan.

Kami juga sedang membina alat untuk membantu mengesan kandungan yang mengelirukan seperti pengelas pengesanan yang boleh memberitahu bila video dijana oleh Sora. Kami merancang untuk memasukkan metadata C2PA(dibuka dalam tetingkap baru) pada masa hadapan jika kami melancarkan model tersebut di dalam produk OpenAI.

Selain daripada kami membangunkan teknik baharu untuk persediaan penggunaan, kami juga memanfaatkan kaedah keselamatan sedia ada(dibuka dalam tetingkap baru) yang kami bina untuk produk kami yang menggunakan DALL·E 3, yang juga boleh digunakan untuk Sora.

Sebagai contoh, dalam produk OpenAI, pengelas teks kami akan menyemak dan menolak prom input yang melanggar dasar penggunaan kami, seperti prom yang meminta keganasan melampau, kandungan seksual, imej kebencian, rupa yang serupa dengan selebriti, atau harta intelek orang lain. Kami juga telah membangunkan pengelas imej yang kukuh yang digunakan untuk menyemak bingkai setiap video yang dijana bagi memastikan ia mematuhi dasar penggunaan kami, sebelum ia ditunjukkan kepada pengguna.

Kami akan melibatkan penggubal dasar, pendidik, dan artis di seluruh dunia untuk memahami kebimbangan mereka dan mengenal pasti kes penggunaan positif bagi teknologi baharu ini. Walaupun penyelidikan dan ujian yang meluas telah dilakukan, kami tidak dapat meramalkan semua cara bermanfaat penggunaan teknologi kami oleh orang ramai, mahupun apa jua cara penyalahgunaan yang akan di gunakan oleh orang ramai. Itulah sebabnya kami percaya bahawa pembelajaran daripada penggunaan dunia sebenar adalah komponen penting dalam mencipta dan melancarkan sistem AI yang semakin selamat dari semasa ke semasa.

Research techniques

Sora ialah model penyebaran, yang menjana video bermula dengan satu video yang kelihatan seperti hingar statik dan secara beransur-ansur mengubahnya dengan mengalih keluar hingar tersebut melalui banyak langkah.

Sora mampu menjana keseluruhan video sekaligus atau memanjangkan video yang telah dijana untuk menjadikannya lebih panjang. Dengan memberikan model pandangan jauh dari banyak bingkai pada satu masa, kami telah menyelesaikan masalah yang mencabar untuk memastikan subjek kekal sama walaupun ia hilang dari pandangan buat sementara waktu.

Sama seperti model GPT, Sora menggunakan seni bina transformer, membuka kunci prestasi penskalaan yang unggul.

Kami mewakilkan video dan imej sebagai koleksi unit data yang lebih kecil yang dipanggil tampalan, setiap satunya serupa dengan token dalam GPT. Dengan menyatukan cara kita mewakilkan data, kita boleh melatih transformer penyebaran untuk pelbagai data visual yang lebih luas daripada sebelumnya, meliputi pelbagai jangka masa, resolusi, dan nisbah aspek.

Sora dibina berdasarkan penyelidikan terdahulu dalam model DALL·E dan GPT. Ia menggunakan teknik kapsyen semula daripada DALL·E 3, yang melibatkan penjanaan kapsyen yang sangat deskriptif untuk data latihan visual. Akibatnya, model boleh mengikuti arahan teks pengguna dalam video yang dijana dengan lebih tepat.

Selain daripada dapat menjana video hanya melalui arahan teks, model ini juga boleh mengambil imej pegun yang sedia ada dan menjana video daripadanya, menghidupkan kandungan imej dengan ketepatan dan perhatian kepada perincian kecil. Model ini juga boleh mengambil video sedia ada dan memanjangkannya atau mengisi bingkai yang hilang. Ketahui lebih lanjut dalam laporan teknikal kami.

Sora berfungsi sebagai asas untuk model yang boleh memahami dan mensimulasikan dunia sebenar, satu keupayaan yang kami percaya akan menjadi tonggak penting untuk mencapai AGI.

Memuat...