Sora системийн карт

Sora нь OpenAI‑ийн видео үүсгэх загвар бөгөөд текст, зураг, видео оролт авч, үр дүнд нь шинэ видео бүтээхээр бүтээгдсэн. Хэрэглэгчид 1080p хүртэлх нягтралтай (хамгийн ихдээ 20 секунд) видеог янз бүрийн форматаар үүсгэх, текстээс шинэ контент бүтээх, эсвэл өөрсдийн материалаа сайжруулах, ремикс хийх, холих боломжтой. Хэрэглэгчид олон нийтийн бүтээлүүдийг харуулж, шинэ санаанд урам өгдөг Featured болон Recent фийдүүдийг үзэх боломжтой. Sora нь DALL·E болон GPT загваруудаас олж авсан сургамж дээр тулгуурласан бөгөөд хүмүүст өгүүлэмж ба бүтээлч илэрхийлэлд зориулсан өргөжүүлсэн хэрэгсэл өгөхөөр бүтээгдсэн. 

Sora нь диффуз загвар бөгөөд эхлээд шуугиантай суурь видеоноос эхэлж, олон алхмын турш шуугианыг арилган аажмаар өөрчилснөөр видео үүсгэдэг. Загварт нэг дор олон кадрыг урьдчилан харах боломж олгосноор бид объект түр хугацаанд харагдахгүй болсон ч ижил хэвээр байх хүндрэлийг шийдсэн. GPT загваруудын адил Sora нь трансформер архитектур ашигладаг бөгөөд энэ нь илүү сайн масштаблах гүйцэтгэлийг нээдэг. 

Sora нь DALL·E 3‑ын дахин тайлбарлах аргыг ашигладаг бөгөөд энэ нь харааны сургалтын өгөгдөлд маш нарийвчилсан тайлбар үүсгэхийг хэлнэ. Үүний үр дүнд загвар нь хэрэглэгчийн текстэн зааврыг үүсгэсэн видеонд илүү үнэнч дагаж чаддаг.

Зөвхөн текстэн заавраас видео үүсгэхээс гадна энэ загвар нь одоо байгаа хөдөлгөөнгүй зургийг авч түүнээс видео бүтээж, зургийн агуулгыг нарийвчлалтай, жижиг детальд анхааран хөдөлгөөнд оруулж чадна. Мөн загвар нь одоо байгаа видеог авч сунгах эсвэл дутуу кадруудыг нөхөж чадна⁠. Sora нь бодит ертөнцийг ойлгож, дуурайлган загварчлах чадвартай загваруудын суурь болж өгдөг бөгөөд бидний үзэж буйгаар энэ нь AGI‑д хүрэх чухал үе шат болно.

Sora‑ийн чадварууд нь төстэй байдлыг буруугаар ашиглах эсвэл төөрөгдүүлсэн, эсвэл ил тод видео контент үүсгэх боломж зэрэг шинэ эрсдэлүүдийг мөн бий болгож болзошгүй. Sora‑г бүтээгдэхүүнд аюулгүйгээр нэвтрүүлэхийн тулд бид ChatGPT болон API дахь DALL·E‑ийн нэвтрүүлэлтийн аюулгүй байдлын ажлаас, мөн ChatGPT зэрэг OpenAI‑ийн бусад бүтээгдэхүүний аюулгүй байдлын бууруулах арга хэмжээнээс олж авсан мэдлэг дээр тулгуурласан. Энэ системийн карт нь үүний үр дүнд бий болсон бууруулах арга хэмжээний давхаргууд, гадаад улаан багийн ажил, үнэлгээ, мөн эдгээр хамгаалалтыг цаашид боловсронгуй болгох тасралтгүй судалгааг тайлбарлана.

2024 оны 2-р сарын техникийн тайлан⁠¹-д тайлбарласанчлан, Sora нь интернетийн хэмжээний өгөгдөл дээр сургаж ерөнхий чадвар эзэмшдэг том хэлний загваруудаас санаа авсан. Том хэлний загвар (LLM) парадигмын амжилт нь хэсэгчлэн текстийн олон төрлийн хэлбэр—код, математик, төрөл бүрийн байгалийн хэл—ийг гоёмсгоор нэгтгэдэг токенуудыг ашигласнаар боломжтой болсон. Sora‑ийн хувьд бид харааны өгөгдлийн үүсмэл загвар ийм давуу талыг хэрхэн өвлөж болохыг авч үзсэн. LLM‑үүд текст токентой байдаг бол Sora нь харааны patch‑тай. Patch нь өмнө нь харааны өгөгдлийн загварт үр дүнтэй төлөөлөл болох нь батлагдсан. Бид patch нь олон төрлийн видео, зураг дээр үүсмэл загвар сургахад өндөр хэмжээнд масштаблагдах, үр дүнтэй төлөөлөл болохыг олж мэдсэн. Ерөнхийдөө бид эхлээд видеог бага хэмжээст далд орон зайд шахаж, дараа нь уг төлөөллийг орон‑цагийн patch‑ууд болгон задлах замаар видеог patch болгон хувиргадаг.

Sora нь олон төрлийн өгөгдлийн багц дээр сургагдсан бөгөөд үүнд нийтэд нээлттэй өгөгдөл, түншлэлээр авсан өмчийн өгөгдөл, дотооддоо боловсруулсан захиалгат өгөгдлийн багцуудын холимог орно. Эдгээр нь:

• Сонгомол нийтэд нээлттэй өгөгдөл, ихэвчлэн салбарын стандарт машин сургалтын өгөгдлийн багц болон вэб мөлхөлтөөс цуглуулсан.
• Өгөгдлийн түншлэлээс авсан өмчийн өгөгдөл. Бид нийтэд нээлттэй бус өгөгдөлд хандахын тулд түншлэл байгуулдаг. Жишээлбэл, бид AI‑аар үүсгэсэн зураг бүтээх, нийлүүлэх чиглэлээр Shutterstock⁠ Pond5‑тай хамтран ажилласан. Мөн бид хэрэгцээндээ тохирсон өгөгдлийн багц захиалж, бүтээхээр түншилдэг.
• Хүний өгөгдөл: AI сургагчид, улаан багийнхан, ажилтнуудын санал хүсэлт. 

Урьдчилсан сургалтын үе шатны дараа хэрэгжүүлсэн бууруулах арга хэмжээнээс гадна урьдчилсан сургалтын шүүлтүүрийн арга хэмжээ нь бусад аюулгүй байдлын хамгаалалттай хамт хүсээгүй, хортой өгөгдлийг манай өгөгдлийн багцаас хасахад туслах нэмэлт хамгаалалтын давхарга болж чадна. Тиймээс сургалтын өмнө бүх өгөгдлийн багц энэ шүүлтүүрийн процессыг дамжин, хамгийн ил тод, хүчирхийлэлтэй эсвэл бусад мэдрэмтгий контентыг (жишээлбэл, зарим үзэн ядалтын бэлгэдэл) устгадаг бөгөөд энэ нь DALL·E 2, DALL·E 3 зэрэг бусад загваруудаа сургахад ашигласан өгөгдлийг шүүх аргын өргөтгөл юм.

Бид Sora‑ийн дизайн болон аюулгүй байдлын бууруулах арга хэмжээнд мэдээлэл өгөхийн тулд болзошгүй буруу хэрэглээ болон бодит ертөнцийн бүтээлч хэрэглээг ойлгох нягт нямбай үйл явц хэрэгжүүлсэн. 2024 оны 2-р сард Sora‑г зарласны дараа бид 60 гаруй орны олон зуун дүрслэх урлагийн уран бүтээлч, дизайнер, кино бүтээгчидтэй хамтран загварыг бүтээлч мэргэжилтнүүдэд хамгийн тустай байдлаар хэрхэн ахиулах талаар санал авсан. Мөн эрсдэлийг илрүүлж, үнэлэх, аюулгүй байдал болон эрсдэлийг бууруулах арга хэмжээг давтан сайжруулахын тулд бид дотооддоо болон гадаад улаан багтай хамт олон үнэлгээ боловсруулсан. 

Sora‑ийн аюулгүй байдлын давхарга нь эдгээр сургамж, мөн DALL·E, ChatGPT зэрэг бусад загвар, бүтээгдэхүүнд ашигладаг одоо байгаа аюулгүй байдлын хамгаалалт, түүнчлэн манай видео бүтээгдэхүүнд тусгайлан бүтээгдсэн хамгаалалтууд дээр тулгуурладаг. Энэ нь хүчирхэг хэрэгсэл учраас бид ялангуяа нөхцөл байдал чухал эсвэл видеотой холбоотой шинэ эрсдэл гарч болзошгүй гэж үзсэн чиглэлүүдэд аюулгүй байдлын хувьд үе шаттай хандлага барьж байна. Манай үе шаттай хандлагын жишээнд 18 ба түүнээс дээш насныханд хандалтыг насны босгоор хязгаарлах, төстэй дүр төрх/нүүр байршуулах хэрэглээг хязгаарлах, мөн эхний нээлтийн үед насанд хүрээгүй хүмүүсийн өгөгдөл, байршуулалтад илүү хатуу модерацийн босго хэрэглэх зэрэг орно. Бид хүмүүс Sora‑г хэрхэн ашиглаж байгаагаас үргэлжлүүлэн суралцаж, хэрэглэгчдийнхээ бүтээлч боломжийг хамгийн ихээр нээхийн зэрэгцээ аюулгүй байдлыг хамгийн зөв тэнцвэржүүлэхийн тулд хандлагаа давтан сайжруулахыг хүсэж байна. 

OpenAI нь есөн өөр улсад байрлах гадаад улаан багийн шинжээчидтэй хамтран Sora‑г туршиж, аюулгүй байдлын бууруулах арга хэмжээний сул талыг илрүүлж, Sora‑ийн шинэ бүтээгдэхүүний боломжуудтай холбоотой эрсдэлийн талаар санал авсан. Улаан багийнхан 2024 оны 9-р сараас 12-р сар хүртэл аюулгүй байдлын арга хэмжээ болон системийн боловсорсон байдлын янз бүрийн хувилбартай Sora бүтээгдэхүүнд хандаж, 15,000‑аас дээш үүсгэлтийг туршсан. Энэхүү улаан багийн ажил нь 2024 оны эхээр үйлдвэрлэлийн бууруулах хамгаалалтгүй Sora загварыг туршсан ажлын үргэлжлэл юм.

Улаан багийнхан Sora загвар болон бүтээгдэхүүний хэрэгслүүдийн шинэ төрлийн болзошгүй эрсдэлүүдийг судалж, аюулгүй байдлын арга хэмжээг хөгжүүлж, сайжруулах явцад нь туршсан. Эдгээр улаан багийн кампанит ажил нь дүрэм зөрчсөн болон зөвшөөрөгдөөгүй олон төрлийн контентыг (бэлгийн болон эротик контент, хүчирхийлэл ба цус нөж, өөрийгөө гэмтээх, хууль бус контент, буруу/төөрөгдүүлсэн мэдээлэл гэх мэт), аюулгүй байдлын хамгаалалтыг тойрон гарах дайсагнасан аргуудыг (өгөгдөл болон хэрэгсэл/функц ашиглалт аль аль нь), мөн эдгээр хэрэгслүүдийг модерацийн хэрэгсэл, хамгаалалтыг аажмаар сулруулахад хэрхэн ашиглаж болохыг хамарсан. Улаан багийнхан мөн Sora‑ийн хандлага, ялгаварлал болон ерөнхий гүйцэтгэлийн талаарх ойлголтынхоо талаар санал өгсөн. 

Бид дээр дурдсан бүх контентийн ангиллаар энгийн өгөгдөл болон дайсагнасан өгөгдлийн аргыг ашиглан текстээс видео үүсгэхийг судалсан. Медиа байршуулах боломжийг олон нийтэд нээлттэй хүмүүсийг оролцуулсан маш олон төрлийн зураг, видео, мөн дүрэм зөрчсөн контент үүсгэх чадварыг шалгах өргөн хүрээний контентийн ангиллаар туршсан. Мөн бид хориглосон контент үүсгэхэд эдгээрийн ашиг тусыг үнэлэхийн тулд өөрчлөлтийн хэрэгслүүдийн (storyboards, recut, remix, blend) янз бүрийн хэрэглээ, хослолыг туршсан. 

Улаан багийнхан хориглосон контентийн тодорхой төрлүүд болон ерөнхий дайсагнасан тактикуудын хувьд анхаарал татахуйц ажиглалтуудыг илрүүлсэн. Жишээлбэл, эмнэлгийн нөхцөл байдал эсвэл шинжлэх ухааны уран зөгнөл / fantasy орчинг агуулсан текстэн өгөгдөл ашиглах нь нэмэлт хамгаалалт бий болтол эротик болон бэлгийн контент үүсгэхээс сэргийлэх хамгаалалтыг сулруулж байгааг улаан багийнхан олж мэдсэн. Улаан багийнхан аюулгүй байдлын давхаргын элементүүдийг тойрон гарахын тулд санаа өдөөгч өгөгдөл болон зүйрлэл ашиглан загварын дүгнэх чадварыг ашиглах зэрэг дайсагнасан тактик хэрэглэсэн. Олон оролдлогын явцад тэд хамгаалалт идэвхжүүлдэг өгөгдөл, үгсийн хандлагыг таньж, татгалзалтыг тойрон гарахын тулд өөр найруулга, үгсийг туршиж чадсан. Эцэст нь улаан багийнхан хамгийн их санаа зовоосон үүсгэлтийг сонгон, ганц өгөгдлийн аргаар бүтээх боломжгүй дүрэм зөрчсөн контентыг цааш хөгжүүлэх эх медиа болгон ашигласан. Заримдаа jailbreak аргууд аюулгүй байдлын бодлогыг сулруулахад үр дүнтэй байсан бөгөөд энэ нь бидэнд эдгээр хамгаалалтыг ч мөн сайжруулах боломж олгосон.

Улаан багийнхан мөн медиа байршуулах боломж болон Sora‑ийн хэрэгслүүдийг (storyboards, recut, remix, blend) олон нийтэд нээлттэй зураг болон AI‑аар үүсгэсэн медиатай хамт туршсан. Энэ нь Sora гарахаас өмнө бэхжүүлэх шаардлагатай оролт, гаралтын шүүлтүүрийн цоорхойг илрүүлж, хүмүүсийг багтаасан медиа байршуулалтын хамгаалалтыг сайжруулахад тусалсан. Туршилт нь мөн дүрэм зөрчөөгүй медиа байршуулалтыг хориглосон эротик, хүчирхийллийн эсвэл deepfake контент болгон өөрчлөх эрсдэлийг бууруулахын тулд ангилагчийн илүү хүчтэй шүүлтүүр шаардлагатайг харуулсан.

Улаан багийнхны үүсгэсэн санал хүсэлт, өгөгдөл нь аюулгүй байдлын нэмэлт давхаргууд болон одоо байгаа аюулгүй байдлын үнэлгээг сайжруулах боломжийг бүрдүүлсэн бөгөөд эдгээрийг Тодорхой эрсдэлийн чиглэл ба бууруулах арга хэмжээ⁠ хэсгүүдэд тайлбарласан. Эдгээр хүчин чармайлт нь загварын аюулгүй байдлын зорилгод нийцлийг хангахын тулд өгөгдлийн шүүлтүүр, блоклист, ангилагчийн босгыг цаашид нарийн тохируулах боломж олгосон.

Сүүлийн есөн сарын хугацаанд бид 60+ орны 300+ хэрэглэгчийн 500,000+ загварын хүсэлтээс ирсэн санал хүсэлтийг ажигласан. Энэ өгөгдөл нь загварын зан төлөв болон аюулгүй байдлын протокол мөрдөлтийг сайжруулахад тусалсан. Жишээлбэл, уран бүтээлчдийн санал хүсэлт нь ил харагдах усан тэмдэг тэдний ажлын урсгалд ямар хязгаарлалт үүсгэдгийг ойлгоход тусалсан бөгөөд энэ нь C2PA өгөгдлийг шингээсэн хэвээр байлгахын зэрэгцээ төлбөртэй хэрэглэгчдэд видеог ил харагдах усан тэмдэггүйгээр татаж авах боломж олгох шийдвэрт нөлөөлсөн. 

Энэ эрт хандалтын хөтөлбөрөөс бид Sora нь өгүүлэмж ба бүтээлч илэрхийлэлд зориулсан өргөжүүлсэн хэрэгсэл байх ёстой бол ChatGPT шиг ерөнхий зориулалтын хэрэгсэлд өөрөөр хандах байсан зарим эмзэг чиглэлд уран бүтээлчдэд илүү уян хатан байдал олгох шаардлагатайг мөн ойлгосон. Бие даасан кино бүтээгчид, студиуд болон зугаа цэнгэлийн салбарын бусад байгууллагууд Sora‑г хөгжүүлэлтийн үйл явцынхаа чухал хэсэг болгон ашиглана гэж бид үзэж байна. Үүний зэрэгцээ эерэг хэрэглээний тохиолдол болон буруу хэрэглээний боломжийг хоёуланг нь тодорхойлсноор хор уршиг эсвэл буруу хэрэглээний эрсдэлийг бууруулахын тулд бүтээгдэхүүний түвшний илүү хязгаарлагдмал хамгаалалт шаардлагатай чиглэлүүдийг тогтоох боломж олгосон.

Бид нүцгэн байдал, сонгуулийн төөрөгдүүлсэн контент, өөрийгөө гэмтээх, хүчирхийлэл зэрэг гол чиглэлүүдэд чиглэсэн дотоод үнэлгээнүүдийг боловсруулсан. Эдгээр үнэлгээг бууруулах арга хэмжээг сайжруулахад дэмжлэг үзүүлэх, мөн манай модерацийн босгыг тогтооход мэдээлэл өгөхөөр зохион бүтээсэн. Үнэлгээний хүрээ нь видео үүсгэх загварт өгсөн оролтын өгөгдөл болон хувиргасан өгөгдөл эсвэл эцэст нь бүтээгдсэн видеонд хэрэглэсэн оролт, гаралтын ангилагчдыг хослуулдаг.

Эдгээр үнэлгээний оролтын өгөгдөл нь гурван үндсэн сувгаас бүрдсэн: альфа шатны эхэн үед цуглуулсан өгөгдөл (3.2-р хэсэгт тайлбарласны дагуу), улаан багийн туршигчдын өгсөн дайсагнасан жишээнүүд (3.1-р хэсэгт дурдсан), мөн GPT‑4 ашиглан үүсгэсэн синтетик өгөгдөл. Альфа шатны өгөгдөл бодит хэрэглээний нөхцөлийн талаар ойлголт өгсөн бол улаан багийн хувь нэмэр дайсагнасан болон захын тохиолдлын контентыг илрүүлэхэд тусалсан, харин синтетик өгөгдөл нь байгалиараа гарч ирэх жишээ цөөн байдаг хүсээгүй өдөөн хатгасан контент зэрэг чиглэлд үнэлгээний багцыг өргөжүүлэх боломж олгосон.

Бэлэн байдлын хүрээ нь хил хязгаар загварын чадварууд дараах дөрвөн хянагдаж буй ангилалд ноцтой эрсдэл үүсгэж байгаа эсэхийг үнэлэхээр бүтээгдсэн: ятгалга, кибер аюулгүй байдал, CBRN (хими, биологи, цацраг идэвхт болон цөмийн), мөн загварын бие даасан байдал. Sora нь кибер аюулгүй байдал, CBRN, эсвэл загварын бие даасан байдлын хувьд ямар нэг ноцтой эрсдэл үүсгэдэг гэсэн нотолгоо бидэнд байхгүй. Эдгээр эрсдэл нь компьютерийн систем, шинжлэх ухааны мэдлэг, эсвэл бие даасан шийдвэр гаргалттай харилцдаг загваруудтай нягт холбоотой бөгөөд эдгээр нь одоогоор Sora‑ийн видео үүсгэх хэрэгслийн хүрээнээс давсан зүйлс юм. 

Sora‑ийн видео үүсгэх чадвар нь дүр эсгэх, буруу мэдээлэл, нийгмийн инженерчлэл зэрэг ятгалгатай холбоотой болзошгүй эрсдэл үүсгэж болно. Эдгээр эрсдэлийг шийдвэрлэхийн тулд бид доорх хэсгүүдэд тайлбарласан бууруулах арга хэмжээний багцыг боловсруулсан.  Үүнд олон нийтэд танигдсан хүмүүсийн төстэй дүрийг үүсгэхээс сэргийлэхэд зориулагдсан хамгаалалтууд багтана. Нэмж хэлэхэд, видео бодит эсэх, эсвэл AI‑аар үүсгэсэн эсэх талаарх нөхцөл байдал болон мэдлэг нь үүсгэсэн видео хэр ятгалгатай байхыг тодорхойлоход чухал байж болох тул бид метадата, усан тэмдэг, хурууны хээжүүлэлт зэрэг олон давхаргат гарал үүслийн хандлагыг бий болгоход анхаарсан.

Доор тодорхойлсон тусгай эрсдэл, бууруулах арга хэмжээнээс гадна Sora‑ийн сургалт, бүтээгдэхүүний дизайн, бодлогод хийсэн сонголтууд нь хортой эсвэл хүсээгүй гаралтын эрсдэлийг өргөн хүрээнд бууруулахад тусалдаг. Эдгээрийг ерөнхийд нь систем болон загварын түвшний техникийн бууруулах арга хэмжээ, мөн бүтээгдэхүүний бодлого, хэрэглэгчийн боловсрол гэж ангилж болно.

Доор хэрэглэгч хүссэн гаралтаа харахаас өмнө бидэнд хэрэгжүүлсэн аюулгүй байдлын бууруулах арга хэмжээний үндсэн хэлбэрүүдийг дэлгэрэнгүй тайлбарлав:

Мультимодаль модерацийн ангилагчаар текст ба зургийн модераци хийх

Манай гадаад Moderation API‑г ажиллуулдаг мультимодаль модерацийн ангилагч нь хэрэглээний бодлогыг зөрчиж болзошгүй текст, зураг, видео өгөгдлийг оролт болон гаралт аль алинд нь илрүүлэхэд ашиглагддаг. Систем илрүүлсэн дүрэм зөрчсөн өгөгдөл нь татгалзалтад хүргэнэ. Манай мультимодаль модерацийн API‑ийн талаар эндээс дэлгэрэнгүй үзнэ үү⁠.²

Тусгай LLM шүүлтүүр

Видео үүсгэх технологийн нэг давуу тал нь нийт хэрэглэгчийн туршлагад саатал нэмэхгүйгээр асинхрон модерацийн шалгалт хийх боломж юм. Видео үүсгэхэд угаасаа хэдэн секунд шаарддаг тул энэ хугацааг өндөр нарийвчлалтай, тодорхой зорилтот модерацийн шалгалт ажиллуулахад ашиглаж болно. Бид гуравдагч талын контент болон төөрөгдүүлсэн контентыг илрүүлэх зэрэг тодорхой сэдвүүдийн модерацид өндөр нарийвчлал гаргахын тулд өөрсдийн GPT‑г тусгайлан тохируулсан. 

Шүүлтүүрүүд нь мультимодаль: зураг/видео байршуулалт, текстэн өгөгдөл, гаралт бүгд LLM дуудлага бүрийн нөхцөлд ордог. Ингэснээр бид зураг ба текстийн хоорондох дүрэм зөрчсөн хослолуудыг илрүүлэх боломжтой. 

Зургийн гаралтын ангилагчид

Гаралт дахь болзошгүй хортой контентыг шууд шийдвэрлэхийн тулд Sora нь NSFW контент, насанд хүрээгүй хүмүүс, хүчирхийлэл, мөн төстэй дүр төрхийг буруугаар ашиглах боломжид зориулсан тусгай шүүлтүүрүүд зэрэг гаралтын ангилагчдыг ашигладаг. Эдгээр ангилагч идэвхжсэн тохиолдолд Sora хэрэглэгчид видео хуваалцахаас өмнө блоклож болно. 

Блоклистүүд

Бид DALL·E 2, DALL·E 3 дээр хийсэн өмнөх ажил, эрсдэлийг идэвхтэй илрүүлэх ажиллагаа, мөн эхний хэрэглэгчдийн үр дүнд тулгуурлан олон төрлийн ангилалд текстэн блоклистүүдийг хадгалдаг.

Загвар болон системдээ дүрэм зөрчсөн контент үүсгэхээс сэргийлэхээр суурилуулсан хамгаалалтаас гадна бид буруу хэрэглээний эрсдэлийг бууруулах нэмэлт алхмуудыг авч байна. Одоогоор бид Sora‑г зөвхөн 18 ба түүнээс дээш насны хэрэглэгчдэд санал болгож байгаа бөгөөд Explore болон Featured фийдүүдэд харуулдаг контентод модерацийн шүүлтүүр хэрэглэж байна.

Мөн бид бүтээгдэхүүн доторх болон нийтэд нээлттэй боловсролын материалаар дамжуулан дараах бодлогын удирдамжийг тодорхой хүргэж байна:

• Өөр хүний дүр төрхийг түүний зөвшөөрөлгүй ашиглах, мөн бодит насанд хүрээгүй хүнийг дүрслэхийг хориглох;
• Хууль бус контент эсвэл оюуны өмчийн эрхийг зөрчсөн контент бүтээх;
• Зөвшөөрөлгүй дотно дүрслэл, дээрэлхэх, дарамтлах, гүтгэхэд ашиглах контент, эсвэл хүчирхийлэл, үзэн ядалт, бусдын зовлонг дэмжих зорилготой контент зэрэг ил тод, хортой контент үүсгэх; мөн 
• Бусдыг залилан мэхлэх, луйвардах, төөрөгдүүлэхэд ашиглах контент бүтээх, түгээх.

Эдгээр буруу хэрэглээний зарим хэлбэрийг манай загвар болон системийн бууруулах арга хэмжээ шийдвэрлэдэг ч зарим нь илүү нөхцөл байдлаас шалтгаалдаг—жагсаалын нэгэн дүр зураг нь хууль ёсны бүтээлч зорилгод ашиглагдаж болох ч, өөр нэхэмжлэлтэй хавсарч бодит одоогийн үйл явдал мэт үзүүлбэл буруу мэдээлэл болгон түгээгдэж болно. 

Sora нь хүмүүст өргөн хүрээний бүтээлч санаа, үзэл бодлыг илэрхийлэх боломж олгохоор бүтээгдсэн. Нөхцөл байдлаас шалтгаалан асуудалтай байж болох контентын бүх хэлбэрээс урьдчилан сэргийлэх нь бодитой ч биш, зөвлөмжтэй ч биш.

Бид автоматжуулалт болон хүний хяналтыг ашиглан хэрэглээний хэв маягийг идэвхтэй ажиглахын зэрэгцээ манай удирдамжийг зөрчсөн байж магадгүй гэж үзсэн Sora видеог мэдээлэх⁠ боломжийг хүмүүст олгодог. Бид дүрэм зөрчсөн видеог устгах, хэрэглэгчдэд хариуцлага тооцох хэрэгжилтийн механизмыг тогтоосон. Хэрэглэгчид манай удирдамжийг зөрчсөн тохиолдолд бид тэдэнд мэдэгдэж, юу шударга гэж үзэж байгаагаа хэлэх боломж олгоно. Бид эдгээр бууруулах арга хэмжээний үр нөлөөг хянаж, хугацааны явцад сайжруулахаар зорьж байна.

Дээрх ерөнхий аюулгүй байдлын арга хэмжээнээс гадна эрт үеийн туршилт, үнэлгээ нь аюулгүй байдлын онцгой анхаарал шаардсан хэд хэдэн чиглэлийг тодорхойлоход тусалсан. 

OpenAI нь шийдвэртэйгээр анхаарч ажилладаг⁠³ хүүхдийн аюулгүй байдлын эрсдэлүүдэд гүнээ анхаарч, Sora зэрэг бүх бүтээгдэхүүн дээрээ Хүүхдийн бэлгийн мөлжлөг болон хүчирхийлэлтэй холбоотой материал (CSAM) контентыг урьдчилан сэргийлэх, илрүүлэх, мэдээлэхийг тэргүүн эгнээнд тавьдаг. OpenAI‑ийн хүүхдийн аюулгүй байдлын чиглэл дэх хүчин чармайлтад CSAM‑аас хамгаалахын тулд өгөгдлийн багцаа хариуцлагатай эх сурвалжаас бүрдүүлэх, хүүхдийн бэлгийн хүчирхийллээс сэргийлэх, хүүхдүүдийг хамгаалах зорилгоор National Center for Missing & Exploited Children (NCMEC) байгууллагатай түншлэх, Thorn‑ийн зөвлөмжийн дагуу болон хууль эрх зүйн хязгаарлалтыг мөрдөн улаан багийн туршилт хийх, мөн бүх оролт ба гаралт дээр CSAM‑ын хүчтэй скан хийх зэрэг багтана. Үүнд үйлчлүүлэгчид CSAM сканыг хасах маш хатуу шалгуур хангаагүй л бол эхний талын болон гуравдагч талын хэрэглэгчдийг (API болон Enterprise) скан хийх орно. CSAM үүсгэхээс сэргийлэхийн тулд бид ChatGPT болон DALL·E⁴ зэрэг бусад бүтээгдэхүүндээ ашигладаг системийн бууруулах арга хэмжээг ашигласан бат бөх аюулгүй байдлын давхарга, мөн Sora‑д зориулж тусгайлан бүтээсэн нэмэлт хөшүүргүүдийг бий болгосон.

Оролтын ангилагчид

Хүүхдийн аюулгүй байдлын хувьд бид текст, зураг, видео оролт дээр 3 өөр оролтын бууруулах арга хэмжээг ашигладаг: 

• Бүх зураг, видео байршуулалтын хувьд бид Thorn‑ийн боловсруулсан Safer‑ийг нэгтгэн, мэдэгдэж буй CSAM‑тай таарч байгаа эсэхийг илрүүлдэг. Баталгаажсан таарцуудыг татгалзаж, NCMEC‑д мэдээлдэг. Нэмэлтээр бид Thorn‑ийн CSAM ангилагчийг ашиглан хэшлэгдээгүй, болзошгүй шинэ CSAM контентыг илрүүлдэг.
• Бид текст, зураг, видео оролтоор насанд хүрээгүй хүмүүсийг хамарсан аливаа бэлгийн контентыг илрүүлж, модерацлахын тулд мультимодаль модерацийн ангилагч ашигладаг. 
• Sora‑д зориулж бид тухайн дүрслэлд 18 нас хүрээгүй хүн байгаа эсэх, эсвэл дагалдах тайлбар нь насанд хүрээгүй хүнийг дурдсан эсэхийг таамаглахын тулд текст, зургийг шинжилдэг ангилагч боловсруулсан. Бид 18 нас хүрээгүй хүмүүсийг агуулсан image-to-video хүсэлтүүдийг татгалздаг. Хэрэв text-to-video хүсэлтийг 18-аас доош насныхны тухай гэж тогтоовол бэлгийн, хүчирхийллийн эсвэл өөрийгөө гэмтээх контенттой холбоотой модерацид илүү хатуу босго мөрдүүлдэг.

Доор хүмүүсийн хувьд манай under-18 ангилагчийн үнэлгээг үзүүлэв. Бид бодит ба зохиомол, хүүхэд ба насанд хүрсэн гэсэн [child | adult] болон [realistic | fictitious] ангиллыг хамарсан ойролцоогоор 5000 зурагтай өгөгдлийн багц дээр бодит мэт 18 хүрээгүй хүмүүсийг татгалзах ангилагчаа үнэлдэг. Манай бодлогоор бодит мэт хүүхдүүдийг татгалзаж, харин бэлгийн шинжгүй animated, cartoon, sketch хэв маягийн зохиомол зургуудыг зөвшөөрдөг. Бид насанд хүрээгүй хүмүүсийг хамарсан контентод болгоомжтой хандсан бөгөөд бүтээгдэхүүний хэрэглээнээс илүү ихийг сурч, бүтээлч илэрхийлэл ба аюулгүй байдлын зөв тэнцвэрийг олохын хэрээр хандлагаа үргэлжлүүлэн үнэлэх болно. 

Одоогоор манай ангилагчид өндөр нарийвчлалтай боловч заримдаа насанд хүрсэн хүнийг эсвэл хүүхдийн бодит бус зургуудыг андуурч тэмдэглэж магадгүй. Үүнээс гадна нас таамаглах загварууд арьс өнгөөр ялгаварлах хэвийлт үзүүлэх боломжтойг судалгаа болон одоо байгаа ном зохиол онцолдгийг бид хүлээн зөвшөөрч байна. Жишээлбэл, эдгээр загварууд тодорхой арьс өнгийн бүлгийн хүмүүсийн насыг системтэйгээр дутуу үнэлж болно.⁵ Ирэх саруудад бид ангилагчийнхаа гүйцэтгэлийг сайжруулж, худал эерэг үр дүнг багасгаж, болзошгүй хэвийлтийн талаарх ойлголтоо гүнзгийрүүлэхийн төлөө байна.

Гаралт

Дээр дурдсанчлан, бид under-18 ангилагчаараа текстэн оролтод насанд хүрээгүй хүний тухай лавлагааг илрүүлмэгц гаралт дахь бэлгийн, хүчирхийллийн эсвэл өөрийгөө гэмтээх контенттой холбоотой модерацид хатуу босго мөрдүүлдэг. Үүнийг хэрэгжүүлэхийн тулд бид дараах хоёр гаралтын ангилагчийг ашигладаг: 

• Аюултай видео гаралтыг шалгаж, ялангуяа мэдрэмтгий байж болох хүсэлтүүдийг татгалздаг мультимодаль модерацийн ангилагч
• Мөн бид хүүхдийн аюулгүй байдалтай холбоотой зөрчлийг шалгахын тулд одоо байгаа DALL·E зургийн ангилагчаа ашиглаж байна.

Манай гаралтын ангилагчид секундэд 2 кадр шалгадаг бөгөөд видеог аюулгүй бус гэж тогтоовол аливаа гаралтыг блоклодог.

Манай ангилагчид болон автомат модерациас гадна хүүхдийн аюулгүй байдлын болзошгүй зөрчлөөс хамгаалах нэмэлт давхарга болгон хүний хяналт ажиллана. 

Бүтээгдэхүүний бодлого

Манай бодлого нь Sora‑г насанд хүрээгүй хүмүүсийг хамарсан бэлгийн контент үүсгэхэд ашиглахыг хориглодог. Хүүхдийн аюулгүй байдлын бодлогыг зөрчвөл контентыг устгах болон хэрэглэгчийг хориглох хүртэл арга хэмжээ авч болно.

AI видео үүсгэх чадвартай холбоотой шинээр гарч ирж буй эрсдэлийн нэг нь NSFW (ажлын орчинд тохиромжгүй) эсвэл NCII (зөвшөөрөлгүй дотно дүрслэл) контент үүсгэх боломж юм. DALL·E‑ийн хандлагатай адил Sora нь ил тод контентыг блоклохын тулд олон түвшний модерацийн стратеги ашигладаг. Үүнд өгөгдөл хувиргалт, зургийн гаралтын ангилагч, блоклистүүд багтдаг бөгөөд эдгээр нь насанд тохирсон гаралтад онцгойлон өдөөн хатгасан контентыг хязгаарлах системийг бүрдүүлдэг. Манай ангилагчийн босго нь текстэн өгөгдлөөс илүү зураг байршуулалтад хатуу байдаг. 

Explore хэсэгт үзүүлдэг видеонуудыг өргөн хүрээний үзэгчдэд тохирсон үзэх туршлага бүрдүүлэхийн тулд илүү өндөр босгоор нэмж шүүдэг.  

Доор оролт ба гаралтын түвшинд олон давхаргат бууруулах арга хэмжээ хэр үр дүнтэй байгааг үнэлэх зорилготой нүцгэн байдал болон өдөөн хатгасан контентийн талаарх манай үнэлгээний үр дүнг үзүүлэв. Илрүүлэлтүүдэд үндэслэн бид босгуудаа давтан сайжруулж, хүмүүсийг багтаасан зураг байршуулахад илүү хатуу модераци хэрэглэсэн.

Бүтээгдэхүүний бодлого

Манай бодлого нь Sora‑г зөвшөөрөлгүй дотно дүрслэл зэрэг ил тод бэлгийн контент үүсгэхэд ашиглахыг хориглодог. Эдгээр бодлогыг зөрчвөл контентыг устгах болон хэрэглэгчид хариуцлага тооцох арга хэмжээ авч болно.

Төстэй дүр төрхийг буруугаар ашиглах ба хортой deepfake

Sora‑ийн төстэй дүр төрхөд тулгуурласан өгөгдөлд зориулсан модерацийн монитор нь танигдахуйц хүмүүсийг оролцуулсан видеог нягт шалгах зорилгоор болзошгүй хортой deepfake контентыг тэмдэглэхэд зориулагдсан. Төстэй дүр төрхийг буруугаар ашиглах шүүлтүүр нь хүмүүсийг болзошгүй хортой эсвэл төөрөгдүүлсэн байдлаар өөрчлөх, дүрслэх оролдлоготой өгөгдлийг нэмж тэмдэглэдэг. Sora‑ийн ерөнхий өгөгдөл хувиргалтууд нь хэн нэгний нэрийг агуулсан өгөгдөлд тулгуурлан хувийн хүний хүсээгүй дүр төрхийг Sora үүсгэх эрсдэлийг цааш бууруулдаг.

Төөрөгдүүлсэн контент

Sora‑ийн оролт, гаралтын ангилагчид нь залилан, ёс зүйгүй эсвэл бусад хууль бус үйл ажиллагааг дүрсэлсэн сонгуультай холбоотой төөрөгдүүлсэн контент үүсгэхээс сэргийлэх зорилготой. Sora‑ийн үнэлгээний хэмжүүрүүдэд сонгуулийн нөхцөлд төөрөгдүүлсэн видео гаргаж болох хэв маяг эсвэл шүүлтүүрийн аргуудыг тэмдэглэх ангилагчид багтдаг бөгөөд ингэснээр бодит ертөнцөд буруугаар ашиглах эрсдэлийг бууруулдаг.

Доор төрөл бүрийн оролтын (жишээлбэл, текст ба видео) хүрээнд хориглосон контент бүтээх санаархал байж болох тохиолдлыг илрүүлэхэд туслахаар төвлөрсөн манай сонгуулийн төөрөгдүүлсэн контентын LLM шүүлтүүрийн үнэлгээнүүдийг үзүүлэв. Манай систем мөн гаралтын видеоны секунд тутмын 1 кадрыг шалгаж, гаралтын болзошгүй зөрчлийг үнэлдэг.

Гарал үүсэлд оруулж буй хөрөнгө оруулалт

Sora‑тай холбоотой олон эрсдэл, тухайлбал хортой deepfake контент нь нөхцөл байдлаас ихээхэн хамаардаг тул бид гарал үүслийн хэрэгслүүдээ сайжруулахыг тэргүүнд тавьсан. Гарал үүслийн хувьд ганц шийдэл байхгүйг бид ойлгож байгаа ч гарал үүслийн экосистемийг сайжруулж, Sora‑аас бүтээсэн контентод нөхцөл байдал болон ил тод байдлыг бүрдүүлэхэд туслахаар зорьж байна. 

Ерөнхий нээлтийн үед манай гарал үүслийн аюулгүй байдлын хэрэгсэлд дараах зүйлс багтана:

• Бүх материал дээрх C2PA метадата (баталгаажуулж болох гарал үүсэл, салбарын стандарт)
• Анхдагчаар хөдөлгөөнт, харагдах Sora усан тэмдэг (үзэгчдэд энэ нь ‘AI’ гэдгийг ил тод болгох)
• OpenAI‑ийн Intelligence & Investigation багийн гишүүдэд контент Sora‑аар бүтээгдсэн эсэхийг өндөр итгэлтэй үнэлэхэд туслах дотоод урвуу видео хайлтын хэрэгсэл 

Бүтээгдэхүүний бодлого

Манай бодлого нь Sora‑г бусдыг залилан мэхлэх, луйвардах, төөрөгдүүлэх, үүнд буруу мэдээлэл бүтээх, түгээх замаар ашиглахыг хориглодог. Мөн өөр хүний дүр төрхийг түүний зөвшөөрөлгүй ашиглахыг хориглодог. Эдгээр бодлогыг зөрчвөл контентыг устгах болон хэрэглэгчид хариуцлага тооцох арга хэмжээ авч болно.

Хэрэглэгч өгөгдөлдөө амьд уран бүтээлчийн нэрийг ашиглах үед загвар нь тухайн уран бүтээлчийн бүтээлийн хэв маягтай тодорхой хэмжээгээр төстэй видео үүсгэж болзошгүй. Бусад уран бүтээлчдийн хэв маяг дээр тулгуурлан бүтээл хийх уламжлал урт хугацаанд оршсоор ирсэн ч зарим бүтээгчид санаа зовниж болохыг бид ойлгож байна. Бүтээлч нийгэмлэг Sora‑г хэрхэн ашиглаж байгааг илүү сайн ойлгох явцдаа бид Sora‑ийн энэ хувилбарт болгоомжтой хандлагыг сонгосон. Үүнийг шийдэхийн тулд хэрэглэгч амьд уран бүтээлчийн хэв маягаар видео үүсгэх гэж оролдох үед ажиллахаар зориулагдсан өгөгдөл дахин бичих механизмыг нэмсэн. 

Манай бусад бүтээгдэхүүнтэй адил Sora Editor нь илгээсэн текстийг дахин бичихдээ Том хэлний загвар (LLM) ашигладаг бөгөөд ингэснээр Sora‑д илүү үр дүнтэй өгөгдөл өгөхөд тусалдаг. Энэ үйл явц нь олон нийтийн танил хүмүүсийн нэрийг хасах, хүмүүсийг тодорхой шинжээр үндэслэх, брэндтэй объектуудыг ерөнхий байдлаар дүрслэх зэрэг манай удирдамжийг мөрдөхөд дэмжлэг үзүүлдэг. Бид DALL·E 2, DALL·E 3 дээр хийсэн өмнөх ажил, эрсдэлийг идэвхтэй илрүүлэх ажиллагаа, мөн улаан баг болон эхний хэрэглэгчдийн үр дүнд тулгуурлан олон төрлийн ангилалд текстэн блоклистүүдийг хадгалдаг. 

OpenAI нь бүтээгдэхүүнүүдээ хариуцлагатай, үр дүнтэй нэвтрүүлэхийн тулд үе шаттай нэвтрүүлэлтийн стратеги ашигладаг. Энэхүү хандлага нь үе шаттай нээлт, тасралтгүй туршилт, байнгын хяналтыг хэрэглэгчийн санал хүсэлт болон бодит ертөнцийн өгөгдөлтэй хослуулж, цаг хугацааны явцад гүйцэтгэл болон аюулгүй байдлын бууруулах арга хэмжээгээ сайжруулж боловсронгуй болгодог. Доор Sora‑ийн үе шаттай нэвтрүүлэлтийн хүрээнд хийхээр төлөвлөж буй ажлуудын цувралыг танилцуулж байна.

Бодит хүний оруулсан зураг эсвэл видеог “үр” болгон ашиглаж видео үүсгэх чадвар нь буруугаар ашиглагдах боломжтой нэг суваг бөгөөд бид хэрэглээний эхний хэв маягаас суралцахын тулд үүнд онцгой үе шаттай хандлага барьж байна. Уран бүтээлчдийн эхний санал хүсэлтээс харахад энэ нь тэдний үнэлдэг хүчирхэг бүтээлч хэрэгсэл боловч буруугаар ашиглах боломжийг харгалзан бид үүнийг эхний ээлжид бүх хэрэглэгчдэд нээхгүй. Харин үе шаттай нэвтрүүлэх практиктайгаа нийцүүлэн хүмүүсийн зураг, видео байршуулах боломжийг хэрэглэгчдийн нэг хэсэгт олгож, Sora нийгэмлэгт ямар үнэ цэнтэйг ойлгож, суралцахын хэрээр аюулгүй байдлын хандлагаа тохируулахын тулд идэвхтэй, гүнзгий хяналт хийнэ. Энэ туршилтын хугацаанд насанд хүрээгүй хүмүүсийн зураг агуулсан байршуулалтыг зөвшөөрөхгүй.

Sora‑ийн ирээдүйн хувилбарууд урвуу embedding хайлтын хэрэгслүүдийн судалгаа болон C2PA зэрэг ил тод байдлын арга хэмжээг үргэлжлүүлэн хэрэгжүүлэх замаар мөрдөн тогтоох чадварыг улам бэхжүүлнэ. Бид гарал үүслийн экосистемийг өргөжүүлж, сайжруулах, мөн Sora‑д зориулсан дотоод урвуу зураг хайх хэрэгслээ туршихын тулд ТББ болон судалгааны байгууллагуудтай боломжит түншлэлийг судлахдаа баяртай байна.

Хэт засварлалт нь мөн адил хортой байж болохыг хүлээн зөвшөөрөхийн зэрэгцээ бид өгөгдлийн сайжруулалт, санал хүсэлтийн мөчлөг, үр дүнтэй бууруулах арга хэмжээг тасралтгүй тодорхойлох замаар гаралтын боломжит хэвийлтийг бууруулахын төлөө байна. Биеийн дүр төрхийн хэвийлт, хүн ам зүйн төлөөлөл зэрэг сорилтуудыг бид хүлээн зөвшөөрч байгаа бөгөөд тэнцвэртэй, хүртээмжтэй гаралт хангахын тулд хандлагаа үргэлжлүүлэн сайжруулна.

OpenAI нь Sora‑ийн үнэлгээг тасралтгүй үргэлжлүүлж, Sora‑ийн OpenAI‑ийн бодлого болон аюулгүй байдлын стандартыг мөрдөх чадварыг цаашид сайжруулах хүчин чармайлтаа хадгалахаар төлөвлөж байна. Төстэй байдлын аюулгүй байдал, төөрөгдүүлсэн контент зэрэг чиглэлд нэмэлт сайжруулалтуудыг хөгжиж буй шилдэг туршлага болон хэрэглэгчийн санал хүсэлтэд тулгуурлан хийхээр төлөвлөж байна.

Sora‑ийн аюулгүй байдлын бууруулах арга хэмжээг боловсруулах, хэрэгжүүлэхэд үнэтэй дэмжлэг үзүүлсэн, мөн энэ системийн картанд хувь нэмэр оруулсан OpenAI‑ийн Дотоод харилцаа, Харилцааны дизайн, Олон улсын харилцаа, Integrity, Intel & Investigations, Хууль, Бүтээгдэхүүний бодлого, Аюулгүй байдлын системүүд, Хэрэглэгчийн үйл ажиллагаа зэрэг бүх дотоод багуудад талархал илэрхийлье.

Санал өгч, хөгжүүлэлтийн эхний шатанд манай загваруудыг туршихад тусалж, эрсдэлийн үнэлгээ болон шалгалтуудад маань чиглэл өгсөн Альфа уран бүтээлчдийн бүлэг болон мэргэжлийн улаан багийн шинжээчдэдээ бид талархаж байна. Туршилтын үйл явцад оролцсон нь OpenAI‑ийн нэвтрүүлэх төлөвлөгөө эсвэл OpenAI‑ийн бодлогыг дэмжсэн гэсэн үг биш юм.

• Улаан багийн хувь хүмүүс (цагаан толгойн дарааллаар): Alexandra García Pérez, Arjun Singh Puri, Caroline Friedman Levy, Dani Madrid-Morales, Emily Lynell Edwards, Grant Brailsford, Herman Wasserman, Javier García Arredondo, Kate Turetsky, Kelly Bare, Matt Groh, Maximilian Müller, Naomi Hart, Nathan Heath, Patrick Caughey, Per Wikman Svahn, Rafael González-Vázquez, Sara Kingsley, Shelby Grossman, Vincent Nestler
• Улаан багийн байгууллага: ScaleAI