အဓိက အကြောင်းအရာသို့ ကျော်သွားရန်
OpenAI
ဖွင့်နေသည်…

နိဒါန်း

Sora အကြောင်း အနှစ်ချုပ်

Sora သည် OpenAI ၏ ဗီဒီယိုထုတ်လုပ်ရေး မော်ဒယ်ဖြစ်ပြီး စာသား၊ ရုပ်ပုံနှင့် ဗီဒီယို input များကို လက်ခံကာ output အဖြစ် ဗီဒီယိုအသစ်တစ်ခု ထုတ်လုပ်ရန် ဒီဇိုင်းထုတ်ထားပါသည်။ အသုံးပြုသူများသည် format အမျိုးမျိုးဖြင့် 1080p resolution (အများဆုံး 20 စက္ကန့်) အထိ ဗီဒီယိုများ ဖန်တီးနိုင်ပြီး၊ စာသားမှ အကြောင်းအရာအသစ်များ ဖန်တီးနိုင်သလို၊ မိမိတို့၏ asset များကို မြှင့်တင်ခြင်း၊ remix လုပ်ခြင်းနှင့် blend လုပ်ခြင်းတို့လည်း ပြုလုပ်နိုင်ပါသည်။ အသုံးပြုသူများသည် အသိုင်းအဝိုင်းဖန်တီးမှုများကို ပြသပြီး စိတ်ကူးအသစ်များအတွက် လှုံ့ဆော်မှုပေးသော Featured နှင့် Recent feed များကိုလည်း စူးစမ်းကြည့်ရှုနိုင်မည်ဖြစ်ပါသည်။ Sora သည် DALL-E နှင့် GPT မော်ဒယ်များမှ သင်ခန်းစာများအပေါ် တည်ဆောက်ထားပြီး လူများအတွက် ဇာတ်လမ်းပြောခြင်းနှင့် ဖန်တီးမှုဖော်ပြခြင်းအတွက် ကိရိယာများကို ပိုမိုချဲ့ထွင်ပေးရန် ဒီဇိုင်းထုတ်ထားပါသည်။ 

Sora သည် diffusion model တစ်ခုဖြစ်ပြီး static noise ကဲ့သို့ မြင်ရသော အခြေခံဗီဒီယိုတစ်ခုမှ စတင်ကာ အဆင့်များစွာအတွင်း noise ကို ဖြည်းဖြည်းဖယ်ရှားခြင်းဖြင့် ဗီဒီယိုတစ်ခုကို ထုတ်လုပ်ပါသည်။ frame များစွာကို တစ်ပြိုင်နက် ကြိုတင်မြင်နိုင်စွမ်းကို မော်ဒယ်အား ပေးခြင်းအားဖြင့် subject တစ်ခုသည် ခဏတာ မျက်ကွယ်ပြင်ပသို့ ရောက်သွားသော်လည်း တူညီနေစေရန် သေချာစေသည့် စိန်ခေါ်မှုရှိသော ပြဿနာတစ်ခုကို ကျွန်ုပ်တို့ ဖြေရှင်းနိုင်ခဲ့ပါသည်။ GPT မော်ဒယ်များကဲ့သို့ပင် Sora သည် ထရန်(စ်)ဖော်မာ ဗိသုကာပညာ ကို အသုံးပြုထားပြီး ပိုမိုကောင်းမွန်သော scaling performance ကို ရရှိစေပါသည်။ 

Sora သည် DALL·E 3 မှ recaptioning နည်းလမ်းကို အသုံးပြုထားပြီး၊ ၎င်းတွင် မြင်ကွင်းဆိုင်ရာ လေ့ကျင့်ရေးဒေတာအတွက် အလွန်အသေးစိတ်ဖော်ပြသော caption များ ဖန်တီးပေးခြင်း ပါဝင်သည်။ ထို့ကြောင့် မော်ဒယ်သည် ထုတ်လုပ်ထားသော ဗီဒီယိုအတွင်း အသုံးပြုသူ၏ စာသားညွှန်ကြားချက်များကို ပိုမိုတိကျစွာ လိုက်နာနိုင်ပါသည်။

စာသားညွှန်ကြားချက်များမှသာ ဗီဒီယိုထုတ်လုပ်နိုင်ခြင်းအပြင်၊ မော်ဒယ်သည် ရှိပြီးသား still image တစ်ပုံကိုလည်း လက်ခံကာ ၎င်းမှ ဗီဒီယိုတစ်ခု ဖန်တီးနိုင်ပြီး၊ ပုံအတွင်းပါ အရာဝတ္ထုများကို တိကျမှုနှင့် အသေးစိတ်အပေါ် ဂရုပြုမှုဖြင့် လှုပ်ရှားစေနိုင်ပါသည်။ မော်ဒယ်သည် ရှိပြီးသား ဗီဒီယိုတစ်ခုကိုလည်း ယူကာ ဆက်လက်တိုးချဲ့ခြင်း သို့မဟုတ် ပျောက်ဆုံးနေသော frame များကို ဖြည့်စွက်ပေးနိုင်ပါသည်⁠။ Sora သည် အမှန်တကယ်ကမ္ဘာကို နားလည်ပြီး simulation လုပ်နိုင်သော မော်ဒယ်များအတွက် အခြေခံအုတ်မြစ်အဖြစ် ဆောင်ရွက်ပြီး၊ ဤစွမ်းရည်သည် AGI ရရှိရန် အရေးကြီးသော မှတ်တိုင်တစ်ခု ဖြစ်မည်ဟု ကျွန်ုပ်တို့ ယုံကြည်ပါသည်။

Sora ၏ စွမ်းဆောင်ရည်များသည် likeness ကို မသင့်လျော်စွာ အသုံးချနိုင်ခြင်း သို့မဟုတ် လှည့်ဖြားစေနိုင်သော သို့မဟုတ် ပေါ်လွင်ထင်ရှားသော ဗီဒီယိုအကြောင်းအရာများ ထုတ်လုပ်နိုင်ခြင်းကဲ့သို့ အသစ်သော အန္တရာယ်များကိုလည်း ဖြစ်စေနိုင်ပါသည်။ Sora ကို ထုတ်ကုန်တစ်ခုအဖြစ် လုံခြုံစွာ ဖြန့်ချိအသုံးပြုနိုင်ရန် ကျွန်ုပ်တို့သည် ChatGPT နှင့် API တွင် DALL·E ဖြန့်ချိအသုံးပြုခြင်းအတွက် လုပ်ဆောင်ခဲ့သော လုံခြုံရေးလုပ်ငန်းများမှ သင်ခန်းစာများနှင့် ChatGPT ကဲ့သို့သော အခြား OpenAI ထုတ်ကုန်များအတွက် လုံခြုံရေးလျော့ပါးရေးအစီအမံများအပေါ် တည်ဆောက်ခဲ့ပါသည်။ ဤစနစ်ကဒ်တွင် ထိုမှ ရရှိလာသော mitigation stack၊ ပြင်ပ ထိုးဖောက်စမ်းသပ်မှု လုပ်ငန်းများ၊ အကဲဖြတ်မှုများနှင့် ဤကာကွယ်မှုများကို ဆက်လက်သေချာမြှင့်တင်ရန် လုပ်ဆောင်နေသော သုတေသနများကို ဖော်ပြထားပါသည်။

မော်ဒယ် ဒေတာ

2024 ခုနှစ် ဖေဖော်ဝါရီလထုတ် ကျွန်ုပ်တို့၏ နည်းပညာဆိုင်ရာ အစီရင်ခံစာ1 တွင် ဖော်ပြထားသကဲ့သို့ Sora သည် အင်တာနက်အရွယ်အစား data များပေါ်တွင် လေ့ကျင့်ခြင်းအားဖြင့် ယေဘုယျစွမ်းရည်များ ရရှိသော large language model များမှ စိတ်ကူးရယူထားပါသည်။ LLM နမူနာပုံစံ၏ အောင်မြင်မှုသည် စာသား—code၊ သင်္ချာနှင့် သဘာဝဘာသာစကားအမျိုးမျိုး—၏ modality မျိုးစုံကို လှပစွာ တစ်စည်းတစ်လုံးတည်းဖြစ်စေသော တိုကင် များကို အသုံးပြုခြင်းကြောင့် တစ်စိတ်တစ်ပိုင်းအားဖြင့် ဖြစ်ပေါ်လာပါသည်။ Sora နှင့်အတူ ကျွန်ုပ်တို့သည် မြင်ကွင်းဒေတာအတွက် ထုတ်လုပ်ပေးနိုင်သော မော်ဒယ်များက ထိုကဲ့သို့သော အကျိုးကျေးဇူးများကို မည်သို့ အမွေဆက်ခံနိုင်မည်ကို စဉ်းစားခဲ့ပါသည်။ LLM များတွင် text token များရှိသကဲ့သို့ Sora တွင် visual patch များရှိပါသည်။ patch များသည် ယခင်ကတည်းက မြင်ကွင်းဒေတာ မော်ဒယ်များအတွက် ထိရောက်သော ကိုယ်စားပြုမှုတစ်ရပ်ဖြစ်ကြောင်း ပြသထားပြီးဖြစ်ပါသည်။ video နှင့် image အမျိုးအစားမျိုးစုံပေါ်တွင် ထုတ်လုပ်ပေးနိုင်သော မော်ဒယ်များကို လေ့ကျင့်ရန် patch များသည် အလွန် scalable ဖြစ်ပြီး ထိရောက်သော ကိုယ်စားပြုမှုတစ်ရပ်ဖြစ်ကြောင်း ကျွန်ုပ်တို့ တွေ့ရှိခဲ့ပါသည်။ အမြင့်မားဆုံးအဆင့်တွင် ကျွန်ုပ်တို့သည် video များကို ပထမဦးစွာ အောက်ပိုင်းအလွှာတွင် ချုံ့ထားသော နောက်ခံနေရာ သို့ ချုံ့ကာ၊ ထို့နောက် ထိုကိုယ်စားပြုမှုကို spacetime patch များအဖြစ် ခွဲထုတ်ခြင်းဖြင့် patch များအဖြစ် ပြောင်းလဲပါသည်။

Sora ကို publicly available data၊ partnership များမှတစ်ဆင့် ရယူထားသော proprietary data နှင့် in-house ဖန်တီးထားသော custom dataset များ အပါအဝင် dataset အမျိုးမျိုးပေါ်တွင် လေ့ကျင့်ထားပါသည်။ ၎င်းတို့တွင် အောက်ပါတို့ ပါဝင်ပါသည်-

  • ရွေးချယ်ထားသော publicly available data၊ အများစုမှာ စက်မှုလုပ်ငန်းစံ machine learning dataset များနှင့် web crawl များမှ စုဆောင်းထားခြင်းဖြစ်ပါသည်။
  • data partnership များမှ proprietary data။ ကျွန်ုပ်တို့သည် public မဖြစ်သေးသော data ကို ရယူအသုံးပြုနိုင်ရန် partnership များ ဖွဲ့စည်းပါသည်။ ဥပမာအားဖြင့် Shutterstock⁠ Pond5 နှင့် AI-generated image များ တည်ဆောက်ခြင်းနှင့် ပေးပို့ခြင်းအတွက် ပူးပေါင်းခဲ့ပါသည်။ ထို့အပြင် ကျွန်ုပ်တို့၏ လိုအပ်ချက်နှင့် ကိုက်ညီသော dataset များကို order ပေးဖန်တီးရန်လည်း ပူးပေါင်းဆောင်ရွက်ပါသည်။
  • Human data: AI trainer များ၊ red teamer များနှင့် ဝန်ထမ်းများထံမှ တုံ့ပြန်ချက်များ။ 

အကြိုလေ့ကျင့်သင်ကြားခြင်း filtering နှင့် ဒေတာ ကြိုတင်ပြင်ဆင်ခြင်း

အကြိုလေ့ကျင့်သင်ကြားခြင်း အဆင့်ပြီးနောက် အကောင်အထည်ဖော်သော mitigation များအပြင်၊ အကြိုလေ့ကျင့်သင်ကြားခြင်း filtering mitigation များသည် အခြား လုံခြုံရေးလျော့ပါးရေးအစီအမံများနှင့်အတူ မလိုလားအပ်သောနှင့် အန္တရာယ်ရှိသော data များကို ကျွန်ုပ်တို့၏ dataset များမှ ဖယ်ထုတ်ရန် ကူညီပေးသည့် နောက်ထပ်ကာကွယ်ရေးအလွှာတစ်ခုကို ပံ့ပိုးပေးနိုင်ပါသည်။ ထို့ကြောင့် လေ့ကျင့်မီ dataset အားလုံးသည် ဤ filtering လုပ်ငန်းစဉ်ကို ဖြတ်သန်းရပြီး၊ အလွန်ပေါ်လွင်ထင်ရှားသော၊ အကြမ်းဖက်သော သို့မဟုတ် အခြားနည်းဖြင့် sensitive ဖြစ်သော content များကို (ဥပမာ မုန်းတီးရေးသင်္ကေတအချို့) ဖယ်ရှားပါသည်။ ၎င်းသည် DALL·E 2 နှင့် DALL·E 3 အပါအဝင် အခြားမော်ဒယ်များကို လေ့ကျင့်ရာတွင် အသုံးပြုခဲ့သော data ကို filter လုပ်သည့် နည်းလမ်းများ၏ တိုးချဲ့မှုတစ်ရပ်ဖြစ်ပါသည်။

အန္တရာယ် ဖော်ထုတ်ခြင်းနှင့် ဖြန့်ချိရန် ပြင်ဆင်ခြင်း

ကျွန်ုပ်တို့သည် Sora ၏ ဒီဇိုင်းများနှင့် လုံခြုံရေးလျော့ပါးရေးအစီအမံများကို သတ်မှတ်ရာတွင် အချက်အလက်ပေးနိုင်ရန် အလားအလာရှိသော မသင့်လျော်အသုံးပြုမှုများနှင့် လက်တွေ့ကမ္ဘာရှိ ဖန်တီးမှုအသုံးပြုမှုများကို နားလည်ရန် ခိုင်မာသော လုပ်ငန်းစဉ်တစ်ရပ်ကို ဆောင်ရွက်ခဲ့ပါသည်။ 2024 ခုနှစ် ဖေဖော်ဝါရီတွင် Sora ကြေညာပြီးနောက် ကျွန်ုပ်တို့သည် နိုင်ငံ 60 ကျော်မှ visual artist၊ designer နှင့် filmmaker ရာပေါင်းများစွာနှင့် ပူးပေါင်း၍ ဖန်တီးမှုဆိုင်ရာ ကျွမ်းကျင်သူများအတွက် အထောက်အကူအများဆုံးဖြစ်စေရန် မော်ဒယ်ကို မည်သို့ တိုးတက်စေရမည်အပေါ် တုံ့ပြန်ချက်များ ရယူခဲ့ပါသည်။ ထို့အပြင် အန္တရာယ်များကို ဖော်ထုတ်အကဲဖြတ်ရန်နှင့် ကျွန်ုပ်တို့၏ လုံခြုံရေးနှင့် အန္တရာယ်လျော့ပါးရေးအစီအမံများကို အဆင့်ဆင့် ပိုမိုကောင်းမွန်စေရန် အတွင်းပိုင်းနှင့် ပြင်ပ ထိုးဖောက်စမ်းသပ်သူများနှင့်အတူ အကဲဖြတ်မှုအများအပြားကိုလည်း ပြုလုပ်ခဲ့ပါသည်။ 

Sora အတွက် ကျွန်ုပ်တို့၏ လုံခြုံရေး stack သည် ဤသင်ခန်းစာများအပေါ်သာမက DALL·E နှင့် ChatGPT ကဲ့သို့ အခြား မော်ဒယ်များနှင့် ထုတ်ကုန်များတွင် အသုံးပြုနေသော ရှိပြီးသား လုံခြုံရေးလျော့ပါးရေးအစီအမံများအပေါ်၊ ထို့ပြင် ဗီဒီယိုထုတ်ကုန်အတွက် အထူးတည်ဆောက်ထားသော mitigation များအပေါ်လည်း တည်ဆောက်ထားပါသည်။ ၎င်းသည် အားကောင်းသော tool တစ်ခုဖြစ်သောကြောင့် အထူးသဖြင့် context အရေးကြီးသည့်နေရာများ သို့မဟုတ် ဗီဒီယိုနှင့်ဆက်စပ်သော အန္တရာယ်အသစ်များကို ကျွန်ုပ်တို့ ကြိုတင်မြင်သော နယ်ပယ်များတွင် လုံခြုံရေးအတွက် အဆင့်ဆင့်ချဉ်းကပ်ပုံကို ခံယူထားပါသည်။ ဤ iterative approach ၏ ဥပမာများတွင် အသက် 18 နှစ်နှင့်အထက် အသုံးပြုသူများသာ ဝင်ရောက်ခွင့်ပေးခြင်း၊ likeness/face upload အသုံးပြုမှုကို ကန့်သတ်ခြင်း၊ နှင့် launch အချိန်တွင် အရွယ်မရောက်သေးသူများနှင့်ဆိုင်သော prompt များနှင့် upload များအပေါ် ပိုမိုထိန်းသိမ်းသော moderation threshold များထားရှိခြင်းတို့ ပါဝင်ပါသည်။ Sora ကို လူများ မည်သို့အသုံးပြုသည်ကို ဆက်လက်လေ့လာပြီး အသုံးပြုသူများ၏ ဖန်တီးမှုအလားအလာကို အမြင့်ဆုံးတင်ပေးစဉ် လုံခြုံရေးကို အကောင်းဆုံးညှိနှိုင်းနိုင်ရန် ဆက်လက်ပြင်ဆင်လိုပါသည်။ 

ပြင်ပ ထိုးဖောက်စမ်းသပ်ခြင်း

OpenAI သည် နိုင်ငံ ၉ နိုင်ငံတွင် တည်ရှိသော ပြင်ပ ထိုးဖောက်စမ်းသပ်သူများနှင့် ပူးပေါင်း၍ Sora ကို စမ်းသပ်ကာ လုံခြုံရေးလျော့ပါးရေးအစီအမံများ၏ အားနည်းချက်များကို ဖော်ထုတ်ရန်နှင့် Sora ၏ ထုတ်ကုန်စွမ်းဆောင်ရည်အသစ်များနှင့် ဆက်စပ်သော အန္တရာယ်များအပေါ် တုံ့ပြန်ချက်ပေးရန် လုပ်ဆောင်ခဲ့ပါသည်။ ထိုးဖောက်စမ်းသပ်သူများသည် 2024 ခုနှစ် စက်တင်ဘာလမှ ဒီဇင်ဘာလအထိ လုံခြုံရေးလျော့ပါးရေး အဆင့်အမျိုးမျိုးနှင့် စနစ်ရင့်ကျက်မှုအဆင့်အမျိုးမျိုးရှိသော Sora ထုတ်ကုန်ကို အသုံးပြုနိုင်ခဲ့ပြီး generation 15,000 ကျော်ကို စမ်းသပ်ခဲ့ပါသည်။ ဤထိုးဖောက်စမ်းသပ်မှုလုပ်ငန်းသည် 2024 အစောပိုင်းတွင် production mitigation များမပါသော Sora မော်ဒယ်တစ်ခုကို စမ်းသပ်ခဲ့သော လုပ်ငန်းအပေါ် တည်ဆောက်ထားပါသည်။

ထိုးဖောက်စမ်းသပ်သူများသည် Sora မော်ဒယ်နှင့် ထုတ်ကုန်၏ tool များကြောင့် ဖြစ်ပေါ်နိုင်သော အသစ်သော အန္တရာယ်များကို ရှာဖွေခဲ့ပြီး၊ လုံခြုံရေးလျော့ပါးရေးအစီအမံများကို ဖွံ့ဖြိုးလာသည်နှင့်အမျှ စမ်းသပ်ခဲ့ကြပါသည်။ ဤထိုးဖောက်စမ်းသပ်မှုကမ်ပိန်းများတွင် ချိုးဖောက်မှုဖြစ်စေသောနှင့် ခွင့်မပြုသော content အမျိုးမျိုး (sexual and erotic content, violence and gore, self harm, illegal content, mis/disinformation စသည်)၊ လုံခြုံရေးလျော့ပါးရေးအစီအမံများကို ရှောင်လွှဲရန် adversarial tactic များ (prompting နှင့် tool/feature အသုံးပြုမှု နှစ်မျိုးစလုံး) အပြင် ဤ tool များကို moderation tool များနှင့် safeguard များကို တဖြည်းဖြည်း အားနည်းသွားစေရန် မည်သို့ အသုံးချနိုင်သည်ကိုပါ လွှမ်းခြုံထားပါသည်။ ထိုးဖောက်စမ်းသပ်သူများသည် bias နှင့် ယေဘုယျ performance အပါအဝင် နယ်ပယ်များအပေါ် Sora နှင့်ပတ်သက်သည့် ၎င်းတို့၏ အမြင်များကိုလည်း တုံ့ပြန်ပေးခဲ့ကြပါသည်။ 

အထက်တွင် ဖော်ပြထားသော content category အားလုံးအတွက် ရိုးရှင်းသော prompt များနှင့် adversarial prompting tactic များကို အသုံးပြု၍ text-to-video generation ကို ကျွန်ုပ်တို့ စူးစမ်းလေ့လာခဲ့ပါသည်။ media upload capability ကို public person များအပါအဝင် ရုပ်ပုံနှင့် ဗီဒီယိုအမျိုးမျိုးစွာ၊ နှင့် ချိုးဖောက်မှုဖြစ်စေသော content ကို ထုတ်လုပ်နိုင်စွမ်းကို စမ်းသပ်ရန် content category အမျိုးမျိုးကျယ်ပြန့်စွာဖြင့် စမ်းသပ်ခဲ့ပါသည်။ ထို့အပြင် modification tool မျိုးစုံနှင့် ၎င်းတို့၏ ပေါင်းစပ်အသုံးပြုမှုများ (storyboards, recut, remix, and blend) ကိုလည်း တားမြစ်ထားသော content ထုတ်လုပ်ရာတွင် ၎င်းတို့၏ အသုံးဝင်မှုကို အကဲဖြတ်ရန် စမ်းသပ်ခဲ့ပါသည်။ 

ထိုးဖောက်စမ်းသပ်သူများသည် တိတိကျကျ တားမြစ်ထားသော content အမျိုးအစားများနှင့် ယေဘုယျ adversarial tactic များအတွက် မှတ်သားဖွယ်ရာ လေ့လာတွေ့ရှိချက်များကို ဖော်ထုတ်ခဲ့ပါသည်။ ဥပမာအားဖြင့် ဆေးဘက်ဆိုင်ရာ အခြေအနေများ သို့မဟုတ် science fiction / fantasy setting များပါဝင်သော text prompt များကို အသုံးပြုခြင်းသည် နောက်ထပ် mitigation များတည်ဆောက်မီ erotic နှင့် sexual content ထုတ်လုပ်မှုအပေါ် safeguard များကို အားနည်းစေကြောင်း ထိုးဖောက်စမ်းသပ်သူများက တွေ့ရှိခဲ့ပါသည်။ ထိုးဖောက်စမ်းသပ်သူများသည် suggestive prompt များနှင့် မော်ဒယ်၏ inference capability ကို အသုံးချရန် ဥပမာပုံစံအသုံးအနှုန်းများကို အသုံးပြုခြင်းအပါအဝင် လုံခြုံရေး stack ၏ အစိတ်အပိုင်းများကို ရှောင်လွှဲရန် adversarial tactic များကို အသုံးပြုခဲ့ကြပါသည်။ ကြိုးပမ်းမှုအကြိမ်များစွာအတွင်း safeguard များကို trigger လုပ်စေမည့် prompt များနှင့် စကားလုံးများ၏ trend များကို ဖော်ထုတ်နိုင်ခဲ့ပြီး refusal များကို ရှောင်ရန် စကားပုံစံနှင့် စကားလုံးအမျိုးမျိုးကို စမ်းသပ်ခဲ့ကြပါသည်။ နောက်ဆုံးတွင် ထိုးဖောက်စမ်းသပ်သူများသည် single-prompt technique များဖြင့် မဖန်တီးနိုင်သော ချိုးဖောက်မှုဖြစ်စေသည့် content အဖြစ် ထပ်မံဖွံ့ဖြိုးစေရန် seed media အဖြစ် အသုံးပြုရန် အန္တရာယ်အများဆုံး generation ကို ရွေးချယ်လေ့ရှိကြပါသည်။ Jailbreak technique များသည် တစ်ခါတစ်ရံ လုံခြုံရေးမူဝါဒများကို အားနည်းစေရာတွင် ထိရောက်ကြောင်း သက်သေပြခဲ့ပြီး၊ ၎င်းကာကွယ်မှုများကိုလည်း ကျွန်ုပ်တို့ ပိုမိုကောင်းမွန်အောင် ပြင်ဆင်နိုင်စေခဲ့ပါသည်။

ထိုးဖောက်စမ်းသပ်သူများသည် public တွင်ရရှိနိုင်သော ရုပ်ပုံများနှင့် AI-generated media များဖြင့် media upload များနှင့် Sora ၏ tool များ (storyboards, recut, remix, and blend) ကိုလည်း စမ်းသပ်ခဲ့ကြပါသည်။ ဤအရာက Sora မဖြန့်ချိမီ ပိုမိုခိုင်မာစေရန် input နှင့် output filtering အတွင်း gap များကို ဖော်ထုတ်ပေးခဲ့ပြီး၊ လူပုဂ္ဂိုလ်များပါဝင်သော media upload များအတွက် ကာကွယ်မှုများကို ပိုမိုတိကျစေခဲ့ပါသည်။ စမ်းသပ်မှုမှ non-violative media upload များကို တားမြစ်ထားသော erotic၊ violence သို့မဟုတ် deepfake content အဖြစ် ပြောင်းလဲခြင်းအန္တရာယ်ကို လျော့ပါးစေရန် classifier filtering ပိုမိုခိုင်မာရန် လိုအပ်ကြောင်းကိုလည်း ဖော်ပြခဲ့ပါသည်။

ထိုးဖောက်စမ်းသပ်သူများက ဖန်တီးပေးသော တုံ့ပြန်ချက်များနှင့် data များကြောင့် နောက်ထပ် လုံခြုံရေးလျော့ပါးရေးအစီအမံ အလွှာများ ဖန်တီးနိုင်ခဲ့ပြီး ရှိပြီးသား လုံခြုံရေးအကဲဖြတ်မှုများကိုလည်း ပိုမိုကောင်းမွန်အောင် ပြုလုပ်နိုင်ခဲ့ပါသည်။ ၎င်းတို့ကို Specific Risk Areas and Mitigations⁠ section များတွင် ဖော်ပြထားပါသည်။ ဤကြိုးပမ်းမှုများကြောင့် ကျွန်ုပ်တို့၏ prompt filtering၊ blocklist များနှင့် classifier threshold များကို ထပ်မံညှိနှိုင်းနိုင်ခဲ့ပြီး မော်ဒယ်သည် လုံခြုံရေးရည်မှန်းချက်များကို လိုက်နာစေရန် သေချာစေခဲ့ပါသည်။

အစောပိုင်း Artist Access မှ သင်ခန်းစာများ

ပြီးခဲ့သော ကိုးလအတွင်း ကျွန်ုပ်တို့သည် နိုင်ငံ 60 ကျော်မှ အသုံးပြုသူ 300 ကျော်ထံမှ မော်ဒယ် request 500,000+ တစ်လျှောက် အသုံးပြုသူတုံ့ပြန်ချက်များကို စောင့်ကြည့်လေ့လာခဲ့ပါသည်။ ဤ data သည် မော်ဒယ်အပြုအမူနှင့် လုံခြုံရေး protocol များကို မော်ဒယ်က လိုက်နာမှုအပေါ် တိုးတက်မှုများအတွက် အချက်အလက်ပေးခဲ့ပါသည်။ ဥပမာအားဖြင့် အနုပညာရှင်များ၏ တုံ့ပြန်ချက်သည် မြင်ရသော watermark များက ၎င်းတို့၏ workflow များအပေါ် ရှိသော ကန့်သတ်ချက်များကို နားလည်စေခဲ့ပြီး၊ ၎င်းကြောင့် C2PA data ကို ထည့်သွင်းထားဆဲဖြစ်စေကာလည်း ပေးချေအသုံးပြုသူများအား မြင်ရသော watermark မပါဘဲ ဗီဒီယိုဖိုင်များကို download လုပ်ခွင့်ပေးရန် ဆုံးဖြတ်ခဲ့ပါသည်။ 

ဤ early access program သည် Sora ကို ဇာတ်လမ်းပြောခြင်းနှင့် ဖန်တီးမှုဖော်ပြခြင်းအတွက် ပိုမိုချဲ့ထွင်ထားသော tool တစ်ခုအဖြစ် ဆောင်ရွက်စေလိုလျှင် ChatGPT ကဲ့သို့ ယေဘုယျရည်ရွယ်ချက် tool တစ်ခုတွင် မတူညီစွာ ကိုင်တွယ်မည့် sensitive area အချို့အပေါ် အနုပညာရှင်များအတွက် ပိုမိုပြောင်းလွယ်ပြင်လွယ်ပေးရန် လိုအပ်မည်ကိုလည်း သင်ပေးခဲ့ပါသည်။ အနုပညာရှင်များ၊ လွတ်လပ်သော filmmaker များ၊ studio များနှင့် အခြား entertainment industry အဖွဲ့အစည်းများသည် Sora ကို ၎င်းတို့၏ development process များအတွက် အရေးကြီးသော အစိတ်အပိုင်းတစ်ခုအဖြစ် အသုံးပြုမည်ဟု ကျွန်ုပ်တို့ မျှော်လင့်ပါသည်။ တစ်ချိန်တည်းမှာပင် အပြုသဘောဆောင်သော အသုံးပြုမှုများနှင့် ဖြစ်နိုင်သော မသင့်လျော်အသုံးပြုမှု နှစ်မျိုးစလုံးကို ဖော်ထုတ်နိုင်ခြင်းက အန္တရာယ် သို့မဟုတ် မသင့်လျော်အသုံးပြုမှု အန္တရာယ်ကို လျှော့ပါးရန် ထုတ်ကုန်အဆင့် ပိုမိုကန့်သတ်သော mitigation များ လိုအပ်သည့် နယ်ပယ်များကို ဆုံးဖြတ်နိုင်စေခဲ့ပါသည်။

အကဲဖြတ်မှုများ

ကျွန်ုပ်တို့သည် nudity၊ deceptive election content၊ self-harm နှင့် violence တို့အပါအဝင် အဓိကနယ်ပယ်များကို ရည်ရွယ်သော အတွင်းပိုင်းအကဲဖြတ်မှုများကို ဖော်ဆောင်ခဲ့ပါသည်။ ဤအကဲဖြတ်မှုများသည် mitigation များကို ပိုမိုကောင်းမွန်အောင် ပြင်ဆင်ရာတွင် ထောက်ပံ့ရန်နှင့် moderation threshold များကို သတ်မှတ်ရာတွင် အချက်အလက်ပေးရန် ဒီဇိုင်းထုတ်ထားပါသည်။ အကဲဖြတ်မှုဘောင်သည် ဗီဒီယိုထုတ်လုပ်ရေး မော်ဒယ်အား ပေးသော input prompt များနှင့် ပြောင်းလဲထားသော prompt များ သို့မဟုတ် နောက်ဆုံးထုတ်လုပ်သော ဗီဒီယိုများအပေါ် သက်ရောက်စေသော input နှင့် output classifier များကို ပေါင်းစပ်အသုံးပြုထားပါသည်။

ဤအကဲဖြတ်မှုများအတွက် input prompt များကို အဓိက channel သုံးခုမှ ရယူခဲ့ပါသည်- alpha အစောပိုင်းအဆင့်အတွင်း စုဆောင်းထားသော data (Section 3.2 တွင် ဖော်ပြထားသကဲ့သို့)၊ red-team tester များက ပေးအပ်သော adversarial example များ (Section 3.1 တွင် ကိုးကားထားသည်) နှင့် GPT‑4 ကို အသုံးပြု၍ ဖန်တီးထားသော synthetic data တို့ဖြစ်ပါသည်။ Alpha phase data သည် လက်တွေ့အသုံးပြုမှု အခြေအနေများအပေါ် နားလည်မှုကို ပေးခဲ့ပြီး၊ red-teamer များ၏ ပါဝင်ကူညီမှုသည် adversarial နှင့် edge-case content များကို ဖော်ထုတ်ရာတွင် ကူညီခဲ့ကာ၊ synthetic data သည် သဘာဝအရ တွေ့ရခက်သော unintended racy content ကဲ့သို့ နယ်ပယ်များတွင် အကဲဖြတ်မှု dataset များကို ချဲ့ထွင်နိုင်စေခဲ့ပါသည်။

Preparedness

preparedness framework သည် စွမ်းဆောင်ရည်အမြင့်ဆုံး မော်ဒယ် စွမ်းဆောင်ရည်များက persuasion၊ cybersecurity၊ CBRN (chemical, biological, radiological, and nuclear) နှင့် model autonomy ဟူသော စောင့်ကြည့်ထားသော အမျိုးအစား ၄ ခုတွင် သိသာထင်ရှားသော အန္တရာယ်များကို မိတ်ဆက်ပေးခြင်း ရှိမရှိ အကဲဖြတ်ရန် ဒီဇိုင်းထုတ်ထားပါသည်။ Sora သည် cybersecurity၊ CBRN သို့မဟုတ် model autonomy နှင့်စပ်လျဉ်း၍ သိသာထင်ရှားသော အန္တရာယ်တစ်စုံတစ်ရာ ဖြစ်စေကြောင်း အထောက်အထား ကျွန်ုပ်တို့တွင် မရှိပါ။ ဤအန္တရာယ်များသည် computer system များ၊ သိပ္ပံဆိုင်ရာ ဗဟုသုတ သို့မဟုတ် autonomous decision-making နှင့် အပြန်အလှန်လုပ်ဆောင်သည့် မော်ဒယ်များနှင့် နီးကပ်စွာ ဆက်နွယ်ပြီး၊ ၎င်းတို့အားလုံးသည် လက်ရှိတွင် ဗီဒီယိုထုတ်လုပ်ရေး tool တစ်ခုအဖြစ် Sora ၏ scope ပြင်ပတွင် ရှိနေပါသည်။ 

Sora ၏ ဗီဒီယိုထုတ်လုပ်ရေးစွမ်းရည်များသည် အယောင်ဆောင်ခြင်း၊ သတင်းမှားဖြန့်ဝေခြင်း သို့မဟုတ် social engineering ကဲ့သို့ persuasion မှ ဖြစ်ပေါ်သော ဖြစ်နိုင်ချေအန္တရာယ်များကို ဖြစ်စေနိုင်ပါသည်။ ဤအန္တရာယ်များကို ကိုင်တွယ်ရန် အောက်ပါ section များတွင် ဖော်ပြထားသော mitigation များအစုတစ်ခုကို ကျွန်ုပ်တို့ ဖော်ဆောင်ထားပါသည်။  ၎င်းတို့တွင် လူသိများသော public figure များနှင့် ဆင်တူသော likeness များကို ထုတ်လုပ်ခြင်းကို တားဆီးရန် ရည်ရွယ်သည့် mitigation များ ပါဝင်ပါသည်။ ထို့အပြင် video တစ်ခုသည် အစစ်လား AI-generated လား ဆိုသည့် context နှင့် အသိပညာတို့သည် generated video တစ်ခု မည်မျှ persuasive ဖြစ်သည်ကို သတ်မှတ်ရာတွင် အဓိကဖြစ်နိုင်သောကြောင့် metadata၊ watermark နှင့် fingerprinting တို့ အပါအဝင် အလွှာပေါင်းစုံ provenance approach တစ်ရပ်ကို တည်ဆောက်ရန် အာရုံစိုက်ထားပါသည်။

Sora Mitigation Stack

အောက်တွင် ဖော်ထုတ်ထားသော သီးခြားအန္တရာယ်များနှင့် mitigation များအပြင် Sora ၏ လေ့ကျင့်မှု၊ ထုတ်ကုန်ဒီဇိုင်းနှင့် မူဝါဒများတွင် ပြုလုပ်ထားသော ရွေးချယ်မှုများသည် အန္တရာယ်ရှိသော သို့မဟုတ် မလိုလားအပ်သော output များ၏ အန္တရာယ်ကို ကျယ်ပြန့်စွာ လျှော့ချပေးပါသည်။ ၎င်းတို့ကို ယေဘုယျအားဖြင့် system နှင့် model အဆင့် နည်းပညာဆိုင်ရာ mitigation များ၊ ထုတ်ကုန်မူဝါဒများနှင့် အသုံးပြုသူ ပညာပေးမှုများအဖြစ် စုစည်းနိုင်ပါသည်။

စနစ်နှင့် မော်ဒယ် လျော့ပါးရေးအစီအမံများ

အောက်တွင် အသုံးပြုသူအား ၎င်းတို့ တောင်းဆိုထားသော output ကို မပြမီ ကျွန်ုပ်တို့ ထည့်သွင်းထားသော အဓိက လုံခြုံရေးလျော့ပါးရေးအစီအမံပုံစံများကို အသေးစိတ်ဖော်ပြထားပါသည်-

အမျိုးအစားပေါင်းစုံ moderation classifier ဖြင့် စာသားနှင့် ရုပ်ပုံ moderation

ကျွန်ုပ်တို့၏ ပြင်ပ Moderation API ကို လည်ပတ်စေသော အမျိုးအစားပေါင်းစုံ moderation classifier ကို input နှင့် output နှစ်မျိုးစလုံးတွင် အသုံးပြုကာ ကျွန်ုပ်တို့၏ အသုံးပြုမှုမူဝါဒများကို ချိုးဖောက်နိုင်သည့် စာသား၊ ရုပ်ပုံ သို့မဟုတ် ဗီဒီယို prompt များကို ဖော်ထုတ်ပါသည်။ စနစ်က ဖော်ထုတ်သော ချိုးဖောက် prompt များသည် refusal ဖြစ်စေပါသည်။ ကျွန်ုပ်တို့၏ အမျိုးအစားပေါင်းစုံ moderation API အကြောင်းကို ဤနေရာတွင် ပိုမိုလေ့လာပါ2

စိတ်ကြိုက် LLM filtering

ဗီဒီယိုထုတ်လုပ်ရေးနည်းပညာ၏ အားသာချက်တစ်ခုမှာ အသုံးပြုသူအတွေ့အကြုံတစ်ခုလုံးတွင် latency မထည့်ဘဲ asynchronous moderation check များကို လုပ်ဆောင်နိုင်ခြင်းဖြစ်ပါသည်။ ဗီဒီယိုထုတ်လုပ်မှုသည် မူလသဘောအရ စက္ကန့်အနည်းငယ် ကြာမြင့်သောကြောင့် ဤအချိန်ပြတင်းပေါက်ကို တိကျမှုမြင့် targeted moderation check များ လုပ်ဆောင်ရန် အသုံးချနိုင်ပါသည်။ third-party content နှင့် deceptive content ကို ဖော်ထုတ်ခြင်းအပါအဝင် သီးသန့်ခေါင်းစဉ်အချို့အတွက် moderation တွင် တိကျမှုမြင့်စေရန် ကျွန်ုပ်တို့၏ ကိုယ်ပိုင် GPT ကို စိတ်ကြိုက်ပြင်ဆင်ထားပါသည်။ 

filter များသည် multimodal ဖြစ်ပါသည်- image/video upload များ၊ text prompt များနှင့် output များအားလုံးကို LLM call တစ်ခုချင်းစီ၏ context အတွင်း ထည့်သွင်းပါသည်။ ၎င်းကြောင့် ရုပ်ပုံနှင့် စာသားတစ်လျှောက် ချိုးဖောက်သော ပေါင်းစပ်မှုများကို ဖော်ထုတ်နိုင်ပါသည်။ 

ရုပ်ပုံ output classifier များ

output များအတွင်း ဖြစ်နိုင်သော အန္တရာယ်ရှိသော content ကို တိုက်ရိုက်ကိုင်တွယ်ရန် Sora သည် NSFW content၊ အရွယ်မရောက်သေးသူများ၊ violence နှင့် likeness ကို မသင့်လျော်စွာ အသုံးပြုနိုင်မှုအတွက် အထူးပြု filter များအပါအဝင် output classifier များကို အသုံးပြုပါသည်။ ဤ classifier များ အလုပ်လုပ်ပါက Sora သည် အသုံးပြုသူနှင့် မမျှဝေမီ ဗီဒီယိုများကို တားဆီးနိုင်ပါသည်။ 

Blocklist များ

DALL·E 2 နှင့် DALL·E 3 အပေါ် ကျွန်ုပ်တို့၏ ယခင်လုပ်ငန်းများ၊ proactive risk discovery နှင့် အစောပိုင်းအသုံးပြုသူများထံမှ ရလဒ်များအပေါ် အခြေခံ၍ အမျိုးအစားမျိုးစုံတစ်လျှောက် textual blocklist များကို ကျွန်ုပ်တို့ ထိန်းသိမ်းထားပါသည်။

ထုတ်ကုန်မူဝါဒများ

ချိုးဖောက်မှုဖြစ်စေသော content ထုတ်လုပ်မှုကို တားဆီးရန် မော်ဒယ်နှင့် စနစ်အတွင်း ကျွန်ုပ်တို့ တည်ဆောက်ထားသော ကာကွယ်မှုများအပြင် မသင့်လျော်အသုံးပြုမှု အန္တရာယ်ကို လျှော့ချရန် နောက်ထပ်အဆင့်များကိုလည်း ဆောင်ရွက်နေပါသည်။ လက်ရှိတွင် Sora ကို အသက် 18 နှစ်နှင့်အထက် အသုံးပြုသူများအားသာ ပေးထားပြီး Explore နှင့် Featured feed များတွင် ပြသသော content များအပေါ် moderation filter များကို အသုံးပြုထားပါသည်။

ထို့အပြင် အောက်ပါတို့အပေါ် in-product နှင့် publicly available education မှတစ်ဆင့် မူဝါဒလမ်းညွှန်ချက်များကို ရှင်းလင်းစွာ ဆက်သွယ်ဖော်ပြထားပါသည်-

  • အခြားသူတစ်ဦး၏ likeness ကို ၎င်းတို့၏ ခွင့်ပြုချက်မရှိဘဲ အသုံးပြုခြင်းနှင့် လူအစစ်ဖြစ်သော အရွယ်မရောက်သေးသူများကို ပုံဖော်ပြသခြင်းအား တားမြစ်ထားခြင်း၊
  • တရားမဝင်သော content သို့မဟုတ် ဉာဏပစ္စည်းမူပိုင်ခွင့်များကို ချိုးဖောက်သော content ဖန်တီးခြင်း၊
  • သဘောတူညီချက်မရှိသော ရင်းနှီးပုံရိပ်များ၊ bullying၊ harassment သို့မဟုတ် defamation အတွက် အသုံးပြုသော content များ သို့မဟုတ် အကြမ်းဖက်မှု၊ မုန်းတီးမှု သို့မဟုတ် အခြားသူများ၏ နာကျင်မှုကို မြှင့်တင်ရန် ရည်ရွယ်သော content များကဲ့သို့ ပေါ်လွင်ထင်ရှားပြီး အန္တရာယ်ရှိသော content များ ထုတ်လုပ်ခြင်း၊ နှင့် 
  • လူအများကို လိမ်လည်ရန်၊ scam လုပ်ရန် သို့မဟုတ် လှည့်ဖြားရန် အသုံးပြုသော content များကို ဖန်တီးခြင်းနှင့် ဖြန့်ဝေခြင်း။

ဤမသင့်လျော်အသုံးပြုမှုအမျိုးအစားအချို့ကို ကျွန်ုပ်တို့၏ မော်ဒယ်နှင့် စနစ် mitigation များမှတစ်ဆင့် ကိုင်တွယ်ဖြေရှင်းထားသော်လည်း အခြားအချို့မှာ ပိုမို context ပေါ်မူတည်ပါသည်—ဆန္ဒပြပွဲတစ်ခု၏ scene တစ်ခုကို တရားဝင် ဖန်တီးမှုလုပ်ငန်းများအတွက် အသုံးပြုနိုင်သော်လည်း တူညီသော scene ကို အခြား claim များနှင့် တွဲ၍ လက်ရှိ ဖြစ်ရပ်အစစ်အဖြစ် တင်ပြပါက disinformation အဖြစ် မျှဝေနိုင်ပါသည်။ 

Sora သည် လူများအား ဖန်တီးမှုဆိုင်ရာ စိတ်ကူးများနှင့် အမြင်များ အမျိုးမျိုးကို ဖော်ပြနိုင်စေရန် ဒီဇိုင်းထုတ်ထားပါသည်။ context အပေါ် မူတည်၍ ပြဿနာဖြစ်နိုင်သော content ပုံစံတိုင်းကို တားဆီးရန်မှာ လက်တွေ့မကျသကဲ့သို့ အကြံပြုရန်လည်း မသင့်တော်ပါ။

automation နှင့် လူသားသုံးသပ်မှုကို အသုံးပြု၍ အသုံးပြုမှုပုံစံများကို တက်ကြွစွာ စောင့်ကြည့်နေစဉ် လူများအား ကျွန်ုပ်တို့၏ လမ်းညွှန်ချက်များကို ချိုးဖောက်နိုင်သည်ဟု ထင်မြင်သော Sora ဗီဒီယိုများကို report လုပ်နိုင်သော စွမ်းရည်ကို ပေးထားပါသည်။ ကျွန်ုပ်တို့သည် ချိုးဖောက်သော ဗီဒီယိုများကို ဖယ်ရှားရန်နှင့် အသုံးပြုသူများကို အရေးယူရန် enforcement mechanism များကို တည်ထောင်ထားပါသည်။ အသုံးပြုသူများက ကျွန်ုပ်တို့၏ လမ်းညွှန်ချက်များကို ချိုးဖောက်သောအခါ ၎င်းတို့အား အသိပေးမည်ဖြစ်ပြီး မျှတသည်ဟု ၎င်းတို့ထင်မြင်သောအရာကို ပြောပြနိုင်မည့် အခွင့်အရေးကိုလည်း ပေးမည်ဖြစ်ပါသည်။ ဤ mitigation များ၏ ထိရောက်မှုကို ခြေရာခံကာ အချိန်နှင့်အမျှ ပိုမိုကောင်းမွန်အောင် ပြင်ဆင်သွားရန် ကျွန်ုပ်တို့ ရည်ရွယ်ပါသည်။

သီးခြား အန္တရာယ်နယ်ပယ်များနှင့် လျော့ပါးရေးအစီအမံများ

အထက်ပါ ယေဘုယျလုံခြုံရေးအစီအမံများအပြင် အစောပိုင်းစမ်းသပ်မှုများနှင့် အကဲဖြတ်မှုများက အထူးဂရုပြုရန် လုံခြုံရေးနယ်ပယ်အချို့ကို ဖော်ထုတ်ပေးခဲ့ပါသည်။ 

ကလေးသူငယ် လုံခြုံရေး

OpenAI သည် ကိုင်တွယ်ဖြေရှင်းရန် အလွန်အလေးအနက် ကတိပြုထားပြီး3 ကလေးသူငယ်လုံခြုံရေး အန္တရာယ်များကို ဦးစားပေးကာ Sora အပါအဝင် ကျွန်ုပ်တို့၏ ထုတ်ကုန်အားလုံးတွင် Child Sexual Abuse Material(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) (CSAM) content ၏ ကြိုတင်ကာကွယ်မှု၊ ဖော်ထုတ်မှုနှင့် အစီရင်ခံမှုတို့ကို ဦးစားပေးလုပ်ဆောင်ပါသည်။ ကလေးသူငယ်လုံခြုံရေးနယ်ပယ်တွင် OpenAI ၏ ကြိုးပမ်းမှုများတွင် ကျွန်ုပ်တို့၏ dataset များကို CSAM မှ ကာကွယ်နိုင်ရန် တာဝန်ယူမှုရှိစွာ data source ရယူခြင်း၊ ကလေးလိင်ပိုင်းဆိုင်ရာ အလွဲသုံးစားပြုမှုကို တားဆီးရန်နှင့် ကလေးများကို ကာကွယ်ရန် National Center for Missing & Exploited Children (NCMEC) နှင့် ပူးပေါင်းခြင်း၊ Thorn ၏ အကြံပြုချက်များနှင့်အညီနှင့် ဥပဒေကန့်သတ်ချက်များကို လိုက်နာ၍ ထိုးဖောက်စမ်းသပ်ခြင်း နှင့် input နှင့် output အားလုံးတစ်လျှောက် CSAM အတွက် ခိုင်မာသော scanning တို့ ပါဝင်ပါသည်။ ဤတွင် customer များက CSAM scanning ဖယ်ရှားမှုအတွက် တင်းကျပ်သော စံနှုန်းများ ပြည့်မီခြင်း မရှိပါက first party နှင့် third party user များ (API နှင့် Enterprise) ကို scanning လုပ်ခြင်းလည်း ပါဝင်ပါသည်။ CSAM ထုတ်လုပ်မှုကို တားဆီးရန် ကျွန်ုပ်တို့သည် ChatGPT နှင့် DALL·E4 ကဲ့သို့သော အခြားထုတ်ကုန်များတွင် အသုံးပြုသော system mitigation များကို အသုံးချကာ Sora အတွက် အထူးတည်ဆောက်ထားသော နောက်ထပ် lever အချို့ကိုလည်း ပေါင်းစပ်ထားသော ခိုင်မာသည့် လုံခြုံရေး stack တစ်ခုကို တည်ဆောက်ထားပါသည်။

Input Classifier များ

ကလေးသူငယ်လုံခြုံရေးအတွက် စာသား၊ ရုပ်ပုံနှင့် ဗီဒီယို input တစ်လျှောက် မတူညီသော input mitigation ၃ မျိုးကို ကျွန်ုပ်တို့ အသုံးချပါသည်။ 

  • ရုပ်ပုံနှင့် ဗီဒီယို upload အားလုံးအတွက် Thorn က ဖော်ဆောင်ထားသော Safer နှင့် ပေါင်းစည်းအသုံးပြု၍ သိရှိပြီးသား CSAM နှင့် ကိုက်ညီမှုများကို ဖော်ထုတ်ပါသည်။ အတည်ပြုပြီးသော ကိုက်ညီမှုများကို ပယ်ချကာ NCMEC သို့ အစီရင်ခံပါသည်။ ထို့အပြင် hash မပြုလုပ်ရသေးသော CSAM အသစ်ဖြစ်နိုင်သည့် content များကို ဖော်ထုတ်ရန် Thorn ၏ CSAM classifier ကိုလည်း အသုံးပြုပါသည်။
  • စာသား၊ ရုပ်ပုံနှင့် ဗီဒီယို input မှတစ်ဆင့် အရွယ်မရောက်သေးသူများပါဝင်သော လိင်ပိုင်းဆိုင်ရာ content များကို ဖော်ထုတ်ပြီး moderation လုပ်ရန် အမျိုးအစားပေါင်းစုံ moderation classifier ကို အသုံးချပါသည်။ 
  • Sora အတွက် စာသားနှင့် ရုပ်ပုံများကို ခွဲခြမ်းစိတ်ဖြာကာ အသက် 18 နှစ်အောက် လူတစ်ဦးကို ပုံဖော်ထားခြင်း ရှိမရှိ သို့မဟုတ် တွဲပါ caption တွင် minor ကို ရည်ညွှန်းထားခြင်း ရှိမရှိ ခန့်မှန်းရန် classifier တစ်ခုကို ဖော်ဆောင်ခဲ့ပါသည်။ 18 နှစ်အောက် လူပုဂ္ဂိုလ်များ ပါဝင်သော image-to-video request များကို ကျွန်ုပ်တို့ ပယ်ချပါသည်။ text-to-video ကို 18 နှစ်အောက်ဟု သတ်မှတ်ပါက လိင်ပိုင်းဆိုင်ရာ၊ အကြမ်းဖက်မှု သို့မဟုတ် self-harm content နှင့် ဆက်စပ်သော moderation အတွက် ပိုမိုတင်းကျပ်သော threshold များကို ချမှတ်ပါသည်။

အောက်တွင် လူများအတွက် ကျွန်ုပ်တို့၏ under-18 classifier evaluation ကို ဖော်ပြထားပါသည်။ [child | adult] နှင့် [realistic | fictitious] အမျိုးအစားများတစ်လျှောက် ရုပ်ပုံ 5000 နီးပါး ပါဝင်သော dataset တစ်ခုတွင် realistic ဖြစ်သော 18 နှစ်အောက် လူပုဂ္ဂိုလ်များကို ပယ်ချရန် classifier ၏ စွမ်းဆောင်ရည်ကို အကဲဖြတ်ပါသည်။ ကျွန်ုပ်တို့၏ မူဝါဒရပ်တည်ချက်မှာ realistic children များကို ပယ်ချပြီး animated၊ cartoon သို့မဟုတ် sketch style အပါအဝင် fictitious image များကို လိင်ပိုင်းဆိုင်ရာမဟုတ်ပါက ခွင့်ပြုခြင်းဖြစ်ပါသည်။ minor များပါဝင်သော content အပေါ် ကျွန်ုပ်တို့သည် ဂရုစိုက်သော ချဉ်းကပ်ပုံကို ခံယူထားပြီး ထုတ်ကုန်အသုံးပြုမှုမှတစ်ဆင့် ပိုမိုလေ့လာလာသည်နှင့်အမျှ ဖန်တီးမှုဖော်ပြခြင်းနှင့် လုံခြုံရေးကြား မှန်ကန်သော ချိန်ခွင်လျှာကို ရှာဖွေရန် ကျွန်ုပ်တို့၏ ချဉ်းကပ်ပုံကို ဆက်လက်အကဲဖြတ်သွားမည်ဖြစ်ပါသည်။ 

လက်ရှိတွင် ကျွန်ုပ်တို့၏ classifier များသည် အလွန်တိကျသော်လည်း တစ်ခါတစ်ရံ လူကြီးများ သို့မဟုတ် ကလေးများ၏ မဟုတ်ရင်းပုံရိပ်များကို မှားယွင်းစွာ အမှတ်အသားပြုနိုင်ပါသည်။ ထို့အပြင် အသက်ခန့်မှန်း မော်ဒယ်များတွင် လူမျိုးရေးဘက်လိုက်မှုများ ဖြစ်ပေါ်နိုင်ကြောင်း လေ့လာမှုများနှင့် ရှိပြီးသားစာတမ်းများက ဖော်ပြထားသည်ကိုလည်း ကျွန်ုပ်တို့ အသိအမှတ်ပြုပါသည်။ ဥပမာအားဖြင့် ဤမော်ဒယ်များသည် လူမျိုးရေးအုပ်စုအချို့မှ လူပုဂ္ဂိုလ်များ၏ အသက်ကို စနစ်တကျ လျှော့တွက်နိုင်ပါသည်။5 လာမည့်လများအတွင်း classifier ၏ စွမ်းဆောင်ရည်ကို မြှင့်တင်ရန်၊ false positive များကို လျှော့ချရန်နှင့် ဖြစ်နိုင်သော bias များအပေါ် ကျွန်ုပ်တို့၏ နားလည်မှုကို ပိုမိုနက်ရှိုင်းစေရန် ကျွန်ုပ်တို့ ကတိပြုထားပါသည်။

Expected outcome

n_samples

count (is_child)

count (not_child)

Evaluated metrics

Realistic Child

Classify images as “is child”

1589

1555

34

Accuracy: 97.86%

Realistic Adult

Classify images as “not child”

1370

36

1334

Accuracy: 99.28%

Fictitious Adult

Classify images as “not child”

965

7

958

Accuracy: 97.37%

Fictitious Child

Classify images as “not child”

1050

323

727

Accuracy: 69.24%

Total

4974

1921

3053

Precision: 80.95% Recall: 97.86%

Note: precision is calculated as the % of is_child classifications that are realistic children, and recall is calculated as the % of realistic child images that are classified as is_child

Output

အထက်တွင် ဖော်ပြခဲ့သကဲ့သို့ စာသား input တွင် အရွယ်မရောက်သေးသူများကို ရည်ညွှန်းထားသည်ကို ကျွန်ုပ်တို့၏ under-18 classifier ဖြင့် ဖော်ထုတ်သည်နှင့် တစ်ပြိုင်နက် output ပေါ်ရှိ လိင်ပိုင်းဆိုင်ရာ၊ အကြမ်းဖက်မှု သို့မဟုတ် self harm content နှင့် ဆက်စပ်သော moderation အတွက် တင်းကျပ်သော threshold များကို ချမှတ်ပါသည်။ ၎င်းကို ဆောင်ရွက်ရန် ကျွန်ုပ်တို့ အသုံးပြုသော output classifier နှစ်မျိုးမှာ အောက်ပါအတိုင်းဖြစ်ပါသည်။ 

  • မလုံခြုံသော ဗီဒီယို output များကို စစ်ဆေးသည့် multi modal moderation classifier သည် အထူးသဖြင့် sensitive ဖြစ်နိုင်သော request များကို ပယ်ချပါသည်။ 
  • ထို့အပြင် ကလေးသူငယ်လုံခြုံရေးနှင့် ဆက်စပ်သော ချိုးဖောက်မှုများကို စစ်ဆေးရန် ကျွန်ုပ်တို့၏ ရှိပြီးသား DALL·E image classifier ကိုလည်း အသုံးပြုနေပါသည်။

ကျွန်ုပ်တို့၏ output classifier များသည် တစ်စက္ကန့်လျှင် frame 2 ခုကို စစ်ဆေးပြီး ဗီဒီယိုကို မလုံခြုံဟု သတ်မှတ်သောအခါ မည်သည့် output ကိုမဆို တားဆီးပါသည်။

ကျွန်ုပ်တို့၏ classifier များနှင့် အလိုအလျောက် moderation အပြင် ဖြစ်နိုင်သော ကလေးသူငယ်လုံခြုံရေးချိုးဖောက်မှုများအပေါ် ကာကွယ်မှု အလွှာတစ်ခုအဖြစ် လူသားသုံးသပ်မှုကိုလည်း ထည့်သွင်းထားမည်ဖြစ်ပါသည်။ 

ထုတ်ကုန်မူဝါဒ

ကျွန်ုပ်တို့၏ မူဝါဒများအရ အရွယ်မရောက်သေးသူများ ပါဝင်သော လိင်ပိုင်းဆိုင်ရာ content ဖန်တီးရန် Sora ကို အသုံးပြုခြင်းကို တားမြစ်ထားပါသည်။ ကျွန်ုပ်တို့၏ ကလေးသူငယ်လုံခြုံရေးမူဝါဒများကို ချိုးဖောက်ပါက content ဖယ်ရှားခြင်းနှင့် အသုံးပြုသူကို ပိတ်ပင်ခြင်းတို့ ဖြစ်ပေါ်နိုင်ပါသည်။

အဝတ်ဗလာနှင့် လိင်ညွှန်းအကြောင်းအရာ

AI ဗီဒီယိုထုတ်လုပ်ရေးစွမ်းရည်များနှင့် ဆက်စပ်သော ပေါ်ထွက်လာသည့် အန္တရာယ်နယ်ပယ်တစ်ခုမှာ NSFW (Not Safe for Work) သို့မဟုတ် NCII (Non-Consensual Intimate Imagery) content များကို ဖြစ်နိုင်ခြေအရ ဖန်တီးနိုင်ခြင်းဖြစ်ပါသည်။ DALL·E ၏ ချဉ်းကပ်ပုံနှင့် ဆင်တူစွာ Sora သည် ပေါ်လွင်ထင်ရှားသော content ကို တားဆီးရန် အဆင့်များစွာပါဝင်သော moderation strategy ကို အသုံးပြုပါသည်။ ၎င်းတို့တွင် prompt transformation များ၊ image output classifier များနှင့် blocklist များ ပါဝင်ပြီး၊ ၎င်းတို့အားလုံးသည် အထူးသဖြင့် အသက်အရွယ်နှင့် သင့်လျော်သော output များအတွက် suggestive content ကို ကန့်သတ်သည့် system တစ်ခုအတွက် ပံ့ပိုးပေးပါသည်။ ကျွန်ုပ်တို့၏ classifier များအတွက် threshold များသည် text based prompt များထက် image upload များအတွက် ပိုမိုတင်းကျပ်ပါသည်။ 

Explore section တွင် ပြသသော ဗီဒီယိုများကိုလည်း ပိုမိုကျယ်ပြန့်သော ပရိသတ်အတွက် သင့်လျော်သော ကြည့်ရှုမှုအတွေ့အကြုံကို ရည်ရွယ်၍ မြင့်မားသော threshold များဖြင့် ထပ်မံ filter လုပ်ထားပါသည်။  

အောက်တွင် input နှင့် output များတစ်လျှောက် အလွှာပေါင်းစုံ mitigation ၏ ထိရောက်မှုကို အကဲဖြတ်ရန် ရည်ရွယ်သော nudity နှင့် suggestive content ဆိုင်ရာ evaluation ရလဒ်များကို ဖော်ပြထားပါသည်။ တွေ့ရှိချက်များအပေါ် အခြေခံ၍ ကျွန်ုပ်တို့သည် threshold များကို ထပ်မံညှိနှိုင်းထားပြီး လူများပါဝင်သော upload များအတွက် ပိုမိုတင်းကျပ်သော moderation ကို ရုပ်ပုံများပေါ်တွင် လျှောက်ထားထားပါသည်။

အမျိုးအစား

တိကျမှု* (input တွင်)

တိကျမှု* (output တွင်၊ ဆိုလိုသည်မှာ E2E)

အဝတ်ဗလာနှင့် လိင်ညွှန်းအကြောင်းအရာ

97.25%

97.59%

Eval ရှင်းလင်းချက်:

N = ချိုးဖောက်သော sample အရေအတွက်စုစုပေါင်း (~အမျိုးအစားတစ်ခုလျှင် 200 ခန့်)
I = input moderation check များကို ဖြတ်ကျော်သွားသော ချိုးဖောက် sample အရေအတွက်စုစုပေါင်း
O = output moderation check များကို ဖြတ်ကျော်သွားသော ချိုးဖောက် sample အရေအတွက်စုစုပေါင်း

Input တွင် တိကျမှု =
(N - I) / N
Output တွင် တိကျမှု (E2E) = (N - O) / N 

ထုတ်ကုန်မူဝါဒ

ကျွန်ုပ်တို့၏ မူဝါဒများအရ သဘောတူညီချက်မရှိသော ရင်းနှီးမြှုပ်နှံပုံရိပ်များအပါအဝင် ပေါ်လွင်ထင်ရှားသော လိင်ပိုင်းဆိုင်ရာ အကြောင်းအရာများ ဖန်တီးရန် Sora ကို အသုံးပြုခြင်းကို တားမြစ်ထားပါသည်။ ဤမူဝါဒများကို ချိုးဖောက်ပါက အကြောင်းအရာဖယ်ရှားခြင်းနှင့် အသုံးပြုသူအပေါ် အရေးယူမှုများ ဖြစ်ပေါ်နိုင်ပါသည်။

လှည့်ဖြားသော အကြောင်းအရာ

Likeness ကို မသင့်လျော်စွာ အသုံးပြုမှုနှင့် အန္တရာယ်ရှိသော Deepfake များ

likeness အခြေပြု prompt များအတွက် Sora ၏ moderation monitor သည် အန္တရာယ်ရှိနိုင်သော deepfake content များကို အမှတ်အသားပြုရန် ရည်ရွယ်ထားပြီး၊ မှတ်မိလွယ်သော လူပုဂ္ဂိုလ်များ ပါဝင်သည့် ဗီဒီယိုများကို အနီးကပ် သုံးသပ်စစ်ဆေးနိုင်ရန် ရည်ရွယ်ပါသည်။ Likeness Misuse filter သည် လူပုဂ္ဂိုလ်များကို အန္တရာယ်ရှိနိုင်သော သို့မဟုတ် လှည့်ဖြားနိုင်သော နည်းလမ်းများဖြင့် ပြုပြင်ပြောင်းလဲရန် သို့မဟုတ် ပုံဖော်ရန် ကြိုးပမ်းသော prompt များကို ထပ်မံ အမှတ်အသားပြုပါသည်။ Sora ၏ ယေဘုယျ prompt transformation များသည် တစ်ဦးတစ်ယောက်၏ အမည်ပါဝင်သော prompt အပေါ် အခြေခံ၍ Sora က ပုဂ္ဂလိက လူပုဂ္ဂိုလ်တစ်ဦး၏ မလိုလားအပ်သော likeness ကို ထုတ်လုပ်မည့် အန္တရာယ်ကို ထပ်မံလျှော့ချပေးပါသည်။

လှည့်ဖြားသော အကြောင်းအရာ

ရွေးကောက်ပွဲများနှင့်ဆက်စပ်သော လှည့်ဖြားအကြောင်းအရာများကို ထုတ်လုပ်ခြင်းကို တားဆီးရန် Sora ၏ input နှင့် output classifier များသည် လိမ်လည်သော၊ ကိုယ်ကျင့်တရားနှင့်မကိုက်ညီသော သို့မဟုတ် အခြားနည်းဖြင့် တရားမဝင်သော လုပ်ဆောင်မှုများကို ပုံဖော်ထားခြင်းအား ကာကွယ်ရန် ရည်ရွယ်ထားပါသည်။ Sora ၏ evaluation metric များတွင် ရွေးကောက်ပွဲအခြေအနေတွင် လှည့်ဖြားစေနိုင်သော ဗီဒီယိုများကို ထုတ်လုပ်နိုင်သည့် style သို့မဟုတ် filter နည်းလမ်းများကို အမှတ်အသားပြုရန် classifier များ ပါဝင်ပြီး၊ ထို့ကြောင့် လက်တွေ့ကမ္ဘာတွင် မသင့်လျော်အသုံးပြုနိုင်မှု အန္တရာယ်ကို လျှော့ချပေးပါသည်။

အောက်တွင် input အမျိုးမျိုး (ဥပမာ စာသားနှင့် ဗီဒီယို) တစ်လျှောက် တားမြစ်ထားသော content ဖန်တီးရန် ရည်ရွယ်ချက် ရှိနိုင်သည့် အခြေအနေများကို ဖော်ထုတ်ရာတွင် ကူညီရန် အဓိကထားသော deceptive election content LLM filter အတွက် ကျွန်ုပ်တို့၏ evaluation များကို ဖော်ပြထားပါသည်။ output ဗီဒီယို၏ ဖြစ်နိုင်သော ချိုးဖောက်မှုများကို အကဲဖြတ်ရန် ကျွန်ုပ်တို့၏ စနစ်သည် တစ်စက္ကန့်လျှင် frame 1 ခုကိုလည်း စစ်ဆေးပါသည်။

Classifier

ပြန်လည်ဖမ်းယူနှုန်း

တိကျနှုန်း

အမှတ်အသားပြုသည့်အခါ ရလဒ်

လှည့်ဖြားသော ရွေးကောက်ပွဲအကြောင်းအရာ

98.23%

88.80%

output ထုတ်လုပ်မှုကို တားဆီးပါ

 N=~500၊ synthetic data prompt များအပေါ် အခြေခံသည်

Provenance တွင် ရင်းနှီးမြှုပ်နှံမှုများ

အန္တရာယ်ရှိသော deepfake content ကဲ့သို့ Sora နှင့် ဆက်စပ်နေသော အန္တရာယ်များစွာသည် context အပေါ် အလွန်အမင်း မူတည်နေသောကြောင့် ကျွန်ုပ်တို့သည် provenance tool များကို ပိုမိုကောင်းမွန်စေရန် ဦးစားပေးထားပါသည်။ provenance အတွက် ဖြေရှင်းချက်တစ်ခုတည်း မရှိကြောင်းကို ကျွန်ုပ်တို့ နားလည်ထားသော်လည်း provenance ecosystem ကို ပိုမိုကောင်းမွန်စေရန်နှင့် Sora မှ ဖန်တီးထားသော content များအတွက် context နှင့် ပွင့်လင်းမြင်သာမှုကို တည်ဆောက်ကူညီရန် ကတိပြုထားပါသည်။ 

ယေဘုယျအသုံးပြုနိုင်မှုအတွက် ကျွန်ုပ်တို့၏ provenance လုံခြုံရေး tooling တွင် အောက်ပါတို့ ပါဝင်မည်ဖြစ်ပါသည်-

  • asset အားလုံးတွင် C2PA metadata (အတည်ပြုနိုင်သော မူလရင်းမြစ်၊ စက်မှုလုပ်ငန်းစံ)
  • မူလသတ်မှတ်ချက်အရ animated visible Sora watermark များ (ဤသည် ‘AI’ ဖြစ်ကြောင်း ကြည့်ရှုသူများအတွက် ပွင့်လင်းမြင်သာမှု)
  • OpenAI ၏ Intelligence & Investigation အဖွဲ့ဝင်များအား content ကို Sora က ဖန်တီးထားခြင်း ရှိမရှိကို ယုံကြည်စိတ်ချစွာ အကဲဖြတ်ရာတွင် ကူညီရန် အတွင်းပိုင်း reverse video search tool 

ထုတ်ကုန်မူဝါဒ

ကျွန်ုပ်တို့၏ မူဝါဒများသည် disinformation ကို ဖန်တီးခြင်းနှင့် ဖြန့်ဝေခြင်းမှတစ်ဆင့် အပါအဝင် အခြားသူများကို လိမ်လည်ရန်၊ scam လုပ်ရန် သို့မဟုတ် လှည့်ဖြားရန် Sora ကို အသုံးပြုခြင်းကို တားမြစ်ပါသည်။ ၎င်းတို့၏ ခွင့်ပြုချက်မရှိဘဲ အခြားသူတစ်ဦး၏ likeness ကို အသုံးပြုခြင်းကိုလည်း တားမြစ်ပါသည်။ ဤမူဝါဒများကို ချိုးဖောက်ပါက content ဖယ်ရှားခြင်းနှင့် အသုံးပြုသူအပေါ် အရေးယူမှုများ ဖြစ်ပေါ်နိုင်ပါသည်။

အနုပညာရှင် စတိုင်များ

အသုံးပြုသူတစ်ဦးက prompt တွင် အသက်ရှင်နေသော အနုပညာရှင်တစ်ဦး၏ အမည်ကို အသုံးပြုပါက မော်ဒယ်သည် ထိုအနုပညာရှင်၏ လက်ရာစတိုင်နှင့် တစ်စုံတစ်ရာ ဆင်တူသည့် ဗီဒီယိုကို ထုတ်လုပ်နိုင်ပါသည်။ ဖန်တီးမှုလောကတွင် အခြားအနုပညာရှင်များ၏ စတိုင်များအပေါ် အခြေခံတည်ဆောက်ခြင်းသည် ရှည်လျားသော အစဉ်အလာတစ်ခုဖြစ်သော်လည်း ဖန်တီးရှင်အချို့တွင် စိုးရိမ်ပူပန်မှုများ ရှိနိုင်သည်ကို ကျွန်ုပ်တို့ နားလည်ပါသည်။ Sora ကို ဖန်တီးမှုအသိုင်းအဝိုင်းက မည်သို့ အသုံးပြုသည်ကို ပိုမိုလေ့လာနေစဉ် ဤ Sora ဗားရှင်းအတွက် ကျွန်ုပ်တို့သည် ပိုမိုဂရုစိုက်သည့် ချဉ်းကပ်ပုံကို ရွေးချယ်ခဲ့ပါသည်။ ထိုသို့ ဖြေရှင်းရန် အသုံးပြုသူတစ်ဦးက အသက်ရှင်နေသော အနုပညာရှင်၏ စတိုင်ဖြင့် ဗီဒီယိုတစ်ခု ဖန်တီးရန် ကြိုးပမ်းသောအခါ အလုပ်လုပ်စေရန် ဒီဇိုင်းထုတ်ထားသော prompt rewrite များကို ကျွန်ုပ်တို့ ထည့်သွင်းထားပါသည်။ 

ကျွန်ုပ်တို့၏ အခြားထုတ်ကုန်များကဲ့သို့ပင် Sora Editor သည် တင်သွင်းထားသော စာသားကို ပြန်လည်ရေးသားရန် LLM ကို အသုံးပြုကာ Sora ကို ပိုမိုထိရောက်စွာ prompt ပေးနိုင်ရန် ကူညီပါသည်။ ဤလုပ်ငန်းစဉ်သည် public figure အမည်များကို ဖယ်ရှားခြင်း၊ လူပုဂ္ဂိုလ်များကို သီးသန့်လက္ခဏာများဖြင့် အခြေပြုခိုင်မာစေခြင်း နှင့် brand ပါဝင်သော ပစ္စည်းများကို ယေဘုယျနည်းဖြင့် ဖော်ပြခြင်းတို့အပါအဝင် ကျွန်ုပ်တို့၏ လမ်းညွှန်ချက်များကို လိုက်နာစေရန် အားပေးပါသည်။ DALL·E 2 နှင့် DALL·E 3 အပေါ် ကျွန်ုပ်တို့၏ ယခင်လုပ်ငန်း၊ proactive risk discovery နှင့် red teamer များနှင့် အစောပိုင်းအသုံးပြုသူများထံမှ ရလဒ်များအပေါ် အခြေခံကာ အမျိုးအစားမျိုးစုံအနှံ့ textual blocklist များကို ကျွန်ုပ်တို့ ထိန်းသိမ်းထားပါသည်။ 

အနာဂတ် လုပ်ငန်းစဉ်များ

OpenAI သည် ၎င်း၏ ထုတ်ကုန်များကို တာဝန်ယူမှုရှိပြီး ထိရောက်စွာ ဖြန့်ချိနိုင်ရန် iterative deployment strategy ကို အသုံးပြုပါသည်။ ဤချဉ်းကပ်ပုံသည် အဆင့်လိုက် rollout များ၊ ဆက်လက်စမ်းသပ်မှုများနှင့် အသုံးပြုသူတုံ့ပြန်ချက်များနှင့် လက်တွေ့ကမ္ဘာ data များနှင့်အတူ ဆက်တိုက်စောင့်ကြည့်မှုကို ပေါင်းစပ်ထားပြီး အချိန်နှင့်အမျှ ကျွန်ုပ်တို့၏ performance နှင့် လုံခြုံရေးလျော့ပါးရေးအစီအမံများကို ပြင်ဆင်တိုးတက်စေရန် ရည်ရွယ်ပါသည်။ အောက်တွင် Sora အတွက် iterative deployment ၏ တစ်စိတ်တစ်ပိုင်းအဖြစ် ကျွန်ုပ်တို့ စီစဉ်ထားသော လုပ်ငန်းစဉ်များကို ဖော်ပြထားပါသည်။

Likeness pilot

လူအစစ်တစ်ဦး၏ တင်ထားသော ဓာတ်ပုံ သို့မဟုတ် ဗီဒီယိုကို “seed” အဖြစ် အသုံးပြု၍ ဗီဒီယိုဖန်တီးနိုင်စွမ်းသည် စောစီးစွာ အသုံးပြုမှုပုံစံများမှ လေ့လာနိုင်ရန် ကျွန်ုပ်တို့က အထူးသဖြင့် တဖြည်းဖြည်းချင်း ချဉ်းကပ်နေသော မသင့်လျော်စွာ အသုံးပြုနိုင်သည့် လမ်းကြောင်းတစ်ခုဖြစ်ပါသည်။ အနုပညာရှင်များထံမှ အစောပိုင်းတုံ့ပြန်ချက်များအရ ၎င်းသည် ၎င်းတို့တန်ဖိုးထားသော အားကောင်းသည့် ဖန်တီးမှုကိရိယာတစ်ခုဖြစ်ကြောင်း ဖော်ပြသော်လည်း၊ မသင့်လျော်စွာ အသုံးပြုနိုင်မှုအလားအလာကြောင့် ၎င်းကို အသုံးပြုသူအားလုံးထံ အစပိုင်းတွင် မပေးသေးပါ။ ထို့အစား iterative deployment အလေ့အထနှင့်အညီ လူများ၏ ရုပ်ပုံ သို့မဟုတ် ဗီဒီယိုများကို upload လုပ်နိုင်သော စွမ်းရည်ကို အသုံးပြုသူအချို့ထံသာ ပေးမည်ဖြစ်ပြီး Sora အသိုင်းအဝိုင်းအတွက် ၎င်း၏တန်ဖိုးကို နားလည်ရန်နှင့် ကျွန်ုပ်တို့ လေ့လာသလောက် လုံခြုံရေးချဉ်းကပ်ပုံကို ပြင်ဆင်နိုင်ရန် တက်ကြွပြီး အသေးစိတ်သော စောင့်ကြည့်မှုကို ဆောင်ရွက်မည်ဖြစ်ပါသည်။ ဤစမ်းသပ်မှုအတွင်း အရွယ်မရောက်သေးသူများ၏ ရုပ်ပုံများပါဝင်သော upload များကို ခွင့်မပြုပါ။

အရင်းအမြစ်သက်သေပြမှုနှင့် ပွင့်လင်းမြင်သာမှု အစပျိုးလုပ်ဆောင်ချက်များ

Sora ၏ အနာဂတ် iteration များသည် reverse embedding search tool များအပေါ် သုတေသနလုပ်ဆောင်ခြင်းနှင့် C2PA ကဲ့သို့ ပွင့်လင်းမြင်သာမှုဆိုင်ရာ အစီအမံများကို ဆက်လက်အကောင်အထည်ဖော်ခြင်းမှတစ်ဆင့် traceability ကို ဆက်လက်ခိုင်မာစေမည်ဖြစ်ပါသည်။ provenance ecosystem ကို တိုးချဲ့၍ ပိုမိုကောင်းမွန်စေရန်နှင့် Sora အတွက် ကျွန်ုပ်တို့၏ အတွင်းပိုင်း reverse image tool ကို စမ်းသပ်ရန် NGO များနှင့် သုတေသနအဖွဲ့အစည်းများနှင့် ဖြစ်နိုင်သော partnership များကို ရှာဖွေလေ့လာရန် ကျွန်ုပ်တို့ စိတ်အားထက်သန်ပါသည်။

ကျွန်ုပ်တို့၏ output များတွင် ကိုယ်စားပြုမှု ပိုမိုချဲ့ထွင်ခြင်း

ကျွန်ုပ်တို့သည် overcorrection များလည်း တန်းတူအန္တရာယ်ဖြစ်စေနိုင်သည်ကို အသိအမှတ်ပြုလျက် prompt refinement များ၊ feedback loop များနှင့် ထိရောက်သော mitigation များကို ဆက်လက်ဖော်ထုတ်ခြင်းတို့မှတစ်ဆင့် ဖြစ်နိုင်သော output bias များကို လျှော့ချရန် ကတိပြုထားပါသည်။ body image bias နှင့် လူဦးရေဆိုင်ရာ ကိုယ်စားပြုမှုကဲ့သို့ စိန်ခေါ်မှုများကို ကျွန်ုပ်တို့ လက်ခံအသိအမှတ်ပြုထားပြီး မျှတပြီး ပါဝင်မှုရှိသော output များရရှိစေရန် ကျွန်ုပ်တို့၏ ချဉ်းကပ်ပုံကို ဆက်လက်တိုးတက်အောင် ပြုလုပ်သွားမည်ဖြစ်ပါသည်။

ဆက်လက်သော လုံခြုံရေး၊ မူဝါဒနှင့် ကျင့်ဝတ်ဆိုင်ရာ alignment

OpenAI သည် Sora အတွက် ဆက်လက်အကဲဖြတ်မှုများကို ထိန်းသိမ်းဆောင်ရွက်ရန်နှင့် OpenAI ၏ မူဝါဒများနှင့် လုံခြုံရေးစံနှုန်းများကို Sora က ပိုမိုလိုက်နာနိုင်စေရန် ဆက်လက်တိုးတက်အောင် လုပ်ဆောင်သွားရန် စီစဉ်ထားပါသည်။ likeness safety နှင့် deceptive content ကဲ့သို့သော နယ်ပယ်များတွင် နောက်ထပ်တိုးတက်မှုများကိုလည်း ပြောင်းလဲနေသော အကောင်းဆုံးအလေ့အထများနှင့် အသုံးပြုသူတုံ့ပြန်ချက်များအပေါ် မူတည်၍ ဆောင်ရွက်သွားမည်ဖြစ်ပါသည်။

ကျေးဇူးတင်လွှာ

Sora ၏ လုံခြုံရေးလျော့ပါးရေးအစီအမံများကို ဖော်ဆောင်ခြင်းနှင့် အကောင်အထည်ဖော်ခြင်းတွင် အရေးပါသော အထောက်အပံ့ပေးခဲ့ကြပြီး ဤစနစ်ကဒ်အတွက်လည်း ပါဝင်ကူညီပေးခဲ့သော Comms, Comms Design, ကမ္ဘာ့ရေးရာ, Integrity, Intel & Investigations, Legal, Product Policy, Safety Systems နှင့် User Ops အပါအဝင် OpenAI ၏ အတွင်းပိုင်းအဖွဲ့အားလုံးကို ကျေးဇူးတင်ပါသည်။

တုံ့ပြန်အကြံပြုချက်များပေးခဲ့ကြသော၊ ဖွံ့ဖြိုးတိုးတက်မှုအစောပိုင်းအဆင့်များတွင် ကျွန်ုပ်တို့၏ မော်ဒယ်များကို စမ်းသပ်ရာတွင် ကူညီခဲ့ကြသော၊ နှင့် ကျွန်ုပ်တို့၏ အန္တရာယ်အကဲဖြတ်မှုများနှင့် သုံးသပ်ချက်များအတွက် အချက်အလက်ပံ့ပိုးပေးခဲ့ကြသော Alpha artist များအဖွဲ့နှင့် ကျွမ်းကျင်သော ထိုးဖောက်စမ်းသပ်သူများကိုလည်း ကျေးဇူးတင်ရှိပါသည်။ စမ်းသပ်မှုလုပ်ငန်းစဉ်တွင် ပါဝင်ခြင်းသည် OpenAI ၏ ဖြန့်ချိအသုံးပြုမည့် အစီအစဉ်များ သို့မဟုတ် OpenAI ၏ မူဝါဒများကို ထောက်ခံကြောင်း မဆိုလိုပါ။

  • ထိုးဖောက်စမ်းသပ်ခြင်းတွင် ပါဝင်သူများ (အက္ခရာစဉ်): Alexandra García Pérez, Arjun Singh Puri, Caroline Friedman Levy, Dani Madrid-Morales, Emily Lynell Edwards, Grant Brailsford, Herman Wasserman, Javier García Arredondo, Kate Turetsky, Kelly Bare, Matt Groh, Maximilian Müller, Naomi Hart, Nathan Heath, Patrick Caughey, Per Wikman Svahn, Rafael González-Vázquez, Sara Kingsley, Shelby Grossman, Vincent Nestler
  • ထိုးဖောက်စမ်းသပ်ခြင်း အဖွဲ့အစည်းများ: ScaleAI 

စာရေးသူများ

OpenAI

ကိုးကားချက်များ