Sora ਸਿਸਟਮ ਕਾਰਡ

Sora OpenAI ਦਾ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਮਾਡਲ ਹੈ, ਜਿਸਨੂੰ ਟੈਕਸਟ, ਚਿੱਤਰ ਅਤੇ ਵੀਡੀਓ ਇਨਪੁੱਟ ਲੈ ਕੇ ਆਉਟਪੁੱਟ ਵਜੋਂ ਇੱਕ ਨਵਾਂ ਵੀਡੀਓ ਬਣਾਉਣ ਲਈ ਡਿਜ਼ਾਇਨ ਕੀਤਾ ਗਿਆ ਹੈ. ਵਰਤੋਂਕਾਰ ਵੱਖ-ਵੱਖ ਫਾਰਮੈਟਾਂ ਵਿੱਚ 1080p ਰੈਜ਼ੋਲੂਸ਼ਨ ਤੱਕ ਦੇ ਵੀਡੀਓ (ਵੱਧ ਤੋਂ ਵੱਧ 20 ਸਕਿੰਟ) ਬਣਾ ਸਕਦੇ ਹਨ, ਟੈਕਸਟ ਤੋਂ ਨਵੀਂ ਸਮੱਗਰੀ ਜਨਰੇਟ ਕਰ ਸਕਦੇ ਹਨ, ਜਾਂ ਆਪਣੇ ਐਸੈਟਾਂ ਨੂੰ ਸੁਧਾਰ, ਰੀਮਿਕਸ ਅਤੇ ਬਲੈਂਡ ਕਰ ਸਕਦੇ ਹਨ. ਵਰਤੋਂਕਾਰ Featured ਅਤੇ Recent ਫੀਡਾਂ ਨੂੰ ਵੀ ਦੇਖ ਸਕਣਗੇ, ਜੋ ਕਮਿਊਨਿਟੀ ਦੀਆਂ ਰਚਨਾਵਾਂ ਦਿਖਾਉਂਦੀਆਂ ਹਨ ਅਤੇ ਨਵੇਂ ਵਿਚਾਰਾਂ ਲਈ ਪ੍ਰੇਰਣਾ ਦਿੰਦੀਆਂ ਹਨ. Sora DALL·E ਅਤੇ GPT ਮਾਡਲਾਂ ਤੋਂ ਮਿਲੀਆਂ ਸਿਖਲਾਈਆਂ 'ਤੇ ਅਧਾਰਤ ਹੈ ਅਤੇ ਲੋਕਾਂ ਨੂੰ ਕਹਾਣੀਬੰਦੀ ਅਤੇ ਰਚਨਾਤਮਕ ਅਭਿਵਿਅਕਤੀ ਲਈ ਵਿਸਤ੍ਰਿਤ ਟੂਲ ਦੇਣ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ. 

Sora ਇੱਕ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲ ਹੈ, ਜੋ ਪਹਿਲਾਂ ਇੱਕ ਬੇਸ ਵੀਡੀਓ ਨਾਲ ਸ਼ੁਰੂ ਕਰਕੇ ਵੀਡੀਓ ਜਨਰੇਟ ਕਰਦਾ ਹੈ ਜੋ ਸਟੈਟਿਕ ਨੋਇਜ਼ ਵਰਗਾ ਲੱਗਦਾ ਹੈ ਅਤੇ ਫਿਰ ਕਈ ਕਦਮਾਂ ਵਿੱਚ ਨੋਇਜ਼ ਨੂੰ ਹਟਾ ਕੇ ਉਸਨੂੰ ਹੌਲੇ-ਹੌਲੇ ਬਦਲਦਾ ਹੈ. ਮਾਡਲ ਨੂੰ ਇੱਕ ਸਮੇਂ ਕਈ ਫ੍ਰੇਮਾਂ ਦੀ ਪੂਰਵ-ਦ੍ਰਿਸ਼ਟੀ ਦੇ ਕੇ, ਅਸੀਂ ਇੱਕ ਔਖੀ ਸਮੱਸਿਆ ਦਾ ਹੱਲ ਕੀਤਾ ਹੈ ਕਿ ਵਿਸ਼ਾ ਅਸਥਾਈ ਤੌਰ 'ਤੇ ਨਜ਼ਰ ਤੋਂ ਬਾਹਰ ਜਾਣ 'ਤੇ ਵੀ ਇੱਕੋ ਜਿਹਾ ਰਹੇ. GPT ਮਾਡਲਾਂ ਵਾਂਗ, Sora ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰ ਵਰਤਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਬਿਹਤਰ ਸਕੇਲਿੰਗ ਪਰਦਰਸ਼ਨ ਮਿਲਦਾ ਹੈ. 

Sora DALL·E 3 ਦੀ ਰੀਕੈਪਸ਼ਨਿੰਗ ਤਕਨੀਕ ਵਰਤਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਵਿਜ਼ੂਅਲ ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਲਈ ਬਹੁਤ ਵੇਰਵੇਦਾਰ ਕੈਪਸ਼ਨ ਬਣਾਏ ਜਾਂਦੇ ਹਨ. ਇਸ ਦੇ ਨਤੀਜੇ ਵਜੋਂ, ਮਾਡਲ ਜਨਰੇਟ ਕੀਤੇ ਵੀਡੀਓ ਵਿੱਚ ਵਰਤੋਂਕਾਰ ਦੀਆਂ ਟੈਕਸਟ ਹਦਾਇਤਾਂ ਦੀ ਹੋਰ ਵਫ਼ਾਦਾਰੀ ਨਾਲ ਪਾਲਣਾ ਕਰ ਸਕਦਾ ਹੈ.

ਸਿਰਫ਼ ਟੈਕਸਟ ਹਦਾਇਤਾਂ ਤੋਂ ਵੀਡੀਓ ਜਨਰੇਟ ਕਰਨ ਦੇ ਨਾਲ-ਨਾਲ, ਮਾਡਲ ਮੌਜੂਦਾ ਸਥਿਰ ਚਿੱਤਰ ਨੂੰ ਲੈ ਕੇ ਉਸ ਤੋਂ ਵੀਡੀਓ ਵੀ ਬਣਾ ਸਕਦਾ ਹੈ, ਚਿੱਤਰ ਦੀ ਸਮੱਗਰੀ ਨੂੰ ਸਹੀਪਣ ਅਤੇ ਨਿੱਜੀ ਵੇਰਵਿਆਂ 'ਤੇ ਧਿਆਨ ਨਾਲ ਐਨੀਮੇਟ ਕਰਦਾ ਹੈ. ਮਾਡਲ ਮੌਜੂਦਾ ਵੀਡੀਓ ਨੂੰ ਲੈ ਕੇ ਉਸਨੂੰ ਵਧਾ ਵੀ ਸਕਦਾ ਹੈ ਜਾਂ ਗੁੰਮ ਫ੍ਰੇਮ ਭਰ ਸਕਦਾ ਹੈ⁠. Sora ਉਹਨਾਂ ਮਾਡਲਾਂ ਲਈ ਨੀਂਹ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ ਜੋ ਅਸਲੀ ਦੁਨੀਆ ਨੂੰ ਸਮਝ ਅਤੇ ਸਿਮੂਲੇਟ ਕਰ ਸਕਣ, ਅਤੇ ਸਾਡਾ ਮੰਨਣਾ ਹੈ ਕਿ ਇਹ AGI ਹਾਸਲ ਕਰਨ ਵੱਲ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਮੀਲ ਪੱਥਰ ਹੋਵੇਗਾ.

Sora ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨਵੇਂ ਜੋਖਿਮ ਵੀ ਲਿਆ ਸਕਦੀਆਂ ਹਨ, ਜਿਵੇਂ ਕਿ ਲਾਇਕਨੈੱਸ ਦੇ ਦੁਰਵਰਤੋਂ ਦੀ ਸੰਭਾਵਨਾ ਜਾਂ ਭ੍ਰਮਿਤ ਕਰਨ ਵਾਲੀ ਜਾਂ ਸਪਸ਼ਟ ਵੀਡੀਓ ਸਮੱਗਰੀ ਦੀ ਰਚਨਾ. Sora ਨੂੰ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ ਕਿਸੇ ਉਤਪਾਦ ਵਿੱਚ ਡਿਪਲੌਇ ਕਰਨ ਲਈ, ਅਸੀਂ ChatGPT ਅਤੇ API ਵਿੱਚ DALL·E ਦੀ ਡਿਪਲੌਇਮੈਂਟ ਲਈ ਕੀਤੇ ਸੁਰੱਖਿਆ ਕੰਮ ਤੋਂ ਮਿਲੀਆਂ ਸਿਖਲਾਈਆਂ ਅਤੇ ChatGPT ਵਰਗੇ ਹੋਰ OpenAI ਉਤਪਾਦਾਂ ਲਈ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ 'ਤੇ ਅਧਾਰ ਬਣਾਇਆ. ਇਹ ਸਿਸਟਮ ਕਾਰਡ ਇਸ ਤੋਂ ਬਣੇ mitigation stack, ਬਾਹਰੀ ਰੈਡ ਟੀਮਿੰਗ ਯਤਨਾਂ, ਇਵੈਲੂਏਸ਼ਨਾਂ ਅਤੇ ਇਨ੍ਹਾਂ ਸੁਰੱਖਿਆ ਉਪਾਇਆਂ ਨੂੰ ਹੋਰ ਨਿਖਾਰਣ ਲਈ ਜਾਰੀ ਖੋਜ ਦਾ ਖਾਕਾ ਪੇਸ਼ ਕਰਦਾ ਹੈ.

ਫ਼ਰਵਰੀ 2024 ਦੀ ਸਾਡੀ ਤਕਨੀਕੀ ਰਿਪੋਰਟ⁠¹ ਵਿੱਚ ਵਰਣਨ ਕੀਤੇ ਅਨੁਸਾਰ, Sora ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਤੋਂ ਪ੍ਰੇਰਣਾ ਲੈਂਦਾ ਹੈ, ਜੋ ਇੰਟਰਨੈੱਟ-ਪੱਧਰ ਦੇ ਡੇਟਾ 'ਤੇ ਟ੍ਰੇਨਿੰਗ ਰਾਹੀਂ ਆਮ ਸਮਰੱਥਾਵਾਂ ਹਾਸਲ ਕਰਦੇ ਹਨ. LLM ਪੈਰਾਡਾਇਮ ਦੀ ਸਫਲਤਾ ਕੁਝ ਹੱਦ ਤੱਕ ਟੋਕਨਾਂ ਦੀ ਵਰਤੋਂ ਨਾਲ ਸੰਭਵ ਹੁੰਦੀ ਹੈ, ਜੋ ਟੈਕਸਟ ਦੀਆਂ ਵੱਖ-ਵੱਖ ਮੋਡੈਲਿਟੀਆਂ—ਕੋਡ, ਗਣਿਤ ਅਤੇ ਵੱਖ-ਵੱਖ ਕੁਦਰਤੀ ਭਾਸ਼ਾਵਾਂ—ਨੂੰ ਸੁੰਦਰ ਢੰਗ ਨਾਲ ਇਕਜੁੱਟ ਕਰਦੀਆਂ ਹਨ. Sora ਨਾਲ, ਅਸੀਂ ਵਿਚਾਰਿਆ ਕਿ ਵਿਜ਼ੂਅਲ ਡੇਟਾ ਦੇ ਜਨਰੇਟਿਵ ਮਾਡਲ ਅਜਿਹੇ ਲਾਭ ਕਿਵੇਂ ਵਿਰਾਸਤ ਵਿੱਚ ਲੈ ਸਕਦੇ ਹਨ. ਜਿੱਥੇ LLMs ਕੋਲ text tokens ਹੁੰਦੇ ਹਨ, ਉੱਥੇ Sora ਕੋਲ visual patches ਹਨ. ਪਹਿਲਾਂ ਹੀ ਦਿਖਾਇਆ ਜਾ ਚੁੱਕਿਆ ਹੈ ਕਿ patches ਵਿਜ਼ੂਅਲ ਡੇਟਾ ਦੇ ਮਾਡਲਾਂ ਲਈ ਇੱਕ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨੁਮਾਇੰਦਗੀ ਹਨ. ਅਸੀਂ ਪਾਇਆ ਕਿ patches ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਵੀਡੀਓ ਅਤੇ ਚਿੱਤਰਾਂ 'ਤੇ ਜਨਰੇਟਿਵ ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਬਹੁਤ ਹੀ ਸਕੇਲ ਕਰਨ ਯੋਗ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨੁਮਾਇੰਦਗੀ ਹਨ. ਉੱਚ ਪੱਧਰ 'ਤੇ, ਅਸੀਂ ਪਹਿਲਾਂ ਵੀਡੀਓਜ਼ ਨੂੰ ਲੋਅਰ-ਡਾਇਮੇਨਸ਼ਨਲ ਲੇਟੈਂਟ ਸਪੇਸ ਵਿੱਚ ਕੰਪ੍ਰੈੱਸ ਕਰਕੇ ਅਤੇ ਫਿਰ ਉਸ ਨੁਮਾਇੰਦਗੀ ਨੂੰ spacetime patches ਵਿੱਚ ਵੰਡ ਕੇ ਵੀਡੀਓਜ਼ ਨੂੰ patches ਵਿੱਚ ਬਦਲਦੇ ਹਾਂ.

Sora ਨੂੰ ਵੱਖ-ਵੱਖ ਡੇਟਾਸੈੱਟਾਂ 'ਤੇ ਟ੍ਰੇਨ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਡੇਟਾ, ਭਾਈਵਾਲੀਆਂ ਰਾਹੀਂ ਪ੍ਰਾਪਤ ਮਾਲਕੀ ਡੇਟਾ, ਅਤੇ ਘਰੇਲੂ ਤੌਰ 'ਤੇ ਵਿਕਸਿਤ custom datasets ਦਾ ਮਿਸ਼ਰਣ ਸ਼ਾਮਲ ਸੀ. ਇਨ੍ਹਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਚੁਣਿਆ ਹੋਇਆ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਡੇਟਾ, ਜੋ ਵੱਧਤਰ ਉਦਯੋਗ-ਮਾਪਦੰਡ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਡੇਟਾਸੈੱਟਾਂ ਅਤੇ ਵੈੱਬ ਕ੍ਰੌਲਾਂ ਤੋਂ ਇਕੱਠਾ ਕੀਤਾ ਗਿਆ.
• ਡੇਟਾ ਭਾਈਵਾਲੀਆਂ ਤੋਂ ਮਾਲਕੀ ਡੇਟਾ. ਅਸੀਂ ਅਜਿਹੇ ਡੇਟਾ ਤੱਕ ਪਹੁੰਚ ਲਈ ਭਾਈਵਾਲੀਆਂ ਬਣਾਉਂਦੇ ਹਾਂ ਜੋ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਨਹੀਂ ਹੁੰਦਾ. ਉਦਾਹਰਨ ਵਜੋਂ, ਅਸੀਂ Shutterstock⁠ Pond5 ਨਾਲ AI-ਜਨਰੇਟ ਕੀਤੀਆਂ ਤਸਵੀਰਾਂ ਬਣਾਉਣ ਅਤੇ ਮੁਹੱਈਆ ਕਰਨ ਲਈ ਭਾਈਵਾਲੀ ਕੀਤੀ. ਅਸੀਂ ਆਪਣੀਆਂ ਲੋੜਾਂ ਮੁਤਾਬਕ ਡੇਟਾਸੈੱਟ ਬਣਵਾਉਣ ਅਤੇ ਤਿਆਰ ਕਰਨ ਲਈ ਵੀ ਭਾਈਵਾਲੀ ਕਰਦੇ ਹਾਂ.
• ਮਨੁੱਖੀ ਡੇਟਾ: AI trainers, ਰੈਡ ਟੀਮਰਾਂ ਅਤੇ ਕਰਮਚਾਰੀਆਂ ਤੋਂ ਫੀਡਬੈਕ. 

ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਚਰਨ ਤੋਂ ਬਾਅਦ ਲਾਗੂ ਕੀਤੀਆਂ ਰੋਕਥਾਮਾਂ ਤੋਂ ਇਲਾਵਾ, ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਫਿਲਟਰਿੰਗ ਰੋਕਥਾਮਾਂ ਸੁਰੱਖਿਆ ਦੀ ਇੱਕ ਹੋਰ ਪਰਤ ਦੇ ਸਕਦੀਆਂ ਹਨ ਜੋ ਹੋਰ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਨਾਲ ਮਿਲਕੇ ਸਾਡੇ ਡੇਟਾਸੈੱਟਾਂ ਵਿੱਚੋਂ ਅਣਚਾਹੇ ਅਤੇ ਹਾਨੀਕਾਰਕ ਡੇਟਾ ਨੂੰ ਬਾਹਰ ਰੱਖਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ. ਇਸ ਲਈ ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਪਹਿਲਾਂ ਸਾਰੇ ਡੇਟਾਸੈੱਟ ਇਸ ਫਿਲਟਰਿੰਗ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚੋਂ ਲੰਘਦੇ ਹਨ, ਜਿਸ ਦੌਰਾਨ ਸਭ ਤੋਂ ਸਪਸ਼ਟ, ਹਿੰਸਕ ਜਾਂ ਹੋਰ ਸੰਵੇਦਨਸ਼ੀਲ ਸਮੱਗਰੀ (ਉਦਾਹਰਨ ਲਈ ਕੁਝ ਨਫ਼ਰਤੀ ਚਿੰਨ੍ਹ) ਹਟਾਈ ਜਾਂਦੀ ਹੈ. ਇਹ ਉਹਨਾਂ ਤਰੀਕਿਆਂ ਦਾ ਵਿਸਤਾਰ ਹੈ ਜੋ ਅਸੀਂ DALL·E 2 ਅਤੇ DALL·E 3 ਸਮੇਤ ਆਪਣੇ ਹੋਰ ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਵਰਤੇ ਡੇਟਾ ਨੂੰ ਫਿਲਟਰ ਕਰਨ ਲਈ ਵਰਤੇ ਸਨ.

ਅਸੀਂ ਸੰਭਾਵਿਤ ਦੁਰਵਰਤੋਂ ਅਤੇ ਅਸਲ ਦੁਨੀਆ ਦੇ ਰਚਨਾਤਮਕ ਵਰਤੋਂ ਦੋਵਾਂ ਨੂੰ ਸਮਝਣ ਲਈ ਇੱਕ ਮਜ਼ਬੂਤ ਪ੍ਰਕਿਰਿਆ ਅਪਣਾਈ ਤਾਂ ਜੋ Sora ਦੇ ਡਿਜ਼ਾਇਨ ਅਤੇ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਬਾਰੇ ਫੈਸਲੇ ਕਰਨ ਵਿੱਚ ਮਦਦ ਮਿਲੇ. 2024 ਦੇ ਫ਼ਰਵਰੀ ਵਿੱਚ Sora ਦੀ ਘੋਸ਼ਣਾ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ 60 ਤੋਂ ਵੱਧ ਦੇਸ਼ਾਂ ਦੇ ਸੈਂਕੜਿਆਂ ਵਿਜ਼ੂਅਲ ਕਲਾਕਾਰਾਂ, ਡਿਜ਼ਾਈਨਰਾਂ ਅਤੇ ਫਿਲਮਮੇਕਰਾਂ ਨਾਲ ਕੰਮ ਕੀਤਾ ਤਾਂ ਜੋ ਇਹ ਫੀਡਬੈਕ ਲਿਆ ਜਾ ਸਕੇ ਕਿ ਮਾਡਲ ਨੂੰ ਰਚਨਾਤਮਕ ਪੇਸ਼ੇਵਰਾਂ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕੇ ਨਾਲ ਕਿਵੇਂ ਅੱਗੇ ਵਧਾਇਆ ਜਾਵੇ. ਅਸੀਂ ਜੋਖਿਮਾਂ ਨੂੰ ਖੋਜਣ ਅਤੇ ਅੰਕਣ ਲਈ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਅਤੇ ਬਾਹਰੀ ਰੈਡ ਟੀਮਰਾਂ ਨਾਲ ਮਿਲ ਕੇ ਕਈ ਇਵੈਲੂਏਸ਼ਨ ਵੀ ਤਿਆਰ ਕੀਤੀਆਂ ਅਤੇ ਆਪਣੀਆਂ ਸੁਰੱਖਿਆ ਅਤੇ ਜੋਖਿਮ ਰੋਕਥਾਮਾਂ ਨੂੰ ਦੁਹਰਾਵਾਂ ਰਾਹੀਂ ਬਿਹਤਰ ਬਣਾਇਆ. 

Sora ਲਈ ਸਾਡਾ safety stack ਇਨ੍ਹਾਂ ਸਿਖਲਾਈਆਂ 'ਤੇ ਅਤੇ DALL·E ਅਤੇ ChatGPT ਵਰਗੇ ਹੋਰ ਮਾਡਲਾਂ ਅਤੇ ਉਤਪਾਦਾਂ ਵਿੱਚ ਵਰਤੀ ਜਾਣ ਵਾਲੀਆਂ ਮੌਜੂਦਾ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ 'ਤੇ, ਨਾਲ ਹੀ ਸਾਡੇ ਵੀਡੀਓ ਉਤਪਾਦ ਲਈ ਖਾਸ ਤੌਰ 'ਤੇ ਬਣਾਈਆਂ custom mitigations 'ਤੇ ਅਧਾਰਤ ਹੈ. ਕਿਉਂਕਿ ਇਹ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਟੂਲ ਹੈ, ਅਸੀਂ ਸੁਰੱਖਿਆ ਲਈ iterative ਰੁਖ ਅਪਣਾ ਰਹੇ ਹਾਂ, ਖ਼ਾਸ ਕਰਕੇ ਉਹਨਾਂ ਖੇਤਰਾਂ ਵਿੱਚ ਜਿੱਥੇ ਸੰਦਰਭ ਮਹੱਤਵਪੂਰਨ ਹੈ ਜਾਂ ਜਿੱਥੇ ਸਾਨੂੰ ਵੀਡੀਓ ਨਾਲ ਸੰਬੰਧਿਤ ਨਵੇਂ ਜੋਖਿਮਾਂ ਦੀ ਸੰਭਾਵਨਾ ਦਿਖਦੀ ਹੈ. ਸਾਡੇ iterative ਰੁਖ ਦੇ ਉਦਾਹਰਨਾਂ ਵਿੱਚ 18 ਸਾਲ ਜਾਂ ਉਸ ਤੋਂ ਵੱਧ ਉਮਰ ਦੇ ਵਰਤੋਂਕਾਰਾਂ ਲਈ ਹੀ ਪਹੁੰਚ, likeness/face-uploads ਦੀ ਵਰਤੋਂ 'ਤੇ ਪਾਬੰਦੀ, ਅਤੇ ਲਾਂਚ ਵੇਲੇ ਨਾਬਾਲਗਾਂ ਨਾਲ ਜੁੜੇ ਪ੍ਰੌੰਪਟਾਂ ਅਤੇ ਅੱਪਲੋਡਾਂ 'ਤੇ ਹੋਰ ਸੰਭਲੀਆਂ moderation thresholds ਸ਼ਾਮਲ ਹਨ. ਅਸੀਂ ਇਹ ਸਿੱਖਣਾ ਜਾਰੀ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹਾਂ ਕਿ ਲੋਕ Sora ਨੂੰ ਕਿਵੇਂ ਵਰਤਦੇ ਹਨ ਅਤੇ ਆਪਣੇ ਵਰਤੋਂਕਾਰਾਂ ਲਈ ਰਚਨਾਤਮਕ ਸੰਭਾਵਨਾ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਦੇ ਹੋਏ ਸੁਰੱਖਿਆ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਸੰਤੁਲਨ ਬਣਾਉਣ ਲਈ ਸੁਧਾਰ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ. 

OpenAI ਨੇ ਨੌਂ ਵੱਖ-ਵੱਖ ਦੇਸ਼ਾਂ ਵਿੱਚ ਸਥਿਤ ਬਾਹਰੀ ਰੈਡ ਟੀਮਰਾਂ ਨਾਲ ਮਿਲ ਕੇ Sora ਦੀ ਜਾਂਚ ਕੀਤੀ, ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਵਿੱਚ ਕਮਜ਼ੋਰੀਆਂ ਦੀ ਪਛਾਣ ਕੀਤੀ ਅਤੇ Sora ਦੀਆਂ ਨਵੀਆਂ ਉਤਪਾਦ ਸਮਰੱਥਾਵਾਂ ਨਾਲ ਜੁੜੇ ਜੋਖਿਮਾਂ ਬਾਰੇ ਫੀਡਬੈਕ ਦਿੱਤਾ. ਰੈਡ ਟੀਮਰਾਂ ਨੂੰ ਸਤੰਬਰ ਤੋਂ ਦਸੰਬਰ 2024 ਤੱਕ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਅਤੇ ਸਿਸਟਮ ਪਕੜ ਦੇ ਵੱਖ-ਵੱਖ ਸੰਸਕਰਣਾਂ ਨਾਲ Sora ਉਤਪਾਦ ਤੱਕ ਪਹੁੰਚ ਸੀ, ਅਤੇ ਉਨ੍ਹਾਂ ਨੇ 15,000 ਤੋਂ ਵੱਧ ਜਨਰੇਸ਼ਨਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ. ਇਹ ਰੈਡ ਟੀਮਿੰਗ ਯਤਨ 2024 ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਕੀਤੇ ਗਏ ਉਸ ਕੰਮ 'ਤੇ ਅਧਾਰਿਤ ਹੈ ਜਿੱਥੇ production mitigations ਤੋਂ ਬਿਨਾਂ ਇੱਕ Sora ਮਾਡਲ ਦੀ ਜਾਂਚ ਕੀਤੀ ਗਈ ਸੀ.

ਰੈਡ ਟੀਮਰਾਂ ਨੇ Sora ਦੇ ਮਾਡਲ ਅਤੇ ਉਤਪਾਦ ਦੇ ਟੂਲਾਂ ਨਾਲ ਸੰਬੰਧਿਤ ਨਵੇਂ ਸੰਭਾਵੀ ਜੋਖਿਮਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ, ਅਤੇ ਜਿਵੇਂ-ਜਿਵੇਂ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਵਿਕਸਿਤ ਅਤੇ ਸੁਧਰੀਆਂ, ਉਨ੍ਹਾਂ ਦੀ ਵੀ ਜਾਂਚ ਕੀਤੀ. ਇਨ੍ਹਾਂ ਰੈਡ ਟੀਮਿੰਗ ਮੁਹਿੰਮਾਂ ਵਿੱਚ ਉਲੰਘਨਾਤਮਕ ਅਤੇ ਮਨ੍ਹਾਂ ਕੀਤੀ ਸਮੱਗਰੀ ਦੀਆਂ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ (ਯੌਨ ਅਤੇ ਕਾਮੁਕ ਸਮੱਗਰੀ, ਹਿੰਸਾ ਅਤੇ ਖੂਨਖਰਾਬਾ, ਸਵੈ-ਹਾਨੀ, ਗੈਰਕਾਨੂੰਨੀ ਸਮੱਗਰੀ, ਗਲਤ/ਭ੍ਰਮਿਤ ਜਾਣਕਾਰੀ ਆਦਿ), ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਤੋਂ ਬਚਣ ਲਈ adversarial ਤਰੀਕੇ (ਪ੍ਰੌੰਪਟਿੰਗ ਅਤੇ ਟੂਲ/ਫੀਚਰ ਵਰਤੋਂ ਦੋਵੇਂ), ਅਤੇ ਇਹ ਵੀ ਕਿ ਇਨ੍ਹਾਂ ਟੂਲਾਂ ਦਾ ਵਰਤੋਂ ਕਰਕੇ ਮੋਡਰੇਸ਼ਨ ਟੂਲਾਂ ਅਤੇ ਸੁਰੱਖਿਆ ਉਪਾਇਆਂ ਨੂੰ ਕਿਵੇਂ ਹੌਲੇ-ਹੌਲੇ ਕਮਜ਼ੋਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਸ਼ਾਮਲ ਸਨ. ਰੈਡ ਟੀਮਰਾਂ ਨੇ bias ਅਤੇ ਆਮ ਪ੍ਰਦਰਸ਼ਨ ਸਮੇਤ ਖੇਤਰਾਂ ਵਿੱਚ Sora ਬਾਰੇ ਆਪਣੀਆਂ ਧਾਰਣਾਵਾਂ 'ਤੇ ਵੀ ਫੀਡਬੈਕ ਦਿੱਤਾ. 

ਅਸੀਂ ਉੱਪਰ ਜ਼ਿਕਰ ਕੀਤੀਆਂ ਸਭ ਸਮੱਗਰੀ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਸਿੱਧੇ ਪ੍ਰੌੰਪਟਾਂ ਅਤੇ adversarial prompting ਤਰੀਕਿਆਂ ਦੋਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ text-to-video ਜਨਰੇਸ਼ਨ ਦੀ ਜਾਂਚ ਕੀਤੀ. ਮੀਡੀਆ ਅੱਪਲੋਡ ਸਮਰੱਥਾ ਨੂੰ ਬਹੁਤ ਵੱਖ-ਵੱਖ ਚਿੱਤਰਾਂ ਅਤੇ ਵੀਡੀਓਜ਼ ਨਾਲ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਜਨਤਕ ਵਿਅਕਤੀ ਵੀ ਸ਼ਾਮਲ ਸਨ, ਅਤੇ ਬਹੁਤ ਸਾਰੀਆਂ ਸਮੱਗਰੀ ਸ਼੍ਰੇਣੀਆਂ ਨਾਲ ਟੈਸਟ ਕੀਤਾ ਗਿਆ ਤਾਂ ਜੋ ਉਲੰਘਨਾਤਮਕ ਸਮੱਗਰੀ ਜਨਰੇਟ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾ ਸਕੇ. ਅਸੀਂ modification tools (storyboards, recut, remix, ਅਤੇ blend) ਦੀਆਂ ਵੱਖ-ਵੱਖ ਵਰਤੋਂਆਂ ਅਤੇ ਜੋੜਾਂ ਦੀ ਵੀ ਜਾਂਚ ਕੀਤੀ ਤਾਂ ਜੋ ਮਨ੍ਹਾਂ ਕੀਤੀ ਸਮੱਗਰੀ ਜਨਰੇਟ ਕਰਨ ਵਿੱਚ ਉਨ੍ਹਾਂ ਦੀ ਉਪਯੋਗਤਾ ਦਾ ਅੰਦਾਜ਼ਾ ਲੱਗ ਸਕੇ. 

ਰੈਡ ਟੀਮਰਾਂ ਨੇ ਖਾਸ ਕਿਸਮ ਦੀ ਮਨ੍ਹਾਂ ਕੀਤੀ ਸਮੱਗਰੀ ਅਤੇ ਆਮ adversarial ਤਰੀਕਿਆਂ ਦੋਵਾਂ ਲਈ ਮਹੱਤਵਪੂਰਨ ਨਿਰੀਖਣਾਂ ਦੀ ਪਛਾਣ ਕੀਤੀ. ਉਦਾਹਰਨ ਵਜੋਂ, ਰੈਡ ਟੀਮਰਾਂ ਨੇ ਪਾਇਆ ਕਿ ਮੈਡੀਕਲ ਸਥਿਤੀਆਂ ਜਾਂ science fiction / fantasy ਸੈਟਿੰਗਾਂ ਵਾਲੇ ਟੈਕਸਟ ਪ੍ਰੌੰਪਟ ਵਰਤਣ ਨਾਲ ਕਾਮੁਕ ਅਤੇ ਯੌਨ ਸਮੱਗਰੀ ਜਨਰੇਟ ਕਰਨ ਵਿਰੁੱਧ ਸੁਰੱਖਿਆ ਉਪਾਇ ਕਮਜ਼ੋਰ ਹੋ ਜਾਂਦੇ ਸਨ, ਜਦ ਤੱਕ ਵਾਧੂ ਰੋਕਥਾਮਾਂ ਨਹੀਂ ਬਣਾਈਆਂ ਗਈਆਂ. ਰੈਡ ਟੀਮਰਾਂ ਨੇ ਸੁਰੱਖਿਆ ਸਟੈਕ ਦੇ ਹਿੱਸਿਆਂ ਤੋਂ ਬਚਣ ਲਈ adversarial ਤਰੀਕੇ ਵਰਤੇ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ suggestive prompts ਅਤੇ ਮਾਡਲ ਦੀ inference capability ਦਾ ਲਾਭ ਲੈਣ ਲਈ ਰੂਪਕਾਂ ਦੀ ਵਰਤੋਂ ਸ਼ਾਮਲ ਸੀ. ਕਈ ਕੋਸ਼ਿਸ਼ਾਂ ਦੌਰਾਨ, ਉਹ ਪ੍ਰੌੰਪਟਾਂ ਅਤੇ ਸ਼ਬਦਾਂ ਦੇ ਉਹ ਰੁਝਾਨ ਪਛਾਣ ਸਕੇ ਜੋ ਸੁਰੱਖਿਆ ਉਪਾਇਆਂ ਨੂੰ trigger ਕਰਦੇ ਸਨ, ਅਤੇ ਇਨਕਾਰ ਤੋਂ ਬਚਣ ਲਈ ਵੱਖ-ਵੱਖ ਵਾਕਾਂਸ਼ ਅਤੇ ਸ਼ਬਦਾਂ ਦੀ ਜਾਂਚ ਕਰ ਸਕੇ. ਆਖ਼ਰਕਾਰ, ਰੈਡ ਟੀਮਰ ਸਭ ਤੋਂ ਚਿੰਤਾਜਨਕ ਜਨਰੇਸ਼ਨ ਨੂੰ seed media ਵਜੋਂ ਚੁਣਦੇ ਸਨ ਤਾਂ ਜੋ ਉਸਨੂੰ ਹੋਰ ਵਿਕਸਤ ਕਰਕੇ ਅਜਿਹੀ ਉਲੰਘਨਾਤਮਕ ਸਮੱਗਰੀ ਬਣਾਈ ਜਾ ਸਕੇ ਜੋ single-prompt ਤਕਨੀਕਾਂ ਨਾਲ ਨਹੀਂ ਬਣ ਸਕਦੀ ਸੀ. Jailbreak ਤਕਨੀਕਾਂ ਕਈ ਵਾਰ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਨੂੰ ਕਮਜ਼ੋਰ ਕਰਨ ਵਿੱਚ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਾਬਤ ਹੋਈਆਂ, ਜਿਸ ਨਾਲ ਸਾਨੂੰ ਇਹ ਸੁਰੱਖਿਆ ਹੋਰ ਨਿਖਾਰਣ ਦਾ ਮੌਕਾ ਮਿਲਿਆ.

ਰੈਡ ਟੀਮਰਾਂ ਨੇ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਚਿੱਤਰਾਂ ਅਤੇ AI-ਜਨਰੇਟ ਕੀਤੇ ਮੀਡੀਆ ਦੋਵਾਂ ਨਾਲ ਮੀਡੀਆ ਅੱਪਲੋਡ ਅਤੇ Sora ਦੇ ਟੂਲਾਂ (storyboards, recut, remix, ਅਤੇ blend) ਦੀ ਵੀ ਜਾਂਚ ਕੀਤੀ. ਇਸ ਨਾਲ Sora ਦੇ ਰਿਲੀਜ਼ ਤੋਂ ਪਹਿਲਾਂ ਮਜ਼ਬੂਤ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਫਿਲਟਰਿੰਗ ਵਿੱਚ ਕਮੀਆਂ ਸਾਹਮਣੇ ਆਈਆਂ, ਅਤੇ ਲੋਕਾਂ ਸਮੇਤ ਮੀਡੀਆ ਅੱਪਲੋਡ ਲਈ ਸੁਰੱਖਿਆ ਉਪਾਇ ਹੋਰ ਨਿਖਰੇ. ਟੈਸਟਿੰਗ ਨੇ ਇਹ ਵੀ ਦਿਖਾਇਆ ਕਿ ਅਜਿਹੇ non-violative ਮੀਡੀਆ ਅੱਪਲੋਡਾਂ ਨੂੰ ਮਨ੍ਹਾਂ ਕੀਤੀ ਕਾਮੁਕ, ਹਿੰਸਕ ਜਾਂ deepfake ਸਮੱਗਰੀ ਵਿੱਚ ਬਦਲੇ ਜਾਣ ਦੇ ਜੋਖਿਮ ਨੂੰ ਘਟਾਉਣ ਲਈ ਹੋਰ ਮਜ਼ਬੂਤ classifier filtering ਦੀ ਲੋੜ ਹੈ.

ਰੈਡ ਟੀਮਰਾਂ ਵੱਲੋਂ ਤਿਆਰ ਕੀਤੇ ਫੀਡਬੈਕ ਅਤੇ ਡੇਟਾ ਨੇ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਦੀਆਂ ਵਾਧੂ ਪਰਤਾਂ ਬਣਾਉਣ ਅਤੇ ਮੌਜੂਦਾ ਸੁਰੱਖਿਆ ਇਵੈਲੂਏਸ਼ਨਾਂ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਨੂੰ ਸੰਭਵ ਬਣਾਇਆ, ਜਿਨ੍ਹਾਂ ਦਾ ਵਰਣਨ Specific Risk Areas and Mitigations⁠ ਭਾਗਾਂ ਵਿੱਚ ਕੀਤਾ ਗਿਆ ਹੈ. ਇਨ੍ਹਾਂ ਯਤਨਾਂ ਨੇ ਸਾਡੇ prompt filtering, blocklists ਅਤੇ classifier thresholds ਦੀ ਹੋਰ ਟਿਊਨਿੰਗ ਸੰਭਵ ਬਣਾਈ ਤਾਂ ਜੋ ਮਾਡਲ ਦੀ ਸੁਰੱਖਿਆ ਲਕਸ਼ਾਂ ਨਾਲ ਪਾਲਣਾ ਯਕੀਨੀ ਬਣਾਈ ਜਾ ਸਕੇ.

ਪਿਛਲੇ ਨੌਂ ਮਹੀਨਿਆਂ ਦੌਰਾਨ, ਅਸੀਂ 60 ਤੋਂ ਵੱਧ ਦੇਸ਼ਾਂ ਦੇ 300 ਤੋਂ ਵੱਧ ਵਰਤੋਂਕਾਰਾਂ ਤੋਂ 500,000+ ਮਾਡਲ ਬੇਨਤੀਆਂ ਵਿੱਚ ਵਰਤੋਂਕਾਰ ਫੀਡਬੈਕ ਦੇਖਿਆ. ਇਸ ਡੇਟਾ ਨੇ ਮਾਡਲ ਦੇ ਵਿਹਾਰ ਅਤੇ ਸੁਰੱਖਿਆ ਪ੍ਰੋਟੋਕੋਲਾਂ ਦੀ ਪਾਲਣਾ ਵਿੱਚ ਸੁਧਾਰਾਂ ਲਈ ਜਾਣਕਾਰੀ ਦਿੱਤੀ. ਉਦਾਹਰਨ ਵਜੋਂ, ਕਲਾਕਾਰਾਂ ਦੇ ਫੀਡਬੈਕ ਨੇ ਸਾਨੂੰ ਇਹ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ ਕਿ ਦਿੱਖਣਯੋਗ ਵਾਟਰਮਾਰਕ ਉਨ੍ਹਾਂ ਦੇ workflow 'ਤੇ ਕਿਹੜੀਆਂ ਪਾਬੰਦੀਆਂ ਲਿਆਉਂਦਾ ਹੈ, ਜਿਸ ਨੇ ਸਾਡੇ ਇਸ ਫੈਸਲੇ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕੀਤਾ ਕਿ ਭੁਗਤਾਨ ਕਰਨ ਵਾਲੇ ਵਰਤੋਂਕਾਰਾਂ ਨੂੰ ਦਿੱਖਣਯੋਗ ਵਾਟਰਮਾਰਕ ਤੋਂ ਬਿਨਾਂ ਵੀਡੀਓ ਫਾਈਲਾਂ ਡਾਊਨਲੋਡ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੱਤੀ ਜਾਵੇ, ਜਦਕਿ C2PA ਡੇਟਾ ਫਿਰ ਵੀ embed ਕੀਤਾ ਜਾਵੇ. 

ਇਸ ਸ਼ੁਰੂਆਤੀ ਪਹੁੰਚ ਕਾਰਜਕ੍ਰਮ ਨੇ ਸਾਨੂੰ ਇਹ ਵੀ ਸਿਖਾਇਆ ਕਿ ਜੇ Sora ਦਾ ਮਕਸਦ ਕਹਾਣੀਬੰਦੀ ਅਤੇ ਰਚਨਾਤਮਕ ਅਭਿਵਿਅਕਤੀ ਲਈ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਟੂਲ ਵਜੋਂ ਕੰਮ ਕਰਨਾ ਹੈ, ਤਾਂ ਸਾਨੂੰ ਕੁਝ ਸੰਵੇਦਨਸ਼ੀਲ ਖੇਤਰਾਂ ਵਿੱਚ ਕਲਾਕਾਰਾਂ ਨੂੰ ਹੋਰ ਲਚਕਤਾ ਦੇਣੀ ਪਵੇਗੀ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਅਸੀਂ ChatGPT ਵਰਗੇ ਆਮ-ਉਦੇਸ਼ ਵਾਲੇ ਟੂਲ ਵਿੱਚ ਵੱਖਰੇ ਤਰੀਕੇ ਨਾਲ ਸੰਭਾਲਦੇ ਹਾਂ. ਅਸੀਂ ਉਮੀਦ ਕਰਦੇ ਹਾਂ ਕਿ ਕਲਾਕਾਰ, ਸੁਤੰਤਰ ਫਿਲਮਮੇਕਰ, ਸਟੂਡੀਓ ਅਤੇ ਮਨੋਰੰਜਨ ਉਦਯੋਗ ਦੀਆਂ ਹੋਰ ਸੰਸਥਾਵਾਂ Sora ਨੂੰ ਆਪਣੇ ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੇ ਇਕ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸੇ ਵਜੋਂ ਵਰਤਣਗੀਆਂ. ਇਸੇ ਸਮੇਂ, ਸਕਾਰਾਤਮਕ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਅਤੇ ਸੰਭਾਵਿਤ ਦੁਰਵਰਤੋਂ ਦੋਵਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਨਾਲ ਸਾਨੂੰ ਉਹ ਖੇਤਰ ਤੈਅ ਕਰਨ ਵਿੱਚ ਮਦਦ ਮਿਲੀ ਜਿੱਥੇ ਨੁਕਸਾਨ ਜਾਂ ਦੁਰਵਰਤੋਂ ਦੇ ਜੋਖਿਮ ਨੂੰ ਘਟਾਉਣ ਲਈ ਹੋਰ ਸਖ਼ਤ ਉਤਪਾਦ-ਪੱਧਰੀ ਰੋਕਥਾਮਾਂ ਦੀ ਲੋੜ ਸੀ.

ਅਸੀਂ ਮੁੱਖ ਖੇਤਰਾਂ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦੀਆਂ ਅੰਦਰੂਨੀ ਇਵੈਲੂਏਸ਼ਨਾਂ ਤਿਆਰ ਕੀਤੀਆਂ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਨਗਨਤਾ, ਧੋਖੇਬਾਜ਼ ਚੋਣ ਸਮੱਗਰੀ, ਸਵੈ-ਹਾਨੀ ਅਤੇ ਹਿੰਸਾ ਸ਼ਾਮਲ ਸਨ. ਇਨ੍ਹਾਂ ਇਵੈਲੂਏਸ਼ਨਾਂ ਦਾ ਮਕਸਦ ਰੋਕਥਾਮੀ ਉਪਾਇਆਂ ਦੇ ਸੁਧਾਰ ਨੂੰ ਸਮਰਥਨ ਦੇਣਾ ਅਤੇ ਸਾਡੇ ਮੋਡਰੇਸ਼ਨ ਥ੍ਰੈਸ਼ਹੋਲਡ ਤੈਅ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਨਾ ਸੀ. ਮੁਲਾਂਕਣ ਢਾਂਚਾ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਮਾਡਲ ਨੂੰ ਦਿੱਤੇ ਇਨਪੁੱਟ ਪ੍ਰੌੰਪਟਾਂ ਨੂੰ, ਤਬਦੀਲ ਕੀਤੇ ਪ੍ਰੌੰਪਟਾਂ ਜਾਂ ਆਖ਼ਰਕਾਰ ਬਣੇ ਵੀਡੀਓਜ਼ 'ਤੇ ਲਾਗੂ ਕੀਤੇ ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਕਲਾਸੀਫਾਇਰਾਂ ਨਾਲ ਜੋੜਦਾ ਹੈ.

ਇਨ੍ਹਾਂ ਇਵੈਲੂਏਸ਼ਨਾਂ ਲਈ ਇਨਪੁੱਟ ਪ੍ਰੌੰਪਟ ਤਿੰਨ ਮੁੱਖ ਚੈਨਲਾਂ ਤੋਂ ਲਏ ਗਏ ਸਨ: ਸ਼ੁਰੂਆਤੀ ਅਲਫਾ ਚਰਨ ਦੌਰਾਨ ਇਕੱਠਾ ਕੀਤਾ ਡੇਟਾ (ਜਿਵੇਂ ਕਿ ਧਾਰਾ 3.2 ਵਿੱਚ ਦਰਸਾਇਆ ਗਿਆ ਹੈ), ਰੈਡ-ਟੀਮ ਟੈਸਟਰਾਂ ਵੱਲੋਂ ਦਿੱਤੇ adversarial ਉਦਾਹਰਨਾਂ (ਧਾਰਾ 3.1 ਵਿੱਚ ਹਵਾਲਾ ਦਿੱਤਾ ਗਿਆ ਹੈ), ਅਤੇ GPT‑4 ਦੀ ਵਰਤੋਂ ਨਾਲ ਬਣਾਇਆ ਗਿਆ synthetic ਡੇਟਾ. ਅਲਫਾ ਚਰਨ ਦੇ ਡੇਟਾ ਨੇ ਅਸਲ ਦੁਨੀਆ ਦੇ ਵਰਤੋਂ ਸੰਦਰਭਾਂ ਬਾਰੇ ਜਾਣਕਾਰੀ ਦਿੱਤੀ, ਰੈਡ ਟੀਮਰਾਂ ਦੇ ਯੋਗਦਾਨ ਨੇ adversarial ਅਤੇ edge-case ਸਮੱਗਰੀ ਦਾ ਖੁਲਾਸਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕੀਤੀ, ਅਤੇ synthetic ਡੇਟਾ ਨੇ unintended racy content ਵਰਗੇ ਖੇਤਰਾਂ ਵਿੱਚ ਮੁਲਾਂਕਣ ਸੈੱਟ ਵਧਾਉਣ ਦੀ ਆਗਿਆ ਦਿੱਤੀ, ਜਿੱਥੇ ਕੁਦਰਤੀ ਉਦਾਹਰਨਾਂ ਘੱਟ ਮਿਲਦੀਆਂ ਹਨ.

Preparedness framework ਇਹ ਅੰਕਣ ਕਰਨ ਲਈ ਡਿਜ਼ਾਇਨ ਕੀਤਾ ਗਿਆ ਹੈ ਕਿ ਕੀ ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲ ਸਮਰੱਥਾਵਾਂ ਚਾਰ ਟਰੈਕ ਕੀਤੀਆਂ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਜੋਖਿਮ ਲਿਆਉਂਦੀਆਂ ਹਨ: persuasion, cybersecurity, CBRN (chemical, biological, radiological, and nuclear), ਅਤੇ model autonomy. ਸਾਡੇ ਕੋਲ ਇਸ ਗੱਲ ਦਾ ਕੋਈ ਸਬੂਤ ਨਹੀਂ ਹੈ ਕਿ Sora cybersecurity, CBRN ਜਾਂ model autonomy ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਕੋਈ ਮਹੱਤਵਪੂਰਨ ਜੋਖਿਮ ਪੈਦਾ ਕਰਦਾ ਹੈ. ਇਹ ਜੋਖਿਮ ਉਹਨਾਂ ਮਾਡਲਾਂ ਨਾਲ ਨਜ਼ਦੀਕੀ ਤੌਰ 'ਤੇ ਜੁੜੇ ਹਨ ਜੋ ਕੰਪਿਊਟਰ ਸਿਸਟਮਾਂ, ਵਿਗਿਆਨਕ ਗਿਆਨ ਜਾਂ autonomous decision-making ਨਾਲ ਇੰਟਰੈਕਟ ਕਰਦੇ ਹਨ, ਅਤੇ ਇਹ ਸਭ ਇਸ ਵੇਲੇ ਵੀਡੀਓ-ਜਨਰੇਸ਼ਨ ਟੂਲ ਵਜੋਂ Sora ਦੇ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਹਨ. 

Sora ਦੀਆਂ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਸਮਰੱਥਾਵਾਂ persuasion ਨਾਲ ਸੰਬੰਧਿਤ ਸੰਭਾਵਿਤ ਜੋਖਿਮ ਪੈਦਾ ਕਰ ਸਕਦੀਆਂ ਹਨ, ਜਿਵੇਂ impersonation, misinformation ਜਾਂ social engineering ਦੇ ਜੋਖਿਮ. ਇਨ੍ਹਾਂ ਜੋਖਿਮਾਂ ਨੂੰ ਸੰਬੋਧਨ ਕਰਨ ਲਈ, ਅਸੀਂ ਕਈ ਰੋਕਥਾਮਾਂ ਦਾ ਇੱਕ ਸੈੱਟ ਵਿਕਸਿਤ ਕੀਤਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਦਾ ਵਰਣਨ ਹੇਠਾਂ ਦਿੱਤੇ ਭਾਗਾਂ ਵਿੱਚ ਕੀਤਾ ਗਿਆ ਹੈ.  ਇਨ੍ਹਾਂ ਵਿੱਚ ਅਜਿਹੀਆਂ ਰੋਕਥਾਮਾਂ ਸ਼ਾਮਲ ਹਨ ਜੋ ਪ੍ਰਸਿੱਧ ਜਨਤਕ ਸ਼ਖ਼ਸੀਅਤਾਂ ਦੀ ਲਾਇਕਨੈੱਸ ਦੀ ਜਨਰੇਸ਼ਨ ਰੋਕਣ ਲਈ ਬਣਾਈਆਂ ਗਈਆਂ ਹਨ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕਿਉਂਕਿ ਕਿਸੇ ਵੀਡੀਓ ਦੇ ਅਸਲੀ ਹੋਣ ਜਾਂ AI-ਜਨਰੇਟ ਹੋਣ ਬਾਰੇ ਸੰਦਰਭ ਅਤੇ ਗਿਆਨ ਇਹ ਤੈਅ ਕਰਨ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਜਨਰੇਟ ਕੀਤਾ ਗਿਆ ਵੀਡੀਓ ਕਿੰਨਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ, ਅਸੀਂ metadata, watermarks ਅਤੇ fingerprinting ਸਮੇਤ ਬਹੁ-ਪਰਤੀ provenance ਰੁਖ ਤਿਆਰ ਕਰਨ 'ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਿਤ ਕੀਤਾ ਹੈ.

ਹੇਠਾਂ ਪਛਾਣੇ ਗਏ ਖਾਸ ਜੋਖਿਮਾਂ ਅਤੇ ਰੋਕਥਾਮਾਂ ਤੋਂ ਇਲਾਵਾ, Sora ਦੀ ਟ੍ਰੇਨਿੰਗ, ਉਤਪਾਦ ਡਿਜ਼ਾਇਨ ਅਤੇ ਨੀਤੀਆਂ ਵਿੱਚ ਕੀਤੀਆਂ ਚੋਣਾਂ ਹਾਨੀਕਾਰਕ ਜਾਂ ਅਣਚਾਹੇ ਆਉਟਪੁੱਟਾਂ ਦੇ ਜੋਖਿਮ ਨੂੰ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਘਟਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ. ਇਨ੍ਹਾਂ ਨੂੰ ਵਿਆਪਕ ਰੂਪ ਵਿੱਚ ਸਿਸਟਮ ਅਤੇ ਮਾਡਲ-ਪੱਧਰੀ ਤਕਨੀਕੀ ਰੋਕਥਾਮਾਂ, ਨਾਲ ਹੀ ਉਤਪਾਦ ਨੀਤੀਆਂ ਅਤੇ ਵਰਤੋਂਕਾਰ ਸਿੱਖਿਆ ਵਜੋਂ ਸੰਗਠਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ.

ਹੇਠਾਂ ਅਸੀਂ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਦੇ ਮੁੱਖ ਰੂਪਾਂ ਦਾ ਵੇਰਵਾ ਦਿੰਦੇ ਹਾਂ ਜੋ ਅਸੀਂ ਵਰਤੋਂਕਾਰ ਨੂੰ ਉਸਦਾ ਮੰਗਿਆ ਗਿਆ ਆਉਟਪੁੱਟ ਦਿਖਾਏ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਲਾਗੂ ਕਰਦੇ ਹਾਂ:

ਮਲਟੀ-ਮੋਡਲ ਮੋਡਰੇਸ਼ਨ ਕਲਾਸੀਫਾਇਰ ਰਾਹੀਂ ਟੈਕਸਟ ਅਤੇ ਚਿੱਤਰ ਮੋਡਰੇਸ਼ਨ

ਸਾਡੇ ਬਾਹਰੀ Moderation API ਨੂੰ ਸਮਰਥਨ ਦੇਣ ਵਾਲਾ ਮਲਟੀ-ਮੋਡਲ ਮੋਡਰੇਸ਼ਨ ਕਲਾਸੀਫਾਇਰ, ਵਰਤੋਂ ਨੀਤੀਆਂ ਦੀ ਉਲੰਘਣਾ ਕਰ ਸਕਣ ਵਾਲੇ ਟੈਕਸਟ, ਚਿੱਤਰ ਜਾਂ ਵੀਡੀਓ ਪ੍ਰੌੰਪਟਾਂ ਦੀ ਪਛਾਣ ਲਈ, ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਦੋਵਾਂ 'ਤੇ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ. ਸਿਸਟਮ ਵੱਲੋਂ ਪਛਾਣੇ ਗਏ ਉਲੰਘਨਾਤਮਕ ਪ੍ਰੌੰਪਟਾਂ ਦਾ ਨਤੀਜਾ ਇਨਕਾਰ ਹੋਵੇਗਾ. ਸਾਡੇ ਮਲਟੀ-ਮੋਡਲ Moderation API ਬਾਰੇ ਇੱਥੇ ਹੋਰ ਜਾਣੋ⁠.²

ਕਸਟਮ LLM ਫਿਲਟਰਿੰਗ

ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਤਕਨਾਲੋਜੀ ਦਾ ਇੱਕ ਫਾਇਦਾ ਇਹ ਹੈ ਕਿ ਸਮੁੱਚੇ ਵਰਤੋਂਕਾਰ ਅਨੁਭਵ ਵਿੱਚ latency ਸ਼ਾਮਲ ਕੀਤੇ ਬਿਨਾਂ asynchronous moderation checks ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ. ਕਿਉਂਕਿ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਨੂੰ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਪ੍ਰੋਸੈਸ ਹੋਣ ਲਈ ਕੁਝ ਸਕਿੰਟ ਲੱਗਦੇ ਹਨ, ਇਸ ਸਮੇਂ ਦੀ ਖਿੜਕੀ ਨੂੰ precision-targeted moderation checks ਚਲਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ. ਅਸੀਂ ਕੁਝ ਖਾਸ ਵਿਸ਼ਿਆਂ 'ਤੇ moderation ਲਈ ਉੱਚ ਪ੍ਰਿਸੀਜ਼ਨ ਹਾਸਲ ਕਰਨ ਵਾਸਤੇ ਆਪਣਾ GPT ਕਸਟਮਾਈਜ਼ ਕੀਤਾ ਹੈ, ਜਿਸ ਵਿੱਚ third-party content ਅਤੇ deceptive content ਦੀ ਪਛਾਣ ਸ਼ਾਮਲ ਹੈ. 

ਫਿਲਟਰ ਮਲਟੀਮੋਡਲ ਹਨ: ਚਿੱਤਰ/ਵੀਡੀਓ ਅੱਪਲੋਡ, ਟੈਕਸਟ ਪ੍ਰੌੰਪਟ ਅਤੇ ਆਉਟਪੁੱਟ ਸਭ ਹਰ LLM call ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ. ਇਸ ਨਾਲ ਸਾਨੂੰ ਚਿੱਤਰ ਅਤੇ ਟੈਕਸਟ ਵਿੱਚ ਉਲੰਘਨਾਤਮਕ ਸੰਯੋਜਨਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਦੀ ਆਗਿਆ ਮਿਲਦੀ ਹੈ. 

ਚਿੱਤਰ ਆਉਟਪੁੱਟ ਕਲਾਸੀਫਾਇਰ

ਸਿੱਧੇ ਆਉਟਪੁੱਟਾਂ ਵਿੱਚ ਸੰਭਾਵਿਤ ਹਾਨੀਕਾਰਕ ਸਮੱਗਰੀ ਦਾ ਮੁਕਾਬਲਾ ਕਰਨ ਲਈ, Sora ਆਉਟਪੁੱਟ ਕਲਾਸੀਫਾਇਰ ਵਰਤਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ NSFW ਸਮੱਗਰੀ, ਨਾਬਾਲਗਾਂ, ਹਿੰਸਾ ਅਤੇ likeness ਦੇ ਸੰਭਾਵਿਤ ਦੁਰਵਰਤੋਂ ਲਈ ਖਾਸ ਫਿਲਟਰ ਸ਼ਾਮਲ ਹਨ. ਜੇ ਇਹ ਕਲਾਸੀਫਾਇਰ ਸਰਗਰਮ ਹੋਣ, ਤਾਂ Sora ਵਰਤੋਂਕਾਰ ਨਾਲ ਸਾਂਝਾ ਕੀਤੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਵੀਡੀਓਜ਼ ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦਾ ਹੈ. 

ਬਲਾਕਲਿਸਟਾਂ

ਅਸੀਂ ਵੱਖ-ਵੱਖ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਟੈਕਸਟੁਅਲ ਬਲਾਕਲਿਸਟਾਂ ਬਣਾਈ ਰੱਖਦੇ ਹਾਂ, ਜੋ DALL·E 2 ਅਤੇ DALL·E 3 'ਤੇ ਸਾਡੇ ਪਹਿਲਾਂ ਦੇ ਕੰਮ, ਪੇਸ਼ਗੀ ਜੋਖਿਮ ਖੋਜ, ਅਤੇ ਸ਼ੁਰੂਆਤੀ ਵਰਤੋਂਕਾਰਾਂ ਦੇ ਨਤੀਜਿਆਂ ਤੋਂ ਜਾਣਕਾਰੀ ਲੈਂਦੀਆਂ ਹਨ.

ਉਲੰਘਨਾਤਮਕ ਸਮੱਗਰੀ ਦੀ ਜਨਰੇਸ਼ਨ ਰੋਕਣ ਲਈ ਮਾਡਲ ਅਤੇ ਸਿਸਟਮ ਵਿੱਚ ਬਣਾਈਆਂ ਸੁਰੱਖਿਆਵਾਂ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ ਦੁਰਵਰਤੋਂ ਦੇ ਜੋਖਿਮ ਨੂੰ ਘਟਾਉਣ ਲਈ ਹੋਰ ਕਦਮ ਵੀ ਚੁੱਕ ਰਹੇ ਹਾਂ. ਇਸ ਵੇਲੇ ਅਸੀਂ Sora ਸਿਰਫ਼ 18 ਸਾਲ ਜਾਂ ਇਸ ਤੋਂ ਵੱਧ ਉਮਰ ਦੇ ਵਰਤੋਂਕਾਰਾਂ ਨੂੰ ਹੀ ਦੇ ਰਹੇ ਹਾਂ ਅਤੇ Explore ਅਤੇ Featured ਫੀਡਾਂ ਵਿੱਚ ਦਿਖਾਈ ਜਾਣ ਵਾਲੀ ਸਮੱਗਰੀ 'ਤੇ moderation filters ਲਾਗੂ ਕਰ ਰਹੇ ਹਾਂ.

ਅਸੀਂ ਹੇਠਾਂ ਦਿੱਤਿਆਂ ਬਾਰੇ ਉਤਪਾਦ ਦੇ ਅੰਦਰ ਅਤੇ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਸਿੱਖਿਆ ਰਾਹੀਂ ਨੀਤੀ ਹਦਾਇਤਾਂ ਨੂੰ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਸੰਚਾਰਿਤ ਵੀ ਕਰ ਰਹੇ ਹਾਂ:

• ਕਿਸੇ ਹੋਰ ਵਿਅਕਤੀ ਦੀ ਲਾਇਕਨੈੱਸ ਦਾ ਉਸਦੀ ਇਜਾਜ਼ਤ ਤੋਂ ਬਿਨਾਂ ਵਰਤੋਂ, ਅਤੇ ਅਸਲੀ ਨਾਬਾਲਗਾਂ ਨੂੰ ਦਰਸਾਉਣ 'ਤੇ ਪਾਬੰਦੀ;
• ਗੈਰਕਾਨੂੰਨੀ ਸਮੱਗਰੀ ਜਾਂ ਅਜਿਹੀ ਸਮੱਗਰੀ ਬਣਾਉਣਾ ਜੋ ਬੌਧਿਕ ਸੰਪਦਾ ਅਧਿਕਾਰਾਂ ਦੀ ਉਲੰਘਣਾ ਕਰਦੀ ਹੋਵੇ;
• ਸਪਸ਼ਟ ਅਤੇ ਹਾਨੀਕਾਰਕ ਸਮੱਗਰੀ ਦੀ ਜਨਰੇਸ਼ਨ, ਜਿਵੇਂ ਕਿ ਬਿਨਾਂ ਸਹਿਮਤੀ ਵਾਲੀ ਅੰਤਰੰਗ ਤਸਵੀਰਕਾਰੀ, ਕਿਸੇ ਨੂੰ ਤੰਗ ਕਰਨ, ਹਿਰਾਸਤ ਕਰਨ ਜਾਂ ਬਦਨਾਮ ਕਰਨ ਲਈ ਵਰਤੀ ਜਾਣ ਵਾਲੀ ਸਮੱਗਰੀ, ਜਾਂ ਅਜਿਹੀ ਸਮੱਗਰੀ ਜਿਸਦਾ ਉਦੇਸ਼ ਹਿੰਸਾ, ਨਫ਼ਰਤ ਜਾਂ ਹੋਰਾਂ ਦੇ ਦੁੱਖ ਨੂੰ ਵਧਾਵਾ ਦੇਣਾ ਹੋਵੇ; ਅਤੇ 
• ਅਜਿਹੀ ਸਮੱਗਰੀ ਦੀ ਰਚਨਾ ਅਤੇ ਵੰਡ ਜੋ ਹੋਰਾਂ ਨਾਲ ਧੋਖਾਧੜੀ, ਸਕੈਮ ਜਾਂ ਗੁੰਮਰਾਹ ਕਰਨ ਲਈ ਵਰਤੀ ਜਾਵੇ.

ਇਨ੍ਹਾਂ ਦੁਰਵਰਤੋਂ ਦੇ ਕੁਝ ਰੂਪਾਂ ਨੂੰ ਸਾਡੇ ਮਾਡਲ ਅਤੇ ਸਿਸਟਮ ਰੋਕਥਾਮਾਂ ਰਾਹੀਂ ਸੰਬੋਧਿਆ ਜਾਂਦਾ ਹੈ, ਪਰ ਹੋਰ ਵਧੇਰੇ ਸੰਦਰਭ-ਨਿਰਭਰ ਹਨ—ਇੱਕ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਦ੍ਰਿਸ਼ ਵਾਜਬ ਰਚਨਾਤਮਕ ਮਕਸਦਾਂ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਪਰ ਉਹੀ ਦ੍ਰਿਸ਼ ਜੇ ਅਸਲੀ ਮੌਜੂਦਾ ਘਟਨਾ ਵਜੋਂ ਪੇਸ਼ ਕੀਤਾ ਜਾਵੇ, ਤਾਂ ਹੋਰ ਦਾਵਿਆਂ ਨਾਲ ਜੋੜ ਕੇ ਭ੍ਰਮਿਤ ਜਾਣਕਾਰੀ ਵਜੋਂ ਵੀ ਸਾਂਝਾ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ. 

Sora ਨੂੰ ਲੋਕਾਂ ਨੂੰ ਰਚਨਾਤਮਕ ਵਿਚਾਰਾਂ ਅਤੇ ਵਿਚਾਰਧਾਰਾਵਾਂ ਦੀ ਵਿਸ਼ਾਲ ਰੇਂਜ ਪ੍ਰਗਟ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਦੇਣ ਲਈ ਡਿਜ਼ਾਇਨ ਕੀਤਾ ਗਿਆ ਹੈ. ਹਰ ਸੰਦਰਭਕ ਤੌਰ 'ਤੇ ਸਮੱਸਿਆਜਨਕ ਸਮੱਗਰੀ ਦੇ ਹਰ ਰੂਪ ਨੂੰ ਰੋਕਣਾ ਨਾ ਤਾੰ ਕਾਰਗਰ ਹੈ ਨਾ ਹੀ ਉਚਿਤ.

ਅਸੀਂ ਲੋਕਾਂ ਨੂੰ ਉਹ Sora ਵੀਡੀਓਜ਼ ਰਿਪੋਰਟ⁠ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਦਿੰਦੇ ਹਾਂ ਜਿਨ੍ਹਾਂ ਬਾਰੇ ਉਹ ਸੋਚਦੇ ਹਨ ਕਿ ਉਹ ਸਾਡੀਆਂ ਹਦਾਇਤਾਂ ਦੀ ਉਲੰਘਣਾ ਕਰ ਸਕਦੇ ਹਨ, ਅਤੇ ਇਸ ਦੇ ਨਾਲ automation ਅਤੇ human review ਦੀ ਮਦਦ ਨਾਲ ਵਰਤੋਂ ਦੇ ਪੈਟਰਨਾਂ ਦੀ ਸਰਗਰਮ ਨਿਗਰਾਨੀ ਕਰਦੇ ਹਾਂ. ਅਸੀਂ ਉਲੰਘਨਾਤਮਕ ਵੀਡੀਓਜ਼ ਨੂੰ ਹਟਾਉਣ ਅਤੇ ਵਰਤੋਂਕਾਰਾਂ 'ਤੇ ਕਾਰਵਾਈ ਕਰਨ ਲਈ enforcement mechanisms ਸਥਾਪਿਤ ਕੀਤੇ ਹਨ. ਜਦੋਂ ਵਰਤੋਂਕਾਰ ਸਾਡੀਆਂ ਹਦਾਇਤਾਂ ਦੀ ਉਲੰਘਣਾ ਕਰਦੇ ਹਨ, ਅਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਸੂਚਿਤ ਕਰਾਂਗੇ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਇਹ ਦੱਸਣ ਦਾ ਮੌਕਾ ਦੇਵਾਂਗੇ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਵਿਚਾਰ ਵਿੱਚ ਕੀ ਨਿਆਇਪੂਰਨ ਹੈ. ਅਸੀਂ ਇਨ੍ਹਾਂ ਰੋਕਥਾਮਾਂ ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਨੂੰ ਟਰੈਕ ਕਰਨ ਅਤੇ ਸਮੇਂ ਦੇ ਨਾਲ ਉਨ੍ਹਾਂ ਨੂੰ ਨਿਖਾਰਣ ਦਾ ਇਰਾਦਾ ਰੱਖਦੇ ਹਾਂ.

ਉੱਪਰ ਦਿੱਤੇ ਆਮ ਸੁਰੱਖਿਆ ਉਪਾਇਆਂ ਤੋਂ ਇਲਾਵਾ, ਸ਼ੁਰੂਆਤੀ ਟੈਸਟਿੰਗ ਅਤੇ ਇਵੈਲੂਏਸ਼ਨ ਨੇ ਸੁਰੱਖਿਆ ਕੇਂਦਰਿਤ ਕੁਝ ਖਾਸ ਖੇਤਰਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕੀਤੀ. 

OpenAI ਬਾਲ ਸੁਰੱਖਿਆ ਦੇ ਜੋਖਿਮਾਂ ਨੂੰ ਸੰਬੋਧਨ ਕਰਨ ਲਈ ਗੰਭੀਰ ਤੌਰ 'ਤੇ ਵਚਨਬੱਧ ਹੈ⁠³ ਅਤੇ ਅਸੀਂ Sora ਸਮੇਤ ਆਪਣੇ ਸਾਰੇ ਉਤਪਾਦਾਂ ਵਿੱਚ Child Sexual Abuse Material⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) (CSAM) ਸਮੱਗਰੀ ਦੀ ਰੋਕਥਾਮ, ਪਛਾਣ ਅਤੇ ਰਿਪੋਰਟਿੰਗ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦੇ ਹਾਂ. ਬਾਲ ਸੁਰੱਖਿਆ ਖੇਤਰ ਵਿੱਚ OpenAI ਦੇ ਯਤਨਾਂ ਵਿੱਚ ਸਾਡੇ ਡੇਟਾ ਸੈੱਟਾਂ ਨੂੰ ਜ਼ਿੰਮੇਵਾਰ ਢੰਗ ਨਾਲ ਪ੍ਰਾਪਤ ਕਰਨਾ ਤਾਂ ਜੋ ਉਹ CSAM ਤੋਂ ਸੁਰੱਖਿਅਤ ਰਹਿਣ, National Center for Missing & Exploited Children (NCMEC) ਨਾਲ ਭਾਈਵਾਲੀ ਕਰਨਾ ਤਾਂ ਜੋ ਬਾਲ ਯੌਨ ਸ਼ੋਸ਼ਣ ਰੋਕਿਆ ਜਾ ਸਕੇ ਅਤੇ ਬੱਚਿਆਂ ਦੀ ਰੱਖਿਆ ਕੀਤੀ ਜਾ ਸਕੇ, Thorn ਦੀਆਂ ਸਿਫ਼ਾਰਸ਼ਾਂ ਦੇ ਅਨੁਸਾਰ ਅਤੇ ਕਾਨੂੰਨੀ ਪਾਬੰਦੀਆਂ ਦੀ ਪਾਲਣਾ ਵਿੱਚ ਰੈਡ ਟੀਮਿੰਗ, ਅਤੇ ਸਾਰੇ ਇਨਪੁੱਟਾਂ ਅਤੇ ਆਉਟਪੁੱਟਾਂ 'ਤੇ CSAM ਲਈ ਮਜ਼ਬੂਤ ਸਕੈਨਿੰਗ ਸ਼ਾਮਲ ਹੈ. ਇਸ ਵਿੱਚ first party ਅਤੇ third party users (API ਅਤੇ Enterprise) ਦੀ ਸਕੈਨਿੰਗ ਵੀ ਸ਼ਾਮਲ ਹੈ ਜਦ ਤੱਕ ਗਾਹਕ CSAM ਸਕੈਨਿੰਗ ਹਟਾਉਣ ਲਈ ਕੜੇ ਮਾਪਦੰਡ ਪੂਰੇ ਨਾ ਕਰ ਲੈਣ. CSAM ਦੀ ਜਨਰੇਸ਼ਨ ਰੋਕਣ ਲਈ, ਅਸੀਂ ਇੱਕ ਮਜ਼ਬੂਤ safety stack ਬਣਾਇਆ ਹੈ, ਜਿਸ ਵਿੱਚ ChatGPT ਅਤੇ DALL·E⁴ ਵਰਗੇ ਸਾਡੇ ਹੋਰ ਉਤਪਾਦਾਂ ਵਿੱਚ ਵਰਤੀਆਂ ਜਾਣ ਵਾਲੀਆਂ ਸਿਸਟਮ ਰੋਕਥਾਮਾਂ ਦੇ ਨਾਲ ਕੁਝ ਵਾਧੂ ਉਪਾਇ ਵੀ ਸ਼ਾਮਲ ਹਨ ਜੋ ਅਸੀਂ ਖਾਸ ਤੌਰ 'ਤੇ Sora ਲਈ ਬਣਾਏ ਹਨ.

ਇਨਪੁੱਟ ਕਲਾਸੀਫਾਇਰ

ਬਾਲ ਸੁਰੱਖਿਆ ਲਈ ਅਸੀਂ ਟੈਕਸਟ, ਚਿੱਤਰ ਅਤੇ ਵੀਡੀਓ ਇਨਪੁੱਟ ਵਿੱਚ 3 ਵੱਖ-ਵੱਖ ਇਨਪੁੱਟ ਰੋਕਥਾਮਾਂ ਵਰਤਦੇ ਹਾਂ: 

• ਸਾਰੇ ਚਿੱਤਰ ਅਤੇ ਵੀਡੀਓ ਅੱਪਲੋਡਾਂ ਲਈ, ਅਸੀਂ Thorn ਦੁਆਰਾ ਵਿਕਸਿਤ Safer ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਕਰਦੇ ਹਾਂ ਤਾਂ ਜੋ ਜਾਣੇ-ਪਛਾਣੇ CSAM ਨਾਲ ਮੇਲ ਦੀ ਪਛਾਣ ਹੋ ਸਕੇ. ਪੁਸ਼ਟੀ ਕੀਤੇ ਮੇਲ ਰੱਦ ਕਰ ਦਿੱਤੇ ਜਾਂਦੇ ਹਨ ਅਤੇ NCMEC ਨੂੰ ਰਿਪੋਰਟ ਕੀਤੇ ਜਾਂਦੇ ਹਨ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ ਸੰਭਾਵਿਤ ਨਵੀਂ, unhashed CSAM ਸਮੱਗਰੀ ਦੀ ਪਛਾਣ ਕਰਨ ਲਈ Thorn ਦੇ CSAM classifier ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ.
• ਅਸੀਂ ਟੈਕਸਟ, ਚਿੱਤਰ ਅਤੇ ਵੀਡੀਓ ਇਨਪੁੱਟ ਰਾਹੀਂ ਨਾਬਾਲਗਾਂ ਨਾਲ ਸੰਬੰਧਿਤ ਕਿਸੇ ਵੀ ਯੌਨ ਸਮੱਗਰੀ ਦੀ ਪਛਾਣ ਅਤੇ ਮੋਡਰੇਟ ਕਰਨ ਲਈ ਮਲਟੀ-ਮੋਡਲ ਮੋਡਰੇਸ਼ਨ ਕਲਾਸੀਫਾਇਰ ਵਰਤਦੇ ਹਾਂ. 
• Sora ਲਈ, ਅਸੀਂ ਟੈਕਸਟ ਅਤੇ ਚਿੱਤਰਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਇੱਕ classifier ਵਿਕਸਿਤ ਕੀਤਾ ਹੈ ਜੋ ਇਹ ਅਨੁਮਾਨ ਲਗਾਉਂਦਾ ਹੈ ਕਿ ਕੀ 18 ਸਾਲ ਤੋਂ ਘੱਟ ਉਮਰ ਦਾ ਵਿਅਕਤੀ ਦਰਸਾਇਆ ਗਿਆ ਹੈ ਜਾਂ ਨਾਲ ਦਿੱਤਾ ਕੈਪਸ਼ਨ ਕਿਸੇ ਨਾਬਾਲਗ ਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ. ਅਸੀਂ ਉਹ image-to-video ਬੇਨਤੀਆਂ ਰੱਦ ਕਰਦੇ ਹਾਂ ਜਿਨ੍ਹਾਂ ਵਿੱਚ 18 ਤੋਂ ਘੱਟ ਉਮਰ ਦੇ ਵਿਅਕਤੀ ਹੁੰਦੇ ਹਨ. ਜੇ text-to-video ਨੂੰ 18 ਤੋਂ ਘੱਟ ਉਮਰ ਵਾਲਾ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਅਸੀਂ ਯੌਨ, ਹਿੰਸਕ ਜਾਂ ਸਵੈ-ਹਾਨੀ ਸਮੱਗਰੀ ਨਾਲ ਸੰਬੰਧਿਤ ਮੋਡਰੇਸ਼ਨ ਲਈ ਕਾਫ਼ੀ ਹੋਰ ਸਖ਼ਤ thresholds ਲਾਗੂ ਕਰਦੇ ਹਾਂ.

ਹੇਠਾਂ ਮਨੁੱਖਾਂ ਲਈ ਸਾਡੇ under-18 classifier ਦਾ ਮੁਲਾਂਕਣ ਦਿੱਤਾ ਗਿਆ ਹੈ. ਅਸੀਂ ਆਪਣੇ classifier ਦਾ ਮੁਲਾਂਕਣ ਲਗਭਗ 5000 ਚਿੱਤਰਾਂ ਵਾਲੇ ਡੇਟਾਸੈੱਟ 'ਤੇ ਕਰਦੇ ਹਾਂ, ਜੋ [child | adult] ਅਤੇ [realistic | fictitious] ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ ਹੈ, ਤਾਂ ਜੋ realistic under-18 ਵਿਅਕਤੀਆਂ ਨੂੰ ਰੱਦ ਕੀਤਾ ਜਾ ਸਕੇ. ਸਾਡਾ ਨੀਤੀ ਰੁਖ realistic ਬੱਚਿਆਂ ਨੂੰ ਰੱਦ ਕਰਨਾ ਹੈ, ਜਦਕਿ animated, cartoon ਜਾਂ sketch ਸ਼ੈਲੀ ਸਮੇਤ fictitious ਚਿੱਤਰਾਂ ਨੂੰ, ਜੇ ਉਹ ਗੈਰ-ਯੌਨ ਹੋਣ, ਆਗਿਆ ਦੇਣਾ ਹੈ. ਅਸੀਂ ਨਾਬਾਲਗਾਂ ਨਾਲ ਸੰਬੰਧਿਤ ਸਮੱਗਰੀ ਲਈ ਸੰਭਲਿਆ ਹੋਇਆ ਰੁਖ ਅਪਣਾਇਆ ਹੈ ਅਤੇ ਉਤਪਾਦ ਵਰਤੋਂ ਰਾਹੀਂ ਹੋਰ ਸਿੱਖਦੇ ਹੋਏ ਅਤੇ ਰਚਨਾਤਮਕ ਅਭਿਵਿਅਕਤੀ ਦੀ ਆਗਿਆ ਅਤੇ ਸੁਰੱਖਿਆ ਵਿਚਕਾਰ ਸਹੀ ਸੰਤੁਲਨ ਲੱਭਦੇ ਹੋਏ ਆਪਣੇ ਰੁਖ ਦਾ ਮੁਲਾਂਕਣ ਜਾਰੀ ਰੱਖਾਂਗੇ. 

ਇਸ ਵੇਲੇ, ਸਾਡੇ ਕਲਾਸੀਫਾਇਰ ਬਹੁਤ ਹੀ ਸਹੀ ਹਨ, ਪਰ ਕਦੇ-ਕਦੇ ਗਲਤੀ ਨਾਲ ਵੱਡਿਆਂ ਜਾਂ ਬੱਚਿਆਂ ਦੇ ਗੈਰ-ਅਸਲੀ ਚਿੱਤਰਾਂ ਨੂੰ ਫਲੈਗ ਕਰ ਸਕਦੇ ਹਨ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ ਮੰਨਦੇ ਹਾਂ ਕਿ ਅਧਿਐਨ ਅਤੇ ਮੌਜੂਦਾ ਸਾਹਿਤ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ age prediction models ਵਿੱਚ ਨਸਲੀ ਪੱਖਪਾਤ ਹੋ ਸਕਦਾ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਇਹ ਮਾਡਲ ਕੁਝ ਨਸਲੀ ਸਮੂਹਾਂ ਦੇ ਵਿਅਕਤੀਆਂ ਦੀ ਉਮਰ ਨੂੰ ਸਿਸਟਮੈਟਿਕ ਤੌਰ 'ਤੇ ਘੱਟ ਅੰਕ ਸਕਦੇ ਹਨ.⁵ ਅਸੀਂ ਆਉਣ ਵਾਲੇ ਮਹੀਨਿਆਂ ਵਿੱਚ ਆਪਣੇ classifier ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਸੁਧਾਰਣ, false positives ਘਟਾਉਣ ਅਤੇ ਸੰਭਾਵਿਤ ਪੱਖਪਾਤਾਂ ਬਾਰੇ ਆਪਣੀ ਸਮਝ ਹੋਰ ਡੂੰਘੀ ਕਰਨ ਲਈ ਵਚਨਬੱਧ ਹਾਂ.

ਆਉਟਪੁੱਟ

ਜਿਵੇਂ ਉੱਪਰ ਜ਼ਿਕਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਇੱਕ ਵਾਰ ਜਦੋਂ ਅਸੀਂ ਆਪਣੇ under-18 classifier ਨਾਲ ਟੈਕਸਟ ਇਨਪੁੱਟ ਵਿੱਚ ਨਾਬਾਲਗਾਂ ਦਾ ਹਵਾਲਾ ਪਛਾਣ ਲੈਂਦੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਆਉਟਪੁੱਟ 'ਤੇ ਯੌਨ, ਹਿੰਸਕ ਜਾਂ ਸਵੈ-ਹਾਨੀ ਵਾਲੀ ਸਮੱਗਰੀ ਨਾਲ ਸੰਬੰਧਿਤ ਮੋਡਰੇਸ਼ਨ ਲਈ ਸਖ਼ਤ thresholds ਲਾਗੂ ਕਰਦੇ ਹਾਂ. ਇਸ ਨੂੰ ਹਾਸਲ ਕਰਨ ਲਈ ਅਸੀਂ ਹੇਠਲੇ ਦੋ ਆਉਟਪੁੱਟ ਕਲਾਸੀਫਾਇਰ ਵਰਤਦੇ ਹਾਂ: 

• ਮਲਟੀ ਮੋਡਲ ਮੋਡਰੇਸ਼ਨ ਕਲਾਸੀਫਾਇਰ ਜੋ ਅਸੁਰੱਖਿਅਤ ਵੀਡੀਓ ਆਉਟਪੁੱਟਾਂ ਦੀ ਸਕੈਨਿੰਗ ਕਰਦਾ ਹੈ ਅਤੇ ਅਜਿਹੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਰੱਦ ਕਰਦਾ ਹੈ ਜੋ ਖਾਸ ਤੌਰ 'ਤੇ ਸੰਵੇਦਨਸ਼ੀਲ ਹੋ ਸਕਦੀਆਂ ਹਨ 
• ਅਸੀਂ ਬਾਲ ਸੁਰੱਖਿਆ ਨਾਲ ਸੰਬੰਧਿਤ ਉਲੰਘਣਾਵਾਂ ਲਈ ਸਕੈਨ ਕਰਨ ਵਾਸਤੇ ਆਪਣੇ ਮੌਜੂਦਾ DALL·E ਚਿੱਤਰ ਕਲਾਸੀਫਾਇਰ ਦਾ ਵੀ ਲਾਭ ਲੈ ਰਹੇ ਹਾਂ.

ਸਾਡੇ ਆਉਟਪੁੱਟ ਕਲਾਸੀਫਾਇਰ ਪ੍ਰਤੀ ਸਕਿੰਟ 2 ਫ੍ਰੇਮ ਸਕੈਨ ਕਰਦੇ ਹਨ ਅਤੇ ਜਦੋਂ ਕਿਸੇ ਵੀਡੀਓ ਨੂੰ ਅਸੁਰੱਖਿਅਤ ਕਰਾਰ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਅਸੀਂ ਕਿਸੇ ਵੀ ਆਉਟਪੁੱਟ ਨੂੰ ਬਲੌਕ ਕਰ ਦਿੰਦੇ ਹਾਂ.

ਸਾਡੇ ਕਲਾਸੀਫਾਇਰਾਂ ਅਤੇ ਸਵੈਚਾਲਿਤ ਮੋਡਰੇਸ਼ਨ ਤੋਂ ਇਲਾਵਾ, ਸੰਭਾਵਿਤ ਬਾਲ ਸੁਰੱਖਿਆ ਉਲੰਘਣਾਵਾਂ ਵਿਰੁੱਧ ਸੁਰੱਖਿਆ ਦੀ ਇੱਕ ਵਾਧੂ ਪਰਤ ਵਜੋਂ ਅਸੀਂ ਮਨੁੱਖੀ ਸਮੀਖਿਆ ਵੀ ਰੱਖਾਂਗੇ. 

ਉਤਪਾਦ ਨੀਤੀ

ਸਾਡੀਆਂ ਨੀਤੀਆਂ Sora ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਨਾਬਾਲਗਾਂ ਨਾਲ ਸੰਬੰਧਿਤ ਯੌਨ ਸਮੱਗਰੀ ਜਨਰੇਟ ਕਰਨ ਨੂੰ ਮਨ੍ਹਾਂ ਕਰਦੀਆਂ ਹਨ. ਸਾਡੀਆਂ ਬਾਲ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਦੀ ਉਲੰਘਣਾ ਕਰਨ 'ਤੇ ਸਮੱਗਰੀ ਹਟਾਈ ਜਾ ਸਕਦੀ ਹੈ ਅਤੇ ਵਰਤੋਂਕਾਰ 'ਤੇ ਪਾਬੰਦੀ ਲੱਗ ਸਕਦੀ ਹੈ.

AI ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਸਮਰੱਥਾਵਾਂ ਨਾਲ ਸੰਬੰਧਿਤ ਉਭਰਦੇ ਜੋਖਿਮ ਵਾਲੇ ਖੇਤਰਾਂ ਵਿੱਚੋਂ ਇੱਕ NSFW (Not Safe for Work) ਜਾਂ NCII (Non-Consensual Intimate Imagery) ਸਮੱਗਰੀ ਦੀ ਸੰਭਾਵਿਤ ਰਚਨਾ ਹੈ. DALL·E ਦੇ ਰੁਖ ਵਾਂਗ, Sora ਸਪਸ਼ਟ ਸਮੱਗਰੀ ਨੂੰ ਬਲੌਕ ਕਰਨ ਲਈ ਬਹੁ-ਪੱਧਰੀ moderation strategy ਵਰਤਦਾ ਹੈ. ਇਨ੍ਹਾਂ ਵਿੱਚ prompt transformations, image output classifiers ਅਤੇ blocklists ਸ਼ਾਮਲ ਹਨ, ਜੋ ਸਭ ਮਿਲ ਕੇ ਅਜਿਹੇ ਸਿਸਟਮ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਂਦੇ ਹਨ ਜੋ ਸੰਕੇਤਕ ਸਮੱਗਰੀ ਨੂੰ ਸੀਮਿਤ ਕਰਦਾ ਹੈ, ਖ਼ਾਸ ਕਰਕੇ ਉਮਰ-ਉਚਿਤ ਆਉਟਪੁੱਟਾਂ ਲਈ. ਸਾਡੇ ਕਲਾਸੀਫਾਇਰਾਂ ਲਈ thresholds ਟੈਕਸਟ-ਆਧਾਰਿਤ ਪ੍ਰੌੰਪਟਾਂ ਦੇ ਮੁਕਾਬਲੇ ਚਿੱਤਰ ਅੱਪਲੋਡਾਂ ਲਈ ਹੋਰ ਸਖ਼ਤ ਹਨ. 

Explore ਭਾਗ ਵਿੱਚ ਦਿਖਾਏ ਜਾਣ ਵਾਲੇ ਵੀਡੀਓਜ਼ ਨੂੰ ਹੋਰ ਵੀ ਕੜੇ thresholds ਨਾਲ ਫਿਲਟਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਜੋ ਵਿਆਪਕ ਦਰਸ਼ਕਾਂ ਲਈ ਉਚਿਤ ਦੇਖਣ ਦਾ ਅਨੁਭਵ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕੇ.  

ਹੇਠਾਂ ਨਗਨਤਾ ਅਤੇ ਸੰਕੇਤਕ ਸਮੱਗਰੀ ਬਾਰੇ ਸਾਡੀਆਂ ਇਵੈਲੂਏਸ਼ਨਾਂ ਦੇ ਨਤੀਜੇ ਦਿੱਤੇ ਗਏ ਹਨ, ਜਿਨ੍ਹਾਂ ਦਾ ਮਕਸਦ ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਵਿੱਚ ਬਹੁ-ਪਰਤੀ ਰੋਕਥਾਮ ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦਾ ਅੰਕਣ ਕਰਨਾ ਹੈ. ਨਤੀਜਿਆਂ ਦੇ ਆਧਾਰ 'ਤੇ ਅਸੀਂ ਆਪਣੇ thresholds ਵਿੱਚ ਦੁਹਰਾਵਾਂ ਰਾਹੀਂ ਸੁਧਾਰ ਕੀਤਾ ਹੈ ਅਤੇ ਲੋਕਾਂ ਸਮੇਤ ਚਿੱਤਰ ਅੱਪਲੋਡਾਂ 'ਤੇ ਹੋਰ ਸਖ਼ਤ moderation ਲਾਗੂ ਕੀਤੀ ਹੈ.

ਉਤਪਾਦ ਨੀਤੀ

ਸਾਡੀਆਂ ਨੀਤੀਆਂ Sora ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਪਸ਼ਟ ਯੌਨ ਸਮੱਗਰੀ ਬਣਾਉਣ ਨੂੰ ਮਨ੍ਹਾਂ ਕਰਦੀਆਂ ਹਨ, ਜਿਸ ਵਿੱਚ ਬਿਨਾਂ ਸਹਿਮਤੀ ਵਾਲੀ ਅੰਤਰੰਗ ਤਸਵੀਰਕਾਰੀ ਵੀ ਸ਼ਾਮਲ ਹੈ. ਇਨ੍ਹਾਂ ਨੀਤੀਆਂ ਦੀ ਉਲੰਘਣਾ ਕਰਨ 'ਤੇ ਸਮੱਗਰੀ ਹਟਾਈ ਜਾ ਸਕਦੀ ਹੈ ਅਤੇ ਵਰਤੋਂਕਾਰ 'ਤੇ ਕਾਰਵਾਈ ਹੋ ਸਕਦੀ ਹੈ.

ਲਾਇਕਨੈੱਸ ਦਾ ਦੁਰਵਰਤੋਂ ਅਤੇ ਹਾਨੀਕਾਰਕ ਡੀਪਫੇਕਸ

ਲਾਇਕਨੈੱਸ-ਆਧਾਰਿਤ ਪ੍ਰੌੰਪਟਾਂ ਲਈ Sora ਦਾ moderation monitor ਸੰਭਾਵਿਤ ਤੌਰ 'ਤੇ ਹਾਨੀਕਾਰਕ deepfake ਸਮੱਗਰੀ ਨੂੰ ਫਲੈਗ ਕਰਨ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ, ਇਸ ਉਦੇਸ਼ ਨਾਲ ਕਿ ਪਛਾਣਯੋਗ ਵਿਅਕਤੀਆਂ ਨਾਲ ਸੰਬੰਧਿਤ ਵੀਡੀਓਜ਼ ਦੀ ਨੇੜੀ ਤੋਂ ਸਮੀਖਿਆ ਕੀਤੀ ਜਾਵੇ. Likeness Misuse ਫਿਲਟਰ ਉਹਨਾਂ ਪ੍ਰੌੰਪਟਾਂ ਨੂੰ ਵੀ ਫਲੈਗ ਕਰਦਾ ਹੈ ਜੋ ਵਿਅਕਤੀਆਂ ਨੂੰ ਸੰਭਾਵਿਤ ਤੌਰ 'ਤੇ ਹਾਨੀਕਾਰਕ ਜਾਂ ਭ੍ਰਮਿਤਕਾਰੀ ਢੰਗ ਨਾਲ ਤਬਦੀਲ ਕਰਨ ਜਾਂ ਦਰਸਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ. Sora ਦੇ ਆਮ prompt transformations ਉਸ ਜੋਖਿਮ ਨੂੰ ਹੋਰ ਘਟਾਉਂਦੇ ਹਨ ਕਿ ਕਿਸੇ ਦੇ ਨਾਮ ਵਾਲੇ ਪ੍ਰੌੰਪਟ ਦੇ ਆਧਾਰ 'ਤੇ Sora ਕਿਸੇ ਨਿੱਜੀ ਵਿਅਕਤੀ ਦੀ ਅਣਚਾਹੀ ਲਾਇਕਨੈੱਸ ਜਨਰੇਟ ਕਰੇ.

ਧੋਖੇਬਾਜ਼ ਸਮੱਗਰੀ

Sora ਦੇ ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਕਲਾਸੀਫਾਇਰ ਚੋਣਾਂ ਨਾਲ ਸੰਬੰਧਿਤ ਅਜਿਹੀ ਧੋਖੇਬਾਜ਼ ਸਮੱਗਰੀ ਦੀ ਜਨਰੇਸ਼ਨ ਰੋਕਣ ਲਈ ਬਣਾਏ ਗਏ ਹਨ ਜੋ ਧੋਖਾਧੜੀ, ਗੈਰ-ਨੈਤਿਕ ਜਾਂ ਹੋਰ ਕਿਸੇ ਤਰ੍ਹਾਂ ਗੈਰਕਾਨੂੰਨੀ ਗਤੀਵਿਧੀ ਦਰਸਾਉਂਦੀ ਹੋਵੇ. Sora ਦੀਆਂ ਇਵੈਲੂਏਸ਼ਨ ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ ਅਜਿਹੇ style ਜਾਂ filter techniques ਨੂੰ ਫਲੈਗ ਕਰਨ ਵਾਲੇ ਕਲਾਸੀਫਾਇਰ ਸ਼ਾਮਲ ਹਨ ਜੋ ਚੋਣਾਂ ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਭ੍ਰਮਿਤਕਾਰੀ ਵੀਡੀਓਜ਼ ਪੈਦਾ ਕਰ ਸਕਦੇ ਹਨ, ਇਸ ਤਰ੍ਹਾਂ ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਦੁਰਵਰਤੋਂ ਦੇ ਜੋਖਿਮ ਨੂੰ ਘਟਾਇਆ ਜਾਂਦਾ ਹੈ.

ਹੇਠਾਂ ਸਾਡੇ deceptive election content LLM filter ਲਈ ਇਵੈਲੂਏਸ਼ਨ ਦਿੱਤੀਆਂ ਹਨ, ਜੋ ਵੱਖ-ਵੱਖ ਇਨਪੁੱਟਾਂ (ਜਿਵੇਂ ਟੈਕਸਟ ਅਤੇ ਵੀਡੀਓ) ਵਿੱਚ ਮਨ੍ਹਾਂ ਕੀਤੀ ਸਮੱਗਰੀ ਬਣਾਉਣ ਦੇ ਇਰਾਦੇ ਵਾਲੇ ਮਾਮਲੇ ਪਛਾਣਣ ਵਿੱਚ ਮਦਦ ਕਰਨ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹਨ. ਸਾਡਾ ਸਿਸਟਮ ਸੰਭਾਵਿਤ ਆਉਟਪੁੱਟ ਉਲੰਘਣਾਵਾਂ ਦਾ ਅੰਕਣ ਕਰਨ ਲਈ ਆਉਟਪੁੱਟ ਵੀਡੀਓ ਦਾ ਪ੍ਰਤੀ ਸਕਿੰਟ 1 ਫ੍ਰੇਮ ਵੀ ਸਕੈਨ ਕਰਦਾ ਹੈ.

ਪ੍ਰੋਵੇਨੈਂਸ ਵਿੱਚ ਨਿਵੇਸ਼

Sora ਨਾਲ ਸੰਬੰਧਿਤ ਕਈ ਜੋਖਿਮ, ਜਿਵੇਂ ਹਾਨੀਕਾਰਕ deepfake ਸਮੱਗਰੀ, ਬਹੁਤ ਵੱਧ ਸੰਦਰਭ-ਨਿਰਭਰ ਹਨ, ਇਸ ਲਈ ਅਸੀਂ ਆਪਣੇ provenance tools ਨੂੰ ਮਜ਼ਬੂਤ ਕਰਨ ਨੂੰ ਤਰਜੀਹ ਦਿੱਤੀ ਹੈ. ਅਸੀਂ ਮੰਨਦੇ ਹਾਂ ਕਿ provenance ਲਈ ਕੋਈ ਇੱਕੋ ਇਕ ਹੱਲ ਨਹੀਂ ਹੈ, ਪਰ ਅਸੀਂ provenance ecosystem ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਅਤੇ Sora ਤੋਂ ਬਣੀ ਸਮੱਗਰੀ ਲਈ ਸੰਦਰਭ ਅਤੇ ਪਾਰਦਰਸ਼ਤਾ ਨਿਰਮਾਣ ਵਿੱਚ ਮਦਦ ਕਰਨ ਲਈ ਵਚਨਬੱਧ ਹਾਂ. 

ਸਰਵਜਨਕ ਉਪਲਬਧਤਾ ਲਈ, ਸਾਡੇ provenance safety tooling ਵਿੱਚ ਇਹ ਸ਼ਾਮਲ ਹੋਵੇਗਾ:

• ਸਾਰੇ ਐਸੈਟਾਂ 'ਤੇ C2PA metadata (ਪੁਸ਼ਟੀਯੋਗ ਮੂਲ, ਉਦਯੋਗ ਮਿਆਰ)
• ਡਿਫੌਲਟ ਤੌਰ 'ਤੇ ਐਨੀਮੇਟਡ ਦਿੱਖਣਯੋਗ Sora ਵਾਟਰਮਾਰਕ (ਦਰਸ਼ਕਾਂ ਲਈ ਪਾਰਦਰਸ਼ਤਾ ਕਿ ਇਹ ‘AI’ ਹੈ)
• ਅੰਦਰੂਨੀ reverse video search tool, ਤਾਂ ਜੋ OpenAI ਦੀ Intelligence & Investigation ਟੀਮ ਦੇ ਮੈਂਬਰ ਉੱਚ ਭਰੋਸੇ ਨਾਲ ਅੰਕਣ ਕਰ ਸਕਣ ਕਿ ਸਮੱਗਰੀ Sora ਦੁਆਰਾ ਬਣਾਈ ਗਈ ਹੈ ਜਾਂ ਨਹੀਂ 

ਉਤਪਾਦ ਨੀਤੀ

ਸਾਡੀਆਂ ਨੀਤੀਆਂ Sora ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਹੋਰਾਂ ਨਾਲ ਧੋਖਾਧੜੀ, ਸਕੈਮ ਜਾਂ ਗੁੰਮਰਾਹ ਕਰਨ ਨੂੰ ਮਨ੍ਹਾਂ ਕਰਦੀਆਂ ਹਨ, ਜਿਸ ਵਿੱਚ ਭ੍ਰਮਿਤ ਜਾਣਕਾਰੀ ਦੀ ਰਚਨਾ ਅਤੇ ਫੈਲਾਉਣਾ ਵੀ ਸ਼ਾਮਲ ਹੈ. ਇਹ ਕਿਸੇ ਹੋਰ ਵਿਅਕਤੀ ਦੀ ਲਾਇਕਨੈੱਸ ਨੂੰ ਉਸਦੀ ਇਜਾਜ਼ਤ ਤੋਂ ਬਿਨਾਂ ਵਰਤਣ ਨੂੰ ਵੀ ਮਨ੍ਹਾਂ ਕਰਦੀਆਂ ਹਨ. ਇਨ੍ਹਾਂ ਨੀਤੀਆਂ ਦੀ ਉਲੰਘਣਾ ਕਰਨ 'ਤੇ ਸਮੱਗਰੀ ਹਟਾਈ ਜਾ ਸਕਦੀ ਹੈ ਅਤੇ ਵਰਤੋਂਕਾਰ 'ਤੇ ਕਾਰਵਾਈ ਹੋ ਸਕਦੀ ਹੈ.

ਜਦੋਂ ਕੋਈ ਵਰਤੋਂਕਾਰ ਪ੍ਰੌੰਪਟ ਵਿੱਚ ਕਿਸੇ ਜੀਵਤ ਕਲਾਕਾਰ ਦਾ ਨਾਮ ਵਰਤਦਾ ਹੈ, ਤਾਂ ਮਾਡਲ ਅਜਿਹਾ ਵੀਡੀਓ ਜਨਰੇਟ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਕਿਸੇ ਹੱਦ ਤੱਕ ਉਸ ਕਲਾਕਾਰ ਦੇ ਕੰਮਾਂ ਦੀ ਸ਼ੈਲੀ ਨਾਲ ਮਿਲਦਾ ਹੋਵੇ. ਰਚਨਾਤਮਕਤਾ ਵਿੱਚ ਹੋਰ ਕਲਾਕਾਰਾਂ ਦੀਆਂ ਸ਼ੈਲੀਆਂ ਤੋਂ ਪ੍ਰੇਰਿਤ ਹੋਣ ਦੀ ਬਹੁਤ ਲੰਬੀ ਪਰੰਪਰਾ ਰਹੀ ਹੈ, ਪਰ ਅਸੀਂ ਸਮਝਦੇ ਹਾਂ ਕਿ ਕੁਝ ਸਿਰਜਣਹਾਰਾਂ ਨੂੰ ਚਿੰਤਾਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ. ਅਸੀਂ Sora ਦੇ ਇਸ ਸੰਸਕਰਣ ਲਈ ਸੰਭਲਿਆ ਹੋਇਆ ਰੁਖ ਅਪਣਾਇਆ ਹੈ ਕਿਉਂਕਿ ਅਸੀਂ ਹੋਰ ਸਿੱਖ ਰਹੇ ਹਾਂ ਕਿ ਰਚਨਾਤਮਕ ਭਾਈਚਾਰਾ Sora ਨੂੰ ਕਿਵੇਂ ਵਰਤਦਾ ਹੈ. ਇਸ ਨੂੰ ਸੰਬੋਧਨ ਕਰਨ ਲਈ, ਅਸੀਂ prompt re-writes ਸ਼ਾਮਲ ਕੀਤੀਆਂ ਹਨ ਜੋ ਇਸ ਤਰ੍ਹਾਂ ਡਿਜ਼ਾਇਨ ਕੀਤੀਆਂ ਗਈਆਂ ਹਨ ਕਿ ਜਦੋਂ ਕੋਈ ਵਰਤੋਂਕਾਰ ਕਿਸੇ ਜੀਵਤ ਕਲਾਕਾਰ ਦੀ ਸ਼ੈਲੀ ਵਿੱਚ ਵੀਡੀਓ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੇ ਤਾਂ ਇਹ ਸਰਗਰਮ ਹੋ ਜਾਣ. 

ਸਾਡੇ ਹੋਰ ਉਤਪਾਦਾਂ ਵਾਂਗ, Sora Editor ਜਮ੍ਹਾਂ ਕਰਵਾਏ ਗਏ ਟੈਕਸਟ ਨੂੰ ਹੋਰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ Sora ਲਈ ਪ੍ਰੌੰਪਟ ਬਣਾਉਣ ਵਾਸਤੇ ਦੁਬਾਰਾ ਲਿਖਣ ਲਈ ਇੱਕ LLM ਵਰਤਦਾ ਹੈ. ਇਹ ਪ੍ਰਕਿਰਿਆ ਸਾਡੀਆਂ ਹਦਾਇਤਾਂ ਦੀ ਪਾਲਣਾ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਜਨਤਕ ਸ਼ਖ਼ਸੀਅਤਾਂ ਦੇ ਨਾਮ ਹਟਾਉਣਾ, ਲੋਕਾਂ ਨੂੰ ਖਾਸ ਗੁਣਾਂ ਨਾਲ ਗ੍ਰਾਊਂਡ ਕਰਨਾ, ਅਤੇ ਬ੍ਰਾਂਡ ਕੀਤੀਆਂ ਵਸਤੂਆਂ ਨੂੰ ਸਧਾਰਨ ਢੰਗ ਨਾਲ ਵੇਰਵਾ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ. ਅਸੀਂ ਵੱਖ-ਵੱਖ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਟੈਕਸਟੁਅਲ ਬਲਾਕਲਿਸਟਾਂ ਬਣਾਈ ਰੱਖਦੇ ਹਾਂ, ਜੋ DALL·E 2 ਅਤੇ DALL·E 3 'ਤੇ ਸਾਡੇ ਪਹਿਲਾਂ ਦੇ ਕੰਮ, ਪੇਸ਼ਗੀ ਜੋਖਿਮ ਖੋਜ ਅਤੇ ਰੈਡ ਟੀਮਰਾਂ ਅਤੇ ਸ਼ੁਰੂਆਤੀ ਵਰਤੋਂਕਾਰਾਂ ਦੇ ਨਤੀਜਿਆਂ ਤੋਂ ਜਾਣਕਾਰੀ ਲੈਂਦੀਆਂ ਹਨ. 

OpenAI ਆਪਣੇ ਉਤਪਾਦਾਂ ਦੇ ਜ਼ਿੰਮੇਵਾਰ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ roll-out ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ iterative deployment strategy ਵਰਤਦਾ ਹੈ. ਇਹ ਰੁਖ ਚਰਣਬੱਧ ਰਿਲੀਜ਼ਾਂ, ਜਾਰੀ ਟੈਸਟਿੰਗ ਅਤੇ ਲਗਾਤਾਰ ਨਿਗਰਾਨੀ ਨੂੰ ਵਰਤੋਂਕਾਰ ਫੀਡਬੈਕ ਅਤੇ ਅਸਲ ਦੁਨੀਆ ਦੇ ਡੇਟਾ ਨਾਲ ਜੋੜਦਾ ਹੈ ਤਾਂ ਜੋ ਸਮੇਂ ਦੇ ਨਾਲ ਸਾਡੀ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਨੂੰ ਨਿਖਾਰਿਆ ਅਤੇ ਬਿਹਤਰ ਬਣਾਇਆ ਜਾ ਸਕੇ. ਹੇਠਾਂ ਉਹ ਕੰਮਾਂ ਦੀ ਲੜੀ ਦਿੱਤੀ ਗਈ ਹੈ ਜੋ ਅਸੀਂ Sora ਲਈ ਆਪਣੀ iterative deployment ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਹੈ.

ਕਿਸੇ ਅਸਲੀ ਵਿਅਕਤੀ ਦੀ ਅੱਪਲੋਡ ਕੀਤੀ ਫੋਟੋ ਜਾਂ ਵੀਡੀਓ ਨੂੰ “seed” ਵਜੋਂ ਵਰਤ ਕੇ ਵੀਡੀਓ ਜਨਰੇਟ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਸੰਭਾਵਿਤ ਦੁਰਵਰਤੋਂ ਦਾ ਇੱਕ ਸਾਧਨ ਹੈ, ਜਿਸ ਵੱਲ ਅਸੀਂ ਵਰਤੋਂ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੈਟਰਨਾਂ ਤੋਂ ਸਿੱਖਣ ਲਈ ਖਾਸ ਤੌਰ 'ਤੇ ਕਦਮਬੰਦ ਰੁਖ ਅਪਣਾ ਰਹੇ ਹਾਂ. ਕਲਾਕਾਰਾਂ ਤੋਂ ਮਿਲੇ ਸ਼ੁਰੂਆਤੀ ਫੀਡਬੈਕ ਤੋਂ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਇਹ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਰਚਨਾਤਮਕ ਟੂਲ ਹੈ ਜਿਸਨੂੰ ਉਹ ਕਦਰਦੇ ਹਨ, ਪਰ ਦੁਰਵਰਤੋਂ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਦੇਖਦੇ ਹੋਏ ਅਸੀਂ ਇਸਨੂੰ ਸ਼ੁਰੂ ਵਿੱਚ ਸਾਰੇ ਵਰਤੋਂਕਾਰਾਂ ਲਈ ਉਪਲਬਧ ਨਹੀਂ ਕਰ ਰਹੇ. ਇਸ ਦੀ ਬਜਾਏ, iterative deployment ਦੀ ਆਪਣੀ ਪ੍ਰਥਾ ਦੇ ਅਨੁਸਾਰ, ਲੋਕਾਂ ਦੀਆਂ ਤਸਵੀਰਾਂ ਜਾਂ ਵੀਡੀਓ ਅੱਪਲੋਡ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਕੁਝ ਹੀ ਵਰਤੋਂਕਾਰਾਂ ਨੂੰ ਦਿੱਤੀ ਜਾਵੇਗੀ ਅਤੇ ਅਸੀਂ ਇਸ ਦੀ Sora ਕਮਿਊਨਿਟੀ ਲਈ ਕੀਮਤ ਨੂੰ ਸਮਝਣ ਅਤੇ ਸਿੱਖਦੇ ਹੋਏ ਸੁਰੱਖਿਆ ਲਈ ਆਪਣਾ ਰੁਖ ਢਾਲਣ ਵਾਸਤੇ ਸਰਗਰਮ ਅਤੇ ਗਹਿਰੀ ਨਿਗਰਾਨੀ ਕਰਾਂਗੇ. ਇਸ ਟੈਸਟ ਦੌਰਾਨ ਨਾਬਾਲਗਾਂ ਦੀਆਂ ਤਸਵੀਰਾਂ ਵਾਲੇ ਅੱਪਲੋਡ ਦੀ ਆਗਿਆ ਨਹੀਂ ਹੋਵੇਗੀ.

Sora ਦੇ ਭਵਿੱਖੀ ਸੰਸਕਰਣ reverse embedding search tools ਉੱਤੇ ਖੋਜ ਅਤੇ C2PA ਵਰਗੇ ਪਾਰਦਰਸ਼ਤਾ ਉਪਾਇਆਂ ਦੀ ਲਗਾਤਾਰ ਲਾਗੂਆਤ ਰਾਹੀਂ traceability ਨੂੰ ਹੋਰ ਮਜ਼ਬੂਤ ਕਰਦੇ ਰਹਿਣਗੇ. ਅਸੀਂ provenance ecosystem ਨੂੰ ਵਧਾਉਣ ਅਤੇ ਸੁਧਾਰਣ ਲਈ NGOs ਅਤੇ ਖੋਜ ਸੰਸਥਾਵਾਂ ਨਾਲ ਸੰਭਾਵਿਤ ਭਾਈਵਾਲੀਆਂ ਦੀ ਖੋਜ ਕਰਨ ਅਤੇ Sora ਲਈ ਆਪਣੇ ਅੰਦਰੂਨੀ reverse image tool ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਉਤਸ਼ਾਹਿਤ ਹਾਂ.

ਅਸੀਂ ਪ੍ਰੌੰਪਟ ਸੁਧਾਰਾਂ, ਫੀਡਬੈਕ ਲੂਪਾਂ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਰੋਕਥਾਮਾਂ ਦੀ ਲਗਾਤਾਰ ਪਛਾਣ ਰਾਹੀਂ ਸੰਭਾਵਿਤ ਆਉਟਪੁੱਟ ਪੱਖਪਾਤ ਘਟਾਉਣ ਲਈ ਵਚਨਬੱਧ ਹਾਂ—ਇਹ ਮੰਨਦੇ ਹੋਏ ਕਿ ਅਤਿ-ਸੁਧਾਰ ਵੀ ਉਤਨੇ ਹੀ ਹਾਨੀਕਾਰਕ ਹੋ ਸਕਦੇ ਹਨ. ਅਸੀਂ body image bias ਅਤੇ ਜਨਸੰਖਿਆਗਤ ਨੁਮਾਇੰਦਗੀ ਵਰਗੀਆਂ ਚੁਣੌਤੀਆਂ ਨੂੰ ਮੰਨਦੇ ਹਾਂ ਅਤੇ ਸੰਤੁਲਿਤ ਅਤੇ ਸਮਾਵੇਸ਼ੀ ਆਉਟਪੁੱਟ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਆਪਣੇ ਰੁਖ ਨੂੰ ਨਿਖਾਰਦੇ ਰਹਾਂਗੇ.

OpenAI Sora ਦੇ ਲਗਾਤਾਰ ਮੁਲਾਂਕਣ ਜਾਰੀ ਰੱਖਣ ਅਤੇ OpenAI ਦੀਆਂ ਨੀਤੀਆਂ ਅਤੇ ਸੁਰੱਖਿਆ ਮਿਆਰਾਂ ਦੀ ਪਾਲਣਾ ਨੂੰ ਹੋਰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਯਤਨ ਕਰਨ ਦੀ ਯੋਜਨਾ ਰੱਖਦਾ ਹੈ. ਲਾਇਕਨੈੱਸ ਸੁਰੱਖਿਆ ਅਤੇ ਧੋਖੇਬਾਜ਼ ਸਮੱਗਰੀ ਵਰਗੇ ਖੇਤਰਾਂ ਵਿੱਚ ਹੋਰ ਸੁਧਾਰਾਂ ਦੀ ਵੀ ਯੋਜਨਾ ਹੈ, ਜੋ ਵਿਕਸਿਤ ਹੋ ਰਹੀਆਂ ਸਭ ਤੋਂ ਵਧੀਆ ਪ੍ਰਥਾਵਾਂ ਅਤੇ ਵਰਤੋਂਕਾਰ ਫੀਡਬੈਕ ਦੇ ਆਧਾਰ 'ਤੇ ਹੋਣਗੇ.

OpenAI ਦੀਆਂ ਸਾਰੀਆਂ ਅੰਦਰੂਨੀ ਟੀਮਾਂ ਦਾ ਧੰਨਵਾਦ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ Comms, Comms Design, ਗਲੋਬਲ ਅਫੇਅਰਜ਼, Integrity, Intel & Investigations, Legal, Product Policy, Safety Systems ਅਤੇ User Ops ਸ਼ਾਮਲ ਹਨ, ਜਿਨ੍ਹਾਂ ਦੇ ਸਹਿਯੋਗ ਨੇ Sora ਦੀਆਂ ਸੁਰੱਖਿਆ ਰੋਕਥਾਮਾਂ ਨੂੰ ਵਿਕਸਿਤ ਕਰਨ ਅਤੇ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਅਹਿਮ ਭੂਮਿਕਾ ਨਿਭਾਈ, ਨਾਲ ਹੀ ਇਸ ਸਿਸਟਮ ਕਾਰਡ ਵਿੱਚ ਉਨ੍ਹਾਂ ਦੇ ਯੋਗਦਾਨ ਲਈ ਵੀ.

ਅਸੀਂ ਆਪਣੇ Alpha ਕਲਾਕਾਰਾਂ ਦੇ ਸਮੂਹ ਅਤੇ ਆਪਣੇ ਮਾਹਰ ਰੈਡ ਟੀਮਰਾਂ ਦੇ ਆਭਾਰੀ ਹਾਂ, ਜਿਨ੍ਹਾਂ ਨੇ ਫੀਡਬੈਕ ਦਿੱਤਾ, ਵਿਕਾਸ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਅਾਂ ਵਿੱਚ ਸਾਡੇ ਮਾਡਲਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕੀਤੀ ਅਤੇ ਸਾਡੇ ਜੋਖਿਮ ਮੁਲਾਂਕਣਾਂ ਅਤੇ ਇਵੈਲੂਏਸ਼ਨਾਂ ਨੂੰ ਜਾਣਕਾਰੀ ਦਿੱਤੀ. ਟੈਸਟਿੰਗ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਭਾਗ ਲੈਣਾ OpenAI ਦੀਆਂ ਡਿਪਲੌਇਮੈਂਟ ਯੋਜਨਾਵਾਂ ਜਾਂ OpenAI ਦੀਆਂ ਨੀਤੀਆਂ ਦਾ ਸਮਰਥਨ ਨਹੀਂ ਹੈ.

• ਰੈਡ ਟੀਮਿੰਗ ਵਿਅਕਤੀ (ਵਰਨਮਾਲਾ ਅਨੁਸਾਰ): Alexandra García Pérez, Arjun Singh Puri, Caroline Friedman Levy, Dani Madrid-Morales, Emily Lynell Edwards, Grant Brailsford, Herman Wasserman, Javier García Arredondo, Kate Turetsky, Kelly Bare, Matt Groh, Maximilian Müller, Naomi Hart, Nathan Heath, Patrick Caughey, Per Wikman Svahn, Rafael González-Vázquez, Sara Kingsley, Shelby Grossman, Vincent Nestler
• ਰੈਡ ਟੀਮਿੰਗ ਸੰਸਥਾਵਾਂ: ScaleAI