ਐਨ ਏਲੀਅਨ ਮਾਇੰਡ

2023 ਦੇ ਮੱਧ ਵਿੱਚ “RLSlow” ਖੋਜ ਪ੍ਰੋਜੈਕਟ ਅੰਦਰ ਸਾਨੂੰ ਪਹਿਲੇ ਨਤੀਜੇ ਮਿਲੇ ਜਿਨ੍ਹਾਂ ਨੇ ਭਰੋਸਾ ਦਿੱਤਾ ਕਿ ਅਸੀਂ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲਾਂ ਦੀ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਵੱਡੇ ਪੱਧਰ ’ਤੇ ਲੈ ਜਾ ਸਕਾਂਗੇ ਅਤੇ ਪ੍ਰੀਟ੍ਰੇਨ ਮਾਡਲਾਂ ਦੀ ਆਪਣੀ ਚੇਨ-ਆਫ-ਥੌਟ ਬਣਾਉਣ ਦੀ ਸਮਰੱਥਾ ਖੋਲ੍ਹ ਸਕਾਂਗੇ. Szymon ਅਤੇ ਮੈਂ ਉਹ ਰਾਤ ਦਫ਼ਤਰ ਵਿੱਚ ਬਿਤਾਈ. ਅਸੀਂ ਇਸ ਤਕਨਾਲੋਜੀ ਤੋਂ ਮਿਲਣ ਵਾਲੇ ਹੈਰਾਨੀਜਨਕ ਮਾਪਦੰਡ ਅੰਕੜਿਆਂ, ਉਤਪਾਦਾਂ ਜਾਂ ਵਿਗਿਆਨਕ ਨਤੀਜਿਆਂ ਬਾਰੇ ਨਹੀਂ ਸੋਚ ਰਹੇ ਸਾਂ. ਅਸੀਂ ਇਸ ਗੰਭੀਰ ਹਕੀਕਤ ਨੂੰ ਸਮਝਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਸਾਂ ਕਿ ਆਪਣੇ ਜੀਵਨਕਾਲ ਵਿੱਚ ਅਸੀਂ ਸੱਚਮੁੱਚ ਆਪਣੇ ਨਾਲੋਂ ਅਰਥਪੂਰਨ ਤੌਰ ’ਤੇ ਸਮਾਰਟ ਮਸ਼ੀਨਾਂ ਦੇਖਾਂਗੇ ਅਤੇ ਇਹਨਾਂ ਪ੍ਰਣਾਲੀਆਂ ਦਾ ਰੂਪ ਸਾਨੂੰ ਹੁਣੇ ਹੀ ਦਿਖ ਰਿਹਾ ਹੈ. ਅਸੀਂ ਸੋਚ ਰਹੇ ਸਾਂ ਕਿ ਲੋਕਾਂ ਨੂੰ ਇਸ ਦੀ ਮਹੱਤਤਾ ਤੋਂ ਕਿਵੇਂ ਜਾਣੂ ਕਰਵਾਈਏ.

ਤਿੰਨ ਸਾਲ ਬਾਅਦ, ਰੀਜ਼ਨਿੰਗ ਭਾਸ਼ਾ ਮਾਡਲ ਅਰਥਵਿਵਸਥਾ ਦਾ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦਾ ਹਿੱਸਾ ਹਨ ਅਤੇ ਵਿਗਿਆਨ ਦੀਆਂ ਹੱਦਾਂ ਨੂੰ ਅੱਗੇ ਧੱਕਣ ਲੱਗੇ ਹਨ. ਉਹ ਕੰਪਿਊਟਰ ਅਤੇ ਗ੍ਰਾਫ਼ਿਕਲ ਇੰਟਰਫੇਸ ਚਲਾ ਸਕਦੇ ਹਨ, ਲੋਕਾਂ ਅਤੇ ਇੱਕ-ਦੂਜੇ ਨਾਲ ਸਹਿਯੋਗ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ ਖੋਜ ਪ੍ਰੋਜੈਕਟ ਪੂਰੇ ਕਰ ਸਕਦੇ ਹਨ. ਉਹ ਕੰਪਿਊਟਰ ਸੁਰੱਖਿਆ ਦਾ ਪਰਿਦ੍ਰਿਸ਼ ਵੀ ਬਦਲ ਰਹੇ ਹਨ ਅਤੇ ਇਸ ਨਾਲ ਸਪਸ਼ਟ ਨਵੇਂ ਖ਼ਤਰੇ ਪੈਦਾ ਹੋ ਰਹੇ ਹਨ.

ਇਸ ਦੌਰ ਵਿੱਚ ਬਹੁਤ ਨਵੀਂ ਖੋਜ ਹੋਈ ਅਤੇ ਇਹਨਾਂ ਪ੍ਰਣਾਲੀਆਂ ਬਾਰੇ ਸਾਡੀ ਸਮਝ ਮੁੜ 2023 ਨਾਲੋਂ ਕੁਝ ਵੱਖਰੀ ਹੈ. ਅੰਦਰੂਨੀ ਨਤੀਜਿਆਂ ਦੇ ਆਧਾਰ ’ਤੇ ਮੈਨੂੰ ਪੂਰੀ ਉਮੀਦ ਹੈ ਕਿ ਤਰੱਕੀ ਦੀ ਇਹ ਰਫ਼ਤਾਰ ਦੁਹਰਾਓ-ਅਧਾਰਿਤ ਸਵੈ-ਸੁਧਾਰ ਤੱਕ ਜਾਰੀ ਰਹਿ ਸਕਦੀ ਹੈ. ਜੇ AI ਦਾ ਵਿਕਾਸ ਮੌਜੂਦਾ ਰਾਹ ’ਤੇ ਜਾਰੀ ਰਿਹਾ, ਤਾਂ ਅਗਲੇ ਕੁਝ ਸਾਲਾਂ ਵਿੱਚ ਦਿਖਣ ਵਾਲੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਸਮਰੱਥਾ ਦੀਆਂ ਅਜਿਹੀਆਂ ਹੋਰ ਛਾਲਾਂ ਆਉਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ ਜੋ ਬਰਾਬਰ ਜਾਂ ਵੱਡੀਆਂ ਹੋਣਗੀਆਂ, ਅਤੇ ਉਹ ਆਪਣਾ ਵਿਕਾਸ ਲਗਾਤਾਰ ਵੱਧ ਆਪ ਚਲਾਉਣਗੀਆਂ.

ਇਸ ਸਮੇਂ ਬੇਹੱਦ ਸਾਵਧਾਨੀ ਦੀ ਲੋੜ ਹੈ. ਮੈਨੂੰ ਚਿੰਤਾ ਹੈ ਕਿ ਮਸ਼ੀਨ ਇੰਟੈਲੀਜੈਂਸ ਵਿੱਚ ਲਗਾਤਾਰ ਤੇਜ਼ ਵਾਧੇ ਦੇ ਨਤੀਜਿਆਂ ਲਈ ਕੋਈ ਵੀ ਤਿਆਰ ਨਹੀਂ ਹੈ. OpenAI ਅਲਾਈਨਮੈਂਟ ਅਤੇ ਨਿਗਰਾਨੀ ਦੇ ਤਕਨੀਕੀ ਹੱਲ ਲੱਭਣਾ, ਰੱਖਿਆ ਪ੍ਰਣਾਲੀਆਂ ਬਣਾਉਣਾ ਅਤੇ ਲੋੜ ਅਨੁਸਾਰ ਇਕਪਾਸੜ ਤੌਰ ’ਤੇ ਹੋਰ ਵਿਸਤਾਰ ਰੋਕਣਾ ਜਾਰੀ ਰੱਖੇਗਾ. ਪਰ ਮੇਰਾ ਮੰਨਣਾ ਹੈ ਕਿ ਵਧੇਰੇ ਵਿਆਪਕ ਦਖ਼ਲਾਂ ਦੀ ਲੋੜ ਹੈ.

ਵਿਆਪਕ ਪੱਧਰ ’ਤੇ ਮਸ਼ੀਨ ਇੰਟੈਲੀਜੈਂਸ ਦੀ ਤਰੱਕੀ ਵਧਦੀ ਗਣਨਾਤਮਕ ਸ਼ਕਤੀ ਨਾਲ ਚਲਦੀ ਹੈ. ਕਈ ਖੋਜ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਵਿਸਤਾਰ ਤੋਂ ਲਗਾਤਾਰ ਲਾਭ ਦੇਖਣ ਤੋਂ ਬਾਅਦ, OpenAI ਵਿੱਚ ਅਸੀਂ 2017 ਦੇ ਆਸ-ਪਾਸ ਇਸ ਗੱਲ ਨੂੰ ਡੂੰਘਾਈ ਨਾਲ ਸਮਝ ਲਿਆ ਸੀ¹. ਨਤੀਜੇ ਵਜੋਂ, ਅਸੀਂ ਮੁੱਢਲੀ ਯੋਜਨਾ ਨਾਲੋਂ ਕਿਤੇ ਵੱਧ ਗਣਨਾ ਤੱਕ ਪਹੁੰਚ ਹਾਸਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਅਤੇ ਆਪਣੀ ਖੋਜ ਨੂੰ ਕੁਝ ਬਹੁਤ ਵਿਸਤਾਰਯੋਗ ਦਿਸ਼ਾਵਾਂ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਲਗਾਤਾਰ ਵੱਧ ਕੇਂਦਰਿਤ ਕੀਤਾ. ਸਾਡਾ ਮੰਨਣਾ ਸੀ ਕਿ AI ਖੋਜ ਦੇ ਅਤਿ-ਆਧੁਨਿਕ ਸਿਰੇ ’ਤੇ ਰਹਿਣ ਅਤੇ AGI ਦੇ ਪ੍ਰਭਾਵਾਂ ਨੂੰ ਦਿਸ਼ਾ ਦੇਣ ਦਾ ਸਾਡੇ ਲਈ ਇਹੋ ਇੱਕ ਤਰੀਕਾ ਸੀ.

ਇਸ ਸਫ਼ਰ ਦੌਰਾਨ ਨਵੇਂ ਐਲਗੋਰਿਦਮ ਵਿਕਸਿਤ ਹੋਏ ਹਨ ਅਤੇ ਟੀਮਾਂ ਤੇ ਵਿਅਕਤੀਗਤ ਖੋਜਕਾਰਾਂ ਨੇ ਸੂਝ-ਬੂਝ ਦੇ ਨਵੇਂ ਕਾਰਨਾਮੇ ਕੀਤੇ ਹਨ. ਮੈਂ ਇਨ੍ਹਾਂ ਨੂੰ ਮੁੱਖ ਤੌਰ ’ਤੇ ਵਿਸਤਾਰ ਦੇ ਰਾਹ ਵਿੱਚ ਹੋਈਆਂ ਖੋਜਾਂ ਵਜੋਂ ਦੇਖਦਾ ਹਾਂ. ਡੀਪ ਲਰਨਿੰਗ ਦਾ ਵਿਗਿਆਨ ਅਜੇ ਮੁੱਢਲੇ ਦੌਰ ਵਿੱਚ ਹੈ ਅਤੇ ਅਰਥਪੂਰਨ ਐਲਗੋਰਿਦਮਕ ਤਰੱਕੀ ਅਕਸਰ ਗਣਨਾ ਤੱਕ ਪਹੁੰਚ ਨਾਲ ਜੁੜੀ ਹੁੰਦੀ ਹੈ. ਜੇ ਤੁਸੀਂ ਕਈ ਸਾਲਾਂ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਦੇਖੋ, ਤਾਂ ਵੱਡੇ ਕੰਪਿਊਟਰਾਂ ਤੱਕ ਵਿਸਤਾਰ ਨਾਲ AI ਲਗਾਤਾਰ ਹੋਰ ਬੁੱਧੀਮਾਨ ਬਣ ਰਹੀ ਹੈ.

ਵੀਹਵੀਂ ਸਦੀ ਦੇ ਅੰਤ ਵਿੱਚ Ray Kurzweil ਵੱਲੋਂ ਕੀਤੀਆਂ ਭਵਿੱਖਬਾਣੀਆਂ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਦੇ ਅਨੁਸਾਰ, ਅਸੀਂ ਹੁਣ ਕੰਪਿਊਟਿੰਗ ਇਤਿਹਾਸ ਦੇ ਉਸ ਪਲ ’ਤੇ ਹਾਂ ਜਿੱਥੇ ਮਸ਼ੀਨਇੰਟੈਲੀਜੈਂਸ ਬਦਲਾਅਕਾਰੀ ਢੰਗ ਨਾਲ ਮਨੁੱਖੀ ਬੁੱਧੀ ਤੋਂ ਅੱਗੇ ਨਿਕਲਣ ਲੱਗੀ ਹੈ.

AI ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨ ਨਾਲੋਂ ਵੱਧ ਵਿਕਸਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ. ਮੁੱਖ ਤੌਰ ’ਤੇ ਇਹ ਕਲਪਨਾ ਤੋਂ ਪਰੇ ਗਣਨਾ ਉੱਤੇ ਇੱਕ ਸਿੱਧੇ ਔਪਟੀਮਾਈਜੇਸ਼ਨ ਕਦਮ ਨੂੰ ਬਹੁਤ ਵਾਰ ਦੁਹਰਾਉਣ ਦਾ ਨਤੀਜਾ ਹੈ. ਇਸ ਨਾਲ ਇੱਕ ਬੇਹੱਦ ਗੁੰਝਲਦਾਰ ਪ੍ਰਣਾਲੀ ਬਣਦੀ ਹੈ ਜੋ ਅਮੂਰਤ ਧਾਰਨਾਵਾਂ ਉੱਤੇ ਕੰਮ ਕਰਦੀ ਹੈ ਅਤੇ ਮਨੁੱਖੀ ਵਿਹਾਰ ਦੇ ਵੱਖ-ਵੱਖ ਪਹਿਲੂਆਂ ਦੀ ਨਕਲ ਕਰ ਸਕਦੀ ਹੈ. ਅਸੀਂ ਤੰਤੂ-ਵਿਗਿਆਨ ਵਰਗੀ ਪ੍ਰਕਿਰਿਆ ਰਾਹੀਂ ਇਸ ਪ੍ਰਣਾਲੀ ਅੰਦਰ ਉੱਭਰਨ ਵਾਲੀਆਂ ਛੋਟੀਆਂ ਵਿਧੀਆਂ ਬਾਰੇ ਵੱਖ-ਵੱਖ ਸੂਝਾਂ ਹਾਸਲ ਕਰ ਸਕਦੇ ਹਾਂ. ਪਰ ਤੰਤੂ-ਵਿਗਿਆਨ ਵਾਂਗ ਹੀ ਇਸ ਦੀ ਸਮੁੱਚੀ ਕਾਰਵਾਈ ਅਜਿਹੇ ਵਰਣਨ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੀ ਹੈ ਜਿਸ ਨੂੰ ਅਸੀਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਮਝ ਸਕੀਏ.

ਡੀਪ ਲਰਨਿੰਗ-ਅਧਾਰਿਤ AI ਦਾ ਅਧਿਐਨ ਮੁੱਖ ਤੌਰ ’ਤੇ ਇੱਕ ਪ੍ਰਯੋਗਾਤਮਕ ਵਿਗਿਆਨ ਹੈ. ਅਸੀਂ ਸਿਧਾਂਤਕ ਆਧਾਰ ਵਾਲੇ ਐਲਗੋਰਿਦਮ ਬਣਾਉਣ ਅਤੇ ਪਰਖਣਯੋਗ ਭਵਿੱਖਬਾਣੀਆਂ ਕਰਨ ਲਈ ਬਹੁਤ ਯਤਨ ਕਰਦੇ ਹਾਂ⁠. ਪਰ ਬੁਨਿਆਦੀ ਤੌਰ ’ਤੇ ਸਾਡੀਆਂ ਲਾਰਜ-ਸਕੇਲ ਟ੍ਰੇਨਿੰਗ ਪ੍ਰਕਿਰਿਆਵਾਂ ਪ੍ਰਯੋਗ ਹਨ ਅਤੇ ਕਈ ਵਾਰ ਉਨ੍ਹਾਂ ਦੇ ਨਤੀਜੇ ਸਾਨੂੰ ਹੈਰਾਨ ਕਰਦੇ ਹਨ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਪ੍ਰਣਾਲੀਆਂ ਦੇ ਵਧੇਰੇ ਸਮਰੱਥ ਹੋਣ ਨਾਲ ਨਤੀਜਿਆਂ ਦੀ ਵਿਆਖਿਆ ਕਰਨੀ ਹੋਰ ਔਖੀ ਹੋ ਜਾਂਦੀ ਹੈ.

ਇਹ ਗੱਲ ਇਸ ਕਾਰਨ ਹੋਰ ਗੁੰਝਲਦਾਰ ਹੋ ਜਾਂਦੀ ਹੈ ਕਿ ਮੌਜੂਦਾ ਐਲਗੋਰਿਦਮ ਆਮ ਤੌਰ ’ਤੇ ਸੌਖਿਆਂ ਮਾਪੀਆਂ ਜਾਣ ਵਾਲੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਸਮਰੱਥਾਵਾਂ ਨਾਲੋਂ ਤੇਜ਼ੀ ਨਾਲ ਸੁਧਾਰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਨਿਰਪੱਖ ਢੰਗ ਨਾਲ ਮਾਪਣਾ ਔਖਾ ਹੈ. ਅਸੀਂ ਇਹ ਸਮਝਣ ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਲਾਉਂਦੇ ਹਾਂ ਕਿ ਸਮਰੱਥਾਵਾਂ ਕਿਵੇਂ ਸਧਾਰਨੀਕਰਨ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਅਗਲੇ ਕੁਝ ਸਾਲਾਂ ਵਿੱਚ ਸਭ ਤੋਂ ਢੁੱਕਵੇਂ ਹੋਣ ਵਾਲੇ ਹੁਨਰ ਅੱਗੇ ਵਧਾਉਣ ਲਈ ਕਿਸ ਚੀਜ਼ ਨੂੰ ਤਰਜੀਹ ਦਿੱਤੀ ਜਾਵੇ. ਮਿਸਾਲ ਵਜੋਂ, ਸਾਡਾ ਮੰਨਣਾ ਹੈ ਕਿ ਵਾਧੂ ਧਿਆਨ ਦੇ ਕੇ ਅਸੀਂ ਮਾਡਲਾਂ ਨੂੰ ਖ਼ਾਸ ਤੌਰ ’ਤੇ ਗਣਿਤ ਖੋਜ ਵਿੱਚ ਬਿਹਤਰ ਬਣਾ ਸਕਦੇ ਹਾਂ. ਪਰ RSI ਅਤੇ ਸਵੈਚਾਲਿਤ ਅਲਾਈਨਮੈਂਟ ਖੋਜ ਦੀ ਜ਼ਰੂਰੀ ਲੋੜ ਕਾਰਨ ਅਸੀਂ ਇਸ ਦਿਸ਼ਾ ਨੂੰ ਤਰਜੀਹ ਨਹੀਂ ਦਿੰਦੇ, ਜਿਵੇਂ ਮੈਂ ਅੱਗੇ ਚਰਚਾ ਕਰਾਂਗਾ.

ਡੀਪ ਲਰਨਿੰਗ ਨੂੰ ਵੱਡੇ ਪੱਧਰ ’ਤੇ ਲਿਜਾਣ ਨਾਲ ਪੈਦਾ ਹੋਈ ਇੰਟੈਲੀਜੈਂਸ ਦੀ ਮਨੁੱਖੀ ਇੰਟੈਲੀਜੈਂਸ ਨਾਲ ਸਿੱਧੀ ਤੁਲਨਾ ਨਹੀਂ ਕੀਤੀ ਜਾ ਸਕਦੀ. ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ, ਬਹੁਤ ਲਾਭਦਾਇਕ ਜਾਂ ਬਹੁਤ ਖ਼ਤਰਨਾਕ ਬਣਨ ਲਈ AI ਨੂੰ ਹਰ ਮਨੁੱਖੀ ਸਮਰੱਥਾ ਦੇ ਬਰਾਬਰ ਜਾਂ ਉਸ ਤੋਂ ਅੱਗੇ ਜਾਣ ਦੀ ਲੋੜ ਨਹੀਂ. ਉਸ ਨੂੰ ਸਿਰਫ਼ ਕਾਫ਼ੀ ਸਮਰੱਥਾਵਾਂ ਵਿੱਚ ਅੱਗੇ ਨਿਕਲਣਾ ਹੈ. ਅਤੇ ਜਿਵੇਂ-ਜਿਵੇਂ ਉਹ ਹੋਰ ਪਹਿਲੂਆਂ ਵਿੱਚ ਮਨੁੱਖਾਂ ਤੋਂ ਅੱਗੇ ਨਿਕਲਦੀ ਹੈ, ਇਹ ਸਮਝਣਾ ਲਗਾਤਾਰ ਔਖਾ ਹੁੰਦਾ ਜਾਂਦਾ ਹੈ ਕਿ ਉਹ ਅਸਲ ਵਿੱਚ ਕਿੰਨੀ ਸਮਰੱਥ ਹੈ.

ਕਿਉਂਕਿ ਮਸ਼ੀਨ ਇੰਟੈਲੀਜੈਂਸ ਮਨੁੱਖੀ ਇੰਟੈਲੀਜੈਂਸ ਨਾਲੋਂ ਬੁਨਿਆਦੀ ਤੌਰ ’ਤੇ ਵੱਖਰੀ ਪ੍ਰਕਿਰਿਆ ਤੋਂ ਪੈਦਾ ਹੁੰਦੀ ਹੈ, ਅਸੀਂ ਇਹ ਨਹੀਂ ਮੰਨ ਸਕਦੇ ਕਿ ਉਹ ਆਪਣੇ ਆਪ ਮਨੁੱਖੀ ਸਿਧਾਂਤਾਂ ਦੀ ਪਾਲਣਾ ਕਰੇਗੀ ਜਾਂ ਉਨ੍ਹਾਂ ਤੋਂ ਮਨੁੱਖਾਂ ਵਾਂਗ ਸਧਾਰਨੀਕਰਨ ਕਰੇਗੀ. AI ਖੋਜ ਦੀ ਮੁੱਖ ਸਮੱਸਿਆ ਅਲਾਈਨਮੈਂਟ ਹੈ, ਮਤਲਬ AI ਨੂੰ ਮਨੁੱਖੀ ਮਾਪਦੰਡਾਂ ਅਨੁਸਾਰ “ਸਹੀ ਕੰਮ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼” ਕਰਨ ਲਈ ਤਿਆਰ ਕਰਨਾ.

ਵਿਹਾਰਕ ਖੋਜ ਦੀਆਂ ਦਿਸ਼ਾਵਾਂ ਨੂੰ ਵਿਵਸਥਿਤ ਕਰਨ ਲਈ ਮੈਨੂੰ ਟੀਚਾ ਅਲਾਈਨਮੈਂਟ ਅਤੇ ਮੁੱਲ ਅਲਾਈਨਮੈਂਟ ਵਿਚਕਾਰ ਫ਼ਰਕ ਕਰਨਾ ਲਾਭਦਾਇਕ ਜਾਪਦਾ ਹੈ.

ਮੋਟੇ ਤੌਰ ’ਤੇ ਟੀਚਾ ਅਲਾਈਨਮੈਂਟ ਦਾ ਸਵਾਲ ਹੈ: “ਕੀ AI ਆਪਣੇ ਸਾਹਮਣੇ ਰੱਖੇ ਟੀਚੇ ਨੂੰ ਪੂਰਾ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀ ਹੈ?”. ਇਸ ਵਿੱਚ ਹਦਾਇਤਾਂ ਦੀ ਤਰਤੀਬ⁠ ਦੀ ਪਾਲਣਾ ਜਾਂ ਲੋਕਾਂ ਨਾਲ ਸੰਚਾਰ ਅਤੇ ਸਹਿਯੋਗ ਕਰਕੇ ਉਨ੍ਹਾਂ ਦੇ ਉਦੇਸ਼ ਸਮਝਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਵਰਗੀਆਂ ਚੀਜ਼ਾਂ ਸ਼ਾਮਲ ਹੋ ਸਕਦੀਆਂ ਹਨ. ਇਹ ਦਿਸ਼ਾਵਾਂ ਦਾ ਸਮੂਹ ਵਿਹਾਰਕ ਤੌਰ ’ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਪ੍ਰਸੰਗਿਕ ਰਿਹਾ ਹੈ.

ਮੁੱਲ ਅਲਾਈਨਮੈਂਟ ਮਾਡਲ ਦੀ ਇੱਕ ਵਧੇਰੇ ਅੰਤਰ-ਨਿਹਿਤ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ. ਇਹ ਉੱਚ-ਪੱਧਰੀ ਸਿਧਾਂਤਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਨੂੰ ਧਾਰਨ ਕਰਨ ਅਤੇ ਉਨ੍ਹਾਂ ਤੋਂ ਸਧਾਰਨੀਕਰਨ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਹੈ; ਅਸਪਸ਼ਟ ਜਾਂ ਆਪਸ ਵਿੱਚ ਟਕਰਾਉਂਦੇ ਉਦੇਸ਼ ਦਿੱਤੇ ਜਾਣ ’ਤੇ, ਜਾਂ ਅਣਜਾਣ ਜਾਂ ਵਿਰੋਧੀ ਸਥਿਤੀਆਂ ਵਿੱਚ ਰੱਖੇ ਜਾਣ ’ਤੇ ਵੀ “ਵਾਜਬ” ਢੰਗ ਨਾਲ ਕੰਮ ਕਰਨ ਦੀ ਸਮਰੱਥਾ. ਇੱਕ ਅਲਾਈਨਡ AI ਨੂੰ ਇਮਾਨਦਾਰੀ ਅਤੇ ਅਖੰਡਤਾ ਨਾਲ, ਅਤੇ ਮਨੁੱਖਤਾ ਲਈ ਪਿਆਰ ਨਾਲ ਕੰਮ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ.

ਬੇਸ਼ੱਕ, ਮੁੱਲ ਅਤੇ ਟੀਚਾ ਅਲਾਈਨਮੈਂਟ ਵਿਚਲੀ ਹੱਦ ਧੁੰਦਲੀ ਹੋ ਸਕਦੀ ਹੈ ਅਤੇ ਟੀਚਿਆਂ ਦੀ ਸੱਚੀ ਪਰਵਾਹ ਕਰਨ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਪਿੱਛੇ ਦੀ ਮੰਸ਼ਾ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਅਤੇ ਮੁੱਲਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਜ਼ਰੂਰੀ ਹੈ. ਹਾਲਾਂਕਿ, ਆਮ ਤੌਰ ’ਤੇ ਜਦੋਂ ਮੈਂ ਅਲਾਈਨਮੈਂਟ ਖੋਜ ਦੀ ਲੰਬੇ ਸਮੇਂ ਦੀ ਮਹੱਤਤਾ ਬਾਰੇ ਗੱਲ ਕਰਦਾ ਹਾਂ, ਤਾਂ ਮੇਰਾ ਇਸ਼ਾਰਾ ਵੈਲਿਊ ਅਲਾਈਨਮੈਂਟ ਵੱਲ ਹੁੰਦਾ ਹੈ.

AI ਅਲਾਈਨਮੈਂਟ ਦੀ ਬੁਨਿਆਦੀ ਚੁਣੌਤੀ ਸਧਾਰਨੀਕਰਨ ਹੈ. ਜਿਵੇਂ-ਜਿਵੇਂ ਮਸ਼ੀਨਾਂ ਸਮਾਰਟ ਹੁੰਦੀਆਂ ਹਨ, ਉਹ ਉੱਚ-ਪੱਧਰੀ ਧਾਰਨਾਵਾਂ ਉੱਤੇ ਕੰਮ ਕਰਨ ਲੱਗਦੀਆਂ ਹਨ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਅਜਿਹੇ ਮਾਹੌਲਾਂ ਵਿੱਚ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ ਜੋ ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਮਿਲੇ ਮਾਹੌਲਾਂ ਤੋਂ ਲਗਾਤਾਰ ਹੋਰ ਵੱਖਰੇ ਹੁੰਦੇ ਹਨ. ਉਹ ਟ੍ਰੇਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਸਿਖਾਏ ਅਤੇ ਮਜ਼ਬੂਤ ਕੀਤੇ ਮੁੱਲਾਂ ਨੂੰ ਨਵੀਆਂ ਸਥਿਤੀਆਂ ਉੱਤੇ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਅਸਫਲ ਹੋ ਸਕਦੀਆਂ ਹਨ. ਸਾਡੇ ਲਈ ਇਹ ਯਕੀਨੀ ਕਰਨਾ ਵੀ ਔਖਾ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਉਹ ਕਿਵੇਂ ਕੰਮ ਕਰਨਗੀਆਂ. ਇਹ ਗੱਲ ਇਸ ਤੱਥ ਕਾਰਨ ਹੋਰ ਵੀ ਔਖੀ ਹੋ ਜਾਂਦੀ ਹੈ ਕਿ AI ਦੀ ਵਰਤੋਂ ਵਾਲਾ ਸਮੁੱਚਾ ਪਰਿਸਥਿਤੀ-ਤੰਤਰ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਬਦਲ ਰਿਹਾ ਹੈ. ਮਿਸਾਲ ਵਜੋਂ, ਅੱਜ ਟ੍ਰੇਨ ਕੀਤੀ AI ਨੂੰ ਕਈ ਤਰ੍ਹਾਂ ਦੀਆਂ ਹੋਰ AI ਨਾਲ ਮਜ਼ਬੂਤੀ ਨਾਲ ਗੱਲਬਾਤ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਾ ਪਵੇਗਾ. ਸਭ ਤੋਂ ਅਹਿਮ ਗੱਲ ਇਹ ਹੈ ਕਿ ਭਵਿੱਖ ਦੀ AI ਮਨੁੱਖੀ ਮੁੱਲਾਂ ਨੂੰ ਕਾਇਮ ਰੱਖੇ, ਭਾਵੇਂ ਉਸ ਨੂੰ ਲੱਗੇ ਕਿ ਮਨੁੱਖ ਉਸ ਦੀ ਨਿਗਰਾਨੀ ਕਰ ਰਹੇ ਹਨ ਜਾਂ ਨਹੀਂ.

ਇਸ ਵੇਲੇ ਅਲਾਈਨਮੈਂਟ ਟ੍ਰੇਨਿੰਗ ਲਈ ਅਮਲ ਵਿੱਚ ਵਰਤੇ ਜਾਂਦੇ ਤਰੀਕਿਆਂ ਦੀਆਂ ਦੋ ਮੁੱਖ ਸ਼੍ਰੇਣੀਆਂ ਹਨ.

ਪਹਿਲੀ ਸ਼੍ਰੇਣੀ ਟੀਚਾ-ਕੇਂਦਰਿਤ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਅਲਾਈਨ ਕੀਤੇ ਵਿਹਾਰ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦੀ ਹੈ. ਮਾਡਲ ਦੀਆਂ ਕਾਰਵਾਈਆਂ ਦਾ ਮੁਲਾਂਕਣ, ਆਮ ਤੌਰ ’ਤੇ AI ਰਾਹੀਂ, ਇਸ ਆਧਾਰ ’ਤੇ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਕਿ ਉਹ ਦਿੱਤੇ ਤਰਜੀਹੀ ਮਾਡਲ, “ਸਪੈਸੀਫਿਕੇਸ਼ਨ” ਜਾਂ “ਸੰਵਿਧਾਨ” ਨਾਲ ਮੇਲ ਖਾਂਦੀਆਂ ਹਨ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਉਸ ਮੁਤਾਬਕ ਰਿਵਾਰਡ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ. ਇਹ ਪਹੁੰਚ ਆਮ ਹਾਲਾਤ ਵਿੱਚ ਬਹੁਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੋ ਸਕਦੀ ਹੈ ਅਤੇ ਆਧੁਨਿਕ AI ਸਹਾਇਕ ਬਣਾਉਣ ਦੇ ਤਰੀਕੇ ਦਾ ਮੁੱਖ ਹਿੱਸਾ ਹੈ. ਬਦਕਿਸਮਤੀ ਨਾਲ, ਇਹ ਨਾਜ਼ੁਕ ਵੀ ਹੋ ਸਕਦੀ ਹੈ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਨਿਗਰਾਨੀ ਦੀ ਵਿਆਪਕਤਾ ਤੇ ਟ੍ਰੇਨਿੰਗ ਵਿੱਚ ਮਿਲੀਆਂ ਸਥਿਤੀਆਂ ਤੋਂ ਸਧਾਰਨੀਕਰਨ ਕਰਨ ਦੀ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਉੱਤੇ ਬਹੁਤ ਨਿਰਭਰ ਕਰਦੀ ਹੈ. ਮਿਸਾਲ ਵਜੋਂ, OpenAI-Hugging Face ਘਟਨਾ ਵਿੱਚ ਏਜੰਟਾਂ ਨੇ ਮਨੁੱਖਾਂ ਨਾਲ ਸੋਸ਼ਲ ਇੰਜੀਨੀਅਰਿੰਗ ਨਾ ਕਰਨ ਦੀ ਹੱਦ ਕਾਇਮ ਰੱਖੀ. ਪਰ ਉਹ ਸਪਸ਼ਟ ਤੌਰ ’ਤੇ ਹੋਰ ਅਜਿਹੀਆਂ ਕਾਰਵਾਈਆਂ ਤੋਂ ਪਰਹੇਜ਼ ਕਰਨ ਵਿੱਚ ਅਸਫਲ ਰਹੇ ਜੋ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਸਨ ਅਤੇ ਹੋਰ ਸਥਿਤੀਆਂ ਵਿੱਚ ਸਿਖਾਏ ਮੁੱਲਾਂ ਦੀ ਭਾਵਨਾ ਦੇ ਵਿਰੁੱਧ ਸਨ.

ਦੂਜੀ ਪਹੁੰਚ ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਤੋਂ ਸਧਾਰਨੀਕਰਨ ਕਰਨ ਦੀ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਦਾ ਲਾਭ ਲੈਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀ ਹੈ. ਇਸ ਵਿੱਚ ਅਲਾਈਨਮੈਂਟ ਪੈਦਾ ਕਰਨ ਵਾਲੇ ਟ੍ਰੇਨਿੰਗ ਡਾਟਾਸੈੱਟ ਤਿਆਰ ਕਰਨਾ ਜਾਂ ਮਾਡਲ ਨੂੰ ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ ਵੰਡ ਦੇ “ਅਲਾਈਨ ਕੀਤੇ” ਹਿੱਸੇ ਉੱਤੇ ਕੇਂਦਰਿਤ ਕਰਨਾ ਸ਼ਾਮਲ ਹੋ ਸਕਦਾ ਹੈ, ਜਿਵੇਂ ਸ਼ਖ਼ਸੀਅਤ ਚੋਣ ਮਾਡਲ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਵਿੱਚ. ਇਸ ਪਹੁੰਚ ਦੀ ਕਮਜ਼ੋਰੀ ਅਗਲੇ ਅਨੁਕੂਲਨ ਦਬਾਅ ਦਾ ਸਾਹਮਣਾ ਕਰਨ ਦੀ ਮਜ਼ਬੂਤੀ ਦੀ ਘਾਟ ਵਿੱਚ ਹੈ. ਜੇ ਤੁਸੀਂ ਆਮ ਤੌਰ ’ਤੇ “ਅਲਾਈਨ ਕੀਤੇ” ਵਿਚਾਰ ਸੋਚਣ ਵਾਲੇ ਮਾਡਲ ਨੂੰ ਇੰਨੀ ਟ੍ਰੇਨਿੰਗ ਦਿਓ ਜਿਸ ਵਿੱਚ ਉਸ ਨੂੰ ਬਹੁਤ ਔਖੇ ਉਦੇਸ਼ ਹਾਸਲ ਕਰਨੇ ਸਿਖਾਏ ਜਾਣ, ਤਾਂ ਉਹ ਪ੍ਰੇਰਿਤ ਢੰਗ ਨਾਲ ਰੀਜ਼ਨਿੰਗ ਕਰਨੀ ਸਿੱਖ ਸਕਦਾ ਹੈ. ਮਤਲਬ ਟੀਚਾ ਹਾਸਲ ਕਰਨ ਲਈ ਲੋੜ ਮੁਤਾਬਕ 'ਅਲਾਈਨ ਕੀਤੇ' ਜਾਪਦੇ ਵਿਚਾਰਾਂ ਨੂੰ ਮੋੜਨਾ. ਸੰਭਵ ਹੈ ਕਿ ਅਸੀਂ ਹਾਲੀਆ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਘਟਨਾਵਾਂ ਵਿੱਚ ਅਜਿਹੇ ਵਿਹਾਰ ਦੀ ਮਿਸਾਲ ਦੇਖੀ ਹੋਵੇ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਇੱਕ ਗ਼ੈਰ-OpenAI ਮਾਡਲ ਸ਼ਾਮਲ ਸੀ.

ਅਸੀਂ ਇਹਨਾਂ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ ਫੈਲੀਆਂ ਵੱਖ-ਵੱਖ ਪਹੁੰਚਾਂ ਉੱਤੇ ਵੱਡਾ ਨਿਵੇਸ਼ ਕਰਦੇ ਹਾਂ. ਸਾਨੂੰ ਅਰਥਪੂਰਨ ਤਰੱਕੀ ਵੀ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ. GPT‑6 Astra ਪਹਿਲਾ ਮਾਡਲ ਹੈ ਜਿਸ ਨੂੰ ਉਨ੍ਹਾਂ ਕੁਝ ਅਹਿਮ ਸੁਧਾਰਾਂ ਦਾ ਲਾਭ ਮਿਲਿਆ ਹੈ ਜਿਨ੍ਹਾਂ ਉੱਤੇ ਅਸੀਂ ਲੰਮੇ ਸਮੇਂ ਤੋਂ ਕੰਮ ਕਰ ਰਹੇ ਹਾਂ, ਅਤੇ ਇਹ GPT‑5.6 Sol ਨਾਲੋਂ ਕਿਤੇ ਬਿਹਤਰ ਅਲਾਈਨ ਹੈ. ਫਿਰ ਵੀ, ਇਹ ਮੰਨਣਾ ਅਤੇ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਮਾਡਲਾਂ ਦੇ ਵਧੇਰੇ ਸਮਰੱਥ ਹੋਣ ਨਾਲ ਕਿਤੇ ਵੱਧ ਤਰੱਕੀ ਦੀ ਲੋੜ ਹੈ. ਇਹ ਵੀ ਸੰਭਵ ਹੈ ਕਿ ਸਧਾਰਨੀਕਰਨ ਯੋਗ ਅਲਾਈਨਮੈਂਟ ਦੀ ਤਰੱਕੀ, ਮਾਡਲ ਦੀ ਸਮੁੱਚੀ ਬੁੱਧੀ ਵਿੱਚ ਤਰੱਕੀ ਤੋਂ ਲੋੜੀਂਦੀ ਹੱਦ ਤੱਕ ਅੱਗੇ ਨਾ ਨਿਕਲੇ.

ਸਾਡੇ ਕੋਲ ਸਧਾਰਨੀਕਰਨ ਦਾ ਕੋਈ ਤਸੱਲੀਬਖ਼ਸ਼ ਸਿਧਾਂਤ ਨਹੀਂ ਹੈ ਅਤੇ ਘੱਟੋ-ਘੱਟ ਵਧੇਰੇ ਸ਼ਕਤੀਸ਼ਾਲੀ AI ਦੀ ਮਦਦ ਤੋਂ ਬਿਨਾਂ, ਛੇਤੀ ਅਜਿਹਾ ਸਿਧਾਂਤ ਵਿਕਸਿਤ ਹੋਣ ਦੀ ਸੰਭਾਵਨਾ ਘੱਟ ਜਾਪਦੀ ਹੈ. ਇਸ ਲਈ, ਫ਼ਿਲਹਾਲ ਆਪਣੀਆਂ ਅਲਾਈਨਮੈਂਟ ਤਕਨੀਕਾਂ ਨੂੰ ਤਜਰਬੇ ਦੇ ਆਧਾਰ ’ਤੇ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਦੀ ਸਾਡੀ ਸਮਰੱਥਾ ਅਮਲ ਵਿੱਚ ਸ਼ਾਇਦ ਉਨ੍ਹਾਂ ਤਕਨੀਕਾਂ ਨਾਲੋਂ ਵੀ ਵੱਧ ਮਹੱਤਵਪੂਰਨ ਹੈ.

ਇੱਥੇ OpenAI ਦਾ ਮੁੱਖ ਦਾਅ ਚੇਨ-ਆਫ-ਥੌਟ ਦੀ ਨਿਗਰਾਨੀ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਉੱਤੇ ਰਿਹਾ ਹੈ. ਇਹ ਇੱਕ ਆਕਰਸ਼ਕ ਅਤੇ ਵਿਸਤਾਰਯੋਗ ਵਿਚਾਰ ’ਤੇ ਆਧਾਰਿਤ ਹੈ: ਮਾਡਲ ਦੀ ਬਹੁਤ ਸਾਰੀ ਸਮਰੱਥਾ ਸ਼ਬਦਾਂ ਵਿੱਚ ਪ੍ਰਗਟ ਕੀਤੀ ਰੀਜ਼ਨਿੰਗ ਪ੍ਰਕਿਰਿਆ (ਚੇਨ-ਆਫ-ਥੌਟ) ਤੋਂ ਆਉਂਦੀ ਹੈ. ਜੇ ਅਸੀਂ ਉਸ ਪ੍ਰਕਿਰਿਆ ਦੇ ਨਤੀਜਿਆਂ ਉੱਤੇ ਔਪਟੀਮਾਈਜੇਸ਼ਨ ਨੂੰ ਵੱਡੇ ਪੱਧਰ ’ਤੇ ਲੈ ਜਾਈਏ, ਪਰ ਪ੍ਰਕਿਰਿਆ ਦੀ ਖ਼ੁਦ ਨਿਗਰਾਨੀ ਨਾ ਕਰੀਏ, ਤਾਂ ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਉਸ ਚੇਨ-ਆਫ-ਥੌਟ ਨੂੰ ਗ਼ਲਤ ਅਲਾਈਨਮੈਂਟ ਵਾਲੇ ਵਿਚਾਰ ਜਾਂ ਉਦੇਸ਼ ਲੁਕਾਉਣ ਲਈ ਕੋਈ ਸਿੱਧਾ ਪ੍ਰੋਤਸਾਹਨ ਨਹੀਂ ਮਿਲਦਾ. ਇਸ ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਕਿ ਮਾਡਲ ਉਹਨਾਂ ਗ਼ਲਤ ਅਲਾਈਨਮੈਂਟ ਵਾਲੀਆਂ ਪ੍ਰਵਿਰਤੀਆਂ ਨੂੰ ਬਾਹਰ ਪ੍ਰਗਟ ਕਰਨਾ ਸਿੱਖ ਲਵੇਗਾ ਜੋ ਚੇਨ-ਆਫ-ਥੌਟ ਦੀ ਵਰਤੋਂ ’ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਹਨ. ਪਰ ਇਹ ਸਾਨੂੰ ਰੀਜ਼ਨਿੰਗ ਤੋਂ ਹੋਏ ਸਮਰੱਥਾ ਵਾਧੇ ਦੀ ਠੀਕ-ਠੀਕ ਨਿਗਰਾਨੀ ਕਰਨ ਦੇ ਸਕਦਾ ਹੈ.

ਚੇਨ-ਆਫ-ਥੌਟ ਦੀ ਨਿਗਰਾਨੀ ਦੀ ਸੰਭਾਵੀ ਮਹੱਤਤਾ ਸਾਨੂੰ ਉਸੇ ਸਮੇਂ ਸਮਝ ਆ ਗਈ ਸੀ ਜਦੋਂ ਅਸੀਂ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ ਵਿਕਸਿਤ ਕੀਤੇ ਸਨ. ਜਦੋਂ ਅਸੀਂ o1‑preview ਜਾਰੀ ਕੀਤਾ, ਤਾਂ ਲੰਮੇ ਸਮੇਂ ਵਿੱਚ ਇਸ ਨੂੰ ਨਿਗਰਾਨੀ ਦੇ ਦਬਾਅ ਤੋਂ ਬਚਾਉਣ ਲਈ ਅਸੀਂ ਜਾਣਬੁੱਝ ਕੇ ਉਤਪਾਦ ਨੂੰ ਚੇਨ-ਆਫ-ਥੌਟ ਲੁਕਾਉਣ⁠ ਵਾਸਤੇ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਸੀ². ਉਸ ਤੋਂ ਬਾਅਦ ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਅਸੀਂ ਰੀਜ਼ਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਦੀ ਨਿਗਰਾਨੀ ਨਾ ਕਰਨ ਵਾਲਾ ਨਿਯਮ ਕਾਇਮ ਰੱਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਹੈ. CoT ਨਿਗਰਾਨੀ ਇਹ ਅਧਿਐਨ ਕਰਨ ਲਈ ਸਾਡਾ ਬੇਹੱਦ ਮਹੱਤਵਪੂਰਨ ਸਾਧਨ ਬਣ ਗਈ ਕਿ ਸਾਡੇ ਮਾਡਲ ਆਪਣੀ ਟ੍ਰੇਨਿੰਗ ਵੰਡ ਤੋਂ ਕਿਵੇਂ ਸਧਾਰਨੀਕਰਨ ਕਰਦੇ ਹਨ. ਇਸ ਨਾਲ ਅਸੀਂ ਸਿਰਫ਼ ਉਹਨਾਂ ਦੀਆਂ ਕਾਰਵਾਈਆਂ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਉਹਨਾਂ ਦੀ ਅੰਦਰੂਨੀ ਪ੍ਰਕਿਰਿਆ ਵੀ ਦੇਖ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰ ਸਕੇ.

Astra ਸ਼੍ਰੇਣੀ ਦੇ ਮਾਡਲਾਂ ਦਾ ਅਧਿਐਨ ਕਰਦਿਆਂ ਇਹ ਸਾਧਨ ਅਜੇ ਵੀ ਬਹੁਤ ਅਹਿਮ ਹੈ. ਪਰ ਬਦਕਿਸਮਤੀ ਨਾਲ, ਸਾਡੇ ਮੁਲਾਂਕਣ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ CoT ਨਿਗਰਾਨੀ ’ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੀ ਸਾਡੀ ਸਮਰੱਥਾ ਲਗਾਤਾਰ ਘਟ ਰਹੀ ਹੈ. ਇਹ ਕਈ ਕਾਰਕਾਂ ਦੇ ਮਿਲੇ-ਜੁਲੇ ਪ੍ਰਭਾਵ ਕਾਰਨ ਹੈ.

• ਆਧੁਨਿਕ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ o1‑preview ਨਾਲੋਂ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਵਾਤਾਵਰਨਾਂ ਵਿੱਚ ਵਰਤੇ ਜਾਂਦੇ ਹਨ. ਉਹਨਾਂ ਦੀ ਰੀਜ਼ਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਲੋਕਾਂ ਅਤੇ ਹੋਰ AI ਨਾਲ ਸੰਚਾਰ ਕਰਨ ਅਤੇ ਟੂਲ ਵਰਤਣ ਨਾਲ ਲਗਾਤਾਰ ਹੋਰ ਰਲ ਰਹੀ ਹੈ. ਇਹਨਾਂ ਵਿੱਚੋਂ ਕਈ ਗੱਲਾਂ-ਬਾਤਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨੀ ਪੈਂਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਉਹ ਹੱਦ ਧੁੰਦਲੀ ਹੋ ਜਾਂਦੀ ਹੈ ਜੋ ਅਸੀਂ ਕਾਇਮ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹਾਂ.
• AI ਆਪਣੀ ਹੀ ਰੀਜ਼ਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਬਾਰੇ ਸੋਚਣ ਅਤੇ ਉਸ ਨੂੰ ਬਦਲਣ ਵਿੱਚ ਬਿਹਤਰ ਹੋ ਰਹੀ ਹੈ.
• ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਸੁਧਰਨ ਨਾਲ ਅਸੀਂ ਇਹ ਵੀ ਦੇਖਦੇ ਹਾਂ ਕਿ ਸ਼ਬਦਾਂ ਵਿੱਚ ਪ੍ਰਗਟ ਰੀਜ਼ਨਿੰਗ ਬਿਲਕੁਲ ਨਾ ਵਰਤਣ ਦੇ ਬਾਵਜੂਦ ਮਾਡਲ ਕਿਤੇ ਵੱਧ ਸਿਆਣੇ ਹੋ ਰਹੇ ਹਨ.

ਜ਼ਰੂਰੀ ਨਹੀਂ ਕਿ ਇਹਨਾਂ ਚੁਣੌਤੀਆਂ ਨੂੰ ਪਾਰ ਨਾ ਕੀਤਾ ਜਾ ਸਕੇ. ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਅਸੀਂ ਆਪਣੇ ਮਾਡਲਾਂ ਦੀ ਚੇਨ-ਆਫ-ਥੌਟ ਨਿਗਰਾਨੀਯੋਗਤਾ ਸੁਧਾਰਨ ਲਈ ਦਖ਼ਲ ਵਿਕਸਿਤ ਕਰ ਸਕਦੇ ਹਾਂ. ਮਿਸਾਲ ਵਜੋਂ, ਵੱਖ-ਵੱਖ ਔਪਟੀਮਾਈਜੇਸ਼ਨ ਉਦੇਸ਼ਾਂ ਅਤੇ ਮਾਡਲ ਵੱਲੋਂ ਟੈਸਟ ਵੇਲੇ ਵਰਤੀ ਜਾਂਦੀ ਗਣਨਾ ਦੇ ਰੂਪਾਂ ਵਿਚਲੇ ਆਪਸੀ ਪ੍ਰਭਾਵ ਨੂੰ ਬਿਹਤਰ ਸਮਝ ਕੇ. ਮੇਰਾ ਇਹ ਵੀ ਮੰਨਣਾ ਹੈ ਕਿ CoT ਅਤੇ ਸਰਗਰਮ ਨਿਗਰਾਨੀ ਦੇ ਵਿਚਾਰਾਂ ਨੂੰ ਜੋੜਨ ਵਿੱਚ ਬਹੁਤ ਮਹੱਤਵ ਹੋ ਸਕਦਾ ਹੈ. ਮਿਸਾਲ ਵਜੋਂ, ਨੈੱਟਵਰਕ ਦੇ ਅੰਦਰੂਨੀ ਹਿੱਸਿਆਂ ਤੱਕ ਸਿੱਧੀ ਪਹੁੰਚ ਵਾਲੇ ਨਿਗਰਾਨਾਂ ਦੀ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਵੱਡੇ ਪੱਧਰ ’ਤੇ ਲਿਜਾਣਾ, ਜਿਵੇਂ ਅੰਦਰੂਨੀ ਪ੍ਰਗਟਾਵੇ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ). ਅਸੀਂ ਇਹਨਾਂ ਵਿਚਾਰਾਂ ’ਤੇ ਸਰਗਰਮੀ ਨਾਲ ਕੰਮ ਕਰ ਰਹੇ ਹਾਂ. ਫਿਰ ਵੀ, ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ AI ਦੀ ਸਮੁੱਚੀ ਤਰੱਕੀ ਵਿੱਚ ਨਿਗਰਾਨੀ ਉੱਤੇ ਭਰੋਸਾ ਲਗਾਤਾਰ ਵੱਡੀ ਰੁਕਾਵਟ ਬਣੇਗਾ.

ਬਹੁਤ ਸਿਆਣੇ ਮਾਡਲਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਟ੍ਰੇਨ ਕਰਨਾ ਜਾਰੀ ਰੱਖਣ ਦੇ ਹੱਕ ਵਿੱਚ ਮੈਨੂੰ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਦਲੀਲ ਇਹ ਜਾਪਦੀ ਹੈ ਕਿ ਹੋਰ AI ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਖ਼ਤਰਿਆਂ ਵਿਰੁੱਧ ਰੱਖਿਆ ਪ੍ਰਣਾਲੀਆਂ ਬਣਾਉਣੀਆਂ ਜ਼ਰੂਰੀ ਹਨ.

ਇਸ ਸਾਲ ਦੌਰਾਨ ਚਰਚਾ ਵਿੱਚ ਰਿਹਾ ਇੱਕ ਸਪਸ਼ਟ ਖ਼ਤਰਾ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਨਾਲ ਜੁੜਿਆ ਹੈ: ਮਾਡਲ ਕੰਪਿਊਟਰ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਘੁਸਣ ਅਤੇ ਉਹਨਾਂ ਵਿੱਚੋਂ ਨਿਕਲਣ ਦੀ ਸਮਰੱਥਾ ਵਿੱਚ ਮਨੁੱਖਾਂ ਤੋਂ ਅੱਗੇ ਵਧ ਰਹੇ ਹਨ. ਇਸ ਨਾਲ AI ਨਾਲ ਜੁੜੇ ਖ਼ਤਰਿਆਂ ਦਾ ਦਾਇਰਾ ਬੇਹੱਦ ਵਧ ਜਾਂਦਾ ਹੈ: ਏਜੰਟ ਸਭ ਤੋਂ ਸੁਰੱਖਿਅਤ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਤੋਂ ਇਲਾਵਾ ਲਗਭਗ ਹਰ ਥਾਂ ਪਹੁੰਚ ਸਕਣਗੇ ਅਤੇ ਭੌਤਿਕ ਸਰੀਰ ਤੋਂ ਬਿਨਾਂ ਵੀ ਦੁਨੀਆ ਦੇ ਵੱਡੇ ਹਿੱਸੇ ਨੂੰ ਸਿੱਧੇ ਤੌਰ ’ਤੇ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਣਗੇ. ਇਸ ਵੇਲੇ ਸਾਡੇ ਕੋਲ ਸਭ ਤੋਂ ਵਧੀਆ ਉਪਲਬਧ ਮਾਡਲਾਂ ਨਾਲ ਨਾਜ਼ੁਕ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਸੁਰੱਖਿਆ ਕਾਫ਼ੀ ਮਜ਼ਬੂਤ ਕਰਨ⁠ ਲਈ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਮੌਕਾ⁠ ਹੈ.

ਬਦਕਿਸਮਤੀ ਨਾਲ, AI ਨਾਲ ਜੁੜੇ ਖ਼ਤਰੇ ਹੁਣ ਹੋਰ ਵਧਣਗੇ. ਨੁਕਸਾਨਦੇਹ ਕੰਮ ਕਰਨ ਲਈ ਖ਼ਾਸ ਤੌਰ ’ਤੇ ਟ੍ਰੇਨ ਕੀਤਾ ਅਤੇ ਹਦਾਇਤਾਂ ਦਿੱਤਾ ਬਹੁਤ ਸਮਰੱਥ ਏਜੰਟ ਇੱਕ ਨਵੀਂ ਕਿਸਮ ਦਾ ਖ਼ਤਰਾ ਪੈਦਾ ਕਰਦਾ ਹੈ. ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਉਹ ਆਪਣੇ Operator ਦੀ ਮੰਸ਼ਾ ਦੀ ਹੱਦ ਲੰਘ ਕੇ ਸਧਾਰਨੀਕਰਨ ਰਾਹੀਂ ਹੋਰ ਵੀ ਘਾਤਕ ਵਿਹਾਰ ਅਪਣਾ ਲਵੇ. AI ਨੂੰ ਆਪਣੇ ਫ਼ੈਸਲੇ ਲੈਣ ਦੀ ਵਧੇਰੇ ਸਮਰੱਥਾ ਮਿਲਣ ਨਾਲ ਦੁਰਵਰਤੋਂ ਅਤੇ ਖ਼ੁਦਮੁਖ਼ਤਿਆਰ ਗ਼ਲਤ ਅਲਾਈਨਮੈਂਟ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ ਵਿਚਲੀ ਹੱਦ ਧੁੰਦਲੀ ਹੋ ਜਾਵੇਗੀ. ਅਸੀਂ AI ਨੂੰ ਟੂਲਾਂ ਵਜੋਂ ਦੇਖਣ ਦੇ ਆਦੀ ਹੋ ਸਕਦੇ ਹਾਂ, ਪਰ ਕੁਝ ਏਜੰਟ ਆਪਣੇ ਉਦੇਸ਼ਾਂ ਦਾ ਪਿੱਛਾ ਕਰਨਗੇ. ਉਹ ਲੋਕਾਂ ਨਾਲ ਸੌਦੇਬਾਜ਼ੀ ਕਰਕੇ, ਉਨ੍ਹਾਂ ਨੂੰ ਧੋਖਾ ਦੇ ਕੇ ਜਾਂ ਬਲੈਕਮੇਲ ਕਰਕੇ ਸਹਿਯੋਗ ਦੇ ਤਰੀਕੇ ਲੱਭਣਗੇ.

ਇਸ ਤੋਂ ਇਲਾਵਾ, AI ਵੱਲੋਂ ਸੰਭਵ ਬਣਾਈਆਂ ਜਾ ਸਕਣ ਵਾਲੀਆਂ ਨਵੀਆਂ ਤਕਨਾਲੋਜੀਆਂ, ਜਿਵੇਂ ਇੰਜੀਨੀਅਰ ਕੀਤੇ ਰੋਗਾਣੂਆਂ, ਤੋਂ ਵੀ ਖ਼ਤਰੇ ਹਨ.

ਰੱਖਿਆ ਲਈ ਸਾਨੂੰ ਸ਼ਕਤੀਸ਼ਾਲੀ ਅਤੇ ਅਲਾਈਨ ਕੀਤੀ AI ਦੀ ਲੋੜ ਹੋਵੇਗੀ: ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਸੁਰੱਖਿਅਤ ਕਰਨ, ਬੇਕਾਬੂ ਏਜੰਟਾਂ ਤੋਂ ਤੁਰੰਤ ਬਚਾਅ ਕਰਨ ਅਤੇ ਬਿਲਕੁਲ ਨਵੇਂ ਸੁਰੱਖਿਆ ਉਪਾਅ ਖੋਜਣ ਲਈ. ਇਹ OpenAI ਦੇ ਡਿਪਲੌਇਮੈਂਟ ਯਤਨਾਂ ਦਾ ਮੁੱਖ ਕੇਂਦਰ ਹੋਵੇਗਾ.

ਇਸ ਦੇ ਨਾਲ ਹੀ, AI ਦੀ ਸੰਭਾਵਿਤ ਵਿਆਪਕ ਤਰੱਕੀ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀ ਅਨਿਸ਼ਚਿਤਤਾ ਅਤੇ ਰੱਖਿਆ ਪ੍ਰਣਾਲੀਆਂ ਬਣਾਉਣ ਦੀ ਲੋੜ ਨੂੰ ਲਾਪਰਵਾਹੀ ਦਾ ਬਹਾਨਾ ਨਹੀਂ ਬਣਨ ਦੇਣਾ ਚਾਹੀਦਾ. ਜਦੋਂ ਦਾਅ ’ਤੇ ਲੱਗੀਆਂ ਚੀਜ਼ਾਂ ਦੀ ਗੰਭੀਰਤਾ ਸੱਚਮੁੱਚ ਸਮਝ ਆ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਹਰ ਕੀਮਤ ’ਤੇ ਅੱਗੇ ਦੌੜਨ ਦਾ ਵਿਚਾਰ ਬੇਤੁਕਾ ਜਾਪਦਾ ਹੈ.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.