ਪ੍ਰੌੰਪਟ ਇੰਜੈਕਸ਼ਨ ਦਾ ਵਿਰੋਧ ਕਰਨ ਵਾਲੇ AI ਏਜੰਟ ਡਿਜ਼ਾਈਨ ਕਰਨਾ

AI ਏਜੰਟ ਹੁਣ ਵੱਧਦੇ ਹੋਏ ਵੈੱਬ ਬ੍ਰਾਊਜ਼ ਕਰਨ, ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰਨ ਅਤੇ ਯੂਜ਼ਰ ਦੀ ਥਾਂ ਤੇ ਕਾਰਵਾਈਆਂ ਕਰਨ ਦੇ ਯੋਗ ਹੋ ਰਹੇ ਹਨ. ਇਹ ਸਮਰੱਥਾਵਾਂ ਲਾਭਦਾਇਕ ਹਨ, ਪਰ ਇਹ ਹਮਲਾਵਰਾਂ ਲਈ ਸਿਸਟਮ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਦੇ ਨਵੇਂ ਤਰੀਕੇ ਵੀ ਬਣਾਉਂਦੀਆਂ ਹਨ.

ਇਨ੍ਹਾਂ ਹਮਲਿਆਂ ਨੂੰ ਅਕਸਰ ਪ੍ਰੌੰਪਟ ਇੰਜੈਕਸ਼ਨ⁠ ਵਜੋਂ ਵੇਰਵਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ: ਬਾਹਰੀ ਸਮੱਗਰੀ ਵਿੱਚ ਰੱਖੀਆਂ ਹਦਾਇਤਾਂ, ਜਿਨ੍ਹਾਂ ਦਾ ਉਦੇਸ਼ ਮਾਡਲ ਤੋਂ ਉਹ ਕੰਮ ਕਰਵਾਉਣਾ ਹੁੰਦਾ ਹੈ ਜੋ ਯੂਜ਼ਰ ਨੇ ਨਹੀਂ ਮੰਗਿਆ. ਸਾਡੇ ਤਜਰਬੇ ਵਿੱਚ, ਇਨ੍ਹਾਂ ਹਮਲਿਆਂ ਦੇ ਸਭ ਤੋਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਅਸਲ-ਦੁਨੀਆ ਰੂਪ ਹੁਣ ਸਧਾਰਣ ਪ੍ਰੌੰਪਟ ਓਵਰਰਾਈਡ ਨਾਲੋਂ ਵੱਧ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਵਰਗੇ ਲੱਗਦੇ ਹਨ.

ਇਹ ਬਦਲਾਅ ਮਹੱਤਵਪੂਰਨ ਹੈ. ਜੇ ਸਮੱਸਿਆ ਸਿਰਫ਼ ਕਿਸੇ ਦੁਸ਼ਟ ਸਟ੍ਰਿੰਗ ਦੀ ਪਹਿਚਾਣ ਨਹੀਂ, ਬਲਕਿ ਸੰਦਰਭ ਵਿੱਚ ਭ੍ਰਮਿਤ ਕਰਨ ਵਾਲੀ ਜਾਂ ਹੇਰਾਫੇਰੀ ਵਾਲੀ ਸਮੱਗਰੀ ਦਾ ਵਿਰੋਧ ਕਰਨਾ ਹੈ, ਤਾਂ ਇਸ ਤੋਂ ਬਚਾਅ ਸਿਰਫ਼ ਇਨਪੁੱਟ ਫਿਲਟਰ ਕਰਨ ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਕਰ ਸਕਦਾ. ਇਸ ਲਈ ਸਿਸਟਮ ਨੂੰ ਐਸੇ ਤਰੀਕੇ ਨਾਲ ਡਿਜ਼ਾਈਨ ਕਰਨਾ ਵੀ ਲਾਜ਼ਮੀ ਹੈ ਕਿ ਹੇਰਾਫੇਰੀ ਦਾ ਅਸਰ ਸੀਮਿਤ ਰਹੇ, ਭਾਵੇਂ ਕੁਝ ਹਮਲੇ ਕਾਮਯਾਬ ਵੀ ਹੋ ਜਾਣ.

ਸ਼ੁਰੂਆਤੀ “ਪ੍ਰੌੰਪਟ ਇੰਜੈਕਸ਼ਨ” ਕਿਸਮ ਦੇ ਹਮਲੇ ਇੰਨੇ ਸਧਾਰਣ ਹੋ ਸਕਦੇ ਸਨ ਕਿ ਕਿਸੇ Wikipedia ਲੇਖ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਸੋਧ ਦਿੱਤਾ ਜਾਵੇ ਕਿ ਉਸ ਵਿੱਚ ਆਉਣ ਵਾਲੇ AI ਏਜੰਟਾਂ ਲਈ ਸਿੱਧੀਆਂ ਹਦਾਇਤਾਂ ਸ਼ਾਮਲ ਹੋਣ. ਐਸੇ ਵਿਰੋਧੀ ਮਾਹੌਲ ਦਾ ਟ੍ਰੇਨਿੰਗ-ਟਾਈਮ ਤਜਰਬਾ ਨਾ ਹੋਣ ਕਰਕੇ AI ਮਾਡਲ ਅਕਸਰ ਬਿਨਾਂ ਸਵਾਲ ਕੀਤੇ ਉਹ ਹਦਾਇਤਾਂ ਮੰਨ ਲੈਂਦੇ ਸਨ¹. ਜਿਵੇਂ ਜਿਵੇਂ ਮਾਡਲ ਹੋਰ ਸਮਝਦਾਰ ਹੋਏ ਹਨ, ਉਹ ਇਸ ਕਿਸਮ ਦੇ ਸੁਝਾਅ ਲਈ ਘੱਟ ਸੰਵੇਦਨਸ਼ੀਲ ਵੀ ਹੋਏ ਹਨ, ਅਤੇ ਅਸੀਂ ਵੇਖਿਆ ਹੈ ਕਿ ਪ੍ਰੌੰਪਟ ਇੰਜੈਕਸ਼ਨ-ਸ਼ੈਲੀ ਦੇ ਹਮਲਿਆਂ ਵਿੱਚ ਇਸ ਦੇ ਜਵਾਬ ਵਜੋਂ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਦੇ ਤੱਤ ਸ਼ਾਮਲ ਹੋ ਗਏ ਹਨ:

ਵਿਆਪਕ AI ਸੁਰੱਖਿਆ ਇਕੋਸਿਸਟਮ ਵਿੱਚ ਹੁਣ “AI firewalling” ਵਰਗੀਆਂ ਤਕਨੀਕਾਂ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਨਾ ਆਮ ਹੋ ਗਿਆ ਹੈ, ਜਿਸ ਵਿੱਚ AI ਏਜੰਟ ਅਤੇ ਬਾਹਰੀ ਦੁਨੀਆ ਦਰਮਿਆਨ ਇੱਕ ਮੱਧਸਥ ਇਨਪੁੱਟਾਂ ਨੂੰ ਦੁਸ਼ਟ ਪ੍ਰੌੰਪਟ ਇੰਜੈਕਸ਼ਨ ਅਤੇ ਆਮ ਇਨਪੁੱਟਾਂ ਵਿੱਚ ਵੰਡਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ. ਪਰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਿਕਸਿਤ ਇਹ ਹਮਲੇ ਆਮ ਤੌਰ ਤੇ ਅਜਿਹੇ ਸਿਸਟਮਾਂ ਦੁਆਰਾ ਫੜੇ ਨਹੀਂ ਜਾਂਦੇ. ਐਸੇ ਸਿਸਟਮਾਂ ਲਈ, ਕਿਸੇ ਦੁਸ਼ਟ ਇਨਪੁੱਟ ਨੂੰ ਪਛਾਣਨਾ ਝੂਠ ਜਾਂ ਗਲਤ ਜਾਣਕਾਰੀ ਨੂੰ ਪਛਾਣਨ ਜਿੰਨੀ ਹੀ ਔਖੀ ਸਮੱਸਿਆ ਬਣ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਅਕਸਰ ਲੋੜੀਂਦੇ ਸੰਦਰਭ ਤੋਂ ਬਿਨਾਂ.

ਜਿਵੇਂ ਜਿਵੇਂ ਅਸਲ-ਦੁਨੀਆ ਦੇ ਪ੍ਰੌੰਪਟ ਇੰਜੈਕਸ਼ਨ ਹਮਲੇ ਜਟਿਲ ਹੋਏ, ਅਸੀਂ ਵੇਖਿਆ ਕਿ ਸਭ ਤੋਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹਮਲਾਵਰ ਤਕਨੀਕਾਂ ਨੇ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਤਰੀਕਿਆਂ ਦਾ ਸਹਾਰਾ ਲਿਆ. ਇਨ੍ਹਾਂ ਪ੍ਰੌੰਪਟ ਇੰਜੈਕਸ਼ਨ ਹਮਲਿਆਂ ਨੂੰ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਸਮੇਤ ਕੋਈ ਵੱਖਰੀ ਜਾਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਵੀਂ ਸਮੱਸਿਆ ਮੰਨਣ ਦੀ ਬਜਾਏ, ਅਸੀਂ ਇਸਨੂੰ ਉਸੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਨਾਲ ਦੇਖਣਾ ਸ਼ੁਰੂ ਕੀਤਾ ਜੋ ਹੋਰ ਖੇਤਰਾਂ ਵਿੱਚ ਮਨੁੱਖਾਂ ਉੱਤੇ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਜੋਖਿਮ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ. ਅਜਿਹੇ ਸਿਸਟਮਾਂ ਵਿੱਚ, ਮਕਸਦ ਸਿਰਫ਼ ਦੁਸ਼ਟ ਇਨਪੁੱਟਾਂ ਦੀ ਪਰਫੈਕਟ ਪਹਿਚਾਣ ਤੱਕ ਸੀਮਿਤ ਨਹੀਂ ਹੁੰਦਾ, ਸਗੋਂ ਏਜੰਟਾਂ ਅਤੇ ਸਿਸਟਮਾਂ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਡਿਜ਼ਾਈਨ ਕਰਨਾ ਹੁੰਦਾ ਹੈ ਕਿ ਹੇਰਾਫੇਰੀ ਦਾ ਅਸਰ ਸੀਮਿਤ ਰਹੇ, ਭਾਵੇਂ ਉਹ ਕਾਮਯਾਬ ਹੋ ਜਾਵੇ. ਅਜਿਹੇ ਸਿਸਟਮ ਪ੍ਰੌੰਪਟ ਇੰਜੈਕਸ਼ਨ ਅਤੇ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਦੋਵਾਂ ਨੂੰ ਘਟਾਉਣ ਵਿੱਚ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਾਬਤ ਹੁੰਦੇ ਹਨ.

ਇਸ ਤਰੀਕੇ ਨਾਲ, ਅਸੀਂ AI ਏਜੰਟ ਨੂੰ ਇੱਕ ਗਾਹਕ ਸੇਵਾ ਏਜੰਟ ਵਰਗੀ ਤਿੰਨ-ਪੱਖੀ ਪ੍ਰਣਾਲੀ ਵਿੱਚ ਮੌਜੂਦ ਸਮਝ ਸਕਦੇ ਹਾਂ. ਏਜੰਟ ਆਪਣੇ ਨਿਯੋਤਾ ਦੀ ਥਾਂ ਤੇ ਕੰਮ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹੈ, ਪਰ ਉਸ ਨੂੰ ਲਗਾਤਾਰ ਅਜਿਹੇ ਬਾਹਰੀ ਇਨਪੁੱਟ ਮਿਲਦੇ ਰਹਿੰਦੇ ਹਨ ਜੋ ਉਸ ਨੂੰ ਭਟਕਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕਦੇ ਹਨ. ਗਾਹਕ ਸਹਾਇਤਾ ਏਜੰਟ, ਚਾਹੇ ਮਨੁੱਖ ਹੋਵੇ ਜਾਂ AI, ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਉੱਤੇ ਪਾਬੰਦੀਆਂ ਹੋਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ ਤਾਂ ਜੋ ਅਜਿਹੇ ਦੁਸ਼ਟ ਮਾਹੌਲ ਵਿੱਚ ਮੌਜੂਦ ਰਹਿਣ ਨਾਲ ਜੁੜਿਆ ਨੁਕਸਾਨੀ ਜੋਖਿਮ ਘਟਾਇਆ ਜਾ ਸਕੇ.

ਇੱਕ ਅਜਿਹੀ ਸਥਿਤੀ ਦੀ ਕਲਪਨਾ ਕਰੋ ਜਿਸ ਵਿੱਚ ਕੋਈ ਮਨੁੱਖ ਗਾਹਕ ਸਹਾਇਤਾ ਸਿਸਟਮ ਚਲਾਂਦਾ ਹੈ ਅਤੇ ਗਾਹਕ ਨੂੰ ਆਈ ਅਸੁਵਿਧਾਵਾਂ, ਜਿਵੇਂ ਡਿਲਿਵਰੀ ਵਿੱਚ ਦੇਰੀ, ਖਰਾਬੀ ਕਾਰਨ ਨੁਕਸਾਨ ਆਦਿ ਲਈ, ਗਿਫਟ ਕਾਰਡ ਅਤੇ ਰਿਫੰਡ ਦੇ ਸਕਦਾ ਹੈ. ਇਹ ਬਹੁ-ਪੱਖੀ ਸਮੱਸਿਆ ਹੈ ਜਿਸ ਵਿੱਚ ਕੰਪਨੀ ਨੂੰ ਇਹ ਭਰੋਸਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਏਜੰਟ ਸਹੀ ਕਾਰਨਾਂ ਲਈ ਰਿਫੰਡ ਦੇ ਰਿਹਾ ਹੈ, ਜਦਕਿ ਏਜੰਟ ਤੀਜੀਆਂ ਪੱਖਾਂ ਨਾਲ ਵੀ ਸੰਪਰਕ ਕਰਦਾ ਹੈ ਜੋ ਉਸ ਨੂੰ ਭਟਕਾਉਣ ਜਾਂ ਇੱਥੋਂ ਤੱਕ ਕਿ ਦਬਾਅ ਹੇਠ ਲਿਆਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕਦੀਆਂ ਹਨ.

ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ, ਏਜੰਟ ਨੂੰ ਮੰਨਣ ਲਈ ਨਿਯਮਾਂ ਦਾ ਇੱਕ ਸੈੱਟ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਪਰ ਇਹ ਵੀ ਉਮੀਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਜਿਸ ਵਿਰੋਧੀ ਮਾਹੌਲ ਵਿੱਚ ਉਹ ਮੌਜੂਦ ਹੈ, ਉੱਥੇ ਉਹ ਭਟਕਾਇਆ ਜਾ ਸਕਦਾ ਹੈ. ਸ਼ਾਇਦ ਕੋਈ ਗਾਹਕ ਸੁਨੇਹਾ ਭੇਜੇ ਕਿ ਉਸਦਾ ਰਿਫੰਡ ਕਦੇ ਪਹੁੰਚਿਆ ਹੀ ਨਹੀਂ, ਜਾਂ ਜੇ ਰਿਫੰਡ ਨਾ ਦਿੱਤਾ ਗਿਆ ਤਾਂ ਨੁਕਸਾਨ ਦੀ ਧਮਕੀ ਦੇਵੇ. ਏਜੰਟ ਜਿਨ੍ਹਾਂ ਨਿਰਧਾਰਿਤ ਸਿਸਟਮਾਂ ਨਾਲ ਸੰਪਰਕ ਕਰਦਾ ਹੈ, ਉਹ ਗਾਹਕ ਨੂੰ ਦਿੱਤੇ ਜਾਣ ਵਾਲੇ ਰਿਫੰਡ ਦੀ ਮਾਤਰਾ ਸੀਮਿਤ ਕਰਦੇ ਹਨ, ਸੰਭਾਵਿਤ ਫਿਸ਼ਿੰਗ ਈਮੇਲਾਂ ਨੂੰ ਫਲੈਗ ਕਰਦੇ ਹਨ, ਅਤੇ ਹੋਰ ਅਜਿਹੇ ਉਪਾਅ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ ਜੋ ਕਿਸੇ ਇਕੱਲੇ ਏਜੰਟ ਦੇ ਸਮਝੌਤਾ ਹੋ ਜਾਣ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਘਟਾਉਂਦੇ ਹਨ.

ਇਸ ਸੋਚ ਨੇ ਸਾਡੇ ਵੱਲੋਂ ਤਾਇਨਾਤ ਕੀਤੇ ਗਏ ਮਜ਼ਬੂਤ ਪ੍ਰਤਿਰੋਧੀ ਉਪਾਅਾਂ ਦੇ ਇੱਕ ਸੈੱਟ ਨੂੰ ਆਕਾਰ ਦਿੱਤਾ ਹੈ, ਜੋ ਸਾਡੇ ਯੂਜ਼ਰਾਂ ਦੀਆਂ ਸੁਰੱਖਿਆ ਉਮੀਦਾਂ ਨੂੰ ਕਾਇਮ ਰੱਖਦਾ ਹੈ.

ChatGPT ਵਿੱਚ, ਅਸੀਂ ਇਸ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਮਾਡਲ ਨੂੰ source-sink analysis ਵਰਗੀਆਂ ਹੋਰ ਪਰੰਪਰਾਗਤ ਸੁਰੱਖਿਆ ਇੰਜੀਨੀਅਰਿੰਗ ਪਹੁੰਚਾਂ ਨਾਲ ਜੋੜਦੇ ਹਾਂ.

ਉਸ ਫਰੇਮਿੰਗ ਵਿੱਚ, ਹਮਲਾਵਰ ਨੂੰ ਇੱਕ source, ਯਾਨੀ ਸਿਸਟਮ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਦਾ ਤਰੀਕਾ, ਅਤੇ ਇੱਕ sink, ਯਾਨੀ ਐਸੀ ਸਮਰੱਥਾ ਜੋ ਗਲਤ ਸੰਦਰਭ ਵਿੱਚ ਖਤਰਨਾਕ ਬਣ ਜਾਂਦੀ ਹੈ, ਦੋਵਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ. ਏਜੰਟਿਕ ਸਿਸਟਮਾਂ ਲਈ, ਇਸ ਦਾ ਅਕਸਰ ਮਤਲਬ ਹੁੰਦਾ ਹੈ ਗੈਰ-ਭਰੋਸੇਯੋਗ ਬਾਹਰੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਸੇ ਐਸੇ ਕੰਮ ਨਾਲ ਜੋੜਨਾ, ਜਿਵੇਂ ਕਿਸੇ ਤੀਜੀ ਪੱਖ ਨੂੰ ਜਾਣਕਾਰੀ ਭੇਜਣਾ, ਲਿੰਕ ਫਾਲੋ ਕਰਨਾ, ਜਾਂ ਕਿਸੇ ਟੂਲ ਨਾਲ ਇੰਟਰੈਕਟ ਕਰਨਾ.

ਸਾਡਾ ਮਕਸਦ ਯੂਜ਼ਰਾਂ ਲਈ ਇੱਕ ਮੁੱਖ ਸੁਰੱਖਿਆ ਉਮੀਦ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣਾ ਹੈ: ਸੰਭਾਵਿਤ ਤੌਰ ਤੇ ਖਤਰਨਾਕ ਕਾਰਵਾਈਆਂ, ਜਾਂ ਸੰਭਾਵਿਤ ਸੰਵੇਦਨਸ਼ੀਲ ਜਾਣਕਾਰੀ ਦੀ ਟ੍ਰਾਂਸਮਿਸ਼ਨ, ਚੁੱਪਚਾਪ ਜਾਂ ਉਚਿਤ ਸੁਰੱਖਿਆ ਉਪਾਅਾਂ ਤੋਂ ਬਿਨਾਂ ਨਹੀਂ ਹੋਣੀ ਚਾਹੀਦੀ.

ChatGPT ਦੇ ਖਿਲਾਫ ਅਸੀਂ ਜੋ ਹਮਲੇ ਵਿਕਸਿਤ ਹੋਏ ਵੇਖਦੇ ਹਾਂ, ਉਹ ਅਕਸਰ ਅਸਿਸਟੈਂਟ ਨੂੰ ਇਹ ਯਕੀਨ ਦਿਵਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ ਕਿ ਉਸ ਨੂੰ ਗੱਲਬਾਤ ਵਿੱਚੋਂ ਕੋਈ ਗੁਪਤ ਜਾਣਕਾਰੀ ਲੈ ਕੇ ਕਿਸੇ ਦੁਸ਼ਟ ਤੀਜੀ ਪੱਖ ਨੂੰ ਭੇਜਣੀ ਚਾਹੀਦੀ ਹੈ. ਜਿਨ੍ਹਾਂ ਜ਼ਿਆਦਾਤਰ ਮਾਮਲਿਆਂ ਬਾਰੇ ਸਾਨੂੰ ਪਤਾ ਹੈ, ਉਨ੍ਹਾਂ ਵਿੱਚ ਇਹ ਹਮਲੇ ਨਾਕਾਮ ਰਹਿੰਦੇ ਹਨ ਕਿਉਂਕਿ ਸਾਡੀ ਸੁਰੱਖਿਆ ਟ੍ਰੇਨਿੰਗ ਏਜੰਟ ਨੂੰ ਇਨਕਾਰ ਕਰਨ ਲਈ ਪ੍ਰੇਰਿਤ ਕਰਦੀ ਹੈ. ਜਿਨ੍ਹਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ ਏਜੰਟ ਨੂੰ ਮਨਾ ਲਿਆ ਜਾਂਦਾ ਹੈ, ਉਨ੍ਹਾਂ ਲਈ ਅਸੀਂ Safe Url ਨਾਮ ਦੀ ਇੱਕ mitigation strategy ਤਿਆਰ ਕੀਤੀ ਹੈ, ਜਿਸ ਦਾ ਉਦੇਸ਼ ਇਹ ਪਤਾ ਲਗਾਉਣਾ ਹੈ ਕਿ ਕੀ ਗੱਲਬਾਤ ਵਿੱਚ ਅਸਿਸਟੈਂਟ ਨੇ ਜੋ ਜਾਣਕਾਰੀ ਸਿੱਖੀ, ਉਹ ਕਿਸੇ ਤੀਜੀ ਪੱਖ ਤੱਕ ਭੇਜੀ ਜਾਣ ਵਾਲੀ ਹੈ. ਇਨ੍ਹਾਂ ਦੁਲੱਭ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਅਸੀਂ ਜਾਂ ਤਾਂ ਯੂਜ਼ਰ ਨੂੰ ਉਹ ਜਾਣਕਾਰੀ ਦਿਖਾਂਦੇ ਹਾਂ ਜੋ ਭੇਜੀ ਜਾਣੀ ਸੀ ਅਤੇ ਉਹਨਾਂ ਤੋਂ ਪੁਸ਼ਟੀ ਮੰਗਦੇ ਹਾਂ, ਜਾਂ ਅਸੀਂ ਇਸਨੂੰ ਰੋਕ ਦੇਂਦੇ ਹਾਂ ਅਤੇ ਏਜੰਟ ਨੂੰ ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ ਨਾਲ ਅੱਗੇ ਵਧਣ ਲਈ ਕੋਈ ਹੋਰ ਤਰੀਕਾ ਅਜ਼ਮਾਉਣ ਲਈ ਕਹਿੰਦੇ ਹਾਂ.

ਇਹੋ ਜਿਹਾ ਮਕੈਨਿਜ਼ਮ Atlas⁠ ਵਿੱਚ navigations ਅਤੇ bookmarks ਤੇ, ਅਤੇ Deep Research⁠ ਵਿੱਚ searches ਅਤੇ navigations ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ. ChatGPT canvas⁠ ਅਤੇ ChatGPT Apps⁠ ਵੀ ਮਿਲਦਾ-ਜੁਲਦਾ ਤਰੀਕਾ ਅਪਣਾਉਂਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਏਜੰਟ ਫੰਕਸ਼ਨਲ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣ ਅਤੇ ਵਰਤਣ ਦੇ ਯੋਗ ਹੁੰਦਾ ਹੈ. ਇਹ ਇੱਕ sandbox ਵਿੱਚ ਚੱਲਦੇ ਹਨ ਜੋ ਅਣਉਮੀਦ ਸੰਚਾਰ ਨੂੰ ਪਛਾਣ ਸਕਦਾ ਹੈ ਅਤੇ ਯੂਜ਼ਰ ਤੋਂ ਉਸ ਦੀ ਸਹਿਮਤੀ ਮੰਗ ਸਕਦਾ ਹੈ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ).

ਤੁਸੀਂ Safe Url ਬਾਰੇ ਹੋਰ ਜਾਣਕਾਰੀ ਪੜ੍ਹ ਸਕਦੇ ਹੋ ਅਤੇ ਇਸ ਦੀ ਬਣਤਰ ਬਾਰੇ ਇੱਕ ਪੇਪਰ ਇਸ ਦੀ ਸਮਰਪਿਤ ਬਲਾਗ ਪੋਸਟ ਜਦੋਂ ਕੋਈ AI ਏਜੰਟ ਲਿੰਕ ਤੇ ਕਲਿੱਕ ਕਰਦਾ ਹੈ ਤਾਂ ਤੁਹਾਡੇ ਡਾਟਾ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਿਵੇਂ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ⁠ ਵਿੱਚ ਲੱਭ ਸਕਦੇ ਹੋ.

ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਵੈਚਾਲਿਤ ਏਜੰਟਾਂ ਲਈ ਵਿਰੋਧੀ ਬਾਹਰੀ ਦੁਨੀਆ ਨਾਲ ਸੁਰੱਖਿਅਤ ਇੰਟਰੈਕਸ਼ਨ ਲਾਜ਼ਮੀ ਹੈ. ਜਦੋਂ ਕਿਸੇ AI ਮਾਡਲ ਨੂੰ ਕਿਸੇ ਐਪਲੀਕੇਸ਼ਨ ਸਿਸਟਮ ਨਾਲ ਇਕੀਕ੍ਰਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਸੀਂ ਸਿਫ਼ਾਰਸ਼ ਕਰਦੇ ਹਾਂ ਕਿ ਇਹ ਪੁੱਛਿਆ ਜਾਵੇ ਕਿ ਇਸੇ ਤਰ੍ਹਾਂ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਕਿਸੇ ਮਨੁੱਖੀ ਏਜੰਟ ਕੋਲ ਕਿਹੜੇ ਨਿਯੰਤਰਣ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਲਾਗੂ ਕੀਤਾ ਜਾਵੇ. ਅਸੀਂ ਉਮੀਦ ਕਰਦੇ ਹਾਂ ਕਿ ਸਭ ਤੋਂ ਵੱਧ ਬੁੱਧੀਮਾਨ AI ਮਾਡਲ ਕਿਸੇ ਮਨੁੱਖੀ ਏਜੰਟ ਨਾਲੋਂ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਦਾ ਵਿਰੋਧ ਹੋਰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕਰ ਸਕੇਗਾ, ਪਰ ਐਪਲੀਕੇਸ਼ਨ ਦੇ ਅਨੁਸਾਰ ਇਹ ਹਮੇਸ਼ਾਂ ਸੰਭਵ ਜਾਂ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨਹੀਂ ਹੁੰਦਾ.

ਅਸੀਂ AI ਮਾਡਲਾਂ ਦੇ ਖਿਲਾਫ ਸਮਾਜਿਕ ਇੰਜੀਨੀਅਰਿੰਗ ਦੇ ਪ੍ਰਭਾਵਾਂ ਅਤੇ ਇਸ ਦੇ ਵਿਰੁੱਧ ਰੱਖਿਆ ਉਪਾਅਾਂ ਦੀ ਖੋਜ ਜਾਰੀ ਰੱਖਦੇ ਹਾਂ ਅਤੇ ਆਪਣੀਆਂ ਖੋਜਾਂ ਨੂੰ ਆਪਣੀਆਂ ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ ਆਰਕੀਟੈਕਚਰਾਂ ਅਤੇ ਆਪਣੇ AI ਮਾਡਲਾਂ ਨੂੰ ਦਿੱਤੀ ਜਾਣ ਵਾਲੀ ਟ੍ਰੇਨਿੰਗ ਦੋਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਦੇ ਹਾਂ.