GPT‑4 ਤੋਂ ਧਾਰਣਾਵਾਂ ਕੱਢਣਾ

ਅਸੀਂ ਇਸ ਵੇਲੇ ਨਹੀਂ ਸਮਝਦੇ ਕਿ language models ਦੇ ਅੰਦਰ neural activity ਦਾ ਅਰਥ ਕਿਵੇਂ ਕੱਢਿਆ ਜਾਵੇ। ਅੱਜ, ਅਸੀਂ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ "ਫੀਚਰ" ਲੱਭਣ ਲਈ ਸੁਧਰੇ ਹੋਏ ਤਰੀਕੇ ਸਾਂਝੇ ਕਰ ਰਹੇ ਹਾਂ—ਐਸੀ ਸਰਗਰਮੀ ਦੇ ਪੈਟਰਨ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਅਸੀਂ ਆਸ ਕਰਦੇ ਹਾਂ ਕਿ ਇਨਸਾਨ ਸਮਝ ਸਕਣ। ਸਾਡੇ ਤਰੀਕੇ ਮੌਜੂਦਾ ਕੰਮ ਨਾਲੋਂ ਵਧੀਆ ਸਕੇਲ ਕਰਦੇ ਹਨ, ਅਤੇ ਅਸੀਂ ਉਨ੍ਹਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ GPT‑4 ਵਿੱਚ 16 ਮਿਲੀਅਨ ਫੀਚਰ ਲੱਭਦੇ ਹਾਂ। ਅਸੀਂ ਹੋਰ ਖੋਜ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨ ਲਈ ਖੋਜ ਭਾਈਚਾਰੇ ਨਾਲ ਇੱਕ ਪੇਪਰ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), ਕੋਡ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), ਅਤੇ ਫੀਚਰ ਵਿਜੁਅਲਾਈਜ਼ੇਸ਼ਨ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਸਾਂਝੇ ਕਰ ਰਹੇ ਹਾਂ।

ਇਨਸਾਨੀ ਰਚਨਾਵਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਦੇ ਉਲਟ, ਅਸੀਂ ਅਸਲ ਵਿੱਚ neural networks ਦੇ ਅੰਦਰੂਨੀ ਕੰਮਕਾਜ ਨੂੰ ਨਹੀਂ ਸਮਝਦੇ। ਉਦਾਹਰਨ ਲਈ, ਇੰਜੀਨੀਅਰ ਆਪਣੇ ਘਟਕਾਂ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਆਧਾਰ ਤੇ ਕਾਰਾਂ ਨੂੰ ਸਿੱਧੇ ਡਿਜ਼ਾਈਨ, ਪਰਖ ਅਤੇ ਠੀਕ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਸੁਰੱਖਿਆ ਅਤੇ ਕਾਰਗੁਜ਼ਾਰੀ ਯਕੀਨੀ ਬਣਦੀ ਹੈ। ਪਰ neural networks ਨੂੰ ਸਿੱਧੇ ਤੌਰ ਤੇ ਡਿਜ਼ਾਈਨ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ; ਇਸ ਦੀ ਬਜਾਏ ਅਸੀਂ ਉਹ algorithms ਡਿਜ਼ਾਈਨ ਕਰਦੇ ਹਾਂ ਜੋ ਉਨ੍ਹਾਂ ਨੂੰ ਟ੍ਰੇਨ ਕਰਦੇ ਹਨ। ਨਤੀਜੇ ਵਜੋਂ ਬਣੇ networks ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਨਹੀਂ ਸਮਝਿਆ ਗਿਆ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਪਛਾਣਯੋਗ ਹਿੱਸਿਆਂ ਵਿੱਚ ਆਸਾਨੀ ਨਾਲ ਵੰਡਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ। ਇਸ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਅਸੀਂ AI ਸੁਰੱਖਿਆ ਬਾਰੇ ਉਸੇ ਤਰੀਕੇ ਨਾਲ ਰੀਜ਼ਨਿੰਗ ਨਹੀਂ ਕਰ ਸਕਦੇ ਜਿਵੇਂ ਅਸੀਂ ਕਾਰ ਸੁਰੱਖਿਆ ਵਰਗੀ ਚੀਜ਼ ਬਾਰੇ ਕਰਦੇ ਹਾਂ।

Neural networks ਨੂੰ ਸਮਝਣ ਅਤੇ ਵਿਆਖਿਆ ਕਰਨ ਲਈ, ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਸਾਨੂੰ neural computations ਲਈ ਉਪਯੋਗੀ building blocks ਲੱਭਣੇ ਪੈਣਗੇ। ਦੁੱਖ ਦੀ ਗੱਲ ਹੈ ਕਿ language model ਦੇ ਅੰਦਰ neural activations ਅਣਅਨੁਮਾਨਿਤ ਪੈਟਰਨਾਂ ਨਾਲ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ ਅਤੇ ਐਸਾ ਲੱਗਦਾ ਹੈ ਕਿ ਉਹ ਇਕੋ ਵੇਲੇ ਕਈ ਧਾਰਣਾਵਾਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ। ਉਹ ਘਣੇ ਤਰੀਕੇ ਨਾਲ ਵੀ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ, ਜਿਸ ਦਾ ਅਰਥ ਹੈ ਕਿ ਹਰ activation ਹਰ input ਤੇ ਹਮੇਸ਼ਾਂ ਚੱਲਦਾ ਰਹਿੰਦਾ ਹੈ। ਪਰ ਅਸਲ ਦੁਨੀਆ ਦੀਆਂ ਧਾਰਣਾਵਾਂ ਬਹੁਤ sparse ਹੁੰਦੀਆਂ ਹਨ—ਕਿਸੇ ਵੀ ਸੰਦਰਭ ਵਿੱਚ, ਸਾਰੀਆਂ ਧਾਰਣਾਵਾਂ ਵਿੱਚੋਂ ਸਿਰਫ਼ ਇੱਕ ਛੋਟਾ ਹਿੱਸਾ ਹੀ ਸੰਬੰਧਤ ਹੁੰਦਾ ਹੈ। ਇਹ sparse autoencoders ਦੀ ਵਰਤੋਂ ਲਈ ਪ੍ਰੇਰਿਤ ਕਰਦਾ ਹੈ, ਜੋ neural network ਵਿੱਚ ਕੁਝ "ਫੀਚਰ" ਪਛਾਣਣ ਦੀ ਇਕ ਵਿਧੀ ਹੈ ਜੋ ਕਿਸੇ ਦਿੱਤੇ output ਨੂੰ ਪੈਦਾ ਕਰਨ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦੇ ਹਨ, ਕੁਝ ਉਸ ਛੋਟੇ ਧਾਰਣਾ-ਸਮੂਹ ਵਾਂਗ ਜੋ ਕਿਸੇ ਸਥਿਤੀ ਬਾਰੇ ਰੀਜ਼ਨਿੰਗ ਕਰਦੇ ਸਮੇਂ ਇੱਕ ਵਿਅਕਤੀ ਦੇ ਮਨ ਵਿੱਚ ਹੋ ਸਕਦਾ ਹੈ। ਇਨ੍ਹਾਂ ਦੇ ਫੀਚਰ sparse activation patterns ਦਿਖਾਉਂਦੇ ਹਨ ਜੋ ਸੁਭਾਵਕ ਤੌਰ ਤੇ ਉਹਨਾਂ ਧਾਰਣਾਵਾਂ ਨਾਲ ਮਿਲਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਇਨਸਾਨਾਂ ਲਈ ਸਮਝਣਾ ਆਸਾਨ ਹੁੰਦਾ ਹੈ, ਭਾਵੇਂ ਵਿਆਖਿਆਯੋਗਤਾ ਲਈ ਸਿੱਧੇ ਪ੍ਰੋਤਸਾਹਨ ਨਾ ਵੀ ਹੋਣ।

ਹਾਲਾਂਕਿ, sparse autoencoders ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਵਿੱਚ ਅਜੇ ਵੀ ਗੰਭੀਰ ਚੁਣੌਤੀਆਂ ਹਨ। ਵੱਡੇ language models ਬੇਹੱਦ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਧਾਰਣਾਵਾਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ, ਅਤੇ ਸਾਡੇ autoencoders ਨੂੰ ਵੀ frontier ਮਾਡਲ ਵਿੱਚ ਧਾਰਣਾਵਾਂ ਦੀ ਲਗਭਗ ਪੂਰੀ ਕਵਰੇਜ ਦੇ ਨੇੜੇ ਜਾਣ ਲਈ ਉਸੇ ਅਨੁਪਾਤ ਵਿੱਚ ਬਹੁਤ ਵੱਡਾ ਹੋਣਾ ਪੈ ਸਕਦਾ ਹੈ। sparse ਫੀਚਰਾਂ ਦੀ ਵੱਡੀ ਗਿਣਤੀ ਸਿੱਖਣਾ ਚੁਣੌਤੀਪੂਰਨ ਹੈ, ਅਤੇ ਪਿਛਲਾ ਕੰਮ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਕੇਲ ਕਰਦਾ ਹੋਇਆ ਨਹੀਂ ਦਿਖਾਇਆ ਗਿਆ।

ਅਸੀਂ ਨਵੀਆਂ ਅਤਿ-ਆਧੁਨਿਕ ਵਿਧੀਆਂ ਵਿਕਸਿਤ ਕੀਤੀਆਂ ਹਨ ਜੋ ਸਾਨੂੰ ਅਤਿ-ਆਧੁਨਿਕ AI ਮਾਡਲਾਂ ਉੱਤੇ ਆਪਣੇ sparse autoencoders ਨੂੰ ਦਹਾਕਿਆਂ ਮਿਲੀਅਨ ਫੀਚਰਾਂ ਤੱਕ ਸਕੇਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀਆਂ ਹਨ। ਅਸੀਂ ਪਾਇਆ ਕਿ ਸਾਡੀ ਵਿਧੀ ਸੁਚਾਰੂ ਅਤੇ ਭਵਿੱਖਬਾਣੀਯੋਗ ਸਕੇਲਿੰਗ ਦਿਖਾਉਂਦੀ ਹੈ, ਅਤੇ ਪਹਿਲਾਂ ਦੀਆਂ ਤਕਨੀਕਾਂ ਨਾਲੋਂ ਸਕੇਲ ਵਧਣ ਤੇ ਵਧੀਆ ਨਤੀਜੇ ਦਿੰਦੀ ਹੈ। ਅਸੀਂ ਫੀਚਰ ਗੁਣਵੱਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਕਈ ਨਵੇਂ ਮੈਟ੍ਰਿਕ ਵੀ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ।

ਅਸੀਂ ਆਪਣੀ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ GPT‑2 small ਅਤੇ GPT‑4 activations ਉੱਤੇ ਕਈ ਕਿਸਮ ਦੇ autoencoders ਟ੍ਰੇਨ ਕੀਤੇ, ਜਿਸ ਵਿੱਚ GPT‑4 ਉੱਤੇ 16 ਮਿਲੀਅਨ ਫੀਚਰਾਂ ਵਾਲਾ autoencoder ਵੀ ਸ਼ਾਮਲ ਹੈ। ਫੀਚਰਾਂ ਦੀ ਵਿਆਖਿਆਯੋਗਤਾ ਜਾਂਚਣ ਲਈ, ਅਸੀਂ ਕਿਸੇ ਦਿੱਤੇ ਫੀਚਰ ਨੂੰ ਉਹ ਦਸਤਾਵੇਜ਼ ਦਿਖਾ ਕੇ ਵਿਜੁਅਲਾਈਜ਼ ਕਰਦੇ ਹਾਂ ਜਿੱਥੇ ਉਹ ਸਰਗਰਮ ਹੁੰਦਾ ਹੈ। ਇੱਥੇ ਕੁਝ ਵਿਆਖਿਆਯੋਗ ਫੀਚਰ ਹਨ ਜੋ ਸਾਨੂੰ ਮਿਲੇ।

ਸਾਨੂੰ ਹੋਰ ਬਹੁਤ ਸਾਰੇ ਦਿਲਚਸਪ ਫੀਚਰ ਮਿਲੇ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਇੱਥੇ ਵੇਖ ਸਕਦੇ ਹੋ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ).

ਅਸੀਂ ਇਸ ਗੱਲ ਲਈ ਉਤਸ਼ਾਹਿਤ ਹਾਂ ਕਿ ਵਿਆਖਿਆਯੋਗਤਾ ਆਖ਼ਿਰਕਾਰ ਮਾਡਲ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਅਤੇ steerability ਨੂੰ ਵਧਾਏਗੀ। ਹਾਲਾਂਕਿ, ਇਹ ਹਜੇ ਸ਼ੁਰੂਆਤੀ ਕੰਮ ਹੈ ਅਤੇ ਇਸ ਦੀਆਂ ਕਈ ਸੀਮਾਵਾਂ ਹਨ।

• ਪਿਛਲੇ ਕੰਮਾਂ ਵਾਂਗ, ਖੋਜੇ ਗਏ ਕਈ ਫੀਚਰ ਅਜੇ ਵੀ ਸਮਝਣ ਲਈ ਮੁਸ਼ਕਲ ਹਨ; ਕਈ ਬਿਨਾਂ ਕਿਸੇ ਸਪਸ਼ਟ ਪੈਟਰਨ ਦੇ ਸਰਗਰਮ ਹੋ ਜਾਂਦੇ ਹਨ ਜਾਂ ਉਹਨਾਂ ਧਾਰਣਾਵਾਂ ਨਾਲ ਅਸੰਬੰਧਤ ਝੂਠੀਆਂ ਸਰਗਰਮੀਆਂ ਦਿਖਾਉਂਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਹ ਆਮ ਤੌਰ ਤੇ encode ਕਰਦੇ ਹੋਏ ਲੱਗਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਸਾਡੇ ਕੋਲ ਵਿਆਖਿਆਵਾਂ ਦੀ ਵੈਧਤਾ ਜਾਂਚਣ ਲਈ ਚੰਗੇ ਤਰੀਕੇ ਨਹੀਂ ਹਨ।
• Sparse autoencoder ਮੂਲ ਮਾਡਲ ਦੇ ਸਾਰੇ ਵਰਤਾਰੇ ਨੂੰ ਕੈਪਚਰ ਨਹੀਂ ਕਰਦਾ। ਇਸ ਵੇਲੇ, GPT‑4 ਦੀਆਂ activations ਨੂੰ sparse autoencoder ਰਾਹੀਂ ਪਾਸ ਕਰਨ ਨਾਲ ਉਹ ਕਾਰਗੁਜ਼ਾਰੀ ਮਿਲਦੀ ਹੈ ਜੋ ਲਗਭਗ 10x ਘੱਟ compute ਨਾਲ ਟ੍ਰੇਨ ਕੀਤੇ ਮਾਡਲ ਦੇ ਬਰਾਬਰ ਹੈ। ਅਤਿ-ਆਧੁਨਿਕ LLM ਵਿੱਚ ਧਾਰਣਾਵਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਮੈਪ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਸ਼ਾਇਦ ਅਰਬਾਂ ਜਾਂ ਖਰਬਾਂ ਫੀਚਰਾਂ ਤੱਕ ਸਕੇਲ ਕਰਨਾ ਪਵੇ, ਜੋ ਸਾਡੀਆਂ ਸੁਧਰੀਆਂ ਸਕੇਲਿੰਗ ਤਕਨੀਕਾਂ ਦੇ ਬਾਵਜੂਦ ਵੀ ਚੁਣੌਤੀਪੂਰਨ ਹੋਵੇਗਾ।
• Sparse autoencoders ਮਾਡਲ ਦੇ ਇੱਕ ਬਿੰਦੂ ਤੇ ਫੀਚਰ ਲੱਭ ਸਕਦੇ ਹਨ, ਪਰ ਇਹ ਮਾਡਲ ਦੀ ਵਿਆਖਿਆ ਵੱਲ ਸਿਰਫ਼ ਇੱਕ ਕਦਮ ਹੈ। ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਮਾਡਲ ਉਹ ਫੀਚਰ ਕਿਵੇਂ ਗਣਨਾ ਕਰਦਾ ਹੈ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਮਾਡਲ ਦੇ ਬਾਕੀ ਹਿੱਸੇ ਵਿੱਚ ਉਹ ਫੀਚਰ ਕਿਵੇਂ ਵਰਤੇ ਜਾਂਦੇ ਹਨ, ਕਾਫ਼ੀ ਹੋਰ ਕੰਮ ਦੀ ਲੋੜ ਹੈ।

ਹਾਲਾਂਕਿ sparse autoencoder ਖੋਜ ਰੋਮਾਂਚਕ ਹੈ, ਅੱਗੇ ਹਾਲੇ ਲੰਮਾ ਰਸਤਾ ਹੈ ਅਤੇ ਕਈ ਚੁਣੌਤੀਆਂ ਅਜੇ ਅਣਸੁਲਝੀਆਂ ਹਨ। ਛੋਟੇ ਸਮੇਂ ਵਿੱਚ, ਅਸੀਂ ਆਸ ਕਰਦੇ ਹਾਂ ਕਿ ਸਾਨੂੰ ਮਿਲੇ ਫੀਚਰ language model ਦੇ ਵਰਤਾਰਿਆਂ ਦੀ ਨਿਗਰਾਨੀ ਅਤੇ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ ਲਈ ਵਿਹਾਰਕ ਤੌਰ ਤੇ ਲਾਭਕਾਰੀ ਹੋਣਗੇ, ਅਤੇ ਅਸੀਂ ਆਪਣੇ ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲਾਂ ਵਿੱਚ ਇਸ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਹੈ। ਆਖ਼ਰਕਾਰ, ਅਸੀਂ ਆਸ ਕਰਦੇ ਹਾਂ ਕਿ ਇਕ ਦਿਨ ਵਿਆਖਿਆਯੋਗਤਾ ਸਾਨੂੰ ਮਾਡਲ ਸੁਰੱਖਿਆ ਅਤੇ ਮਜ਼ਬੂਤੀ ਬਾਰੇ ਰੀਜ਼ਨਿੰਗ ਕਰਨ ਦੇ ਨਵੇਂ ਤਰੀਕੇ ਦੇ ਸਕੇਗੀ, ਅਤੇ ਸ਼ਕਤੀਸ਼ਾਲੀ AI ਮਾਡਲਾਂ ਦੇ ਵਰਤਾਰੇ ਬਾਰੇ ਮਜ਼ਬੂਤ ਭਰੋਸੇ ਦੇ ਕੇ ਉਨ੍ਹਾਂ ਉੱਤੇ ਸਾਡਾ ਭਰੋਸਾ ਕਾਫ਼ੀ ਵਧਾ ਸਕੇਗੀ.

ਅੱਜ, ਅਸੀਂ ਆਪਣੇ ਪ੍ਰਯੋਗਾਂ ਅਤੇ ਤਰੀਕਿਆਂ ਦਾ ਵੇਰਵਾ ਦੇਣ ਵਾਲਾ ਇੱਕ ਪੇਪਰ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਸਾਂਝਾ ਕਰ ਰਹੇ ਹਾਂ, ਜਿਸ ਨਾਲ ਸਾਨੂੰ ਆਸ ਹੈ ਕਿ ਖੋਜਕਰਤਿਆਂ ਲਈ ਵੱਡੇ ਪੱਧਰ ਤੇ autoencoders ਨੂੰ ਟ੍ਰੇਨ ਕਰਨਾ ਆਸਾਨ ਹੋਵੇਗਾ। ਅਸੀਂ GPT‑2 small ਲਈ autoencoders ਦਾ ਪੂਰਾ ਸੈੱਟ ਜਾਰੀ ਕਰ ਰਹੇ ਹਾਂ, ਨਾਲ ਹੀ ਉਨ੍ਹਾਂ ਦੀ ਵਰਤੋਂ ਲਈ ਕੋਡ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), ਅਤੇ ਫੀਚਰ ਵਿਜੁਅਲਾਈਜ਼ਰ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਵੀ, ਤਾਂ ਜੋ ਇਹ ਅਹਿਸਾਸ ਹੋ ਸਕੇ ਕਿ GPT‑2 ਅਤੇ GPT‑4 ਦੇ ਫੀਚਰ ਕਿਸ ਨਾਲ ਮੇਲ ਖਾ ਸਕਦੇ ਹਨ।