ਮੁੱਖ ਸਮੱਗਰੀ 'ਤੇ ਜਾਓ
OpenAI

6 ਜੂਨ 2024

ਪ੍ਰਕਾਸ਼ਨ

GPT‑4 ਤੋਂ ਧਾਰਣਾਵਾਂ ਕੱਢਣਾ

ਅਸੀਂ ਨਵੀਆਂ ਸਕੇਲੇਬਲ ਵਿਧੀਆਂ ਵਰਤ ਕੇ GPT‑4 ਦੀਆਂ ਅੰਦਰੂਨੀ ਪ੍ਰਤੀਨਿਧਤਾਵਾਂ ਨੂੰ 16 ਮਿਲੀਅਨ ਅਕਸਰ-ਵਿਆਖਿਆਯੋਗ ਪੈਟਰਨਾਂ ਵਿੱਚ ਤੋੜਿਆ।

ਲੋਡ ਹੋ ਰਿਹਾ ਹੈ…

ਅਸੀਂ ਇਸ ਵੇਲੇ ਨਹੀਂ ਸਮਝਦੇ ਕਿ language models ਦੇ ਅੰਦਰ neural activity ਦਾ ਅਰਥ ਕਿਵੇਂ ਕੱਢਿਆ ਜਾਵੇ। ਅੱਜ, ਅਸੀਂ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ "ਫੀਚਰ" ਲੱਭਣ ਲਈ ਸੁਧਰੇ ਹੋਏ ਤਰੀਕੇ ਸਾਂਝੇ ਕਰ ਰਹੇ ਹਾਂ—ਐਸੀ ਸਰਗਰਮੀ ਦੇ ਪੈਟਰਨ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਅਸੀਂ ਆਸ ਕਰਦੇ ਹਾਂ ਕਿ ਇਨਸਾਨ ਸਮਝ ਸਕਣ। ਸਾਡੇ ਤਰੀਕੇ ਮੌਜੂਦਾ ਕੰਮ ਨਾਲੋਂ ਵਧੀਆ ਸਕੇਲ ਕਰਦੇ ਹਨ, ਅਤੇ ਅਸੀਂ ਉਨ੍ਹਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ GPT‑4 ਵਿੱਚ 16 ਮਿਲੀਅਨ ਫੀਚਰ ਲੱਭਦੇ ਹਾਂ। ਅਸੀਂ ਹੋਰ ਖੋਜ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨ ਲਈ ਖੋਜ ਭਾਈਚਾਰੇ ਨਾਲ ਇੱਕ ਪੇਪਰ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), ਕੋਡ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), ਅਤੇ ਫੀਚਰ ਵਿਜੁਅਲਾਈਜ਼ੇਸ਼ਨ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਸਾਂਝੇ ਕਰ ਰਹੇ ਹਾਂ।

Neural networks ਦੀ ਵਿਆਖਿਆ ਦੀ ਚੁਣੌਤੀ

ਇਨਸਾਨੀ ਰਚਨਾਵਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਦੇ ਉਲਟ, ਅਸੀਂ ਅਸਲ ਵਿੱਚ neural networks ਦੇ ਅੰਦਰੂਨੀ ਕੰਮਕਾਜ ਨੂੰ ਨਹੀਂ ਸਮਝਦੇ। ਉਦਾਹਰਨ ਲਈ, ਇੰਜੀਨੀਅਰ ਆਪਣੇ ਘਟਕਾਂ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਆਧਾਰ ਤੇ ਕਾਰਾਂ ਨੂੰ ਸਿੱਧੇ ਡਿਜ਼ਾਈਨ, ਪਰਖ ਅਤੇ ਠੀਕ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਸੁਰੱਖਿਆ ਅਤੇ ਕਾਰਗੁਜ਼ਾਰੀ ਯਕੀਨੀ ਬਣਦੀ ਹੈ। ਪਰ neural networks ਨੂੰ ਸਿੱਧੇ ਤੌਰ ਤੇ ਡਿਜ਼ਾਈਨ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ; ਇਸ ਦੀ ਬਜਾਏ ਅਸੀਂ ਉਹ algorithms ਡਿਜ਼ਾਈਨ ਕਰਦੇ ਹਾਂ ਜੋ ਉਨ੍ਹਾਂ ਨੂੰ ਟ੍ਰੇਨ ਕਰਦੇ ਹਨ। ਨਤੀਜੇ ਵਜੋਂ ਬਣੇ networks ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਨਹੀਂ ਸਮਝਿਆ ਗਿਆ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਪਛਾਣਯੋਗ ਹਿੱਸਿਆਂ ਵਿੱਚ ਆਸਾਨੀ ਨਾਲ ਵੰਡਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ। ਇਸ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਅਸੀਂ AI ਸੁਰੱਖਿਆ ਬਾਰੇ ਉਸੇ ਤਰੀਕੇ ਨਾਲ ਰੀਜ਼ਨਿੰਗ ਨਹੀਂ ਕਰ ਸਕਦੇ ਜਿਵੇਂ ਅਸੀਂ ਕਾਰ ਸੁਰੱਖਿਆ ਵਰਗੀ ਚੀਜ਼ ਬਾਰੇ ਕਰਦੇ ਹਾਂ।

Neural networks ਨੂੰ ਸਮਝਣ ਅਤੇ ਵਿਆਖਿਆ ਕਰਨ ਲਈ, ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਸਾਨੂੰ neural computations ਲਈ ਉਪਯੋਗੀ building blocks ਲੱਭਣੇ ਪੈਣਗੇ। ਦੁੱਖ ਦੀ ਗੱਲ ਹੈ ਕਿ language model ਦੇ ਅੰਦਰ neural activations ਅਣਅਨੁਮਾਨਿਤ ਪੈਟਰਨਾਂ ਨਾਲ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ ਅਤੇ ਐਸਾ ਲੱਗਦਾ ਹੈ ਕਿ ਉਹ ਇਕੋ ਵੇਲੇ ਕਈ ਧਾਰਣਾਵਾਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ। ਉਹ ਘਣੇ ਤਰੀਕੇ ਨਾਲ ਵੀ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ, ਜਿਸ ਦਾ ਅਰਥ ਹੈ ਕਿ ਹਰ activation ਹਰ input ਤੇ ਹਮੇਸ਼ਾਂ ਚੱਲਦਾ ਰਹਿੰਦਾ ਹੈ। ਪਰ ਅਸਲ ਦੁਨੀਆ ਦੀਆਂ ਧਾਰਣਾਵਾਂ ਬਹੁਤ sparse ਹੁੰਦੀਆਂ ਹਨ—ਕਿਸੇ ਵੀ ਸੰਦਰਭ ਵਿੱਚ, ਸਾਰੀਆਂ ਧਾਰਣਾਵਾਂ ਵਿੱਚੋਂ ਸਿਰਫ਼ ਇੱਕ ਛੋਟਾ ਹਿੱਸਾ ਹੀ ਸੰਬੰਧਤ ਹੁੰਦਾ ਹੈ। ਇਹ sparse autoencoders ਦੀ ਵਰਤੋਂ ਲਈ ਪ੍ਰੇਰਿਤ ਕਰਦਾ ਹੈ, ਜੋ neural network ਵਿੱਚ ਕੁਝ "ਫੀਚਰ" ਪਛਾਣਣ ਦੀ ਇਕ ਵਿਧੀ ਹੈ ਜੋ ਕਿਸੇ ਦਿੱਤੇ output ਨੂੰ ਪੈਦਾ ਕਰਨ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦੇ ਹਨ, ਕੁਝ ਉਸ ਛੋਟੇ ਧਾਰਣਾ-ਸਮੂਹ ਵਾਂਗ ਜੋ ਕਿਸੇ ਸਥਿਤੀ ਬਾਰੇ ਰੀਜ਼ਨਿੰਗ ਕਰਦੇ ਸਮੇਂ ਇੱਕ ਵਿਅਕਤੀ ਦੇ ਮਨ ਵਿੱਚ ਹੋ ਸਕਦਾ ਹੈ। ਇਨ੍ਹਾਂ ਦੇ ਫੀਚਰ sparse activation patterns ਦਿਖਾਉਂਦੇ ਹਨ ਜੋ ਸੁਭਾਵਕ ਤੌਰ ਤੇ ਉਹਨਾਂ ਧਾਰਣਾਵਾਂ ਨਾਲ ਮਿਲਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਇਨਸਾਨਾਂ ਲਈ ਸਮਝਣਾ ਆਸਾਨ ਹੁੰਦਾ ਹੈ, ਭਾਵੇਂ ਵਿਆਖਿਆਯੋਗਤਾ ਲਈ ਸਿੱਧੇ ਪ੍ਰੋਤਸਾਹਨ ਨਾ ਵੀ ਹੋਣ।

ਇੱਕ ਚਿੱਤਰ ਜੋ Sparse autoencoder ਦੁਆਰਾ dense neural activations ਨੂੰ sparse features ਵਿੱਚ encode ਅਤੇ decode ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦਿਖਾਉਂਦਾ ਹੈ।

ਹਾਲਾਂਕਿ, sparse autoencoders ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਵਿੱਚ ਅਜੇ ਵੀ ਗੰਭੀਰ ਚੁਣੌਤੀਆਂ ਹਨ। ਵੱਡੇ language models ਬੇਹੱਦ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਧਾਰਣਾਵਾਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ, ਅਤੇ ਸਾਡੇ autoencoders ਨੂੰ ਵੀ frontier ਮਾਡਲ ਵਿੱਚ ਧਾਰਣਾਵਾਂ ਦੀ ਲਗਭਗ ਪੂਰੀ ਕਵਰੇਜ ਦੇ ਨੇੜੇ ਜਾਣ ਲਈ ਉਸੇ ਅਨੁਪਾਤ ਵਿੱਚ ਬਹੁਤ ਵੱਡਾ ਹੋਣਾ ਪੈ ਸਕਦਾ ਹੈ। sparse ਫੀਚਰਾਂ ਦੀ ਵੱਡੀ ਗਿਣਤੀ ਸਿੱਖਣਾ ਚੁਣੌਤੀਪੂਰਨ ਹੈ, ਅਤੇ ਪਿਛਲਾ ਕੰਮ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਕੇਲ ਕਰਦਾ ਹੋਇਆ ਨਹੀਂ ਦਿਖਾਇਆ ਗਿਆ।

ਸਾਡੀ ਖੋਜ ਤਰੱਕੀ: ਵੱਡੇ ਪੱਧਰ ਦਾ autoencoder ਟ੍ਰੇਨਿੰਗ

ਅਸੀਂ ਨਵੀਆਂ ਅਤਿ-ਆਧੁਨਿਕ ਵਿਧੀਆਂ ਵਿਕਸਿਤ ਕੀਤੀਆਂ ਹਨ ਜੋ ਸਾਨੂੰ ਅਤਿ-ਆਧੁਨਿਕ AI ਮਾਡਲਾਂ ਉੱਤੇ ਆਪਣੇ sparse autoencoders ਨੂੰ ਦਹਾਕਿਆਂ ਮਿਲੀਅਨ ਫੀਚਰਾਂ ਤੱਕ ਸਕੇਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀਆਂ ਹਨ। ਅਸੀਂ ਪਾਇਆ ਕਿ ਸਾਡੀ ਵਿਧੀ ਸੁਚਾਰੂ ਅਤੇ ਭਵਿੱਖਬਾਣੀਯੋਗ ਸਕੇਲਿੰਗ ਦਿਖਾਉਂਦੀ ਹੈ, ਅਤੇ ਪਹਿਲਾਂ ਦੀਆਂ ਤਕਨੀਕਾਂ ਨਾਲੋਂ ਸਕੇਲ ਵਧਣ ਤੇ ਵਧੀਆ ਨਤੀਜੇ ਦਿੰਦੀ ਹੈ। ਅਸੀਂ ਫੀਚਰ ਗੁਣਵੱਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਕਈ ਨਵੇਂ ਮੈਟ੍ਰਿਕ ਵੀ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ।

ਅਸੀਂ ਆਪਣੀ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ GPT‑2 small ਅਤੇ GPT‑4 activations ਉੱਤੇ ਕਈ ਕਿਸਮ ਦੇ autoencoders ਟ੍ਰੇਨ ਕੀਤੇ, ਜਿਸ ਵਿੱਚ GPT‑4 ਉੱਤੇ 16 ਮਿਲੀਅਨ ਫੀਚਰਾਂ ਵਾਲਾ autoencoder ਵੀ ਸ਼ਾਮਲ ਹੈ। ਫੀਚਰਾਂ ਦੀ ਵਿਆਖਿਆਯੋਗਤਾ ਜਾਂਚਣ ਲਈ, ਅਸੀਂ ਕਿਸੇ ਦਿੱਤੇ ਫੀਚਰ ਨੂੰ ਉਹ ਦਸਤਾਵੇਜ਼ ਦਿਖਾ ਕੇ ਵਿਜੁਅਲਾਈਜ਼ ਕਰਦੇ ਹਾਂ ਜਿੱਥੇ ਉਹ ਸਰਗਰਮ ਹੁੰਦਾ ਹੈ। ਇੱਥੇ ਕੁਝ ਵਿਆਖਿਆਯੋਗ ਫੀਚਰ ਹਨ ਜੋ ਸਾਨੂੰ ਮਿਲੇ।

most people, it isn’t. We all have wonderful days, glimpses of what we perceive to be perfection, but we can also all have truly shit-tastic ones, and I can assure you that you’re not alone. So toddler of mine, and most other toddlers out there, remember; Don’t be a
has warts. What system that is used to build real world software doesn't? I've built systems in a number of languages and frameworks and they all had warts and issues. How much research has the author done to find other solutions? The plea at the end seemed very lazywebish to me
often put our hope in the wrong places in the world, in other people, in our abilities or finances but all of that is like sinking sand. The only place we can find hope is in Jesus Christ. These words by Kutless tell us just where we need to go to find hope. I lift my
churches since the last Great Reformation has also become warped. I state again, while churches are formed and planted with the most Holy and Divine of inspirations, they are not free from the corruption of humanity. While they are of our great and perfect Father, they are on an imperfect Earth. And we Rogues are
perfect. If anyone does not believe that let them say so. You really do appear to be just about a meter away from me. But you are actually in my brain. What artistry! What perfection! Not the slightest blurring. And in 3-D. Sound is also 3-D. And images.

ਸਾਨੂੰ ਹੋਰ ਬਹੁਤ ਸਾਰੇ ਦਿਲਚਸਪ ਫੀਚਰ ਮਿਲੇ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਇੱਥੇ ਵੇਖ ਸਕਦੇ ਹੋ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ).

ਸੀਮਾਵਾਂ

ਅਸੀਂ ਇਸ ਗੱਲ ਲਈ ਉਤਸ਼ਾਹਿਤ ਹਾਂ ਕਿ ਵਿਆਖਿਆਯੋਗਤਾ ਆਖ਼ਿਰਕਾਰ ਮਾਡਲ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਅਤੇ steerability ਨੂੰ ਵਧਾਏਗੀ। ਹਾਲਾਂਕਿ, ਇਹ ਹਜੇ ਸ਼ੁਰੂਆਤੀ ਕੰਮ ਹੈ ਅਤੇ ਇਸ ਦੀਆਂ ਕਈ ਸੀਮਾਵਾਂ ਹਨ।

  • ਪਿਛਲੇ ਕੰਮਾਂ ਵਾਂਗ, ਖੋਜੇ ਗਏ ਕਈ ਫੀਚਰ ਅਜੇ ਵੀ ਸਮਝਣ ਲਈ ਮੁਸ਼ਕਲ ਹਨ; ਕਈ ਬਿਨਾਂ ਕਿਸੇ ਸਪਸ਼ਟ ਪੈਟਰਨ ਦੇ ਸਰਗਰਮ ਹੋ ਜਾਂਦੇ ਹਨ ਜਾਂ ਉਹਨਾਂ ਧਾਰਣਾਵਾਂ ਨਾਲ ਅਸੰਬੰਧਤ ਝੂਠੀਆਂ ਸਰਗਰਮੀਆਂ ਦਿਖਾਉਂਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਹ ਆਮ ਤੌਰ ਤੇ encode ਕਰਦੇ ਹੋਏ ਲੱਗਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਸਾਡੇ ਕੋਲ ਵਿਆਖਿਆਵਾਂ ਦੀ ਵੈਧਤਾ ਜਾਂਚਣ ਲਈ ਚੰਗੇ ਤਰੀਕੇ ਨਹੀਂ ਹਨ।
  • Sparse autoencoder ਮੂਲ ਮਾਡਲ ਦੇ ਸਾਰੇ ਵਰਤਾਰੇ ਨੂੰ ਕੈਪਚਰ ਨਹੀਂ ਕਰਦਾ। ਇਸ ਵੇਲੇ, GPT‑4 ਦੀਆਂ activations ਨੂੰ sparse autoencoder ਰਾਹੀਂ ਪਾਸ ਕਰਨ ਨਾਲ ਉਹ ਕਾਰਗੁਜ਼ਾਰੀ ਮਿਲਦੀ ਹੈ ਜੋ ਲਗਭਗ 10x ਘੱਟ compute ਨਾਲ ਟ੍ਰੇਨ ਕੀਤੇ ਮਾਡਲ ਦੇ ਬਰਾਬਰ ਹੈ। ਅਤਿ-ਆਧੁਨਿਕ LLM ਵਿੱਚ ਧਾਰਣਾਵਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਮੈਪ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਸ਼ਾਇਦ ਅਰਬਾਂ ਜਾਂ ਖਰਬਾਂ ਫੀਚਰਾਂ ਤੱਕ ਸਕੇਲ ਕਰਨਾ ਪਵੇ, ਜੋ ਸਾਡੀਆਂ ਸੁਧਰੀਆਂ ਸਕੇਲਿੰਗ ਤਕਨੀਕਾਂ ਦੇ ਬਾਵਜੂਦ ਵੀ ਚੁਣੌਤੀਪੂਰਨ ਹੋਵੇਗਾ।
  • Sparse autoencoders ਮਾਡਲ ਦੇ ਇੱਕ ਬਿੰਦੂ ਤੇ ਫੀਚਰ ਲੱਭ ਸਕਦੇ ਹਨ, ਪਰ ਇਹ ਮਾਡਲ ਦੀ ਵਿਆਖਿਆ ਵੱਲ ਸਿਰਫ਼ ਇੱਕ ਕਦਮ ਹੈ। ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਮਾਡਲ ਉਹ ਫੀਚਰ ਕਿਵੇਂ ਗਣਨਾ ਕਰਦਾ ਹੈ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਮਾਡਲ ਦੇ ਬਾਕੀ ਹਿੱਸੇ ਵਿੱਚ ਉਹ ਫੀਚਰ ਕਿਵੇਂ ਵਰਤੇ ਜਾਂਦੇ ਹਨ, ਕਾਫ਼ੀ ਹੋਰ ਕੰਮ ਦੀ ਲੋੜ ਹੈ।

ਅੱਗੇ ਦੀ ਸੋਚ, ਅਤੇ ਆਪਣੀ ਖੋਜ ਨੂੰ ਓਪਨ-ਸੋਰਸ ਕਰਨਾ

ਹਾਲਾਂਕਿ sparse autoencoder ਖੋਜ ਰੋਮਾਂਚਕ ਹੈ, ਅੱਗੇ ਹਾਲੇ ਲੰਮਾ ਰਸਤਾ ਹੈ ਅਤੇ ਕਈ ਚੁਣੌਤੀਆਂ ਅਜੇ ਅਣਸੁਲਝੀਆਂ ਹਨ। ਛੋਟੇ ਸਮੇਂ ਵਿੱਚ, ਅਸੀਂ ਆਸ ਕਰਦੇ ਹਾਂ ਕਿ ਸਾਨੂੰ ਮਿਲੇ ਫੀਚਰ language model ਦੇ ਵਰਤਾਰਿਆਂ ਦੀ ਨਿਗਰਾਨੀ ਅਤੇ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ ਲਈ ਵਿਹਾਰਕ ਤੌਰ ਤੇ ਲਾਭਕਾਰੀ ਹੋਣਗੇ, ਅਤੇ ਅਸੀਂ ਆਪਣੇ ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲਾਂ ਵਿੱਚ ਇਸ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਹੈ। ਆਖ਼ਰਕਾਰ, ਅਸੀਂ ਆਸ ਕਰਦੇ ਹਾਂ ਕਿ ਇਕ ਦਿਨ ਵਿਆਖਿਆਯੋਗਤਾ ਸਾਨੂੰ ਮਾਡਲ ਸੁਰੱਖਿਆ ਅਤੇ ਮਜ਼ਬੂਤੀ ਬਾਰੇ ਰੀਜ਼ਨਿੰਗ ਕਰਨ ਦੇ ਨਵੇਂ ਤਰੀਕੇ ਦੇ ਸਕੇਗੀ, ਅਤੇ ਸ਼ਕਤੀਸ਼ਾਲੀ AI ਮਾਡਲਾਂ ਦੇ ਵਰਤਾਰੇ ਬਾਰੇ ਮਜ਼ਬੂਤ ਭਰੋਸੇ ਦੇ ਕੇ ਉਨ੍ਹਾਂ ਉੱਤੇ ਸਾਡਾ ਭਰੋਸਾ ਕਾਫ਼ੀ ਵਧਾ ਸਕੇਗੀ.

ਅੱਜ, ਅਸੀਂ ਆਪਣੇ ਪ੍ਰਯੋਗਾਂ ਅਤੇ ਤਰੀਕਿਆਂ ਦਾ ਵੇਰਵਾ ਦੇਣ ਵਾਲਾ ਇੱਕ ਪੇਪਰ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਸਾਂਝਾ ਕਰ ਰਹੇ ਹਾਂ, ਜਿਸ ਨਾਲ ਸਾਨੂੰ ਆਸ ਹੈ ਕਿ ਖੋਜਕਰਤਿਆਂ ਲਈ ਵੱਡੇ ਪੱਧਰ ਤੇ autoencoders ਨੂੰ ਟ੍ਰੇਨ ਕਰਨਾ ਆਸਾਨ ਹੋਵੇਗਾ। ਅਸੀਂ GPT‑2 small ਲਈ autoencoders ਦਾ ਪੂਰਾ ਸੈੱਟ ਜਾਰੀ ਕਰ ਰਹੇ ਹਾਂ, ਨਾਲ ਹੀ ਉਨ੍ਹਾਂ ਦੀ ਵਰਤੋਂ ਲਈ ਕੋਡ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), ਅਤੇ ਫੀਚਰ ਵਿਜੁਅਲਾਈਜ਼ਰ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਵੀ, ਤਾਂ ਜੋ ਇਹ ਅਹਿਸਾਸ ਹੋ ਸਕੇ ਕਿ GPT‑2 ਅਤੇ GPT‑4 ਦੇ ਫੀਚਰ ਕਿਸ ਨਾਲ ਮੇਲ ਖਾ ਸਕਦੇ ਹਨ।

ਲੇਖਕ

Jeffrey Wu, Leo Gao, Tom Dupré la Tour, Henk Tillman

ਆਭਾਰ

Taya Christianson, Elizabeth Proehl, Yo Shavit, Niko Felix, Cathy Yeh, Gabriel Goh, Rajan Troll, Alec Radford, Jan Leike, Ilya Sutskever, David Robinson, Greg Brockman