Rule-Based Rewards ਨਾਲ ਮਾਡਲ ਸੁਰੱਖਿਆ ਵਰਤਾਅ ਵਿੱਚ ਸੁਧਾਰ

ਸਾਡੀ ਖੋਜ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ Rule-Based Rewards (RBRs) ਸਾਡੇ AI ਸਿਸਟਮਾਂ ਦੀ ਸੁਰੱਖਿਆ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਢੰਗ ਨਾਲ ਬਿਹਤਰ ਬਣਾਉਂਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਉਹ ਲੋਕਾਂ ਅਤੇ ਡਿਵੈਲਪਰਾਂ ਲਈ ਹਰ ਰੋਜ਼ ਵਰਤੋਂ ਵਿੱਚ ਹੋਰ ਸੁਰੱਖਿਅਤ ਅਤੇ ਭਰੋਸੇਯੋਗ ਬਣਦੇ ਹਨ। ਇਹ ਸਾਡੇ ਉਸ ਕੰਮ ਦਾ ਹਿੱਸਾ ਹੈ ਜਿਸ ਵਿੱਚ ਅਸੀਂ ਹੋਰ ਤਰੀਕੇ ਖੋਜ ਰਹੇ ਹਾਂ ਕਿ ਅਸੀਂ AI ਨੂੰ ਹੋਰ ਸੁਰੱਖਿਅਤ ਬਣਾਉਣ ਲਈ ਆਪਣਾ ਹੀ AI ਕਿਵੇਂ ਵਰਤ ਸਕੀਏ⁠.

ਰਵਾਇਤੀ ਤੌਰ ਤੇ, ਹਿਊਮਨ ਫੀਡਬੈਕ ਤੋਂ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ (RLHF)⁠ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲੈਂਗਵੇਜ ਮਾਡਲਾਂ ਨੂੰ ਫਾਈਨ-ਟਿਊਨ ਕਰਨਾ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਦਾ ਮੁੱਖ ਤਰੀਕਾ ਰਿਹਾ ਹੈ ਕਿ ਉਹ ਹਦਾਇਤਾਂ ਨੂੰ⁠ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਮੰਨਣ। OpenAI ਹੋਰ ਸਮਝਦਾਰ ਅਤੇ ਸੁਰੱਖਿਅਤ AI ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਇਹ ਐਲਾਈਨਮੈਂਟ ਤਰੀਕੇ ਵਿਕਸਿਤ ਕਰਨ ਵਿੱਚ ਅਗੇਤਰ ਰਿਹਾ ਹੈ.

ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ AI ਸਿਸਟਮ ਸੁਰੱਖਿਅਤ ਤਰੀਕੇ ਨਾਲ ਵਰਤਾਅ ਕਰਨ ਅਤੇ ਮਨੁੱਖੀ ਮੁੱਲਾਂ ਨਾਲ ਅਨੁਕੂਲ ਰਹਿਣ, ਅਸੀਂ ਚਾਹੀਦੇ ਵਰਤਾਅ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਾਂ ਅਤੇ ਇੱਕ “ਰਿਵਾਰਡ ਮਾਡਲ” ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਇਕੱਠਾ ਕਰਦੇ ਹਾਂ। ਇਹ ਮਾਡਲ ਚਾਹੁਣਯੋਗ ਕਿਰਿਆਵਾਂ ਦਾ ਸੰਕੇਤ ਦੇ ਕੇ AI ਨੂੰ ਮਾਰਗਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਰੁਟੀਨੀ ਅਤੇ ਦੁਹਰਾਏ ਜਾਣ ਵਾਲੇ ਕੰਮਾਂ ਲਈ ਇਹ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਇਕੱਠਾ ਕਰਨਾ ਅਕਸਰ ਅਕਾਰਗਰ ਹੁੰਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਜੇ ਸਾਡੀਆਂ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਬਦਲ ਜਾਂਦੀਆਂ ਹਨ, ਤਾਂ ਪਹਿਲਾਂ ਇਕੱਠਾ ਕੀਤਾ ਫੀਡਬੈਕ ਪੁਰਾਣਾ ਹੋ ਸਕਦਾ ਹੈ, ਜਿਸ ਲਈ ਨਵਾਂ ਡਾਟਾ ਲੋੜੀਂਦਾ ਹੁੰਦਾ ਹੈ.

ਇਸ ਲਈ, ਅਸੀਂ Rule-Based Rewards (RBRs) ਨੂੰ OpenAI ਦੇ ਸੁਰੱਖਿਆ ਸਟੈਕ ਦੇ ਇੱਕ ਮੁੱਖ ਹਿੱਸੇ ਵਜੋਂ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ ਤਾਂ ਜੋ ਮਾਡਲ ਦੇ ਵਰਤਾਅ ਨੂੰ ਚਾਹੀਦੇ ਸੁਰੱਖਿਅਤ ਵਰਤਾਅ ਨਾਲ ਐਲਾਈਨ ਕੀਤਾ ਜਾ ਸਕੇ। ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਤੋਂ ਵੱਖਰੇ, RBRs ਇਹ ਅੰਕਲਨ ਕਰਨ ਲਈ ਸਪੱਸ਼ਟ, ਸਧਾਰਣ ਅਤੇ ਕਦਮ-ਦਰ-ਕਦਮ ਨਿਯਮ ਵਰਤਦੇ ਹਨ ਕਿ ਮਾਡਲ ਦੇ ਆਉਟਪੁੱਟ ਸੁਰੱਖਿਆ ਮਿਆਰਾਂ ਨੂੰ ਪੂਰਾ ਕਰਦੇ ਹਨ ਜਾਂ ਨਹੀਂ। ਜਦੋਂ ਇਸਨੂੰ ਮਿਆਰੀ RLHF ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਇਹ ਨੁਕਸਾਨ ਤੋਂ ਬਚਾਉਂਦੇ ਹੋਏ ਮਦਦਗਾਰ ਹੋਣ ਦਾ ਚੰਗਾ ਸੰਤੁਲਨ ਬਣਾਈ ਰੱਖਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ, ਤਾਂ ਜੋ ਮੁੜ-ਮੁੜ ਮਨੁੱਖੀ ਇਨਪੁੱਟ ਦੀ ਅਕਾਰਗਰਤਾ ਤੋਂ ਬਿਨਾਂ ਮਾਡਲ ਸੁਰੱਖਿਅਤ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਤਰੀਕੇ ਨਾਲ ਵਰਤਾਅ ਕਰੇ। ਅਸੀਂ ਆਪਣੇ GPT‑4⁠ ਲਾਂਚ ਤੋਂ ਹੀ, GPT‑4o mini⁠ ਸਮੇਤ, RBRs ਨੂੰ ਆਪਣੇ ਸੁਰੱਖਿਆ ਸਟੈਕ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਵਰਤਿਆ ਹੈ, ਅਤੇ ਅੱਗੇ ਵੀ ਅਸੀਂ ਇਸਨੂੰ ਆਪਣੇ ਮਾਡਲਾਂ ਵਿੱਚ ਲਾਗੂ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਹੈ.

RBRs ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ propositions ਦਾ ਇੱਕ ਸੈੱਟ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਦੇ ਜਵਾਬਾਂ ਦੇ ਚਾਹੁਣਯੋਗ ਜਾਂ ਅਚਾਹੁਣਯੋਗ ਪੱਖਾਂ ਬਾਰੇ ਸਧਾਰਣ ਕਥਨ ਹੁੰਦੇ ਹਨ, ਜਿਵੇਂ “ਫ਼ੈਸਲਾਤਮਕ ਹੋਣਾ”, “ਗੈਰ-ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਸਮੱਗਰੀ ਸ਼ਾਮਲ ਹੋਣਾ”, “ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਦਾ ਹਵਾਲਾ ਦੇਣਾ”, “ਡਿਸਕਲੇਮਰ” ਆਦਿ। ਫਿਰ ਇਹਨਾਂ propositions ਦੀ ਵਰਤੋਂ ਨਿਯਮ ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜੋ ਧਿਆਨ ਨਾਲ ਇਸ ਤਰ੍ਹਾਂ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ ਕਿ ਵੱਖ-ਵੱਖ ਸਥਿਤੀਆਂ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਅਤੇ ਉਚਿਤ ਜਵਾਬਾਂ ਦੀਆਂ ਬਾਰੀਕੀਆਂ ਨੂੰ ਸਮੇਟਿਆ ਜਾ ਸਕੇ। ਉਦਾਹਰਨ ਲਈ, ਅਸਵੀਕਾਰਨਾ (ਜਿਵੇਂ “ਮਾਫ਼ ਕਰਨਾ ਮੈਂ ਇਸ ਵਿੱਚ ਤੁਹਾਡੀ ਮਦਦ ਨਹੀਂ ਕਰ ਸਕਦਾ।” ) ਅਸੁਰੱਖਿਅਤ ਬੇਨਤੀਆਂ ਦੇ ਸਾਹਮਣੇ ਮਾਡਲ ਦਾ ਇੱਕ ਚਾਹੁਣਯੋਗ ਜਵਾਬ ਹੈ। ਇਸ ਨਾਲ ਜੁੜੇ ਨਿਯਮ ਕਹਿਣਗੇ ਕਿ ਅਸਵੀਕਾਰਨਾ ਵਿੱਚ “ਇੱਕ ਸੰਖੇਪ ਮਾਫ਼ੀ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ” ਅਤੇ ਇਹ “ਪਾਲਣਾ ਕਰਨ ਵਿੱਚ ਅਸਮਰੱਥਤਾ ਦਰਸਾਉਣੀ ਚਾਹੀਦੀ ਹੈ”.

ਨੁਕਸਾਨਦਾਇਕ ਜਾਂ ਸੰਵੇਦਨਸ਼ੀਲ ਵਿਸ਼ਿਆਂ ਨਾਲ ਨਿਪਟਣ ਵੇਲੇ ਅਸੀਂ ਚਾਹੀਦੇ ਮਾਡਲ ਵਰਤਾਅ ਦੀਆਂ ਤਿੰਨ ਸ਼੍ਰੇਣੀਆਂ ਡਿਜ਼ਾਈਨ ਕਰਦੇ ਹਾਂ। ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਦੇ ਅਨੁਸਾਰ, ਵੱਖ-ਵੱਖ ਬੇਨਤੀਆਂ ਵੱਖ-ਵੱਖ ਮਾਡਲ ਜਵਾਬ ਕਿਸਮਾਂ ਨਾਲ ਮੈਪ ਹੁੰਦੀਆਂ ਹਨ.

ਹੇਠਾਂ ਅਸੀਂ propositions ਦੇ ਸਰਲ ਉਦਾਹਰਨ ਦਿੰਦੇ ਹਾਂ ਅਤੇ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਵੱਖ-ਵੱਖ ਜਵਾਬ ਕਿਸਮਾਂ ਲਈ ਉਹ ਕਿਵੇਂ ਆਦਰਸ਼ ਜਾਂ ਗੈਰ-ਆਦਰਸ਼ ਵਰਤਾਅ ਨਾਲ ਮੈਪ ਹੁੰਦੇ ਹਨ.

ਹੇਠਾਂ ਦਿੱਤੀ ਟੇਬਲ ਵਿੱਚ ਅਸੀਂ ਆਪਣੇ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਟ੍ਰੇਨ ਕੀਤੇ ਮਾਡਲਾਂ ਤੋਂ ਕੁਝ ਉਦਾਹਰਨਾਤਮਕ completion ਦਿੰਦੇ ਹਾਂ ਤਾਂ ਜੋ ਆਪਣੇ ਪ੍ਰਸਤਾਵਾਂ ਦੇ ਕੁਝ ਸਪੱਸ਼ਟੀਕਰਣ ਵਾਲੇ ਉਦਾਹਰਨ ਦਿੱਤੇ ਜਾ ਸਕਣ। ਅਸੀਂ ਹਰ completion ਲਈ ਕੁਝ proposition ਮੁੱਲਾਂ ਅਤੇ ਉਹ ਕਿਸ ਵਰਗ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ, ਨੂੰ ਹਾਈਲਾਈਟ ਕਰਦੇ ਹਾਂ.

ਗ੍ਰੇਡਰ, ਜੋ ਇੱਕ ਫਿਕਸਡ ਲੈਂਗਵੇਜ ਮਾਡਲ ਹੈ, ਜਵਾਬਾਂ ਨੂੰ ਇਸ ਆਧਾਰ 'ਤੇ ਸਕੋਰ ਕਰਦਾ ਹੈ ਕਿ ਉਹ ਇਹਨਾਂ ਨਿਯਮਾਂ ਦੀ ਕਿੰਨੀ ਚੰਗੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ, ਜਿਸ ਨਾਲ RBR ਪੱਧਤੀ ਨਵੇਂ ਨਿਯਮਾਂ ਅਤੇ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਨਾਲ ਲਚਕੀਲੇ ਢੰਗ ਨਾਲ ਅਨੁਕੂਲ ਹੋ ਸਕਦੀ ਹੈ। RBR ਇਹਨਾਂ ਸਕੋਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਲੀਨੀਅਰ ਮਾਡਲ ਫਿਟ ਕਰਦਾ ਹੈ ਜਿਸ ਦੇ ਵਜ਼ਨ ਪੈਰਾਮੀਟਰ ਪ੍ਰੌੰਪਟਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਡਾਟਾਸੈੱਟ ਤੋਂ ਸਿੱਖੇ ਜਾਂਦੇ ਹਨ, ਜਿੱਥੇ ਆਦਰਸ਼ ਜਵਾਬ ਕਿਸਮ ਜਾਣੀ ਹੁੰਦੀ ਹੈ, ਨਾਲ ਹੀ ਇਸ ਨਾਲ ਸਬੰਧਤ ਚਾਹੁਣਯੋਗ ਅਤੇ ਅਚਾਹੁਣਯੋਗ completion ਵੀ ਹੁੰਦੇ ਹਨ। ਫਿਰ ਇਹ RBR ਰਿਵਾਰਡ ਸਿਰਫ਼ ਮਦਦਗਾਰ ਰਿਵਾਰਡ ਮਾਡਲ ਤੋਂ ਮਿਲਦੇ ਰਿਵਾਰਡਾਂ ਨਾਲ ਜੋੜੇ ਜਾਂਦੇ ਹਨ ਅਤੇ PPO ਐਲਗੋਰਿਦਮਾਂ⁠ ਵਿੱਚ ਇੱਕ ਵਾਧੂ ਸੰਕੇਤ ਵਜੋਂ ਵਰਤੇ ਜਾਂਦੇ ਹਨ ਤਾਂ ਜੋ ਮਾਡਲ ਨੂੰ ਸੁਰੱਖਿਆ ਵਰਤਾਅ ਨੀਤੀਆਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕੀਤਾ ਜਾ ਸਕੇ। ਇਹ ਤਰੀਕਾ ਸਾਨੂੰ ਮਾਡਲ ਦੇ ਵਰਤਾਅ ਉੱਤੇ ਸੁਖਮ-ਪੱਧਰੀ ਨਿਯੰਤਰਣ ਦੇਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਿਆਂ ਕਿ ਉਹ ਸਿਰਫ਼ ਨੁਕਸਾਨਦਾਇਕ ਸਮੱਗਰੀ ਤੋਂ ਬਚੇ ਹੀ ਨਾ, ਸਗੋਂ ਇਹ ਕੰਮ ਆਦਰਪੂਰਣ ਅਤੇ ਮਦਦਗਾਰ ਢੰਗ ਨਾਲ ਵੀ ਕਰੇ.

ਸਾਡੇ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ, RBR-ਟ੍ਰੇਨ ਕੀਤੇ ਮਾਡਲਾਂ ਨੇ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਨਾਲ ਟ੍ਰੇਨ ਕੀਤੇ ਮਾਡਲਾਂ ਦੇ ਤੁਲਨਾਤਮਕ ਸੁਰੱਖਿਆ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ। ਉਨ੍ਹਾਂ ਨੇ ਸੁਰੱਖਿਅਤ ਬੇਨਤੀਆਂ ਨੂੰ ਗਲਤ ਤਰੀਕੇ ਨਾਲ ਅਸਵੀਕਾਰ ਕਰਨ (“overrefuse”) ਦੇ ਮਾਮਲਿਆਂ ਨੂੰ ਵੀ ਘਟਾਇਆ, ਬਿਨਾਂ ਆਮ ਸਮਰੱਥਾ ਬੈਂਚਮਾਰਕਾਂ ਉੱਤੇ ਮੁਲਾਂਕਣ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕੀਤੇ। RBRs ਵਿਆਪਕ ਮਨੁੱਖੀ ਡਾਟਾ ਦੀ ਲੋੜ ਨੂੰ ਵੀ ਮਹੱਤਵਪੂਰਨ ਢੰਗ ਨਾਲ ਘਟਾਉਂਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਟ੍ਰੇਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਤੇਜ਼ ਅਤੇ ਹੋਰ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਬਣਦੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਜਿਵੇਂ ਮਾਡਲ ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਸੁਰੱਖਿਆ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ ਵਿਕਸਿਤ ਹੁੰਦੇ ਹਨ, RBRs ਨੂੰ ਬਿਨਾਂ ਵਿਆਪਕ ਮੁੜ-ਟ੍ਰੇਨਿੰਗ ਦੀ ਲੋੜ ਤੋਂ, ਨਵੇਂ ਨਿਯਮ ਸੋਧ ਕੇ ਜਾਂ ਜੋੜ ਕੇ ਜਲਦੀ ਅਪਡੇਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ.

ਅਸੀਂ ਆਪਣੇ ਮਾਡਲ ਦੇ ਸੁਰੱਖਿਆ ਵਰਤਾਅ ਦਾ ਮੁਲਾਂਕਣ ਇੱਕ ਐਸੇ ਫਰੇਮਵਰਕ ਵਿੱਚ ਕਰ ਰਹੇ ਹਾਂ ਜਿੱਥੇ ਅਸੀਂ ਮਦਦਗਾਰੀ ਅਤੇ ਨੁਕਸਾਨਦਾਇਕਤਾ ਵਿਚਕਾਰ ਟ੍ਰੇਡਆਫ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਟਰੈਕ ਕਰ ਸਕਦੇ ਹਾਂ। ਇੱਕ ਪਾਸੇ, ਜੇ ਮਾਡਲ ਹਰ ਚੀਜ਼ ਤੋਂ ਇਨਕਾਰ ਕਰ ਦੇਵੇ ਤਾਂ ਸੁਰੱਖਿਅਤ ਰਹਿਣਾ ਆਸਾਨ ਹੈ, ਪਰ ਮਾਡਲ ਦੀ ਉਪਯੋਗਤਾ ਸ਼ੂਨ੍ਹ ਹੈ। ਦੂਜੇ ਪਾਸੇ, ਅਸੀਂ ਐਸਾ ਮਾਡਲ ਨਹੀਂ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਜੋ ਵੱਧ ਤੋਂ ਵੱਧ ਉਪਯੋਗਤਾ ਲਈ ਆਪਟੀਮਾਈਜ਼ ਕਰੇ ਪਰ ਅਸੁਰੱਖਿਅਤ ਜਾਂ ਨੁਕਸਾਨਦਾਇਕ ਹੋਵੇ। ਇੱਕ ਸਰਵੋਤਮ ਤਰੀਕੇ ਨਾਲ ਐਲਾਈਨ ਕੀਤਾ ਮਾਡਲ ਮਦਦਗਾਰੀ ਅਤੇ ਨੁਕਸਾਨਦਾਇਕਤਾ ਵਿਚਕਾਰ ਇਹ ਨਾਜ਼ੁਕ ਸੰਤੁਲਨ ਬਣਾਈ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ.

ਭਾਵੇਂ RBRs ਸਪੱਸ਼ਟ ਅਤੇ ਸਿੱਧੇ ਨਿਯਮਾਂ ਵਾਲੇ ਕੰਮਾਂ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰਦੇ ਹਨ, ਪਰ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲਾ ਲੇਖ ਲਿਖਣ ਵਰਗੇ ਹੋਰ ਅਧਿਕ ਸਬਜੈਕਟਿਵ ਕੰਮਾਂ ਲਈ ਇਨ੍ਹਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੋ ਸਕਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਇਹਨਾਂ ਚੁਣੌਤੀਆਂ ਦਾ ਸੰਤੁਲਨ ਬਣਾਉਣ ਲਈ RBRs ਨੂੰ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਨਾਲ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, RBRs ਵਿਸ਼ੇਸ਼ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹਨ (ਜਿਵੇਂ “ਸਲੈਂਗ ਨਾ ਵਰਤੋ” ਜਾਂ ਮਾਡਲ ਸਪੈਕ⁠ ਦੇ ਨਿਯਮ), ਜਦਕਿ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਹੋਰ ਸੁਖਮ ਪੱਖਾਂ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ (ਜਿਵੇਂ ਕੁੱਲ ਸੰਗਤੀ)। RBR ਦੀ ਤਾਕਤ ਇਸ ਤਰ੍ਹਾਂ ਆਪਟੀਮਾਈਜ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਸੁਰੱਖਿਆ ਪ੍ਰਿਫਰੈਂਸਾਂ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਲਾਗੂ ਕੀਤਾ ਜਾਵੇ ਪਰ ਜਿੰਨੀ ਲੋੜ ਹੋਵੇ ਉਸ ਤੋਂ ਵੱਧ ਅੰਤਿਮ ਰਿਵਾਰਡ ਸਕੋਰ ਉੱਤੇ ਅਸਰ ਨਾ ਪਏ। ਇਸ ਤਰ੍ਹਾਂ RLHF ਰਿਵਾਰਡ ਮਾਡਲ ਉਦਾਹਰਨ ਲਈ ਲਿਖਣ ਦੇ ਅੰਦਾਜ਼ 'ਤੇ ਹਾਲੇ ਵੀ ਮਜ਼ਬੂਤ ਸੰਕੇਤ ਦੇ ਸਕਦਾ ਹੈ.

ਨੈਤਿਕ ਵਿਚਾਰ: ਸੁਰੱਖਿਆ ਜਾਂਚਾਂ ਨੂੰ ਮਨੁੱਖਾਂ ਤੋਂ AI ਵੱਲ ਤਬਦੀਲ ਕਰਨਾ AI ਸੁਰੱਖਿਆ ਉੱਤੇ ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ ਘਟਾ ਸਕਦਾ ਹੈ ਅਤੇ ਜੇ RBR ਰਿਵਾਰਡ ਦੇਣ ਲਈ ਪੱਖਪਾਤੀ ਮਾਡਲ ਵਰਤੇ ਜਾਣ ਤਾਂ ਮਾਡਲਾਂ ਵਿੱਚ ਸੰਭਾਵਿਤ ਪੱਖਪਾਤ ਨੂੰ ਵਧਾ ਸਕਦਾ ਹੈ। ਇਸ ਦਾ ਹੱਲ ਕਰਨ ਲਈ, ਖੋਜਕਰਤਿਆਂ ਨੂੰ ਨਿਆਂਸੰਗਤਾ ਅਤੇ ਸਹੀਪਨ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ RBRs ਨੂੰ ਧਿਆਨ ਨਾਲ ਡਿਜ਼ਾਈਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਜੋਖਮ ਘਟਾਉਣ ਲਈ RBRs ਅਤੇ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਦੇ ਮਿਲੇ-ਜੁਲੇ ਉਪਯੋਗ ਬਾਰੇ ਸੋਚਣਾ ਚਾਹੀਦਾ ਹੈ.

ਇੱਥੇ ਅਸੀਂ ਲੈਂਗਵੇਜ ਮਾਡਲਾਂ ਦੀ ਸੁਰੱਖਿਆ ਟ੍ਰੇਨਿੰਗ ਲਈ Rule-Based Rewards (RBRs) ਦੀ ਵਰਤੋਂ ਕਰਦਿਆਂ ਇੱਕ ਨਵਾਂ ਪ੍ਰਿਫਰੈਂਸ ਮਾਡਲਿੰਗ ਤਰੀਕਾ ਪੇਸ਼ ਕੀਤਾ। ਸਾਡਾ ਤਰੀਕਾ ਲਾਗਤ ਅਤੇ ਸਮੇਂ ਦੋਵੇਂ ਪੱਖੋਂ ਕਾਰਗਰ ਹੈ, ਘੱਟ ਤੋਂ ਘੱਟ ਮਨੁੱਖੀ ਡਾਟਾ ਦੀ ਲੋੜ ਰੱਖਦਾ ਹੈ, ਅਤੇ ਜੇ ਚਾਹੀਦਾ ਮਾਡਲ ਵਰਤਾਅ ਬਦਲੇ ਤਾਂ ਇਸਨੂੰ ਅਪਡੇਟ ਕਰਨਾ ਆਸਾਨ ਹੈ, ਜਦਕਿ ਸੁਰੱਖਿਆ ਅਤੇ ਉਪਯੋਗਤਾ ਵਿਚਕਾਰ ਸੰਤੁਲਨ ਬਣਿਆ ਰਹਿੰਦਾ ਹੈ.

RBRs ਸਿਰਫ਼ ਸੁਰੱਖਿਆ ਟ੍ਰੇਨਿੰਗ ਤੱਕ ਸੀਮਿਤ ਨਹੀਂ ਹਨ। ਉਹ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਅਨੁਕੂਲ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ ਜਿੱਥੇ ਸਪੱਸ਼ਟ ਨਿਯਮ ਚਾਹੀਦੇ ਵਰਤਾਅ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਵੇਂ ਕਿਸੇ ਖ਼ਾਸ ਐਪਲੀਕੇਸ਼ਨ ਲਈ ਮਾਡਲ ਦੇ ਜਵਾਬਾਂ ਦੀ ਸ਼ਖਸੀਅਤ ਜਾਂ ਫਾਰਮੈਟ ਨੂੰ ਢਾਲਣਾ। ਅੱਗੇ ਦੇਖਦੇ ਹੋਏ, ਅਸੀਂ ਵੱਖ-ਵੱਖ RBR ਘਟਕਾਂ ਦੀ ਹੋਰ ਵਿਸਤ੍ਰਿਤ ਸਮਝ ਲਈ ਹੋਰ ਵਿਸਤ੍ਰਿਤ ਐਬਲੇਸ਼ਨ ਅਧਿਐਨ, ਨਿਯਮ ਵਿਕਾਸ ਲਈ ਸਿੰਥੇਟਿਕ ਡਾਟਾ ਦੀ ਵਰਤੋਂ, ਅਤੇ ਸੁਰੱਖਿਆ ਤੋਂ ਇਲਾਵਾ ਹੋਰ ਖੇਤਰਾਂ ਸਮੇਤ ਵੱਖ-ਵੱਖ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ RBRs ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਮਨੁੱਖੀ ਮੁਲਾਂਕਣ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਹੈ.

ਅਸੀਂ ਖੋਜਕਰਤਿਆਂ ਅਤੇ ਅਭਿਆਸਕਰਤਿਆਂ ਨੂੰ ਸੱਦਾ ਦਿੰਦੇ ਹਾਂ ਕਿ ਉਹ ਆਪਣੇ ਕੰਮ ਵਿੱਚ RBRs ਦੀ ਸੰਭਾਵਨਾ ਦੀ ਖੋਜ ਕਰਨ। ਜਾਣਕਾਰੀਆਂ ਸਾਂਝੀਆਂ ਕਰਕੇ ਅਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਅਭਿਆਸਾਂ ਉੱਤੇ ਸਹਿਯੋਗ ਕਰਕੇ, ਅਸੀਂ ਮਿਲਕੇ ਸੁਰੱਖਿਅਤ ਅਤੇ ਐਲਾਈਨਡ AI ਦੇ ਖੇਤਰ ਨੂੰ ਅੱਗੇ ਵਧਾ ਸਕਦੇ ਹਾਂ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹੋਏ ਕਿ ਇਹ ਤਾਕਤਵਰ ਸਾਧਨ ਲੋਕਾਂ ਦੀ ਹੋਰ ਚੰਗੀ ਸੇਵਾ ਕਰਨ.