Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਨੇ OpenAI ਨਾਲ ਮਿਲ ਕੇ ਅਜੇਹੇ AI ਹੱਲ ਤਿਆਰ ਕੀਤੇ ਜੋ ਵਿੱਤੀ ਸਲਾਹਕਾਰਾਂ ਨੂੰ ਤੇਜ਼ ਇਨਸਾਈਟਸ, ਹੋਰ ਜਾਣਕਾਰੀਪੂਰਣ ਫੈਸਲੇ ਅਤੇ ਕਲਾਇੰਟ ਸੰਬੰਧਾਂ ਨੂੰ ਗਹਿਰਾ ਕਰਨ ਲਈ ਕੁਸ਼ਲ ਸੰਖੇਪ ਟੂਲਾਂ ਨਾਲ ਸਮਰੱਥ ਬਣਾਉਂਦੇ ਹਨ। ਉਨ੍ਹਾਂ ਦੀ ਸਫਲਤਾ ਇੱਕ ਮਜ਼ਬੂਤ evaluation ਫ੍ਰੇਮਵਰਕ ਉੱਤੇ ਅਧਾਰਿਤ ਸੀ ਜੋ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ AI ਭਰੋਸੇਯੋਗ, ਸਥਿਰ ਤਰੀਕੇ ਨਾਲ ਅਤੇ ਉਹਨਾਂ ਉੱਚ ਮਾਪਦੰਡਾਂ ਉੱਤੇ ਕੰਮ ਕਰੇ ਜਿਨ੍ਹਾਂ ਦੀ ਐਡਵਾਈਜ਼ਰ ਉਮੀਦ ਕਰਦੇ ਹਨ।

GPT‑4 ਨੂੰ ਆਪਣੇ workflows ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਕੇ, Morgan Stanley Wealth Management ਨੇ ਇਹ ਬਿਹਤਰ ਕੀਤਾ ਹੈ ਕਿ ਵਿੱਤੀ ਸਲਾਹਕਾਰ ਫਰਮ ਦੇ ਗਿਆਨ ਅਧਾਰ ਤੱਕ ਕਿਵੇਂ ਪਹੁੰਚ ਕਰਦੇ ਹਨ ਅਤੇ ਕਲਾਇੰਟ ਦੀਆਂ ਲੋੜਾਂ ਦਾ ਜਵਾਬ ਕਿਵੇਂ ਦਿੰਦੇ ਹਨ। ਅੱਜ, 98% ਤੋਂ ਵੱਧ ਐਡਵਾਈਜ਼ਰ ਟੀਮਾਂ ਸਹਿਜ ਅੰਦਰੂਨੀ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤੀ ਲਈ AI @ Morgan Stanley Assistant—ਵਿੱਤੀ ਸਲਾਹਕਾਰਾਂ ਦੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਲਈ Morgan Stanley ਦਾ ਅੰਦਰੂਨੀ ਚੈਟਬੋਟ—ਨੂੰ ਸਰਗਰਮੀ ਨਾਲ ਵਰਤਦੀਆਂ ਹਨ।

ਵਿੱਤੀ ਸੇਵਾਵਾਂ ਵਿੱਚ AI ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਇਹ ਭਰੋਸਾ ਲੋੜੀਂਦਾ ਸੀ ਕਿ ਇਹ ਤਕਨਾਲੋਜੀ ਵੱਡੀ ਕੀਮਤ ਪ੍ਰਦਾਨ ਕਰੇਗੀ ਅਤੇ ਨਾਲ ਹੀ ਫਰਮ ਦੇ ਗੁਣਵੱਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਲਈ ਸਖ਼ਤ ਮਾਪਦੰਡਾਂ ਨੂੰ ਵੀ ਪੂਰਾ ਕਰੇਗੀ। 

Morgan Stanley ਨੇ ਤੈਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ ਹਰ AI ਵਰਤੋਂ ਮਾਮਲੇ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਇੱਕ evaluation (eval) ਫ੍ਰੇਮਵਰਕ ਲਾਗੂ ਕਰਕੇ ਇਸ ਚੁਣੌਤੀ ਨੂੰ ਪੂਰਾ ਕੀਤਾ। Evals ਇਹ ਮਾਪਦੇ ਹਨ ਕਿ ਮਾਡਲ ਅਸਲ ਦੁਨੀਆ ਦੇ ਵਰਤੋਂ ਮਾਮਲਿਆਂ ਦੇ ਮੁਕਾਬਲੇ ਕਿਵੇਂ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ ਅਤੇ ਹਰ ਕਦਮ ਉੱਤੇ ਮਾਹਿਰ ਫੀਡਬੈਕ ਨਾਲ ਸੁਧਾਰਾਂ ਦਾ ਮਾਰਗਦਰਸ਼ਨ ਕਰਦੇ ਹਨ।

ਟੀਮ ਨੇ ਆਪਣੇ ਪਹਿਲੇ AI ਵਰਤੋਂ ਮਾਮਲਿਆਂ ਲਈ ਤਿੰਨ ਨਿਸ਼ਾਨਾਬੱਧ ਲਕਸ਼ਾਂ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕੀਤੀ:

• ਐਡਵਾਈਜ਼ਰਾਂ ਦੇ ਦਸਤਾਵੇਜ਼ ਖੋਜਣ ਦੇ ਘੰਟੇ ਬਚਾਉਣ ਲਈ ਹੋਰ ਤੇਜ਼ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤੀ।
• ਰਿਸਰਚ ਰਿਪੋਰਟਾਂ ਦਾ ਸਾਰ ਬਣਾਉਣ ਵਰਗੇ ਦੁਹਰਾਏ ਜਾਣ ਵਾਲੇ ਕੰਮਾਂ ਦੀ ਆਟੋਮੇਸ਼ਨ।
• ਕਲਾਇੰਟ ਦੀਆਂ ਲੋੜਾਂ ਮੁਤਾਬਕ ਵਧੀਆ ਇਨਸਾਈਟਸ।

ਆਪਣੇ ਮਾਹਿਰਾਂ ਦੇ ਮੁਕਾਬਲੇ GPT‑4 ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ, Morgan Stanley ਨੇ summarization evals ਚਲਾਏ ਤਾਂ ਜੋ ਇਹ ਜਾਂਚਿਆ ਜਾ ਸਕੇ ਕਿ ਮਾਡਲ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਬੌਧਿਕ ਪੂੰਜੀ ਅਤੇ ਪ੍ਰਕਿਰਿਆ-ਚਲਿਤ ਸਮੱਗਰੀ ਨੂੰ ਸੰਖੇਪ ਸਾਰਾਂ ਵਿੱਚ ਕਿੰਨੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਤਰੀਕੇ ਨਾਲ ਸੰਕੋਚਿਤ ਕਰਦਾ ਹੈ। ਐਡਵਾਈਜ਼ਰਾਂ ਅਤੇ ਪ੍ਰੌੰਪਟ ਇੰਜੀਨੀਅਰਾਂ ਨੇ AI ਜਵਾਬਾਂ ਨੂੰ ਸਹੀਤਾ ਅਤੇ ਸੰਗਤੀ ਲਈ ਗ੍ਰੇਡ ਕੀਤਾ, ਜਿਸ ਨਾਲ ਟੀਮ ਨੂੰ ਪ੍ਰੌੰਪਟ ਸੁਧਾਰਣ ਅਤੇ ਆਉਟਪੁੱਟ ਗੁਣਵੱਤਾ ਬਿਹਤਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਮਿਲੀ।

eval ਫ੍ਰੇਮਵਰਕ ਸਥਿਰ ਨਹੀਂ ਸੀ; ਟੀਮ ਦੇ ਸਿੱਖਣ ਨਾਲ ਇਹ ਵੀ ਵਿਕਸਿਤ ਹੁੰਦਾ ਗਿਆ। ਅਗਲੇ ਪੜਾਅ ਵਿੱਚ ਉਨ੍ਹਾਂ ਨੇ ਬਹੁਭਾਸ਼ੀ ਕਲਾਇੰਟਾਂ ਲਈ translation evals ਸ਼ੁਰੂ ਕੀਤੀਆਂ ਅਤੇ OpenAI ਨਾਲ ਨੇੜੇ ਰਹਿ ਕੇ retrieval ਤਰੀਕਿਆਂ ਨੂੰ fine-tune ਕੀਤਾ, ਤਾਂ ਜੋ ਇਹ ਯਕੀਨੀ ਬਣੇ ਕਿ AI ਲਗਾਤਾਰ ਫੈਲ ਰਹੀ ਦਸਤਾਵੇਜ਼ ਲਾਇਬ੍ਰੇਰੀ ਨੂੰ ਸੰਭਾਲ ਸਕੇ। 

Morgan Stanley ਵਿੱਚ Firmwide AI Product & Architecture Strategy ਦੇ ਮੁਖੀ David Wu ਕਹਿੰਦੇ ਹਨ, “ਅਸੀਂ 7,000 ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇ ਸਕਣ ਤੋਂ ਇੱਥੇ ਤੱਕ ਆ ਗਏ ਹਾਂ ਕਿ ਹੁਣ 100,000 ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ corpus ਵਿੱਚੋਂ ਲਗਭਗ ਕਿਸੇ ਵੀ ਸਵਾਲ ਦਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਜਵਾਬ ਦੇ ਸਕਦੇ ਹਾਂ।”

McMillan ਦੱਸਦੇ ਹਨ ਕਿ AI @ Morgan Stanley Assistant ਤੋਂ ਮਿਲਣ ਵਾਲੇ ਤੇਜ਼ ਅਤੇ ਭਰੋਸੇਯੋਗ ਜਵਾਬਾਂ ਨੇ ਐਡਵਾਈਜ਼ਰਾਂ ਦੀਆਂ ਗੱਲਬਾਤਾਂ ਉੱਤੇ ਕੀ ਅਸਰ ਪਾਇਆ ਹੈ। “ਹੁਣ ਐਡਵਾਈਜ਼ਰ ਕਲਾਇੰਟਾਂ ਨਾਲ ਉਹਨਾਂ ਵਿਸ਼ਿਆਂ ਉੱਤੇ ਵੀ ਗੱਲ ਕਰ ਸਕਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਬਾਰੇ ਪਹਿਲਾਂ ਚਰਚਾ ਨਹੀਂ ਹੋਈ ਸੀ, ਕਿਉਂਕਿ ਗਿਆਨ ਅਤੇ ਸੰਚਾਰ ਵਿਚਕਾਰ ਰੁਕਾਵਟ ਸ਼ੂਨਿਆ ਰਹਿ ਗਈ ਹੈ।” 

ਵਿੱਤੀ ਸਲਾਹਕਾਰਾਂ ਦੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਲਈ Morgan Stanley ਦੇ ਅੰਦਰੂਨੀ ਚੈਟਬੋਟ AI @ Morgan Stanley Assistant ਦੀ ਸਫਲਤਾ ਉੱਤੇ ਅੱਗੇ ਵਧਦਿਆਂ, ਟੀਮ ਨੇ AI @ Morgan Stanley Debrief ਲਾਂਚ ਕੀਤਾ, ਜੋ Whisper ਅਤੇ GPT‑4 ਦੁਆਰਾ ਸੰਚਾਲਿਤ ਵਿੱਤੀ ਸਲਾਹਕਾਰਾਂ ਲਈ ਮੀਟਿੰਗ ਸੰਖੇਪ ਟੂਲ ਹੈ। 

Debrief, ਕਲਾਇੰਟ ਦੀ ਸਹਿਮਤੀ ਨਾਲ, Zoom ਰਿਕਾਰਡਿੰਗਾਂ ਨੂੰ ਕਲਾਇੰਟ ਨੋਟਾਂ ਵਰਗੀਆਂ ਕਾਰਵਾਈਯੋਗ ਆਉਟਪੁੱਟ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਜੋ ਆਪਣੇ ਆਪ CRM ਸਿਸਟਮਾਂ ਵਿੱਚ ਜੋੜੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਅਤੇ ਡਰਾਫਟ ਫਾਲੋ-ਅੱਪ ਵਿੱਚ, ਜੋ ਮੁੱਖ ਕਾਰਵਾਈ ਆਇਟਮਾਂ ਦਾ ਸਾਰ ਦਿੰਦੇ ਹਨ ਅਤੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਐਡਵਾਈਜ਼ਰ ਸੋਧ ਕੇ ਭੇਜ ਸਕਦੇ ਹਨ।

ਐਡਵਾਈਜ਼ਰ ਅੰਤਿਮ ਰੂਪ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ AI-ਤਿਆਰ ਕੀਤੀਆਂ ਆਉਟਪੁੱਟ ਦੀ ਸਮੀਖਿਆ ਅਤੇ ਸੋਧ ਕਰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਆਟੋਮੇਸ਼ਨ ਅਤੇ ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ ਵਿਚਕਾਰ ਸੰਤੁਲਨ ਬਣਿਆ ਰਹਿੰਦਾ ਹੈ।

ਦੋਵੇਂ ਟੂਲਾਂ ਨੂੰ Morgan Stanley ਦੀ eval-ਚਲਿਤ ਪਹੁੰਚ ਤੋਂ ਲਾਭ ਮਿਲਿਆ। Debrief ਲਈ, ਟੀਮ ਨੇ ਵੱਖ-ਵੱਖ ਮੀਟਿੰਗ ਕਿਸਮਾਂ ਨੂੰ ਦਰਸਾਉਂਦੀਆਂ ਮੁਲਾਂਕਣ ਡਾਟਾਸੈੱਟ ਤਿਆਰ ਕੀਤੀਆਂ ਅਤੇ ਗਲਤੀਆਂ ਸ਼ਾਮਲ ਕੀਤੇ ਬਿਨਾਂ ਮਹੱਤਵਪੂਰਨ ਕਾਰਵਾਈ ਆਇਟਮ ਕੈਪਚਰ ਕਰਨ ਦੀ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਦਾ ਸਖ਼ਤੀ ਨਾਲ ਟੈਸਟ ਕੀਤਾ।

ਵਿੱਤੀ ਸੇਵਾਵਾਂ ਦੇ ਕੜੇ ਅਨੁਪਾਲਨਾ ਮਾਪਦੰਡਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ, Morgan Stanley ਨੇ ਆਪਣੇ eval ਫ੍ਰੇਮਵਰਕ ਵਿੱਚ ਗੁਣਵੱਤਾ ਭਰੋਸੇ ਨੂੰ ਜੋੜਿਆ। ਨਮੂਨਾ ਪ੍ਰਸ਼ਨਾਂ ਦੇ ਰਿਗ੍ਰੈਸ਼ਨ ਸੂਟ ਨਾਲ ਰੋਜ਼ਾਨਾ ਟੈਸਟਿੰਗ ਨੇ ਸੰਭਾਵਿਤ ਕਮਜ਼ੋਰੀਆਂ ਦੀ ਪਛਾਣ ਕੀਤੀ ਅਤੇ ਸਿਸਟਮ ਦੀ ਅਨੁਕੂਲ ਆਉਟਪੁੱਟ ਦੇਣ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਬਿਹਤਰ ਕੀਤਾ।

“ਅਸੀਂ ਜੋ ਵੀ ਪ੍ਰਸ਼ਨ ਇਨਪੁੱਟ ਕਰਦੇ ਸੀ ਅਤੇ ਜੋ ਆਉਟਪੁੱਟ ਸਾਨੂੰ ਮਿਲਦੇ ਸਨ, ਉਨ੍ਹਾਂ ਦੇ ਆਧਾਰ ‘ਤੇ ਅਸੀਂ OpenAI ਨਾਲ ਬੈਠ ਕੇ ਕਹਿੰਦੇ ਸੀ, ‘ਅਸੀਂ ਆਪਣੇ ਰੀਟਰੀਵਲ ਤਰੀਕਿਆਂ ਵਿੱਚ ਕੀ ਬਦਲ ਸਕਦੇ ਹਾਂ ਤਾਂ ਜੋ Morgan Stanley ਲਈ ਲੋੜੀਂਦੀ ਸਹੀਤਾ ਮਿਲੇ?’” Elliott ਕਹਿੰਦੀ ਹੈ।

OpenAI ਦੀ ਜ਼ੀਰੋ ਡਾਟਾ ਰਿਟੈਂਸ਼ਨ ਪਾਲਿਸੀ ਨੇ ਮੁੱਖ ਸੁਰੱਖਿਆ ਚਿੰਤਾਵਾਂ ਦਾ ਵੀ ਹੱਲ ਕੀਤਾ, ਜਿਸ ਨਾਲ ਇਹ ਯਕੀਨੀ ਬਣਿਆ ਕਿ Morgan Stanley ਦਾ ਮਾਲਕੀਹੱਕ ਵਾਲਾ ਡਾਟਾ ਨਿੱਜੀ ਰਹੇ।

Wu ਕਹਿੰਦੀ ਹੈ, “ਸਾਨੂੰ ਮਿਲਣ ਵਾਲੇ ਪਹਿਲੇ ਸਵਾਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਇਹ ਹੁੰਦਾ ਹੈ ਕਿ ਕੀ ਸਾਡੀ ਜਾਣਕਾਰੀ ਨੂੰ OpenAI ਸਰਵਜਨਿਕ ChatGPT ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਵਰਤੇਗਾ?” “ਜ਼ੀਰੋ ਡਾਟਾ ਰਿਟੈਂਸ਼ਨ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ OpenAI ਟੀਮ ਦੀ ਤਿਆਰੀ ਬਹੁਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਰਹੀ ਹੈ।”

Morgan Stanley ਦਾ ਗੁਣਵੱਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਉੱਤੇ ਧਿਆਨ ਅਜੇਹੇ ਭਰੋਸੇਮੰਦ, ਸੁਰੱਖਿਅਤ ਹੱਲਾਂ ਤੱਕ ਲੈ ਗਿਆ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਕਰਮਚਾਰੀ ਵਰਤਣਾ ਚਾਹੁੰਦੇ ਹਨ:

• ਹੁਣ ਲਗਭਗ ਸਾਰੀਆਂ ਐਡਵਾਈਜ਼ਰ ਟੀਮਾਂ ਹਰ ਰੋਜ਼ Assistant ਵਰਗੇ AI ਟੂਲ ਵਰਤਦੀਆਂ ਹਨ, ਜਿਸ ਨਾਲ wealth management ਵਿੱਚ 98% ਤੋਂ ਵੱਧ ਅਪਨਾਵ ਹਾਸਲ ਹੋਇਆ ਹੈ।
• ਦਸਤਾਵੇਜ਼ਾਂ ਤੱਕ ਪਹੁੰਚ 20% ਤੋਂ 80% ਤੱਕ ਪਹੁੰਚ ਗਈ ਹੈ, ਜਿਸ ਨਾਲ ਖੋਜ ਸਮਾਂ ਬਹੁਤ ਘਟਿਆ ਹੈ ਅਤੇ ਦਸਤਾਵੇਜ਼ ਪ੍ਰਾਪਤੀ ਕੁਸ਼ਲਤਾ ਵਧੀ ਹੈ।
• ਟਾਸਕ ਆਟੋਮੇਸ਼ਨ ਅਤੇ ਤੇਜ਼ ਇਨਸਾਈਟਸ ਦੀ ਬਦੌਲਤ ਐਡਵਾਈਜ਼ਰ ਕਲਾਇੰਟ ਸੰਬੰਧਾਂ ਉੱਤੇ ਹੋਰ ਸਮਾਂ ਬਿਤਾਉਂਦੇ ਹਨ।

ਉਨ੍ਹਾਂ ਦੇ ਮਜ਼ਬੂਤ eval ਫ੍ਰੇਮਵਰਕ ਨੇ ਭਵਿੱਖ ਦੇ ਹੱਲਾਂ ਅਤੇ ਸੇਵਾਵਾਂ ਲਈ ਇੱਕ ਫਲਾਈਵ੍ਹੀਲ ਵੀ ਖੋਲ੍ਹ ਦਿੱਤਾ ਹੈ। ਜਿਵੇਂ AI @ Morgan Stanley ਕਰਮਚਾਰੀਆਂ ਲਈ ਇੱਕ “super app” ਬਣਦਾ ਜਾ ਰਿਹਾ ਹੈ, Morgan Stanley ਵੱਖ-ਵੱਖ ਵਿਭਾਗਾਂ ਵਿੱਚ ਬੇਅੰਤ ਵਰਤੋਂ ਮਾਮਲਿਆਂ ਦੀ ਕਲਪਨਾ ਕਰਦਾ ਹੈ ਅਤੇ ਪਹਿਲਾਂ ਹੀ ਆਪਣੇ institutional securities group ਲਈ Assistant ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਵਿਸਥਾਰ ਕਰ ਰਿਹਾ ਹੈ।

Wu ਕਹਿੰਦੀ ਹੈ, “ਅਸੀਂ ਅਜੇਹੇ ਪਲੇਟਫਾਰਮ ਤਿਆਰ ਕਰ ਰਹੇ ਹਾਂ ਜੋ ਹੋਰ ਕਈ ਵਰਤੋਂ ਮਾਮਲਿਆਂ ਨੂੰ ਸਮਰਥਨ ਦੇਣਗੇ।” “Debrief ਇਸ ਵੇਲੇ ਕਲਾਇੰਟਾਂ ਨਾਲ ਗੱਲ ਕਰਨ ਵਾਲੇ ਐਡਵਾਈਜ਼ਰਾਂ ਲਈ ਹੈ, ਪਰ ਅਸੀਂ ਇਸ ਨੂੰ CFO ਨਾਲ ਗੱਲ ਕਰਨ ਵਾਲੇ investment banker ਲਈ ਉਪਲਬਧ ਕਿਉਂ ਨਾ ਬਣਾਈਏ?” 

McMillan ਕਹਿੰਦੇ ਹਨ, “ਇਹ ਇੱਕ ਬੁਨਿਆਦੀ ਬਦਲਾਅ ਹੈ ਜੋ ਸਾਡੀ ਸਮੱਗਰੀ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਸੁਧਾਰਦਾ ਵੀ ਹੈ ਅਤੇ ਨਵੇਂ ਉਤਪਾਦ ਤੇ ਸੇਵਾਵਾਂ ਵੀ ਬਣਾਉਂਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਦੀ ਕਲਪਨਾ ਸਿਰਫ ਉਹੀ ਲੋਕ ਕਰ ਸਕਦੇ ਹਨ ਜੋ ਸਮੱਸਿਆ ਦੇ ਨੇੜੇ ਹਨ।”