Discovering the minutiae of backend systems

ਮੈਂ ਖੁਸ਼ਕਿਸਮਤ ਸੀ ਕਿ ਛੋਟੀ ਉਮਰ ਵਿੱਚ ਹੀ ਮੈਨੂੰ programming ਨਾਲ ਜਾਣ-ਪਛਾਣ ਹੋ ਗਈ, ਅਤੇ ਮੈਂ ਇਸਨੂੰ ਹੋਰ ਵਿਸ਼ਿਆਂ ਦੀ ਖੋਜ ਲਈ ਦਰਵਾਜ਼ੇ ਵਾਂਗ ਵਰਤਿਆ। ਮਿਡਲ ਸਕੂਲ ਵਿੱਚ ਇੱਕ ਦੋਸਤ ਨੇ ਮੈਨੂੰ Texas Instruments ਕੈਲਕੁਲੇਟਰਾਂ ਵਿੱਚ ਸ਼ਾਮਲ BASIC programming language ਦੇ ਖ਼ਾਸ ਰੂਪ ਨਾਲ ਜਾਣੂ ਕਰਵਾਇਆ ਸੀ (ਹਰ ਪ੍ਰੋਗਰਾਮ ਵਿੱਚ 27 ਇੱਕ-ਅੱਖਰੀ variables ਦੀ ਸੀਮਾ ਅਤੇ GOTO statements 'ਤੇ ਭਾਰੀ ਨਿਰਭਰਤਾ ਕਾਰਨ ਮੇਰਾ code ਅਣਦੇਖਭਾਲਯੋਗ ਹੋਣਾ ਲਾਜ਼ਮੀ ਹੀ ਸੀ)। ਫਿਰ ਵੀ, ਅਸੀਂ ਕੁਝ ਸਧਾਰਣ ਪ੍ਰੋਗਰਾਮ ਬਣਾਏ, ਜਿਵੇਂ text-based adventure games, linked calculators ਲਈ chat app, ਅਤੇ ਆਮ quadratic formula aide.

ਬਾਅਦ ਵਿੱਚ ਮੈਂ ਹੋਰ ਜਟਿਲ ਪ੍ਰੋਗਰਾਮ ਲਿਖੇ: Newton’s method ਨੂੰ ਦਰਸਾਉਣ ਲਈ ਇੱਕ visual helper ਅਤੇ ਗ੍ਰਹਿਆਂ ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਚੰਦ੍ਰਮਿਆਂ ਦੀ ਸਥਿਤੀ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਲਈ ਇੱਕ orbit calculator, ਜਿਸ ਨੇ ਮੇਰੇ ਸਕੂਲ ਦੇ Linux club ਦਾ ਧਿਆਨ ਖਿੱਚਿਆ। ਜਲਦੀ ਹੀ ਮੈਂ NDISwrapper ਨਾਲ ਜੂਝ ਰਿਹਾ ਸੀ ਤਾਂ ਜੋ ਆਪਣੇ laptop ਦਾ CardBus-ਆਧਾਰਿਤ WiFi adapter ਚਲਾਇਆ ਜਾ ਸਕੇ, ਅਤੇ Compiz ਨਾਲ ਆਪਣੇ desktop windows ਨੂੰ ਰੌਸ਼ਨ ਕਰ ਰਿਹਾ ਸੀ! code ਰਾਹੀਂ ਖੋਜ ਦਾ ਇਹ ਢੰਗ ਹਾਈ ਸਕੂਲ ਅਤੇ ਉਸ ਤੋਂ ਅੱਗੇ ਵੀ ਜਾਰੀ ਰਿਹਾ, ਜਿਸ ਦਾ ਨਤੀਜਾ ਅੱਜ ਮੇਰੀ ਇੰਜੀਨੀਅਰਿੰਗ ਵਿੱਚ ਦਿਲਚਸਪੀ ਹੈ.

ਮੇਰੀ ਪਿਛਲੀ ਨੌਕਰੀ ਵਿੱਚ ਮੈਂ ਬੈਕਐਂਡ ਭੂਮਿਕਾ ਤੋਂ ਫੁੱਲ-ਸਟੈਕ ਪਦ ਤੇ ਗਿਆ ਸੀ, ਪਰ ਉੱਥੇ ਮੈਨੂੰ ਫ੍ਰੰਟਐਂਡ ਕੰਮ ਅਤੇ UX ਡਿਜ਼ਾਇਨ ਨਾਲ ਅਣਪਸੰਦਗੀ ਹੋ ਗਈ। ਮੈਂ ਮੁੜ ਐਸੀ ਭੂਮਿਕਾ ਵਿੱਚ ਆਉਣਾ ਚਾਹੁੰਦਾ ਸੀ ਜੋ ਬੈਕਐਂਡ ਸਿਸਟਮਾਂ ਦੇ ਨੇੜੇ ਹੋਵੇ, ਅਤੇ ਮੈਨੂੰ Linux ਮਾਹੌਲ ਨਾਲ ਉਹ ਕੰਮ ਵੀ ਯਾਦ ਆਉਂਦਾ ਸੀ ਜੋ ਮੈਂ ਅਕਾਦਮਿਕ ਦੌਰਾਨ ਪਸੰਦ ਕੀਤਾ ਸੀ। OpenAI ਨੇ ਮੈਨੂੰ ਉਹ ਕੰਮਕਾਜੀ ਬਦਲਾਅ ਦਿੱਤਾ ਜਿਸ ਦੀ ਮੈਂ ਖੋਜ ਕਰ ਰਿਹਾ ਸੀ, ਅਤੇ ਇਸ ਤੋਂ ਵੀ ਵੱਧ; OpenAI ਦੇ supercomputing clusters 'ਤੇ ਕੰਮ ਕਰਨ ਤੋਂ ਵਧੀਆ ਮੇਲ ਮੈਨੂੰ ਸ਼ਾਇਦ ਹੀ ਕਿਤੇ ਮਿਲਦਾ.

ਖੋਜਮੂਲਕ AI workflows ਸੁਭਾਵਕ ਤੌਰ 'ਤੇ ਤੇਜ਼ ਰਫ਼ਤਾਰ ਵਾਲੇ ਹੁੰਦੇ ਹਨ; researchers ਚਾਹੁੰਦੇ ਹਨ ਕਿ ਉਹ arXiv ਤੋਂ ਇੱਕ preprint ਲੈ ਕੇ ਨਵੇਂ ਤਰੀਕਿਆਂ ਦੀ ਜਾਂਚ ਕਰ ਸਕਣ, ਬਿਨਾਂ ਉਸ platform ਤੋਂ ਰੁਕਾਵਟ ਮਹਿਸੂਸ ਕੀਤੇ ਜਿੱਥੇ ਉਹ ਆਪਣਾ code ਚਲਾ ਰਹੇ ਹਨ। ਇਹ ਬੇਹੱਦ ਜਟਿਲ ਵੀ ਹੁੰਦੇ ਹਨ, ਅਤੇ researchers ਕਾਫੀ ਹੱਦ ਤੱਕ ਗਣਿਤਜਨਾਂ ਵਾਂਗ ਵਰਤਦੇ ਹਨ—ਆਪਣੇ ਕਰੀਅਰ ਦੌਰਾਨ ਬਣਾਈ ਗਈ intuition 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹੋਏ ਹੱਲ ਤਿਆਰ ਕਰਦੇ ਹਨ, ਚਾਹੇ ਇਸ ਹਫ਼ਤੇ ਉਨ੍ਹਾਂ ਦਾ ਧਿਆਨ ਕਿਸੇ ਵੀ ਸਮੱਸਿਆ ਨੇ ਖਿੱਚਿਆ ਹੋਵੇ। ਇਹ runtime ਦੁਨੀਆ ਦੇ ਸਭ ਤੋਂ ਵੱਡੇ supercomputers ਵਿੱਚੋਂ ਕੁਝ 'ਤੇ ਚੱਲ ਰਹੇ ਹਨ, ਜੋ ਜਟਿਲਤਾ ਦੀ ਇਕ ਹੋਰ ਪਰਤ ਜੋੜਦਾ ਹੈ, ਅਤੇ ਇਸ ਆਖ਼ਰੀ ਤੋਂ ਥੋੜ੍ਹੀ ਪਹਿਲਾਂ ਵਾਲੀ ਪਰਤ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਹੀ ਮੇਰੀ ਟੀਮ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ। ਅਸੀਂ research ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਤਰੱਕੀ ਰੋਕਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਭਾਂਪਣ ਲਈ ਕੰਮ ਕਰਦੇ ਹਾਂ, ਅਤੇ ਜੇ ਇਹ ਨਾ ਹੋ ਸਕੇ, ਤਾਂ bottlenecks ਦੀ ਪਹਿਚਾਣ ਅਤੇ workarounds ਨੂੰ ਜਿੰਨੀ ਜਲਦੀ ਸੰਭਵ ਹੋ ਸਕੇ ਲਾਗੂ ਕਰਨ ਲਈ research ਟੀਮਾਂ ਨਾਲ ਮਿਲ ਕੇ ਕੰਮ ਕਰਦੇ ਹਾਂ.

ਅਸੀਂ ਜਿਸ ਪੱਧਰ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਾਂ, ਉਸਦਾ ਵਿਸ਼ਾਲ ਪੈਮਾਨਾ ਸੱਚ ਪੁੱਛੋ ਤਾਂ ਹੈਰਾਨ ਕਰ ਦੇਣ ਵਾਲਾ ਹੈ। ਤੀਸਰੇ ਪੱਖ ਦੇ hardware vendors ਅਕਸਰ ਸਾਨੂੰ ਦੱਸਦੇ ਹਨ ਕਿ ਅਸੀਂ ਉਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਨਾਲ ਵਾਪਰ ਰਹੇ ਹਾਂ ਜੋ ਉਨ੍ਹਾਂ ਨੇ ਪਹਿਲਾਂ ਕਦੇ ਨਹੀਂ ਵੇਖੀਆਂ। ਕਈ ਵਾਰ ਇਹ ਸਿਰਫ਼ ਇਸ ਲਈ ਹੁੰਦਾ ਹੈ ਕਿ ਸਾਡੇ installations ਵਿੱਚ ਉਨ੍ਹਾਂ ਦੇ ਹੋਰ clients ਨਾਲੋਂ ਇੱਕੇ ਲਗਾਤਾਰ supercomputer ਵਿੱਚ ਕਾਫ਼ੀ ਵੱਧ hardware ਭਰਿਆ ਹੋਇਆ ਹੁੰਦਾ ਹੈ, ਹਾਲਾਂਕਿ ਕਦੇ-ਕਦੇ ਇਹ ਸਾਡੀਆਂ performance ਉਮੀਦਾਂ ਦਾ ਨਤੀਜਾ ਵੀ ਹੁੰਦਾ ਹੈ। ਬਹੁਤ ਸਾਰੇ ਮਾਡਲ training ਤਰੀਕਿਆਂ ਦੀ synchronized ਪ੍ਰਕਿਰਤੀ ਐਸੀ configuration ਪੈਦਾ ਕਰਦੀ ਹੈ ਜਿਸ ਵਿੱਚ ਪੂਰਾ cluster ਅਸਲ ਵਿੱਚ ਸਭ ਤੋਂ ਹੌਲੇ ਨੋਡ ਦੀ ਗਤੀ ਨਾਲ ਚੱਲਦਾ ਹੈ.

ਸਾਡੇ ਸਭ ਤੋਂ ਮੁੱਖ ਮਾਡਲਾਂ ਨੂੰ ਬਿਲੀਅਨ-ਡਾਲਰ supercomputers 'ਤੇ train ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਨਤੀਜੇ ਵਜੋਂ ਅਸੀਂ ਉਹ performance degradations ਵੀ ਲੱਭਣ ਨਿਕਲ ਪੈਂਦੇ ਹਾਂ ਜਿਨ੍ਹਾਂ ਨੂੰ ਹੋਰ ਵੱਧਤਰ ਲੋਕ ਅਣਡਿੱਠਾ ਕਰ ਦੇਣ। ਇਹ ਦੇਖਣਾ ਰੋਮਾਂਚਕ ਹੁੰਦਾ ਹੈ ਕਿ mainline kernel ਵਿੱਚ ਇੱਕ one-line change ਆਈ, ਅਤੇ ਇਹ ਜਾਣਨਾ ਕਿ ਇਸ ਨਾਲ ਸਾਡੇ fleet ਵਿੱਚ ਹਰ ਹਫ਼ਤੇ ਲਗਭਗ 6 ਦਿਨ ਦਾ compute ਬਚੇਗਾ, ਜਾਂ ਨਵੇਂ driver release ਵਿੱਚ ਕੋਈ line item ਦੇਖਣਾ ਅਤੇ ਇਹ ਜਾਣਨਾ ਕਿ ਉਹ fix ਹੁਣ upstream ਹੋਇਆ ਕਿਉਂਕਿ ਉਹ ਸਾਡੀਆਂ ਖੋਜਾਂ ਵਿੱਚੋਂ ਇੱਕ ਦਾ ਨਤੀਜਾ ਸੀ.

ਮੇਰੇ ਦਿਨ ਆਮ ਤੌਰ 'ਤੇ code 'ਤੇ ਕੰਮ ਕਰਨ, issues ਦੀ ਜਾਂਚ ਕਰਨ, ਅਤੇ meetings ਵਿੱਚ ਹਾਜ਼ਰੀ ਲਗਾਉਣ ਦੇ ਮਿਲੇ-ਜੁਲੇ ਰੂਪ ਵਿੱਚ ਲੰਘਦੇ ਹਨ। Tuesdays ਨੂੰ meetings ਵੱਧ ਹੁੰਦੀਆਂ ਹਨ (ਅਤੇ ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ ਆਮ ਤੌਰ 'ਤੇ ਸਿਰਫ Tuesdays ਨੂੰ ਹੀ), ਅਤੇ ਹਫ਼ਤੇ ਦਾ ਬਾਕੀ ਹਿੱਸਾ debugging ਅਤੇ coding ਵਿੱਚ ਵੰਡਿਆ ਹੁੰਦਾ ਹੈ। ਪਹਿਚਾਣੇ ਗਏ issues ਆਮ ਤੌਰ 'ਤੇ coding ਵਾਲੇ ਕੰਮ ਬਣ ਜਾਂਦੇ ਹਨ, ਜਿਵੇਂ design doc ਲਿਖਣਾ, PR branch ਵਿੱਚ ਤੁਰੰਤ hotfix push ਕਰਨਾ, ਜਾਂ ਗਲਤ ਚੱਲ ਰਹੇ hardware ਨੂੰ ਸਾਡੇ clusters ਤੋਂ ਬਾਹਰ ਰੱਖਣ ਲਈ passive health check logic ਸ਼ਾਮਲ ਕਰਨਾ.

issues ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਜਾਣ ਲਈ ਥੋੜ੍ਹਾ detective work ਕਰਨਾ ਪੈਂਦਾ ਹੈ। research 'ਤੇ ਇਸਦਾ ਅਸਰ ਧੁੰਦਲੇ ਤੋਂ ਲੈ ਕੇ (“ਮੇਰਾ ਕੰਮ ਲੱਗਦਾ ਹੈ ਕਿ ਕੱਲ੍ਹ ਨਾਲੋਂ ਹੌਲੀ ਚੱਲ ਰਿਹਾ ਹੈ”) ਡਰਾਉਣੇ ਤੌਰ 'ਤੇ ਖ਼ਾਸ ਤੱਕ ਹੁੰਦਾ ਹੈ (“ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਜੇ ਮੈਂ Ethernet NIC 'ਤੇ 30Gbps ਤੋਂ ਵੱਧ push ਕਰਾਂ, ਤਾਂ kernel panic ਹੋ ਜਾਂਦਾ ਹੈ?”)। ਇਹ ਮਿਲਾਪ ਸ਼ਾਇਦ ਜਾਣ-ਪਛਾਣ ਵਾਲਾ ਲੱਗੇ: ਉਹਨਾਂ ਦਿਨਾਂ ਵਿੱਚ ਉਤਪਾਦਕ ਜਦੋਂ ਸਭ ਕੁਝ ਉਮੀਦ ਮੁਤਾਬਕ ਚੱਲੇ, ਅਤੇ ਰੋਮਾਂਚਕ ਜਦੋਂ ਉਮੀਦ ਟੁੱਟੇ ਅਤੇ ਤੁਹਾਨੂੰ ਕੁਝ ਨਵਾਂ ਸਿੱਖਣ ਦਾ ਮੌਕਾ ਮਿਲੇ.

ਮੈਂ ਬਹੁਤ ਘੱਟ ਐਸਾ ਹੁੰਦਾ ਹੈ ਕਿ ਕੰਮ 'ਤੇ ਇਸ ਤੋਂ ਬਿਨਾਂ ਪਹੁੰਚਾਂ ਕਿ ਮੇਰੇ ਮਨ ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ ਕੋਈ ਅਹਿਮ ਕੰਮ ਨਾ ਹੋਵੇ, ਅਤੇ ਮੈਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਉਸ ਖ਼ਾਸ ਟੀਮ, ਪ੍ਰੋਜੈਕਟ ਅਤੇ researchers ਦੀ ਜਾਣਕਾਰੀ ਹੁੰਦੀ ਹੈ ਜੋ ਕਿਸੇ ਕੰਮ ਦੇ ਸਮੇਂ ਸਿਰ ਮੁਕੰਮਲ ਹੋਣ ਨਾਲ ਲਾਭਾਨਵਿਤ ਹੁੰਦੇ ਹਨ। OpenAI ਮੇਰਾ ਹੁਣ ਤੱਕ ਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਨਿਯੋਗਕਰਤਾ ਹੈ, ਅਤੇ ਆਪਣੇ ਕੰਮ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਤੁਰੰਤ ਸਮਝ ਪਾਉਣਾ ਮੇਰੀ ਰੋਜ਼ਾਨਾ ਪ੍ਰੇਰਣਾ ਲਈ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ। ਮੈਨੂੰ ਸਿਸਟਮਾਂ ਦੀਆਂ ਬਾਰੀਕੀਆਂ ਖੋਜਣ ਵਿੱਚ ਵੀ ਖਾਸ ਮਜ਼ਾ ਆਉਂਦਾ ਹੈ। OpenAI ਉਹ ਪਹਿਲਾ ਨਿਯੋਗਕਰਤਾ ਨਹੀਂ ਜਿੱਥੇ ਮੈਂ ਬੈਕਐਂਡ ਸਿਸਟਮਾਂ 'ਤੇ ਕੰਮ ਕੀਤਾ ਹੈ, ਪਰ HPC ਖੇਤਰ ਵਿੱਚ ਕੰਮ ਕਰਨ ਦਾ ਇਹ ਮੇਰਾ ਪਹਿਲਾ ਤਜਰਬਾ ਹੈ.

ਜਿਨ੍ਹਾਂ ਤਕਨਾਲੋਜੀਆਂ ਨਾਲ ਅਸੀਂ ਕੰਮ ਕਰਦੇ ਹਾਂ, ਉਹ ਅਕਸਰ ਸਿਰਫ਼ ਇਸ ਖੇਤਰ ਦੀਆਂ ਵਿਲੱਖਣ performance ਚਿੰਤਾਵਾਂ ਕਾਰਨ ਹੀ ਮੌਜੂਦ ਹਨ। ਪਿਛਲੇ ਨਿਯੋਗਕਰਤਾਵਾਂ ਕੋਲ ਮੈਨੂੰ ਆਪਣੇ hardware ਦੀ physical topology ਬਾਰੇ ਚਿੰਤਾ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਸੀ—ਮਿਸਾਲ ਵਜੋਂ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਕਿ ਸੰਚਾਰ ਇੱਕੋ NUMA domain ਅੰਦਰ ਹੋਵੇ, ਜਾਂ GPU Nvidia ਦੇ GPUDirect ਰਾਹੀਂ co-located NVME ਜਾਂ InfiniBand device ਵਰਤੇ, ਜਾਂ noisy neighbor conflicts ਤੋਂ ਬਚਣ ਲਈ system processes ਨੂੰ ਖ਼ਾਸ CPUs ਨਾਲ pin ਕੀਤਾ ਗਿਆ ਹੋਵੇ। OpenAI ਕੰਪਿਊਟਿੰਗ ਦੇ ਉਹਨਾਂ ਪੱਖਾਂ ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਜਾਣ ਦਾ ਮੌਕਾ ਦਿੰਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਹੋਰ ਥਾਵਾਂ 'ਤੇ ਅਣਡਿੱਠਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਇਹੀ ਮੈਨੂੰ ਮੌਜੂਦਾ ਕੰਮ ਵਿੱਚ ਦਿਲਚਸਪੀ ਨਾਲ ਜੋੜੇ ਰੱਖਦਾ ਹੈ.

ਸਾਡੀਆਂ research ਟੀਮਾਂ ਨੂੰ ਆਪਣੇ ਮਾਡਲਾਂ ਨੂੰ ਸੁਧਾਰਦੇ ਹੋਏ ਤਰੱਕੀ ਕਰਦਾ ਦੇਖਣ ਜਿੰਨੀ ਪ੍ਰੇਰਕ ਹੋਰ ਕੋਈ ਗੱਲ ਨਹੀਂ। ਕਈ ਸਮੂਹ Slack bots ਜਾਂ ਸਧਾਰਣ playgrounds ਬਣਾਉਂਦੇ ਹਨ ਜਿੱਥੇ ਤੁਸੀਂ ਹਾਲੇ ਵਿਕਾਸ ਅਧੀਨ ਮਾਡਲਾਂ ਨਾਲ ਇੰਟਰੈਕਟ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਉਨ੍ਹਾਂ ਦੀ ਜਾਂਚ ਕਰ ਸਕਦੇ ਹੋ, ਜਿਸ ਨਾਲ training ਜਾਰੀ ਰਹਿੰਦੀ ਹੋਏ ਮਾਡਲਾਂ ਨੂੰ ਸੁਧਰਦਾ ਦੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ.

ਮੈਂ ਸਾਡੇ ਵੱਖ-ਵੱਖ Slack channels ਤੋਂ ਉਤਸ਼ਾਹਜਨਕ ਜਾਂ ਪ੍ਰੇਰਣਾਦਾਇਕ ਸਮੱਗਰੀ ਨੂੰ tag ਕਰਨ ਲਈ ਮਸ਼ਹੂਰ :meow_party: Slackmoji ਵੀ ਵਰਤਦਾ ਹਾਂ। ਜਦੋਂ ਤੋਂ ਮੈਂ 2020 ਦੇ ਮੱਧ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਇਆ ਹਾਂ, ਮੇਰੇ ਕੋਲ 400 ਤੋਂ ਵੱਧ :meow_party:-tagged posts ਹਨ, ਔਸਤਨ ਲਗਭਗ ਹਫ਼ਤੇ ਵਿੱਚ 4.