OpenAI-യിൽ ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയറുടെ പങ്ക്

Codex പുറത്തിറങ്ങിയപ്പോൾ സംഘത്തിലെ ഒരാൾ എന്നോട് ചോദിച്ചു, “കഴിഞ്ഞ കുറച്ച് മാസങ്ങളായി നമ്മൾ നിർമിച്ചുകൊണ്ടിരുന്ന ഉപയോഗസാഹചര്യങ്ങൾ Codex-ന് ഒറ്റ ശ്രമത്തിൽ കൈകാര്യം ചെയ്യാനാകുമ്പോൾ നമ്മൾ എന്തുചെയ്യും?”

OpenAI-യിൽ ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർ എന്നതിന്റെ അർഥമെന്തെന്നതിന്റെ കാതൽ ആ ചോദ്യത്തിലുണ്ട്. ഉപഭോക്തൃസ്ഥാപനങ്ങളുടെ ഏറ്റവും ദുഷ്കരമായ പ്രശ്നങ്ങൾ മനസ്സിലാക്കാനും അവർക്ക് ആശ്രയിക്കാവുന്ന പരിഹാരങ്ങൾ നിർമിക്കാനും ഞങ്ങൾ അവരോടൊപ്പം പ്രവർത്തിക്കുന്നു. ഞങ്ങൾ പഠിക്കുന്ന കാര്യങ്ങൾ ഉൽപ്പന്നങ്ങളെ രൂപപ്പെടുത്താൻ സഹായിക്കുകയും ഗവേഷണവിഭാഗത്തിന് പരിഹരിക്കാനുള്ള കൃത്യമായ പ്രശ്നങ്ങൾ നൽകുകയും ചെയ്യുന്നു.

അതാണ് പുരോഗതി. ഓരോ രണ്ട് മാസം കൂടുമ്പോഴും ഞങ്ങളുടെ സഹായം ഇനി ആവശ്യമില്ലാത്ത അവസ്ഥ സൃഷ്ടിക്കാനാകുന്നെങ്കിൽ, ഞങ്ങളുടെ ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർമാരുടെ സംഘം അതിന്റെ ജോലി നിർവഹിക്കുന്നുണ്ട്.

2025-ന്റെ തുടക്കത്തിൽ ഞാൻ ഈ സംഘം സ്ഥാപിച്ചത് “വിന്യാസത്തിലെ വിടവ്” എന്ന് ഞങ്ങൾ വിളിക്കുന്ന അകലം നികത്താനാണ്: മോഡലുകൾക്ക് ചെയ്യാനാകുമെന്ന് തോന്നുന്ന കാര്യങ്ങളും ആളുകൾക്ക് അവരുടെ ജോലി ചെയ്യാൻ വിശ്വസനീയമായി ഉപയോഗിക്കാനാകുന്ന കാര്യങ്ങളും തമ്മിലുള്ള അകലം.

മോഡലുകളെ ഉപയോഗപ്പെടുത്താൻ ആവശ്യമായ സംവിധാനങ്ങളെയും പ്രക്രിയകളെക്കാളും വേഗത്തിലാണ് അവയുടെ ശേഷികൾ വളർന്നത്. ചിലപ്പോൾ ഇല്ലാത്തത് ഒരു ഉൽപ്പന്നമായിരിക്കും. ചിലപ്പോൾ ഒരു മോഡൽ മാനദണ്ഡപരിശോധനയിൽ മികച്ച പ്രകടനം കാഴ്ചവെക്കുമെങ്കിലും യഥാർഥ ജീവിതത്തിലെ മാറ്റങ്ങളും പരിമിതികളും ഉൾപ്പെടുമ്പോൾ ജോലി ചെയ്യാനാവില്ല.

ഉപഭോക്തൃസ്ഥാപനങ്ങളുടെ ഏറ്റവും ദുഷ്കരമായ പ്രശ്നങ്ങളിലാണ് ഞങ്ങൾ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്. ഇന്ന് ഞങ്ങളുടെ മോഡലുകൾക്ക് ജോലി ചെയ്യാനാകുന്നിടത്ത്, അതേ പരിഹാരം ആവർത്തിച്ച് പ്രയോഗിക്കാനാകുന്ന തരത്തിലാക്കാൻ ഉൽപ്പന്നവിഭാഗത്തോടും ഉപഭോക്തൃസ്ഥാപനത്തോടും ചേർന്ന് പ്രവർത്തിക്കുന്നു. മോഡലുകൾക്ക് കഴിയാത്തിടത്ത്, കുറവുകൾ നിർവചിക്കാനും മെച്ചപ്പെടുത്തലുകൾ വരുത്താനും ഉപഭോക്തൃസ്ഥാപനങ്ങളോടും ഗവേഷണവിഭാഗത്തോടും ചേർന്ന് പ്രവർത്തിക്കുന്നു. ഓരോ സഹകരണവും അടുത്ത ഉപഭോക്തൃസ്ഥാപനത്തിന് മെച്ചപ്പെട്ട തുടക്കം നൽകണമെന്നതാണ് ഞങ്ങളുടെ ലക്ഷ്യം. അടുത്ത തവണ ഇത്തരമൊരു പ്രശ്നം പരിഹരിക്കാൻ ഉപഭോക്തൃസ്ഥാപനങ്ങൾക്ക് ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർമാരെ ആവശ്യമില്ലാത്ത നിലയിലേക്ക് അടിസ്ഥാന നിലവാരം ഉയർത്താനായാൽ, ഞങ്ങൾ ജോലി നന്നായി ചെയ്തുവെന്ന് പറയാം.

എന്നാൽ പലപ്പോഴും പ്രശ്നങ്ങൾക്ക് വ്യക്തമായ രൂപമുണ്ടാകില്ല; ശരിയെന്ന് ഉറപ്പിച്ച ഒരു അടിസ്ഥാന ഉത്തരമോ പിന്തുടരാൻ തയ്യാറായ രീതിയോ ഉണ്ടാകണമെന്നുമില്ല. ഇതുവരെ ഉണ്ടായിട്ടില്ലാത്ത ഒന്ന് നിർമിക്കാൻ എല്ലാവരും ആഗ്രഹിക്കുന്നു. അതിലേക്കെത്താൻ വേണ്ടതെല്ലാം ചെയ്യാൻ തയ്യാറാകുന്നവർ കുറവാണ്.

“മതിയായ നിലവാരം” എന്നതിന്റെ മാനദണ്ഡം ഉയർത്തിക്കൊണ്ടിരിക്കെ പ്രതിഭയുള്ള ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർമാരെ കണ്ടെത്താൻ നിരന്തരമായ പരീക്ഷണങ്ങളും പ്രായോഗിക പ്രവർത്തനങ്ങളും വേണ്ടിവന്നു.

ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർമാരുടെ ഓരോ സംഘയോഗത്തിന്റെയും തുടക്കത്തിൽ ഒരു അടിസ്ഥാന മൂല്യം രേഖപ്പെടുത്തിയ സ്ലൈഡ് ഞാൻ പ്രദർശിപ്പിക്കും: “ലക്ഷ്യമിടുന്ന ഫലത്തിൽ നിന്ന് തുടങ്ങുക, വിജയിക്കാൻ വേണ്ടതെല്ലാം ചെയ്യുക, തുടർന്ന് വ്യാപ്തി വർധിപ്പിക്കുക”.

ആകർഷകമായ ഒരു പ്രദർശനത്തിന് വലിയ സ്വീകാര്യത ലഭിച്ചേക്കാം; അത് യഥാർഥ സാഹചര്യങ്ങളിൽ പ്രവർത്തിക്കുമോ എന്ന് ആരെങ്കിലും ചോദിക്കുന്നത് ഏറെ കഴിഞ്ഞായിരിക്കും.

യഥാർഥ ഉപയോഗത്തിൽ ഞങ്ങൾക്ക് ഉറപ്പുനൽകാനാകുന്ന നിലവാരത്തിൽ ഉപഭോക്തൃസ്ഥാപനത്തിന്റെ പ്രശ്നം പരിഹരിക്കുകയാണ് ഞങ്ങളുടെ ജോലി.

ഞങ്ങളുടെ ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർമാർ ആദ്യദിനം തന്നെ വ്യവസായം അറിഞ്ഞിരിക്കണമെന്നില്ല. പക്ഷേ അത് പഠിക്കേണ്ടത് അവരുടെ ഉത്തരവാദിത്തമാണ്.

കോഡിംഗ് സഹായികൾ സോഫ്റ്റ്‌വെയർ നിർമാണം വേഗത്തിലാക്കുമ്പോൾ ഉപഭോക്തൃസ്ഥാപനത്തിന്റെ ബിസിനസ് മനസ്സിലാക്കുന്നത് കൂടുതൽ പ്രധാനമാകുന്നു. പല മേഖലകളിൽ അറിവുള്ളവരെയും പ്രത്യേക മേഖലകളിലെ വിദഗ്ധരെയും ചേർത്താണ് ഞങ്ങൾ സംഘങ്ങൾ രൂപീകരിക്കുന്നത്.

ശരിയായ തീരുമാനങ്ങളെടുക്കാൻ മതിയായ അറിവും, നിലവിലുള്ള സ്ഥിതിയെക്കുറിച്ചുള്ള അനുമാനങ്ങളെ ചോദ്യം ചെയ്യാൻ മതിയായ ജിജ്ഞാസയും വേണം.

ഉദാഹരണത്തിന്, ജീവശാസ്ത്ര മേഖലയിൽ ഞങ്ങളുടെ ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർമാരുടെ ശാസ്ത്രപശ്ചാത്തലം ഗവേഷകരുടെ വിശ്വാസം നേടാൻ സഹായിക്കുന്നു. ഔഷധങ്ങൾ കണ്ടെത്തുന്നതിനുള്ള പ്രീക്ലിനിക്കൽ ഘട്ടത്തിൽ ലക്ഷ്യങ്ങളുടെ സാധുത പരിശോധിക്കലും മുൻഗണന നിശ്ചയിക്കലും, ജീൻ ആവിഷ്കാര വിശകലനം, രാസസംശ്ലേഷണ പാതകളുടെ പുനർനിർമാണം തുടങ്ങിയ പ്രവർത്തനങ്ങളിലാണ് ഈ ഗവേഷകർ ഏർപ്പെടുന്നത്. ഈ വൈദഗ്ധ്യം ഉപയോഗിച്ച് ആ പ്രവർത്തനക്രമങ്ങൾ മെച്ചപ്പെടുത്തുന്നതിനെക്കുറിച്ച് അറിവിൽ അധിഷ്ഠിതമായ വിലയിരുത്തലുകൾ നൽകാൻ അവർക്ക് കഴിയും.

ഈ പ്രവർത്തനക്രമങ്ങൾ പ്രയോജനം നൽകുമെന്ന് ഞങ്ങൾ തെളിയിച്ചിരുന്നു. എങ്കിലും ഓരോന്നും മറ്റൊരു സംഘത്തിലേക്ക് വ്യാപിപ്പിക്കാൻ ആവശ്യത്തിലധികം പ്രത്യേക സംയോജനപ്രവർത്തനങ്ങൾ വേണ്ടിവന്നു. ആ ഫലങ്ങൾ നിലനിർത്തിക്കൊണ്ട് സോഫ്റ്റ്‌വെയർ വിന്യസിക്കാനും പരിപാലിക്കാനും എളുപ്പമാക്കുക എന്നതായിരുന്നു അടുത്ത വെല്ലുവിളി.

അപ്പോഴേക്കും Codex-ന്റെ ശേഷി വർധിച്ചിരുന്നു. ഒരു ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർ അതിനെ കേന്ദ്രീകരിച്ച് തന്റെ ആപ്ലിക്കേഷൻ പുനർനിർമിക്കാൻ പരീക്ഷിച്ചു. തുടർന്ന് സംഘവുമായി ചേർന്ന് ഉപയോഗസാഹചര്യങ്ങളെ Codex കേന്ദ്രമായ ഒരു പൊതുവായ ഹാർനെസിലേക്ക് മാറ്റി.

പ്രത്യേകം നിർമിച്ച ആപ്ലിക്കേഷനുകൾ പൊതുവായ Codex അടിസ്ഥാന ഘടകങ്ങളിൽ നിർമിച്ച പ്ലഗിനുകളും സ്കില്ലുകളുമായി മാറി. Codex തന്നെയാണ് ഉപയോക്തൃമുഖമായും മാറിയത്. അതോടെ ഓരോ ഉപയോഗസാഹചര്യത്തിനും ഞങ്ങൾ എഴുതിയിരുന്ന പ്രത്യേക ടെർമിനൽ ഉപയോക്തൃമുഖങ്ങളും കമാൻഡ് ലൈൻ ഉപയോക്തൃമുഖങ്ങളും ഒഴിവാക്കാനായി.

ഓരോ പദ്ധതിയിലും പ്രത്യേകം എഴുതിയ കോഡിന്റെ ഏകദേശം 90% നീക്കം ചെയ്യാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു. ഈ പ്രവർത്തനക്രമങ്ങൾ നിർമിക്കുകയും പരിപാലിക്കുകയും വ്യാപിപ്പിക്കുകയും ചെയ്ത രീതിയിൽ അതു മാറ്റമുണ്ടാക്കി:

• Codex-ൽ കേന്ദ്രീകൃതമായി വരുത്തുന്ന മെച്ചപ്പെടുത്തലുകൾ ഞങ്ങൾക്കും പ്രയോജനപ്പെട്ടു. ഓരോ ഉപയോഗസാഹചര്യത്തിലും ഘടകങ്ങളെ ബന്ധിപ്പിക്കാൻ വേണ്ട കോഡിന്റെ അളവ് ഇതിലൂടെ കുറഞ്ഞു

• പ്രധാന പ്രവർത്തനങ്ങൾ സ്കില്ലുകളും പ്ലഗിനുകളുമായി ഒരുമിപ്പിച്ചു. ഇതോടെ അവ പരസ്പരം പങ്കിടാനും എഐ മികവിന്റെ കേന്ദ്രത്തിന് അവയെ കേന്ദ്രീകൃതമായി നിയന്ത്രിക്കാനും എളുപ്പമായി. അതായത്, ഒരു സംഘത്തിൽ നിന്ന് അടുത്തതിലേക്ക് വ്യാപിപ്പിക്കാൻ പുതിയ കണക്ടറുകളോ എംസിപി സെർവറുകളോ ഘടിപ്പിക്കുക, പുതിയ മൂല്യനിർണയങ്ങൾ തയ്യാറാക്കുക, പ്രവർത്തനം തുടങ്ങുക എന്നിവ മാത്രം മതിയാകുമായിരുന്നു. മൂല്യനിർണയങ്ങൾ തയ്യാറാക്കാനും ഞങ്ങൾക്ക് ഒരു സ്കിൽ ഉണ്ടായിരുന്നു.

• 2026 ഓഗസ്റ്റിലെ ഒരു ഉദാഹരണത്തിൽ, ആദ്യ വിന്യാസത്തിന് രണ്ട് മാസമെടുത്തു. അതേ പരിഹാരം രണ്ടാമത്തെ സംഘത്തിലേക്ക് വ്യാപിപ്പിക്കാൻ ഒരു ദിവസം മാത്രമേ വേണ്ടിവന്നുള്ളൂ. വ്യാപ്തി വർധിപ്പിച്ചപ്പോൾ തുടർന്നുള്ള സംഘങ്ങൾക്ക് കൂടുതൽ വേഗത്തിൽ ഉപയോഗം തുടങ്ങാനായി. ഇത് തുടർന്നുകൊണ്ടിരിക്കുന്നു: 2026 ഓഗസ്റ്റിലെ ഒരു ഉപയോഗസാഹചര്യത്തിൽ ആദ്യ വിന്യാസത്തിന് രണ്ട് മാസം വേണ്ടിവന്നപ്പോൾ രണ്ടാമത്തെ സംഘത്തിന് ഒരു ദിവസം മതിയായി.

ഞങ്ങളുടെ സഹായം ഇനി ആവശ്യമില്ലാത്ത അവസ്ഥ സൃഷ്ടിക്കുന്നതിന്റെ ഒരു രൂപമാണിത്. യഥാർഥ ഉപയോഗത്തിലെത്തിക്കാൻ ഞങ്ങൾ ചെയ്ത പ്രവർത്തനം പ്രധാനമായതെന്തെന്ന് വ്യക്തമാക്കിയിരുന്നു. അടിസ്ഥാന ഉൽപ്പന്നം മെച്ചപ്പെട്ടപ്പോൾ ഞങ്ങൾ പ്രത്യേകം നിർമിച്ച സംവിധാനത്തിന്റെ വലിയൊരു ഭാഗം മാറ്റിസ്ഥാപിക്കാനും അത് നൽകിയ പ്രയോജനം നിലനിർത്താനും കഴിഞ്ഞു.

അതുകൊണ്ടാണ് ഈ ക്രമം പ്രധാനമാകുന്നത്. LLM-കൾ വേഗത്തിൽ നിർമിക്കാൻ നമ്മെ സഹായിക്കുന്നു. ആ വേഗം ഉപയോഗിച്ച് പ്രയോജനകരമായ ഒന്ന് ഉപയോക്താക്കളുടെ കൈകളിലെത്തിക്കുക, പ്രായോഗികമായി നിലനിൽക്കുന്നതെന്തെന്ന് പഠിക്കുക, തുടർന്ന് ഫലപ്രദമായതിന്റെ വ്യാപ്തി വർധിപ്പിക്കുക.

എല്ലാ സഹകരണങ്ങളിലും ഇതേ തത്ത്വം ബാധകമാണ്.

ചിലപ്പോൾ മികച്ചൊരു ഉൽപ്പന്നം നാം നിർമ്മിച്ചതിനെ ലളിതമാക്കാൻ സഹായിക്കും, എന്നാൽ ചിലപ്പോഴാകട്ടെ മോഡലിന് തന്നെ ആ ജോലി നിർവ്വഹിക്കാൻ ഇനിയും കഴിഞ്ഞെന്നു വരില്ല.

ഇന്നത്തെ മോഡലുകൾ ഇതിനകം സാധ്യമാക്കുന്നവ മാത്രം നിർമിച്ചാൽ, ഗവേഷണവിഭാഗം അടുത്തതായി പരിഹരിക്കേണ്ട ബുദ്ധിശേഷിയിലെ കുറവുകൾ കണ്ടെത്താനാവില്ല. അതിനാൽ ഞങ്ങളുടെ പല പ്രധാന സഹകരണങ്ങളും തുടങ്ങുന്നത് ഈ പരിമിതികളിൽ നിന്നാണ്. അവ ഒരുമിച്ച് മറികടക്കാൻ ഉപഭോക്തൃസ്ഥാപനവും ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയറും ഗവേഷണവിഭാഗവും പ്രതിജ്ഞാബദ്ധരായിരിക്കും.

ഓരോ ഘടകവും പ്രധാനമായിരുന്നു. മോഡലിന് ഇതുവരെ പരിഹരിക്കാൻ സാധിക്കാത്ത ഒരു പ്രശ്നത്തിൽ പ്രവർത്തിക്കാൻ ഉപഭോക്താവ് തയ്യാറായി. പ്രശ്നം വ്യക്തമായി നിർവചിക്കാനും പ്ലാറ്റ്‌ഫോം നിർമിക്കാനും തുടക്കം മുതൽ അവസാനം വരെ സഹകരണം മുന്നോട്ടുകൊണ്ടുപോകാനും ഫോർവേഡ് ഡിപ്ലോയ്ഡ് എഞ്ചിനീയർ ഉപഭോക്തൃസ്ഥാപനവുമായി അടുത്ത് പ്രവർത്തിച്ചു. ഗവേഷണവിഭാഗം അടിസ്ഥാന മോഡലിന്റെ ശേഷികൾ മെച്ചപ്പെടുത്തി.

ഞങ്ങളുടെ സഹായം ഇനി ആവശ്യമില്ലാത്ത അവസ്ഥ സൃഷ്ടിക്കുന്നതിന്റെ മറ്റൊരു രൂപമാണിത്: ഇന്നത്തെ മോഡലുകൾക്ക് പരിഹരിക്കാനാകാത്ത ഒരു പ്രശ്നത്തെ ഭാവിയിലെ മോഡലുകൾക്ക് കൈകാര്യം ചെയ്യാനാകുന്ന ശേഷിയായി മാറ്റാൻ സഹായിക്കുക. ഞങ്ങളുടെ പ്രവർത്തനത്തിന്റെ നേട്ടം ഏതെങ്കിലും ഒരു ഉപഭോക്തൃസ്ഥാപനത്തോടൊപ്പം ചെലവഴിക്കുന്ന മണിക്കൂറുകളിൽ ഒതുങ്ങുന്നില്ല.

ആളുകളുടെ ദൈനംദിന ജോലിയിൽ എഐ പ്രയോജനകരമാക്കാൻ സഹായിക്കാനാണ് ഞാൻ OpenAI-യിൽ ചേർന്നത്. ഇപ്പോഴും അതാണ് സംഘത്തെ നയിക്കുന്നത്. LLM വികസനത്തിലെ മിക്ക സാഹചര്യങ്ങളിലും ഒക്കാമിന്റെ ക്ഷുരകത്തി എന്ന തത്ത്വം ബാധകമാണെന്ന് ഞാൻ സംഘത്തോട് പലപ്പോഴും പറയാറുണ്ട്—ഏറ്റവും ലളിതമായ പരിഹാരമാണ് ഏറ്റവും മികച്ചത്. അത്യാധുനിക ഗവേഷണത്തിന് പേരുകേട്ട ഒരു സ്ഥാപനത്തിലാണ് ഞങ്ങൾ; അതിശയോക്തികൾ പ്രതിച്ഛായ മങ്ങിക്കുന്ന ഒരു വ്യവസായത്തിലും. ഈ സാഹചര്യത്തിൽ, രംഗത്ത് പ്രവർത്തിക്കുന്നവർക്ക് ആശ്രയിക്കാവുന്നവിധം വിശ്വസനീയമായി പ്രവർത്തിക്കുന്ന സംവിധാനങ്ങളാണ് ഞങ്ങൾ നിർമിക്കാൻ ആഗ്രഹിക്കുന്നത്.

ഓരോ സഹകരണവും അടുത്തതിനെ മെച്ചപ്പെടുത്തണം എന്നതാണ് ലക്ഷ്യം: വിന്യസിക്കാൻ കൂടുതൽ എളുപ്പമുള്ള ഉൽപ്പന്നം, കൂടുതൽ ദുഷ്കരമായ ജോലി കൈകാര്യം ചെയ്യാവുന്ന മോഡൽ, അല്ലെങ്കിൽ അടുത്ത ഉപഭോക്തൃസ്ഥാപനത്തിനായി പ്രത്യേകം ചെയ്യേണ്ട ജോലിയിൽ കുറവ്.

പരിഹരിക്കാൻ ആഗ്രഹിക്കുന്ന ഒരു ദുഷ്കരപ്രശ്നം നിങ്ങൾക്കുണ്ടെങ്കിൽ, നിങ്ങളോടൊപ്പം പ്രവർത്തിക്കാൻ ഞങ്ങൾക്ക് സന്തോഷമാണ്. ആ പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ സഹായിക്കണമെന്നുണ്ടെങ്കിൽ, ഞങ്ങളോടൊപ്പം ചേരാൻ നിങ്ങളെ സ്വാഗതം ചെയ്യുന്നു.

അപ്പോൾ, മാസങ്ങളെടുത്ത് ഞങ്ങൾ നിർമിച്ച സംവിധാനങ്ങളുടെ ജോലി Codex-ന് കൈകാര്യം ചെയ്യാനാകുമ്പോൾ ഞങ്ങൾ എന്തുചെയ്യും?

കൂടുതൽ ദുഷ്കരമായ പ്രശ്നം കണ്ടെത്തും.