Gpt-oss അവതരിപ്പിക്കുന്നു
gpt-oss-120b, gpt-oss-20b ഓപ്പൺ-വെയ്റ്റ് റീസണിംഗ് മോഡലുകളുടെ പരിധിയെ മുന്നോട്ട് നയിക്കുക
കുറഞ്ഞ ചെലവിൽ ശക്തമായ യഥാർത്ഥ ലോക പ്രകടനം നൽകുന്ന രണ്ട് അത്യാധുനിക ഓപ്പൺ-വെയ്റ്റ് ഭാഷാ മോഡലുകൾ ഞങ്ങൾ GPT‑oss‑120b, GPT‑oss‑20b എന്നിവ പുറത്തിറക്കുന്നു. ഫ്ലെക്സിബിൾ അപ്പാച്ചെ 2.0 ലൈസൻസിന് കീഴിൽ ലഭ്യമായ ഈ മോഡലുകൾ റീസണിംഗ് ടാസ്കുകളിൽ സമാന വലുപ്പമുള്ള open model-കളെ മറികടക്കുന്നു, ശക്തമായ ഉപകരണ ഉപയോഗ ശേഷികൾ പ്രകടമാക്കുന്നു, കൂടാതെ ഉപഭോക്തൃ ഹാർഡ്വെയറിൽ കാര്യക്ഷമമായ വിന്യാസത്തിനായി ഒപ്റ്റിമൈസ് ചെയ്യപ്പെട്ടിരിക്കുന്നു. O3, മറ്റ് ഫ്രോണ്ടിയർ സിസ്റ്റങ്ങൾ എന്നിവയുൾപ്പെടെയുള്ള OpenAI-യുടെ ഏറ്റവും നൂതനമായ ആന്തരിക മോഡലുകളിൽ നിന്ന് ലഭിച്ച റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ് സാങ്കേതിക വിദ്യകളുടെയും മിശ്രിതം ഉപയോഗിച്ചാണ് അവരെ പരിശീലിപ്പിച്ചത്.
ഒരൊറ്റ 80 ജിബി GPU-യിൽ കാര്യക്ഷമമായി പ്രവർത്തിക്കുമ്പോൾ gpt-oss-120b മോഡൽ കോർ റീസണിംഗ് ബെഞ്ച്മാർക്കുകളിൽ OpenAI o4-mini-യുമായി കുറച്ച് മാത്രം വ്യത്യാസമുള്ളതാകുന്നു. Gpt-oss-20b മോഡൽ സാധാരണ ബെഞ്ച്മാർക്കുകളിൽ OpenAI o3‑mini‑ക്ക് സമാനമായ ഫലങ്ങൾ നൽകുന്നു, കൂടാതെ വെറും 16 ജിബി മെമ്മറിയുള്ള എഡ്ജ് ഉപകരണങ്ങളിൽ പ്രവർത്തിക്കാൻ കഴിയും, ഇത് ഓൺ-ഉപകരണ ഉപയോഗ കേസുകൾ, പ്രാദേശിക അനുമാനം, അല്ലെങ്കിൽ ചെലവേറിയ ഇൻഫ്രാസ്ട്രക്ചർ ഇല്ലാതെ ദ്രുതഗതിയിലുള്ള ആവർത്തനത്തിന് അനുയോജ്യമാണ്. ടൂൾ ഉപയോഗം, കുറച്ച്-ഷോട്ട് ഫംഗ്ഷൻ കോളിംഗ്, CoT റീസണിംഗ് (ടൗ-ബെഞ്ച് ഏജന്റിക് മൂല്യനിർണ്ണയ സ്യൂട്ടിലെ ഫലങ്ങളിൽ കാണുന്നത് പോലെ), ഹെൽത്ത്ബെഞ്ച് (OpenAI o1, ജിപിടി-4o പോലുള്ള പ്രൊപ്രൈറ്ററി മോഡലുകളെ പോലും മറികടക്കുന്നു) എന്നിവയിലും രണ്ട് മോഡലുകളും മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നു.
ഈ മോഡലുകൾ ഞങ്ങളുടെ മറുപടി API-(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) യുമായി പൊരുത്തപ്പെടുന്നു, കൂടാതെ അസാധാരണമായ നിർദ്ദേശങ്ങൾ പിന്തുടരൽ, വെബ് തിരയൽ അല്ലെങ്കിൽ പൈത്തൺ കോഡ് നിർവ്വഹണം പോലുള്ള ടൂൾ ഉപയോഗം, റീസണിംഗ് കഴിവുകൾ എന്നിവ ഉപയോഗിച്ച് ഏജന്റ് വർക്ക്ഫ്ലോകളിൽ ഉപയോഗിക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്തിരിക്കുന്നു - സങ്കീർണ്ണമായ ന്യായവാദം ആവശ്യമില്ലാത്തതും/അല്ലെങ്കിൽ വളരെ കുറഞ്ഞ ലേറ്റൻസി അന്തിമ ഔട്ട്പുട്ടുകൾ ലക്ഷ്യമിടുന്നതുമായ ടാസ്ക് കൾക്കുള്ള യുക്തിസഹമായ ശ്രമം ക്രമീകരിക്കാനുള്ള കഴിവ് ഉൾപ്പെടെ. അവ പൂർണ്ണമായും ഇഷ്ടാനുസൃതമാക്കാവുന്നതാണ്, പൂർണ്ണ ചിന്താശൃംഖല (CoT) നൽകുന്നു, കൂടാതെ ഘടനാപരമായ ഔട്ട്പുട്ടുകൾ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പിന്തുണയ്ക്കുന്നു.
സുരക്ഷയാണ് ഞങ്ങളുടെ എല്ലാ മോഡലുകളും പുറത്തിറക്കുന്നതിനുള്ള സമീപനത്തിന്റെ അടിസ്ഥാനവും, പ്രത്യേകിച്ച് open model-കൾക്ക് ഇത് പ്രത്യേക പ്രാധാന്യമുള്ളതാണ്. മോഡലുകൾ സമഗ്രമായ സുരക്ഷാ പരിശീലനവും വിലയിരുത്തലുകളും നടത്തുന്നതിനൊപ്പം, ഞങ്ങളുടെ തയ്യാറെടുപ്പ് ചട്ടക്കൂട്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പ്രകാരം GPT‑ന്റെ വിപരീതമായി മികച്ച ട്യൂൺ ചെയ്ത പതിപ്പ് പരീക്ഷിച്ച് മൂല്യനിർണ്ണയത്തിന്റെ അധിക പാളി ഞങ്ങൾ അവതരിപ്പിച്ചു. gpt-oss മോഡലുകൾ ആന്തരിക സുരക്ഷാ ബെഞ്ച്മാർക്കുകളിൽ ഞങ്ങളുടെ ഫ്രണ്ടിയർ മോഡലുകളുമായി സമാനമായ പ്രകടനം കാഴ്ചവയ്ക്കുന്നു, ഡെവലപ്പർമാർക്ക് ഞങ്ങളുടെ പുതിയ കുത്തക മോഡലുകളുടെ അതേ സുരക്ഷാ മാനദണ്ഡങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു. ആ ജോലിയുടെ ഫലങ്ങളും കൂടുതൽ വിശദാംശങ്ങളും ഞങ്ങൾ ഒരു ഗവേഷണ പ്രബന്ധത്തിൽ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) കൂടാതെ മോഡൽ കാർഡിൽ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പങ്കിടുകയാണ്. ഞങ്ങളുടെ രീതിശാസ്ത്രം ബാഹ്യ വിദഗ്ധർ അവലോകനം ചെയ്തു, ഓപ്പൺ-വെയ്റ്റ് മോഡലുകൾക്കായി പുതിയ സുരക്ഷാ മാനദണ്ഡങ്ങൾ നിശ്ചയിക്കുന്നതിൽ ഒരു മുന്നേറ്റം അടയാളപ്പെടുത്തുന്നു.
ഞങ്ങളുടെ open model-കളുടെ യഥാർത്ഥ ലോക ആപ്ലിക്കേഷനുകളെക്കുറിച്ച് അറിയാൻ AI സ്വീഡൻ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു), ഓറഞ്ച്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു), സ്നോഫ്ലേക്ക്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) തുടങ്ങിയ ആദ്യകാല പങ്കാളികളുമായും ഞങ്ങൾ പ്രവർത്തിക്കുന്നു, ഡാറ്റ സുരക്ഷയ്ക്കായി ഈ മോഡലുകൾ ഓൺ-പരിസരത്ത് ഹോസ്റ്റുചെയ്യുന്നത് മുതൽ പ്രത്യേക ഡാറ്റാസെറ്റുകളിൽ ഫൈൻ-ട്യൂണിംഗ് ചെയ്യുന്നത് വരെ. വ്യക്തിഗത ഡെവലപ്പർമാരിൽ നിന്ന് വലിയ സംരംഭങ്ങൾക്കും സർക്കാറുകൾക്കും വരെ, അവരുടെ സ്വന്തം ഇൻഫ്രാസ്ട്രക്ചറിൽ AI പ്രവർത്തിപ്പിക്കാനും ഇഷ്ടാനുസൃതമാക്കാനും എല്ലാവരെയും ശാക്തീകരിക്കുന്നതിന് ഈ മികച്ച-ഇൻ-ക്ലാസ് open model നൽകുന്നതിൽ ഞങ്ങൾ ആവേശത്തിലാണ്. ഞങ്ങളുടെ APIയിൽ ലഭ്യമായ മോഡലുകളുമായി ചേർന്ന്, ഡെവലപ്പർമാർക്ക് AI പ്രവാഹങ്ങളെ ശക്തിപ്പെടുത്താൻ ആവശ്യമായ പ്രകടനം, ചെലവ്, ലേറ്റൻസി എന്നിവ തിരഞ്ഞെടുക്കാൻ കഴിയും.
വിപുലമായ വിന്യാസ പരിതസ്ഥിതികളിലുടനീളം റീസണിംഗ്, കാര്യക്ഷമത, യഥാർത്ഥ ലോക ഉപയോഗക്ഷമത എന്നിവയിൽ പ്രത്യേക ശ്രദ്ധ കേന്ദ്രീകരിച്ച് ഞങ്ങളുടെ ഏറ്റവും നൂതന പ്രീ-പരിശീലനം, പോസ്റ്റ്-പരിശീലനം സാങ്കേതികവിദ്യകൾ ഉപയോഗിച്ച് gpt-oss മോഡലുകൾ പരിശീലിപ്പിച്ചു. ഞങ്ങൾ Whisper ഉം CLIP ഉം ഉൾപ്പെടെയുള്ള മറ്റ് മോഡലുകൾ പരസ്യമായി ലഭ്യമാക്കിയിട്ടുണ്ടെങ്കിലും, gpt-oss മോഡലുകൾ GPT‑2[1] ന് ശേഷം ഞങ്ങളുടെ ആദ്യത്തെ ഓപ്പൺ-വെയ്റ്റ് ഭാഷാ മോഡലുകളാണ്.
ഓരോ മോഡലും ഒരു ട്രാൻസ്ഫോർമറാണ്, ഇത് ഇൻപുട്ട് പ്രോസസ്സ് ചെയ്യുന്നതിനായി ആവശ്യമായ സജീവ പാരാമീറ്ററുകളുടെ എണ്ണം കുറയ്ക്കാൻ മിശ്ര-വിദഗ്ധരെ (MoE[2]) പ്രയോജനപ്പെടുത്തുന്നു. gpt-oss-120b ഓരോ tokenലും 5.1B പാരാമീറ്ററുകൾ പ്രവർത്തനക്ഷമമാക്കുന്നു, അതേസമയം gpt-oss-20b 3.6B പ്രവർത്തനക്ഷമമാക്കുന്നു. മോഡലുകൾക്ക് യഥാക്രമം 117 ബില്യൺ, 21 ബില്യൺ മൊത്തം പാരാമീറ്ററുകൾ ഉണ്ട്. മോഡലുകൾ GPT‑3[3] ന് സമാനമായ ഇടതൂർന്നതും പ്രാദേശികമായി ബാൻഡുചെയ്തതുമായ വിരളമായ ശ്രദ്ധ പാറ്റേണുകൾ ഉപയോഗിക്കുന്നു. അനുമാനത്തിനും മെമ്മറി കാര്യക്ഷമതയ്ക്കും വേണ്ടി, മോഡലുകൾ 8 ഗ്രൂപ്പ് വലുപ്പമുള്ള ഗ്രൂപ്പ് ചെയ്ത മൾട്ടി-ക്വറി ശ്രദ്ധ ഉപയോഗിക്കുന്നു. പൊസിഷണൽ എൻകോഡിംഗിനായി ഞങ്ങൾ റോട്ടറി പൊസിഷണൽ എംബെഡിംഗ് (RoPE[4]) ഉപയോഗിക്കുന്നു, കൂടാതെ 128k വരെയുള്ള സന്ദർഭങ്ങളുടെ ദൈർഘ്യത്തെ നാടൻ രീതിയിൽ പിന്തുണയ്ക്കുന്നു.
മോഡൽ | ലെയറുകൾ | മുഴുവൻ പാരാമീറ്ററുകൾ | ഓരോ token-ൽ സജീവ പാരാമീറ്ററുകൾ | മൊത്തം വിദഗ്ദ്ധർ | ഓരോ token-നിലും സജീവ വിദഗ്ധർ | സന്ദർഭം ദൈർഘ്യം |
gpt-oss-120b | 36 | 117B | 5.1B | 128 | 4 | 128k |
gpt-oss-20b | 24 | 21B | 3.6B | 32 | 4 | 128k |
STEM, കോഡിംഗ്, അറിവ് എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ച് കൂടുതലും ഇംഗ്ലീഷ്, ടെക്സ്റ്റ് മാത്രമുള്ള ഡാറ്റാസെറ്റിൽ ഞങ്ങൾ മോഡലുകൾ പരിശീലിപ്പിച്ചു. OpenAI o4-mini, GPT‑4o എന്നിവയ്ക്കായി ഉപയോഗിക്കുന്ന ഞങ്ങളുടെ ടോക്കനൈസറിന്റെ ഒരു സൂപ്പർസെറ്റ് o200k_harmony ഉപയോഗിച്ച് ഞങ്ങൾ ഡാറ്റ ടോക്കണൈസ് ചെയ്തു, ഇത് ഞങ്ങൾ ഇന്ന് ഓപ്പൺ-സോഴ്സിംഗ് ചെയ്യുന്നു.
ഞങ്ങളുടെ മോഡലുകളുടെ വാസ്തുവിദ്യയും പരിശീലനവും കുറിച്ച് കൂടുതൽ അറിയാൻ, മോഡൽ കാർഡ്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) വായിക്കുക.
മേൽനോട്ടത്തിലുള്ള ഫൈൻ-ട്യൂണിംഗ് ഘട്ടവും ഉയർന്ന കണക്കുകൂട്ടൽ ആർഎൽ ഘട്ടവും ഉൾപ്പെടെ o4-മിനിക്ക് ഉപയോഗിച്ചതുപോലെ സമാനമായ പ്രക്രിയ ഉപയോഗിച്ച് മോഡലുകൾക്ക് പോസ്റ്റ്-പരിശീലനം നൽകി. ഞങ്ങളുടെ ലക്ഷ്യം മോഡലുകളെ OpenAI മോഡൽ സ്പെക്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ക്ക് അനുസരിച്ച് വിന്യസിക്കുകയും, ഉത്തരം നൽകുന്നതിന് മുമ്പ് CoT റീസണിംഗ് ഉം ഉപകരണ ഉപയോഗവും പ്രയോഗിക്കാൻ പഠിപ്പിക്കുകയും ചെയ്യുക എന്നതായിരുന്നു. ഞങ്ങളുടെ SoTA കുത്തക റീസണിംഗ് മോഡലുകളുടെ അതേ സാങ്കേതികതകൾ ഉപയോഗിച്ച്, പരിശീലനാനന്തര ഘട്ടത്തിൽ മോഡലുകൾ അസാധാരണമായ കഴിവുകൾ പ്രകടിപ്പിക്കുന്നു.
APIയിലെ OpenAI ഒ-സീരീസ് റീസണിംഗ് മോഡലുകൾ പോലെ, രണ്ട് ഓപ്പൺ-വെയ്റ്റ് മോഡലുകൾ മൂന്ന് റീസണിംഗ് ശ്രമങ്ങളെ പിന്തുണയ്ക്കുന്നു - കുറഞ്ഞ, ഇടത്തരം, ഉയർന്ന - അവ ലേറ്റൻസി-പെർഫോമൻസ് ട്രേഡ് ഓഫ് ചെയ്യുന്നു. ഡെവലപ്പർമാർക്ക് സിസ്റ്റം സന്ദേശത്തിൽ ഒരു വാചകം ഉപയോഗിച്ച് റീസണിംഗ് ശ്രമം എളുപ്പത്തിൽ സജ്ജമാക്കാൻ കഴിയും.
മറ്റ് OpenAI റീസണിംഗ് മോഡലുകളുമായി-o3, o3‑mini, o4-mini എന്നിവയുൾപ്പെടെ - താരതമ്യപ്പെടുത്തുമ്പോൾ കോഡിംഗ്, മത്സര ഗണിതം, ആരോഗ്യം, ഏജന്റിക് ടൂൾ ഉപയോഗം എന്നിവയിൽ അവരുടെ കഴിവുകൾ അളക്കാൻ സ്റ്റാൻഡേർഡ് അക്കാദമിക് ബെഞ്ച്മാർക്കുകളിലുടനീളം GPT‑oss‑120b, GPT‑oss‑20b എന്നിവ ഞങ്ങൾ വിലയിരുത്തി.
gpt-oss-120b OpenAI o3‑mini യെ മറികടന്ന് മത്സര കോഡിംഗ് (Codeforces), പൊതുവായ പ്രശ്ന പരിഹാരം (MMLU, HLE), ടൂൾ കോളിംഗ് (TauBench) എന്നിവയിൽ OpenAI o4-miniയെ പൊരുത്തപ്പെടുകയോ കവിയുകയോ ചെയ്യുന്നു. ഇത് കൂടാതെ ആരോഗ്യവുമായി ബന്ധപ്പെട്ട അന്വേഷണങ്ങൾ (ഹെൽത്ത് ബെഞ്ച്), മത്സര ഗണിതശാസ്ത്രം (AIME 2024 & 2025) എന്നിവയിൽ o4-mini-നെക്കാൾ മികച്ചത് ചെയ്യുന്നു. gpt-oss-20b ഈ ഒരേ വിലയിരുത്തലുകളിൽ OpenAI o3‑mini‑നെ പൊരുത്തപ്പെടുകയോ കവിയുകയോ ചെയ്യുന്നു, അതിന്റെ ചെറിയ വലിപ്പം ഉണ്ടായിരുന്നിട്ടും, മത്സരം ഗണിതശാസ്ത്രത്തിലും ആരോഗ്യത്തിലും അതിനെ മറികടക്കുന്നു.
gpt-oss മോഡലുകൾ ഒരു മെഡിക്കൽ പ്രൊഫഷണലിനെ മാറ്റിസ്ഥാപിക്കുന്നില്ല, രോഗനിർണ്ണയത്തിനോ ചികിത്സയ്ക്കോ ഉദ്ദേശിച്ചുള്ളതല്ല
ഉദാഹരണ റോളൗട്ടുകൾ
gpt-oss-120b-ന് ഒരു ബ്രൗസിംഗ് ഉപകരണം ഉപയോഗിച്ച് കാലികമായ വിവരങ്ങൾ വേഗത്തിൽ സമാഹരിക്കാൻ കഴിയും, തുടർന്നുള്ള 10 കോളുകൾ ഒരുമിച്ച് ബന്ധിപ്പിക്കുന്നത് ഉൾപ്പെടെ.
CoT വിന്യസിക്കുന്നതിന് നേരിട്ടുള്ള മേൽനോട്ടത്തോടെ മോഡൽ പരിശീലനം നൽകാത്തിടത്തോളം കാലം ഒരു യുക്തിസഹമായ മോഡലിന്റെ CoT നിരീക്ഷിക്കുന്നത് തെറ്റായ പെരുമാറ്റം കണ്ടെത്തുന്നതിന് സഹായകരമാകുമെന്ന് ഞങ്ങളുടെ സമീപ കാല ഗവേഷണം തെളിയിക്കുന്നു. ഈ കാഴ്ചപ്പാട് വ്യവസായത്തിലെ മറ്റുള്ളവരും പങ്കുവെക്കുന്നു(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു). OpenAI o1‑പ്രിവ്യൂ സമാരംഭിച്ചതിനുശേഷം ഞങ്ങളുടെ തത്വങ്ങൾ അനുസരിച്ച്, gpt-oss മോഡലുകൾക്കായി CoT-ന് നേരിട്ട് മേൽനോട്ടം നൽകിയിട്ടില്ല. മോഡൽ ദുർവ്യവഹാരം, വഞ്ചന, ദുരുപയോഗം എന്നിവ നിരീക്ഷിക്കുന്നതിന് ഇത് നിർണായകമാണെന്ന് ഞങ്ങൾ വിശ്വസിക്കുന്നു. ഞങ്ങളുടെ പ്രതീക്ഷയാണ് മേൽനോട്ടമില്ലാത്ത ചിന്താ ശൃംഖലയുള്ള open model പുറത്തിറക്കുന്നത് ഡെവലപ്പർമാർക്കും ഗവേഷകർക്കും അവരുടെ സ്വന്തം CoT നിരീക്ഷണ സിസ്റ്റങ്ങൾ ഗവേഷിക്കുകയും നടപ്പിലാക്കുകയും ചെയ്യാനുള്ള അവസരം നൽകും.
ഡെവലപ്പർമാർ അവരുടെ ആപ്ലിക്കേഷനുകളിൽ ഉപയോക്താക്കൾക്ക് CoTs നേരിട്ട് കാണിക്കരുത്. OpenAI-യുടെ സ്റ്റാൻഡേർഡ് സുരക്ഷാ നയങ്ങളെ പ്രതിഫലിപ്പിക്കാത്ത ഭാഷ ഉൾപ്പെടെ ഭ്രമാത്മകമോ അല്ലെങ്കിൽ ഹാനികരമായ ഉള്ളടക്കം അവയിൽ അടങ്ങിയിരിക്കാം, കൂടാതെ അന്തിമ ഔട്ട്പുട്ടിൽ ഉൾപ്പെടുത്താതിരിക്കാൻ മോഡൽ വ്യക്തമായി ആവശ്യപ്പെടുന്ന വിവരങ്ങൾ ഉൾപ്പെടുത്തിയേക്കാം.
gpt-oss-120b അതിന്റെ ഔട്ട്പുട്ടിൽ സിസ്റ്റം നിർദ്ദേശങ്ങൾ ശക്തമായി പിന്തുടരുന്നു, പക്ഷേ പലപ്പോഴും അതിന്റെ CoT-യിലെ നിർദ്ദേശങ്ങൾ വ്യക്തമായി അനുസരിക്കാറില്ല.
സുരക്ഷാ പരിശീലനത്തിനായി ഞങ്ങളുടെ മികച്ച സമീപനങ്ങളെ gpt-oss മോഡലുകൾ പ്രയോജനപ്പെടുത്തുന്നു. പ്രീ-പരിശീലനത്തിനിടെ, കെമിക്കൽ, ബയോളജിക്കൽ, റേഡിയോളജിക്കൽ, ന്യൂക്ലിയർ (CBRN) എന്നിവയുമായി ബന്ധപ്പെട്ട ചില ദോഷകരമായ ഡാറ്റ ഞങ്ങൾ തരംതിരിച്ചു. പരിശീലനാനന്തര സമയത്ത്, മോഡലിനെ സുരക്ഷിതമല്ലാത്ത പ്രോംപ്റ്റുകൾ നിരസിക്കാനും പ്രോംപ്റ്റ് കുത്തിവയ്പ്പുകൾക്കെതിരെ പ്രതിരോധിക്കാനും പഠിപ്പിക്കുന്നതിന് ഞങ്ങൾ ഡെലിബറേറ്റീവ് അലൈന്മെന്റ് യും ഇൻസ്ട്രക്ഷൻ ഹിയറാർക്കി(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) യും ഉപയോഗിച്ചു.
ഒരു ഓപ്പൺ-വെയ്റ്റ് മോഡൽ പുറത്തിറങ്ങിയാൽ, വൈരികൾ മോഡൽ ക്ഷുദ്ര ആവശ്യങ്ങൾക്കായി നന്നായി ക്രമീകരിക്കാൻ കഴിയും. ഞങ്ങൾ ഈ അപകടസാധ്യതകൾ നേരിട്ട് വിലയിരുത്തി, പ്രത്യേക ബയോളജി, സൈബർസെക്യൂരിറ്റി ഡാറ്റ എന്നിവയിൽ മോഡൽ ഫൈൻ-ട്യൂണിംഗ് ചെയ്ത്, ഓരോ ഡൊമെയ്ൻക്കും ഒരു ആക്രമണകാരിയുടെ രീതിയിൽ ഒരു ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട നിരസിക്കാത്ത പതിപ്പ് സൃഷ്ടിച്ചു. ആന്തരികവും ബാഹ്യവുമായ പരിശോധനകളിലൂടെ ഞങ്ങൾ ഈ മോഡലുകളുടെ ശേഷി നില വിലയിരുത്തി. ഈ പരിശോധന, ഞങ്ങളുടെ അനുബന്ധ സുരക്ഷാ പേപ്പർ ൽ വിശദീകരിച്ചിരിക്കുന്നതുപോലെ, OpenAIയുടെ ഫീൽഡ്-ലീഡിംഗ് പരിശീലന സ്റ്റാക്ക് പ്രയോജനപ്പെടുത്തി നടത്തിയ ശക്തമായ ഫൈൻ-ട്യൂണിംഗ് പോലും, ഞങ്ങളുടെ തയ്യാറെടുപ്പ് ചട്ടക്കൂട് അനുസരിച്ച് ഈ ദുഷ്പ്രവർത്തനപരമായ ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡലുകൾക്ക് ഉയർന്ന ശേഷി നിലയിലെത്താൻ കഴിയുന്നില്ലെന്ന് സൂചിപ്പിച്ചു. പരിശീലന പ്രക്രിയയും വിലയിരുത്തലുകളും മെച്ചപ്പെടുത്തുന്നതിനുള്ള ശുപാർശകൾ നടത്തിയ മൂന്ന് സ്വതന്ത്ര വിദഗ്ധ ഗ്രൂപ്പുകൾ ഈ ക്ഷുദ്രകരമായ ഫൈൻ-ട്യൂണിംഗ് രീതിശാസ്ത്രം അവലോകനം ചെയ്തു, അവയിൽ പലതും ഞങ്ങൾ സ്വീകരിച്ചു. മോഡൽ കാർഡിൽ ഈ ശുപാർശകൾ ഞങ്ങൾ വിശദമായി വിശദീകരിക്കുന്നു. ഈ പ്രക്രിയകൾ open model സുരക്ഷയ്ക്കായി അർത്ഥവത്തായ പുരോഗതിയെ അടയാളപ്പെടുത്തുന്നു. ഈ കണ്ടെത്തലുകൾ gpt-oss മോഡലുകൾ പുറത്തിറക്കാനുള്ള ഞങ്ങളുടെ തീരുമാനത്തെ അറിയിച്ചു. ഈ മോഡലുകൾ വ്യവസായത്തിലുടനീളം സുരക്ഷാ പരിശീലനവും വിന്യാസ ഗവേഷണവും ത്വരിതപ്പെടുത്താൻ സഹായിക്കും എന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.
സുരക്ഷിതമായ ഓപ്പൺ സോഴ്സ് ഇക്കോസിസ്റ്റത്തിന് സംഭാവന നൽകുന്നതിന്, ലോകമെമ്പാടുമുള്ള ഗവേഷകർ, ഡെവലപ്പർമാർ, ഉത്സാഹികൾ എന്നിവരെ പുതിയ സുരക്ഷാ പ്രശ്നങ്ങൾ തിരിച്ചറിയാൻ പ്രോത്സാഹിപ്പിക്കുന്നതിനായി ഞങ്ങൾ ഒരു റെഡ് ടീമിംഗ് ചലഞ്ച്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) സംഘടിപ്പിക്കുന്നു. OpenAI -യും മറ്റ് പ്രമുഖ ലാബുകളും ഉൾപ്പെടുന്ന വിദഗ്ധ ജഡ്ജിമാരുടെ പാനലിന്റെ അവലോകനത്തെ അടിസ്ഥാനമാക്കി $500,000 സമ്മാനഫണ്ട് ചലഞ്ചിന് നൽകും. വെല്ലുവിളിയുടെ അവസാനം, ഞങ്ങൾ ഒരു റിപ്പോർട്ട് പ്രസിദ്ധീകരിക്കുകയും സാധൂകരിക്കപ്പെട്ട കണ്ടെത്തലുകളെ അടിസ്ഥാനമാക്കി ഒരു മൂല്യനിർണ്ണയ ഡാറ്റ സെറ്റ് ഓപ്പൺ സോഴ്സ് ചെയ്യുകയും ചെയ്യും, അതുവഴി വിശാലമായ സമൂഹത്തിന് ഉടൻ പ്രയോജനം ലഭിക്കും. കൂടുതലറിയുക, ഇവിടെ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പങ്കെടുക്കുക.
Gpt-oss-120b, gpt-oss-20b എന്നിവയുടെ ഭാരങ്ങൾ ഹഗ്ഗിംഗ് ഫേസിൽ സൗജന്യമായി ഡൗൺലോഡ് ചെയ്യാൻ ലഭ്യമാണ്, കൂടാതെ സ്വാഭാവികമായി MXFP4 ൽ ക്വാണ്ടൈസ് ചെയ്യപ്പെട്ടിരിക്കുന്നു. ഇത് gpt-oss-120B മോഡലിന് 80GB മെമ്മറിയിൽ പ്രവർത്തിക്കാൻ അനുവദിക്കുന്നു, GPT‑oss‑20b ന് 16GB മാത്രമേ ആവശ്യമുള്ളൂ.
മോഡലുകൾ ഞങ്ങളുടെ ഹാർമണി പ്രോംപ്റ്റ് ഫോർമാറ്റിൽ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പോസ്റ്റ്-പരിശീലനം നൽകിയിട്ടുണ്ട്, ദത്തെടുക്കൽ എളുപ്പമാക്കാൻ പൈത്തണിലും റസ്റ്റിലും ഹാർമണി റെൻഡറർ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ഞങ്ങൾ ഓപ്പൺ-സോഴ്സിംഗ് ചെയ്യുന്നു. മോഡലിനായുള്ള ഉദാഹരണ ഉപകരണങ്ങളുടെ ശേഖരത്തിനൊപ്പം PyTorch-ലും ആപ്പിളിന്റെ മെറ്റൽ പ്ലാറ്റ്ഫോമിലും അനുമാനം പ്രവർത്തിപ്പിക്കുന്നതിനുള്ള റഫറൻസ് നടപ്പിലാക്കലുകളും ഞങ്ങൾ പുറത്തിറക്കുന്നു.
പ്രാദേശികമായോ, ഉപകരണത്തിലോ, മൂന്നാം കക്ഷി അനുമാന ദാതാക്കളിലൂടെയോ - എവിടെയും പ്രവർത്തിപ്പിക്കാൻ എളുപ്പമുള്ളതും വഴക്കമുള്ളതുമായ രീതിയിലാണ് ഞങ്ങൾ ഈ മോഡലുകൾ രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. ഇതിനെ പിന്തുണയ്ക്കുന്നതിനായി, ഞങ്ങൾ സമാരംഭിക്കുന്നതിന് മുമ്പ് അസൂർ, Hugging Face, vLLM, Ollama, llama.cpp പോലുള്ള പ്രമുഖ വിന്യാസ പ്ലാറ്റ്ഫോമുകളുമായി പങ്കാളിത്തം സ്ഥാപിച്ചു. ഡെവലപ്പർമാർക്ക് മോഡലുകൾ വിശാലമായി ആക്സസ് ചെയ്യാൻ LM സ്റ്റുഡിയോ, AWS, ഫയർവർക്ക്സ്, ടുഗെദർ AI, ബേസെറ്റൻ, ഡാറ്റാബ്രിക്സ്, വെർസെൽ, ക്ലൗഡ്ഫ്ലെയർ, ഓപ്പൺറൂട്ടർ എന്നിവ. ഹാർഡ്വെയർ മേഖലയിൽ, വിവിധ സിസ്റ്റങ്ങളിലുടനീളം ഒപ്റ്റിമൈസ് ചെയ്ത പ്രകടനം ഉറപ്പാക്കാൻ NVIDIA, AMD, Cerebras, Groq എന്നിവയുൾപ്പെടെയുള്ള വ്യവസായ നേതാക്കളുമായി ഞങ്ങൾ സഹകരിച്ചു.
ഇന്നത്തെ റിലീസിന്റെ ഭാഗമായി മൈക്രോസോഫ്റ്റ് GPU-ഓപ്റ്റിമൈസ് ചെയ്ത gpt-oss-20b മോഡലിന്റെ പതിപ്പുകൾ ഉപകരണങ്ങളിലേക്ക് കൊണ്ടുവരുന്നു. ONNX റൺടൈം ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്ന ഈ മോഡലുകൾ പ്രാദേശിക അനുമാനത്തെ പിന്തുണയ്ക്കുന്നു, കൂടാതെ Foundry Local, VS Code-നുള്ള AI ടൂൾകിറ്റ് എന്നിവയിലൂടെ ലഭ്യമാണ്, ഇത് Windows ഡെവലപ്പർമാർക്ക് open models ഉപയോഗിച്ച് നിർമ്മിക്കുന്നത് എളുപ്പമാക്കുന്നു.
പൂർണ്ണമായും ഇഷ്ടാനുസൃതമാക്കാവുന്ന മോഡലുകൾ ആഗ്രഹിക്കുന്ന ഡെവലപ്പർമാർക്ക് അവർക്ക് അവരുടെ സ്വന്തം പരിതസ്ഥിതിയിൽ ഫൈൻ-ട്യൂൺ ചെയ്ത് വിന്യസിക്കാനാകുന്ന, gpt-oss ഒരു മികച്ച ഫിറ്റ് ആണ്. മൾട്ടിമോഡൽ പിന്തുണ, ഉൾക്കൊള്ളിച്ച ഉപകരണങ്ങൾ, ഞങ്ങളുടെ പ്ലാറ്റ് ഫോമുമായുള്ള തടസ്സമില്ലാത്ത സംയോജനം എന്നിവ തേടുന്നവർക്ക്, API പ്ലാറ്റ് ഫോമിലൂടെ ലഭ്യമായ മോഡലുകൾ മികച്ച ഓപ്ഷനായി തുടരുന്നു. ഞങ്ങൾ ഡെവലപ്പർ ഫീഡ്ബാക്ക് സൂക്ഷ്മമായി കേൾക്കുന്നത് തുടരുകയാണ്, ഭാവിയിൽ gpt-oss-നുള്ള API പിന്തുണ പരിഗണിച്ചേക്കാം.
നിങ്ങൾക്ക് മോഡലുകൾ പരീക്ഷിക്കാൻ ആഗ്രഹമുണ്ടെങ്കിൽ, ഞങ്ങളുടെ open model Playground(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) സന്ദർശിക്കുക. വ്യത്യസ്ത ഇക്കോസിസ്റ്റം ദാതാക്കളെ ഉപയോഗിച്ച് മോഡലുകൾ എങ്ങനെ ഉപയോഗിക്കാമെന്ന് അല്ലെങ്കിൽ മോഡലുകൾ എങ്ങനെ നന്നായി ക്രമീകരിക്കാമെന്ന് കൂടുതലറിയാൻ, ഞങ്ങളുടെ ഗൈഡുകൾ പരിശോധിക്കുക(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു).
GPT‑oss‑120b, gpt-oss-20b എന്നിവ പുറത്തിറക്കുന്നത് ഓപ്പൺ വെയ്റ്റ് മോഡലുകൾക്ക് ഒരു സുപ്രധാന മുന്നേറ്റം അടയാളപ്പെടുത്തുന്നു. അവയുടെ വലുപ്പത്തിൽ, ഈ മോഡലുകൾ റീസണിംഗ് കഴിവുകളിലും സുരക്ഷയിലും അർത്ഥവത്തായ പുരോഗതികൾ നൽകുന്നു. Open model-കൾ ഞങ്ങളുടെ ഹോസ്റ്റുചെയ്ത മോഡലുകൾക്ക് പൂരകമാണ്, ഡെവലപ്പർമാർക്ക് മുൻനിര ഗവേഷണം ത്വരിതപ്പെടുത്താനും നവീകരണം പ്രോത്സാഹിപ്പിക്കാനും, വിശാലമായ ഉപയോഗ കേസുകളിലുടനീളം സുരക്ഷിതവും കൂടുതൽ സുതാര്യവുമായ AI വികസനം പ്രവർത്തന സജ്ജമാക്കാനും വിപുലമായ ഉപകരണങ്ങൾ നൽകുന്നു.
ഈ open models വളർന്നുവരുന്ന വിപണികൾ, വിഭവശേഷി നിയന്ത്രിത മേഖലകൾ, കുത്തക മോഡലുകൾ സ്വീകരിക്കാനുള്ള ബജറ്റോ വഴക്കമോ ഇല്ലാത്ത ചെറിയ സംഘടനകൾ എന്നിവയ്ക്കുള്ള തടസ്സങ്ങൾ കുറയ്ക്കുന്നു. ശക്തവും ആക്സസ് ചെയ്യാവുന്നതുമായ ഉപകരണങ്ങൾ അവരുടെ കയ്യിൽ ഉള്ളതിനാൽ, ലോകമെമ്പാടുമുള്ള ആളുകൾക്ക് തങ്ങൾക്കും മറ്റുള്ളവർക്കും നിർമ്മിക്കാനും, നവീകരിക്കാനും, പുതിയ അവസരങ്ങൾ സൃഷ്ടിക്കാനും കഴിയും. യുഎസിൽ സൃഷ്ടിച്ച ഈ കഴിവുള്ള ഓപ്പൺ-വെയ്റ്റ് മോഡലുകളിലേക്കുള്ള വിശാലമായ ആക്സസ് ജനാധിപത്യ AI പാതകളെ വിപുലീകരിക്കാൻ സഹായിക്കുന്നു.
AI നെ വ്യാപകമായി ആക്സസ് ചെയ്യാവുന്നതും എല്ലാവർക്കും പ്രയോജനകരമാക്കാൻ സഹായിക്കുന്ന ഒരു ഘടകമാണ് ആരോഗ്യകരമായ open model ഇക്കോസിസ്റ്റം. സാധ്യമായ കാര്യങ്ങളുടെ അതിരുകൾ ഭേദിക്കാൻ, പരീക്ഷണം നടത്താനും സഹകരിക്കാനും ഈ മോഡലുകൾ ഉപയോഗിക്കാൻ ഞങ്ങൾ ഡെവലപ്പർമാരെയും ഗവേഷകരെയും ക്ഷണിക്കുന്നു. നിങ്ങൾ നിർമ്മിക്കുന്നതെന്താണെന്ന് കാണാൻ ഞങ്ങൾ കാത്തിരിക്കുന്നു.
രചയിതാവ്
ഉദ്ധരണികൾ
സംഭാവകർ
Zoran Martinovic, Zhuohan Li, Zhiqing Sun, Zach Johnson, Yu Yang, Yu Bai, Yang Song, Xin Wang, Wenting Zhan, Volodymyr Kyrylov, Vlad Fomenko, Tyler Bertao, Tong Mu, Timur Garipov, Tarun Gogineni, Suvansh Sanjeev, Steve Mostovoy, Song Mei, Shengjia Zhao, Sebastien Bubeck, Scott McKinney, Scott Lessans, Sandhini Agarwal, Sam Toizer, Sam Altman, Saachi Jain, Romain Huet, Rahul K. Arora, Philippe Tillet, Olivia Watkins, Nivedita Brett, Nikhil Vyas, Miles Wang, Michihiro Yasunaga, Michelle Pokrass, Mia Glaese, Max Schwarzer, Mark Chen, Mario Lezcano-Casado, Marat Dukhan, Lukas Gross, Ludovic Peran, Ludovic Peran, Lindsay McCallum, Lin Yang, Lily (Xiaoxuan) Liu, Leher Pathak, Lama Ahmad, Kristian Georgiev, Kristen Ying, Kimmy Richardson, Kevin Whinnery, Kevin Weil, Kevin Lu, Kevin Fives, Kendal Simon, Katia Gil Guzman, Karan Singhal, Karan Singhal, Kai Chen, Josh McGrath, Jordan Liss, Jongsoo Park, John Hallman, Johannes Heidecke, Jiancheng Liu, Ji Lin, Jason Kwon, Jason Ai, James Park Lennon, Jakub Pachocki, Jacob Huh, Jackie Hehir, Irina Kofman, Huida Qiu, Hongyu Ren, Harshit Sikchi, Hannah Wong, Haitang Hu, Haitang Hu, Haiming Bao, Hadi Salman, Guillaume Leclerc, Greg Brockman, Gideon Myles, Giambattista Parascandolo, Gaby Raila, Foivos Tsimpourlas, Filippo Raso, Eugene Brevdo, Eric Wallace, Enoch Cheung, Elizabeth Proehl, Elaine Ya Le, Edwin Arbus, Eddie Zhang, Dominik Kundel, Dmitry Pimenov, David Robinson, Dane Stuckey, Dana Palmie, Dan Cook, Cyril Zhang, Chris Lu, Chris Koch, Che Chang, Cedric Whitney, Casey Dvorak, Carolina Paz, Brian Zhang, Bowen Baker, Bob Rotsted, Boaz Barak, Ashley Pantuliano, Andy Applebaum, Amy Wendling, Ally Bennett, Alexander Neitz, Alex Paino, Alex Nichol, Alec Helyar, Aidan McLaughlin, Aidan Clark, Adam Goucher
