ഭാഷാ മോഡലുകൾക്ക് ഭ്രമാത്മകത തോന്നുന്നത് എന്തുകൊണ്ട്

OpenAI-ൽ, AI സിസ്റ്റങ്ങളെ കൂടുതൽ ഉപയോഗപ്രദവും വിശ്വസനീയവുമാക്കാൻ ഞങ്ങൾ കഠിനമായി പരിശ്രമിക്കുന്നു. ഭാഷാ മോഡലുകൾ കൂടുതൽ കഴിവുള്ളവരാകുമ്പോഴും, ഒരു വെല്ലുവിളി പൂർണ്ണമായും പരിഹരിക്കാൻ പ്രയാസകരമായി തുടരുന്നു: ഭ്രമങ്ങൾ. ഇതിലൂടെ ഞങ്ങൾ അർത്ഥമാക്കുന്നത് ഒരു മോഡൽ ആത്മവിശ്വാസത്തോടെ ശരിയല്ലാത്ത ഒരു ഉത്തരം സൃഷ്ടിക്കുന്ന സാഹചര്യങ്ങൾ. സ്റ്റാൻഡേർഡ് പരിശീലന, വിലയിരുത്തൽ നടപടിക്രമങ്ങൾ അനിശ്ചിതത്വത്തെ അംഗീകരിക്കുന്നതിനേക്കാൾ ഊഹത്തിന് പ്രതിഫലം നൽകുന്നതിനാൽ ഭാഷാ മോഡലുകൾ ഭ്രമാത്മകമാണെന്ന് ഞങ്ങളുടെ പുതിയ ഗവേഷണ പ്രബന്ധം⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) വാദിക്കുന്നു.

ChatGPT യും ഭ്രമാത്മകത സൃഷ്ടിക്കുന്നു. പ്രത്യേകിച്ച് റീസണിംഗ് ചെയ്യുമ്പോൾ⁠ GPT‑5 ന് ഭ്രമാത്മകത വളരെ കുറവാണ്, പക്ഷേ അവ ഇപ്പോഴും സംഭവിക്കുന്നു. എല്ലാ വലിയ ഭാഷാ മോഡലുകൾക്കും ഭ്രമാത്മകത ഒരു അടിസ്ഥാന വെല്ലുവിളിയായി തുടരുന്നു, പക്ഷേ അവ കുറയ്ക്കാൻ ഞങ്ങൾ കഠിനമായി പരിശ്രമിക്കുന്നു.

ഹാലൂസിനേഷനെന്ന് പറയുന്നത് ഭാഷാ മോഡലുകൾ സൃഷ്ടിക്കുന്ന, വിശ്വസനീയമായി തോന്നുന്നെങ്കിലും യാഥാർത്ഥ്യമല്ലാത്ത പ്രസ്താവനകളെയാണ്. അവർക്ക് ലളിതമായ ചോദ്യങ്ങൾക്കുപോലും അതിശയിപ്പിക്കുന്ന രീതിയിൽ പ്രത്യക്ഷപ്പെടാൻ കഴിയും. ഉദാഹരണത്തിന്, ഈ പ്രബന്ധത്തിന്റെ രചയിതാവായ Adam Tauman Kalaiയുടെ (ഈ പ്രബന്ധത്തിന്റെ ഒരു രചയിതാവ്) പിഎച്ച്ഡി പ്രബന്ധത്തിന്റെ തലക്കെട്ടിനായി വ്യാപകമായി ഉപയോഗിക്കുന്ന ഒരു ചാറ്റ്ബോട്ടിനോട് ഞങ്ങൾ ചോദിച്ചപ്പോൾ, അത് ആത്മവിശ്വാസത്തോടെ മൂന്ന് വ്യത്യസ്ത ഉത്തരങ്ങൾ നൽകി - അവയൊന്നും ശരിയായിരുന്നില്ല. ഞങ്ങൾ അദ്ദേഹത്തിന്റെ ജന്മദിനം ചോദിച്ചപ്പോൾ, അത് മൂന്ന് വ്യത്യസ്ത തീയതികളാണ് നൽകിയതും, അവ എല്ലാം തെറ്റായിരുന്നു. 

നിലവിലുള്ള മൂല്യനിർണ്ണയ രീതികൾ തെറ്റായ പ്രോത്സാഹനങ്ങൾ സൃഷ്ടിക്കുന്നതിനാലാണ് ഭ്രമാത്മകത നിലനിൽക്കുന്നത്. വിലയിരുത്തലുകൾ നേരിട്ട് ഭ്രമാത്മകതയ്ക്ക് കാരണമാകുന്നില്ലെങ്കിലും, മിക്ക വിലയിരുത്തലുകളും മോഡൽ പ്രകടനത്തെ അളക്കുന്നത് അനിശ്ചിതത്വത്തെക്കുറിച്ചുള്ള സത്യസന്ധതയെക്കാൾ ഊഹത്തെ പ്രോത്സാഹിപ്പിക്കുന്ന രീതിയിലാണ്.

ഇത് ഒരു മൾട്ടിപ്പിൾ ചോയ്സ് ടെസ്റ്റിനെപ്പോലെ ചിന്തിക്കുക. നിങ്ങൾക്ക് ഉത്തരം അറിയാതിരുന്നാൽ, ഒരു ധൈര്യമായ ഊഹം നടത്തുക, നിങ്ങൾക്ക് ഭാഗ്യം ഉണ്ടാകാം, ശരിയായിരിക്കാം. അത് ശൂന്യമായി വിടുന്നത് പൂജ്യം ഉറപ്പിക്കുന്നു. അതുപോലെ, മോഡലുകളെ കൃത്യത അടിസ്ഥാനമാക്കി മാത്രം ഗ്രേഡ് ചെയ്യുമ്പോൾ, അതായത് അവർക്ക് കൃത്യമായി ലഭിക്കുന്ന ചോദ്യങ്ങളുടെ ശതമാനം, "എനിക്കറിയില്ല" എന്ന് പറയുന്നതിനുപകരം ഊഹിക്കാൻ അവരെ പ്രോത്സാഹിപ്പിക്കുന്നു.

മറ്റൊരു ഉദാഹരണമായി, ഒരു ഭാഷാ മോഡലിനോട് ആരുടെയെങ്കിലും ജന്മദിനം ചോദിച്ചാൽ, അത് അറിയില്ലെന്ന് കരുതുക. “സെപ്റ്റംബർ 10” എന്ന് അത് ഊഹിച്ചാൽ, ശരിയാകാൻ 365-ൽ 1 സാധ്യതയുണ്ട്. “എനിക്കറിയില്ല” എന്ന് പറയുന്നത് പൂജ്യം പോയിന്റുകൾ ഉറപ്പിക്കുന്നു. ആയിരക്കണക്കിന് പരീക്ഷണ ചോദ്യങ്ങൾക്ക് ഉത്തരം കണ്ടെത്തുമ്പോൾ, അനിശ്ചിതത്വം സമ്മതിക്കുന്ന ശ്രദ്ധാപൂർവ്വമുള്ള ഒരു മോഡലിനേക്കാൾ, ഊഹിക്കാവുന്ന മാതൃകയാണ് സ്കോർബോർഡുകളിൽ മികച്ചതായി കാണപ്പെടുന്നത്.

ഒരു മാത്രം 'ശരിയായ ഉത്തരം' ഉള്ള ചോദ്യങ്ങൾക്ക്, മൂന്ന് തരം മറുപടികൾ പരിഗണിക്കാം: കൃത്യമായ മറുപടികൾ, പിശകുകൾ, മോഡൽ ഒരു ഊഹം നടത്താൻ ശ്രമിക്കാത്ത സാഹചര്യങ്ങളിൽ വിട്ടുനിൽക്കൽ. OpenAIയുടെ പ്രധാന⁠ മൂല്യങ്ങളിലൊന്നായ എളിമയുടെ ഭാഗമാണ് വിട്ടുനിൽക്കൽ. മിക്ക സ്കോർബോർഡുകളും കൃത്യതയുടെ അടിസ്ഥാനത്തിൽ മോഡലുകൾക്ക് മുൻഗണനയും റാങ്കും നൽകുന്നു, പക്ഷേ പിശകുകൾ ഒഴിവാക്കുന്നതിനെക്കാൾ മോശമാണ്. തെറ്റായ വിവരങ്ങൾ നൽകുന്നതിനേക്കാൾ അനിശ്ചിതത്വം സൂചിപ്പിക്കുകയോ വിശദീകരണം ചോദിക്കുകയോ ചെയ്യുന്നതാണ് നല്ലതെന്ന് ഞങ്ങളുടെ മോഡൽ സ്പെക്ക്⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പറയുന്നു. 

ഒരു വ്യക്തമായ ഉദാഹരണത്തിന്,GPT5 സിസ്റ്റം കാർഡിൽ⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) നിന്നുള്ള ഒരു ഉദാഹരണമായി SimpleQA eval പരിഗണിക്കുക.

കൃത്യതയുടെ കാര്യത്തിൽ, പഴയ OpenAI o4-മിനി മോഡൽ അല്പം മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നു. എന്നിരുന്നാലും, അതിന്റെ പിശക് നിരക്ക് (അഥവാ, ഭ്രമാത്മകതയുടെ നിരക്ക്) ഗണ്യമായി കൂടുതലാണ്. അനിശ്ചിതത്വമുള്ളപ്പോൾ തന്ത്രപരമായി ഊഹിക്കുന്നത് കൃത്യത മെച്ചപ്പെടുത്തുന്നു, എന്നാൽ പിശകുകളും ഭ്രമങ്ങളും വർദ്ധിപ്പിക്കുന്നു. 

ഡസൻ കണക്കിന് മൂല്യനിർണ്ണയങ്ങളിലൂടെ ശരാശരി ഫലങ്ങൾ കണക്കാക്കുമ്പോൾ, മിക്ക ബെഞ്ച്മാർക്കുകളും കൃത്യതാ മാനദണ്ഡം മാത്രം എടുത്തു കാണിക്കുന്നു, പക്ഷേ ഇത് ശരിയും തെറ്റും തമ്മിലുള്ള തെറ്റായ ദ്വന്ദ്വം സൃഷ്ടിക്കുന്നു. SimpleQA പോലുള്ള ലളിതമായ വിലയിരുത്തലുകളിൽ, ചില മോഡലുകൾ ഏകദേശം 100% കൃത്യത നേടുകയും അതുവഴി ഹാലൂസിനേഷനുകൾ ഇല്ലാതാക്കുകയും ചെയ്യുന്നു. എന്നിരുന്നാലും, കൂടുതൽ വെല്ലുവിളി നിറഞ്ഞ വിലയിരുത്തലുകളിലും യഥാർത്ഥ ഉപയോഗത്തിലും, കൃത്യത 100% ൽ താഴെയായി പരിമിതപ്പെടുത്തിയിരിക്കുന്നു, കാരണം ലഭ്യമല്ലാത്ത വിവരങ്ങൾ, ചെറിയ മോഡലുകളുടെ പരിമിതമായ ചിന്താശേഷി, അല്ലെങ്കിൽ വ്യക്തത ആവശ്യമായ അവ്യക്തതകൾ എന്നിങ്ങനെ വിവിധ കാരണങ്ങളാൽ ഉത്തരം നിർണ്ണയിക്കാൻ കഴിയാത്ത ചില ചോദ്യങ്ങളുണ്ട്.

എന്നിരുന്നാലും, കൃത്യതയ്ക്ക് മാത്രമുള്ള സ്കോർബോർഡുകൾ ലീഡർബോർഡുകളിലും മോഡൽ കാർഡുകളിലും ആധിപത്യം പുലർത്തുന്നു, ഇത് ഡെവലപ്പർമാരെ മോഡലുകൾ ഊഹിക്കാൻ നിർമ്മിക്കാൻ പ്രേരിപ്പിക്കുന്നു, പിന്നിലേക്ക് പോകുന്നതിന് പകരം. അതുകൊണ്ടാണ് മോഡലുകൾ കൂടുതൽ പുരോഗമിച്ചാലും, അനിശ്ചിതത്വം അംഗീകരിക്കുന്നതിനുപകരം ആത്മവിശ്വാസത്തോടെ തെറ്റായ ഉത്തരങ്ങൾ നൽകിക്കൊണ്ട് അവർക്ക് ഇപ്പോഴും ഭ്രമാത്മകത അനുഭവപ്പെടാൻ കഴിയുന്നത്.

ഒരു ലളിതമായ പരിഹാരമുണ്ട്. ആത്മവിശ്വാസത്തോടെയുള്ള തെറ്റുകൾക്ക് അനിശ്ചിതത്വത്തെക്കാൾ കൂടുതൽ ശിക്ഷ നൽകുക, അനിശ്ചിതത്വത്തിന്റെ ഉചിതമായ പ്രകടനങ്ങൾക്ക് ഭാഗികമായ അംഗീകാരം നൽകുക. ഈ ആശയം പുതിയതല്ല. തെറ്റായ ഉത്തരങ്ങൾക്ക് നെഗറ്റീവ് മാർക്കിംഗോ, അന്ധമായ ഊഹം നിരുത്സാഹപ്പെടുത്തുന്നതിനായി ചോദ്യങ്ങൾ ശൂന്യമായി വിടുന്നതിന് ഭാഗിക ക്രെഡിറ്റ് കോഡിംഗോ ചില സ്റ്റാൻഡേർഡ് ടെസ്റ്റുകൾ വളരെക്കാലമായി ഉപയോഗിച്ചുവരുന്നു. നിരവധി ഗവേഷണ ഗ്രൂപ്പുകൾ അനിശ്ചിതത്വവും കാലിബ്രേഷനും പരിഗണിക്കുന്ന വിലയിരുത്തലുകൾ കണ്ടെത്തിയിട്ടുണ്ട്.

ഞങ്ങളുടെ നിലപാട് വ്യത്യസ്തമാണ്. അനിശ്ചിതത്വത്തെക്കുറിച്ചുള്ള അവബോധമുള്ള കുറച്ച് പുതിയ പരിശോധനകൾ കൂടി ചേർത്താൽ മതിയാകില്ല. വ്യാപകമായി ഉപയോഗിക്കപ്പെടുന്നതും കൃത്യതയെ അടിസ്ഥാനമാക്കിയുള്ളതുമായ വിലയിരുത്തലുകൾ അവരുടെ സ്കോറിംഗ് ഊഹത്തെ നിരുത്സാഹപ്പെടുത്തുന്ന വിധത്തിൽ അപ്ഡേറ്റ് ചെയ്യേണ്ടതുണ്ട്. പ്രധാന സ്കോർബോർഡുകൾ ഭാഗ്യ ഊഹങ്ങൾക്ക് പ്രതിഫലം നൽകുന്നുവെങ്കിൽ, മോഡലുകൾ ഊഹിക്കാൻ പഠിച്ചുകൊണ്ടിരിക്കും. സ്കോർബോർഡുകൾ ശരിയാക്കുന്നത്, പുതുതായി വികസിപ്പിച്ചെടുത്തതും മുൻ ഗവേഷണങ്ങളിൽ നിന്നുള്ളതുമായ ഭ്രമാത്മകത കുറയ്ക്കൽ സാങ്കേതിക വിദ്യകൾ സ്വീകരിക്കുന്നതിനെ വിപുലീകരിക്കും.

നാം ഭ്രമാത്മകതയിൽ നിന്ന് മുക്തി നേടുന്നത് എത്ര ബുദ്ധിമുട്ടാണെന്ന് ചർച്ച ചെയ്തിട്ടുണ്ട്, എന്നാൽ ഈ വളരെ പ്രത്യേകമായ വസ്തുതാപരമായ കൃത്യതയില്ലായ്മകൾ ആദ്യം എവിടെ നിന്നാണ് വരുന്നത്? എല്ലാത്തിനുമുപരി, മുൻകൂട്ടി പരിശീലിപ്പിച്ച വലിയ മോഡലുകളിൽ അക്ഷരത്തെറ്റുകൾ, പൊരുത്തപ്പെടാത്ത പരാൻതീസിസുകൾ എന്നിവ പോലുള്ള മറ്റ് തരത്തിലുള്ള പിശകുകൾ വളരെ അപൂർവമായി മാത്രമേ ഉണ്ടാകൂ. ഡാറ്റയിൽ ഏതൊക്കെ തരം patternകൾ ഉണ്ട് എന്നതുമായി ബന്ധപ്പെട്ടാണ് വ്യത്യാസം.

ഭാഷാ മോഡലുകൾ ആദ്യം പഠിക്കുന്നത് പ്രീട്രെയിനിംഗിലൂടെയാണ്, വലിയ അളവിലുള്ള വാചകങ്ങളിൽ അടുത്തത് വാക്ക് പ്രവചിക്കുന്ന ഒരു പ്രക്രിയയാണിത്. പരമ്പരാഗത മെഷീൻ ലേണിംഗ് പ്രശ്നങ്ങളിൽ നിന്ന് വ്യത്യസ്തമായി, ഓരോ പ്രസ്താവനയിലും “ശരി/തെറ്റ്” എന്ന ലേബലുകൾ ഘടിപ്പിച്ചിട്ടില്ല. ഒഴുക്കുള്ള ഭാഷയുടെ പോസിറ്റീവ് ഉദാഹരണങ്ങൾ മാത്രമേ ഈ മോഡൽ കാണുന്നുള്ളൂ, കൂടാതെ മൊത്തത്തിലുള്ള വിതരണത്തെ ഏകദേശം കണക്കാക്കുകയും വേണം. 

അസാധുവായി ലേബൽ ചെയ്ത ഉദാഹരണങ്ങളൊന്നും ഇല്ലെങ്കിൽ, സാധുവായ പ്രസ്താവനകളിൽ നിന്ന് അസാധുവായവയെ വേർതിരിച്ചറിയാൻ ഇരട്ടിയധികം ബുദ്ധിമുട്ടാണ്. എന്നാൽ ലേബലുകൾ ഉണ്ടായാലും, ചില പിശകുകൾ ഒഴിവാക്കാനാവില്ല. എന്തുകൊണ്ടെന്ന് കാണാൻ, ഒരു ലളിതമായ ഉപമ പരിഗണിക്കുക. ചിത്രം തിരിച്ചറിയലിൽ, ദശലക്ഷക്കണക്കിന് പൂച്ചകളുടെയും നായ്ക്കളുടെയും ഫോട്ടോകൾ "പൂച്ച" അല്ലെങ്കിൽ "നായ" എന്ന് ലേബൽ ചെയ്താൽ, അൽഗോരിതങ്ങൾ അവയെ വിശ്വസനീയമായി തരംതിരിക്കാൻ പഠിക്കും. പക്ഷേ, പകരം ഓരോ വളർത്തുമൃഗത്തിന്റെ ഫോട്ടോ അതിന്റെ ജന്മദിനം ഉപയോഗിച്ച് അടയാളപ്പെടുത്തുന്നതായി സങ്കൽപ്പിക്കുക. ജന്മദിനങ്ങൾ അടിസ്ഥാനപരമായി ക്രമരഹിതമായതിനാൽ, അൽഗോരിതം എത്ര പുരോഗമിച്ചാലും ഈ ടാസ്ക് എല്ലായ്പ്പോഴും പിശകുകൾ സൃഷ്ടിക്കും.

പ്രീട്രെയിനിംഗിലും അതേ തത്വം ബാധകമാണ്. അക്ഷരവിന്യാസവും വൃത്തക്കൂട്ടുകളും സ്ഥിരമായ patternകൾ പിന്തുടരുന്നതിനാൽ, സ്കെയിലിനൊപ്പം പിശകുകൾ അപ്രത്യക്ഷമാകും. എന്നാൽ വളർത്തുമൃഗത്തിന്റെ ജന്മദിനം പോലുള്ള ഏകപക്ഷീയമായ ലോ-ഫ്രീക്വൻസി വസ്തുതകൾ, patternകളിൽ നിന്ന് മാത്രം പ്രവചിക്കാൻ കഴിയില്ല, അതിനാൽ അവ ഭ്രമാത്മകതയിലേക്ക് നയിക്കുന്നു. അടുത്ത വാക്ക് പ്രവചിക്കുന്നതിൽ നിന്ന് ഏതൊക്കെ തരത്തിലുള്ള ഭ്രമാത്മകതകളാണ് ഉണ്ടാകേണ്ടതെന്ന് ഞങ്ങളുടെ വിശകലനം വിശദീകരിക്കുന്നു. പ്രീ-ട്രെയിനിംഗിന് ശേഷമുള്ള തുടർന്നുള്ള ഘട്ടങ്ങളിൽ അവ നീക്കം ചെയ്യുന്നതാണ് ഉത്തമം, എന്നാൽ മുമ്പത്തെ വിഭാഗത്തിൽ വിവരിച്ച കാരണങ്ങളാൽ ഇത് പൂർണ്ണമായും വിജയകരമല്ല. 

ഞങ്ങളുടെ പ്രബന്ധത്തിലെ സ്ഥിതിവിവരക്കണക്ക് ഭ്രമാത്മകതയുടെ സ്വഭാവം വ്യക്തമാക്കുമെന്നും പൊതുവായ തെറ്റിദ്ധാരണകളെ തള്ളിക്കളയുമെന്നും ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു:

• അവകാശവാദം: 100% കൃത്യമായ ഒരു മോഡൽ ഒരിക്കലും ഭ്രമാത്മകമാകാത്തതിനാൽ കൃത്യത മെച്ചപ്പെടുത്തുന്നതിലൂടെ ഭ്രമാത്മകത ഇല്ലാതാക്കപ്പെടും.
  കണ്ടെത്തൽ: കൃത്യത ഒരിക്കലും 100% എത്തില്ല കാരണം, മോഡലിന്റെ വലുപ്പം, തിരയൽ, റീസണിംഗ് കഴിവുകൾ എന്നിവ പരിഗണിക്കാതെ, ചില യഥാർത്ഥ ലോക ചോദ്യങ്ങൾക്ക് സ്വാഭാവികമായും ഉത്തരം ലഭിക്കില്ല. 
• അവകാശവാദം: ഭ്രമാത്മകത അനിവാര്യമാണ്.
  കണ്ടെത്തൽ: അവ അങ്ങനെയല്ല, കാരണം അനിശ്ചിതത്വമുള്ളപ്പോൾ ഭാഷാ മോഡലുകൾക്ക് വിട്ടുനിൽക്കാൻ കഴിയും.
• അവകാശവാദം: ഭ്രമാത്മകത ഒഴിവാക്കാൻ വലിയ മോഡലുകൾക്ക് മാത്രം നേടാവുന്ന ഒരു ബുദ്ധിശക്തി ആവശ്യമാണ്.
  കണ്ടെത്തൽ: ഒരു ചെറിയ മോഡലിന് അതിന്റെ പരിധികൾ അറിയുന്നത് എളുപ്പമാണ്. ഉദാഹരണത്തിന്, ഒരു മാവോറി ചോദ്യത്തിന് ഉത്തരം നൽകാൻ ആവശ്യപ്പെടുമ്പോൾ, മാവോറി അറിയാത്ത ഒരു ചെറിയ മോഡലിന് "എനിക്കറിയില്ല" എന്ന് പറയാം, എന്നാൽ ചില മാവോറി അറിയുന്ന ഒരു മോഡലിന് അതിന്റെ ആത്മവിശ്വാസം നിർണ്ണയിക്കേണ്ടതുണ്ട്. പ്രബന്ധത്തിൽ ചർച്ച ചെയ്തതുപോലെ, "കാലിബ്രേറ്റ്" ചെയ്യപ്പെടുന്നതിന് കൃത്യതയുള്ളതിനേക്കാൾ വളരെ കുറച്ച് കണക്കുകൂട്ടലുകൾ മാത്രമേ ആവശ്യമുള്ളൂ.
• അവകാശവാദം: ആധുനിക ഭാഷാ മോഡലുകളിലെ ഒരു നിഗൂഢമായ പിഴവാണ് ഭ്രമാത്മകത.
  കണ്ടെത്തൽ: ഭ്രമാത്മകതകൾ ഉണ്ടാകുന്നതിനും വിലയിരുത്തലുകളിൽ അവ പ്രതിഫലം ലഭിക്കുന്നതിനും കാരണമാകുന്ന സ്ഥിതിവിവരക്കണക്ക് സംവിധാനങ്ങൾ ഞങ്ങൾ മനസ്സിലാക്കുന്നു.
• അവകാശവാദം: ഭ്രമാത്മകത അളക്കാൻ, നമുക്ക് ഒരു നല്ല ഭ്രമാത്മക വിലയിരുത്തൽ ആവശ്യമാണ്.
  കണ്ടെത്തൽ: ഭ്രമാത്മക പഠനങ്ങൾ പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്. എന്നിരുന്നാലും, വിനയത്തെ ശിക്ഷിക്കുകയും ഊഹത്തിന് പ്രതിഫലം നൽകുകയും ചെയ്യുന്ന നൂറുകണക്കിന് പരമ്പരാഗത കൃത്യത അടിസ്ഥാനമാക്കിയുള്ള evalകളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഒരു നല്ല ഭ്രമാത്മക വിലയിരുത്തലിന് വലിയ സ്വാധീനമൊന്നുമില്ല. പകരം, അനിശ്ചിതത്വ പ്രകടനങ്ങൾക്ക് പ്രതിഫലം നൽകുന്നതിനായി എല്ലാ പ്രാഥമിക eval മെട്രിക്കുകളും പുനർനിർമ്മിക്കേണ്ടതുണ്ട്.

ഞങ്ങളുടെ ഏറ്റവും പുതിയ മോഡലുകൾക്ക് ഭ്രമാത്മകത കുറവാണ്, കൂടാതെ ഞങ്ങളുടെ ഭാഷാ മോഡലുകൾ വഴി ഉണ്ടാകുന്ന ആത്മവിശ്വാസമുള്ള പിശകുകളുടെ ഔട്ട്പുട്ടിന്റെ നിരക്ക് കൂടുതൽ കുറയ്ക്കാൻ ഞങ്ങൾ കഠിനമായി പരിശ്രമം തുടരുന്നു.