மொழி மாதிரிகள் ஏன் மாயத்தோற்றத்தை ஏற்படுத்துகின்றன

OpenAI-யில், AI அமைப்புகளை மேலும் பயனுள்ளதாக்கவும் நம்பகமானதாக்கவும் கடினமாக உழைக்கிறோம். மொழி மாதிரிகள் அதிக திறன் கொண்டதாக மாறினாலும், ஒரு சவால் முழுமையாகத் தீர்க்க பிடிவாதமாக கடினமாக உள்ளது: மாயத்தோற்றங்கள். அதாவது, மாதிரி நம்பிக்கையுடன் தவறான பதிலை உருவாக்கும் நிகழ்வுகளை குறிக்கிறோம். நிலையான பயிற்சி மற்றும் மதிப்பீட்டு நடைமுறைகள் நிச்சயமற்ற தன்மையை ஒப்புக்கொள்வதை விட யூகத்திற்கு வெகுமதி அளிப்பதால், மொழி மாதிரிகள் மாயத்தோற்றத்தை ஏற்படுத்துகின்றன என்று எங்கள் புதிய ஆராய்ச்சிக் கட்டுரை⁠(புதிய சாளரத்தில் திறக்கும்) வாதிடுகிறது.

ChatGPT‑வும் மாயத்தோற்றங்களை உருவாக்குகிறது. குறிப்பாக பகுத்தறிவு செய்யும்போது⁠ GPT‑5 கணிசமாகக் குறைவான மாயத்தோற்றங்களைக் கொண்டுள்ளது, ஆனால் அவை இன்னும் நிகழ்கின்றன. மாயக்காட்சிகள் எல்லா பெரிய மொழி மாதிரிகளுக்கும் அடிப்படை சவாலாகவே உள்ளன, ஆனால் அவற்றை மேலும் குறைக்க நாங்கள் கடினமாக உழைக்கிறோம்.

மாயத்தோற்றங்கள் என்பது நம்பத்தகுந்ததாக தோன்றினாலும் தவறான அறிக்கைகள், மொழி மாதிரிகள் உருவாக்குவது. எளிதாகத் தோன்றும் கேள்விகளுக்கும் கூட, அவை ஆச்சரியப்படுத்தும் வகையில் தோன்றக்கூடும். உதாரணமாக, (இந்தக் கட்டுரையின் ஆசிரியரான) Adam Tauman Kalai எழுதிய PhD ஆய்வுக்கட்டுரையின் தலைப்பை ஒரு பிரபலமான chatbot-கிடமிருந்து கேட்டபோது, அது நம்பிக்கையுடன் மூன்று வேறு பதில்களை உருவாக்கியது—ஆனால் எதுவும் சரியானதல்ல. நாங்கள் அவரது பிறந்த நாளைக் கேட்டபோது, அது மூன்று வெவ்வேறு தேதிகளை கொடுத்தது, அவை அனைத்தும் தவறானவை. 

தற்போதைய மதிப்பீடு முறைகள் தவறான ஊக்கங்களை ஏற்படுத்துவதால், மாயத்தோற்றங்கள் தொடர்கின்றன. மதிப்பீடுகள் நேரடியாக மாயத்தோற்றங்களை உருவாக்காமல் இருந்தாலும், பெரும்பாலான மதிப்பீடுகள், உறுதியின்மையை நேர்மையாக ஒப்புக்கொள்வதை விட யூகிப்பதையே ஊக்குவிக்கும் வகையில் மாதிரி செயல்திறனை அளக்கின்றன.

கொள்குறி தேர்வு போல இதைப் பற்றி யோசித்துப் பார்க்கவும். பதிலைத் தெரியாவிட்டாலும், சீரற்ற யூகத்தைச் செய்தால், அதிர்ஷ்டவசமாக சரியாக இருக்கலாம். அதை காலியாக விடுவது பூஜ்ஜியத்தை உறுதி செய்கிறது. அதேபோல, மாதிரிகள் துல்லியத்தைக் கொண்டு மட்டுமே மதிப்பிடப்படும்போது, அவர்கள் சரியாக பதிலளிக்கும் கேள்விகளின் சதவீதம் மட்டுமே கணக்கில் எடுத்துக்கொள்ளப்படும்; அப்போது “எனக்குத் தெரியவில்லை” என்று சொல்லாமல் யூகிக்கத் தூண்டப்படுகின்றன.

உதாரணமாக, ஒரு மொழி மாதிரியிடம் யாரோ ஒருவரின் பிறந்தநாள் கேட்டால் அது தெரியாமல் இருக்கலாம். அது “செப்டம்பர் 10” என்று யூகித்தால், 365-இல் 1 வாய்ப்பே சரியாக இருக்கும். “எனக்குத் தெரியவில்லை” என்று சொன்னால் நிச்சயம் பூஜ்ய மதிப்பெண் தான். ஆயிரக்கணக்கான தேர்வு கேள்விகளில், யூகிக்கும் மாதிரி உறுதியின்மையை ஒப்புக்கொள்ளும் மாதிரியை விட மதிப்பெண் பட்டியலில் சிறப்பாகத் தோன்றுகிறது.

ஒரே ஒரு “சரியான பதில்” உள்ள கேள்விகளுக்கு, பதில்களை மூன்று வகைகளாக வகைப்படுத்தலாம்: துல்லியமான பதில்கள், பிழைகள், மற்றும் மாதிரி யூகிக்காமல் தவிர்ப்பவை. விலகியிருப்பது மனத்தாழ்மையின் ஒரு பகுதியாகும், இது OpenAI இன் முக்கிய மதிப்புகளில்⁠ ஒன்றாகும். பெரும்பாலான மதிப்பெண் பட்டியல்கள் துல்லியத்தையே முன்னுரிமை அளித்து தரவரிசைப்படுத்துகின்றன. ஆனால் பிழைகள், தவிர்ப்பதை விட மோசமானவை. எங்கள் மாதிரி விவரக்குறிப்பு⁠(புதிய சாளரத்தில் திறக்கும்) தவறானதாக இருக்கக்கூடிய நம்பிக்கையான தகவலை வழங்குவதை விட, நிச்சயமற்ற தன்மையைக் குறிப்பிடுவது அல்லது தெளிவுபடுத்தக் கேட்பது சிறந்தது என்று கூறுகிறது. 

தெளிவான உதாரணமாக, சிம்பிள்QA ஈவல் -ஐ GPT5 சிஸ்டம் கார்டு⁠(புதிய சாளரத்தில் திறக்கும்)யிலிருந்து எடுத்துக்கொள்ளலாம்.

துல்லியத்தின் அடிப்படையில், பழைய OpenAI o4-mini மாதிரி சற்றே மேம்பட்டது. ஆனால் அதன் பிழை விகிதம் (மாயத்தோற்றங்களின் விகிதம்) மிகவும் அதிகம். நிச்சயமற்ற சூழலில் மூலோபாயமாக யூகிப்பது துல்லியத்தை மேம்படுத்தினாலும், பிழைகள் மற்றும் மாயத்தோற்றங்களை அதிகரிக்கிறது. 

பல மதிப்பீடுகளின் முடிவுகளை சராசரி செய்யும்போது, பெரும்பாலான அடிப்படை அளவீடுகள் துல்லியத்தையே மட்டும் எடுத்துக்கொள்கின்றன. இதனால் சரி-தவறு என்ற தவறான இரு பிரிவே உருவாகிறது. SimpleQA போன்ற எளிமையான மதிப்பீடுகளில், சில மாதிரிகள் கிட்டத்தட்ட 100% துல்லியத்தை அடைந்து அதன் மூலம் மாயத்தோற்றங்களை நீக்குகின்றன. இருப்பினும், மிகவும் சவாலான மதிப்பீடுகளிலும் உண்மையான பயன்பாட்டிலும், துல்லியம் 100% க்கும் குறைவாகவே உள்ளது, ஏனெனில் கிடைக்காத தகவல்கள், சிறிய மாதிரிகளின் வரையறுக்கப்பட்ட சிந்தனை திறன்கள் அல்லது தெளிவுபடுத்தப்பட வேண்டிய தெளிவின்மைகள் போன்ற பல்வேறு காரணங்களுக்காக சில கேள்விகளுக்கு பதில் தீர்மானிக்க முடியாது.

இருப்பினும், துல்லியம் மட்டும் கணக்கிடும் ஸ்கோர்­போர்டுகள் தான் லீடர்­போர்டுகள் மற்றும் மாடல் கார்டுகளில் மேலோங்கி நிற்கின்றன. இதனால், யூகிப்பதையே செய்வதாக மாதிரிகளை உருவாக்க டெவலப்பர்கள் ஊக்குவிக்கப்படுகிறார்கள். அதனால்தான், மாதிரிகள் மேம்பட்டாலும் கூட, அவை இன்னும் மாயத்தோற்றங்களை உருவாக்குகின்றன — உறுதியின்மையை ஒப்புக்கொள்ளாமல் தவறான பதில்களை நம்பிக்கையுடன் வழங்குகின்றன.

இதற்கு எளிய தீர்வு உள்ளது. நம்பிக்கையுடன் செய்யப்பட்ட பிழைகளுக்கு உறுதியின்மையை விட அதிக தண்டனை அளிக்கவும், சரியான முறையில் வெளிப்படுத்தப்பட்ட உறுதியின்மைக்கு பகுதி மதிப்பெண் கொடுக்கவும். இந்த யோசனை புதியதல்ல. சில தரப்படுத்தப்பட்ட சோதனைகள் நீண்ட காலமாக தவறான பதில்களுக்கு எதிர்மறை மதிப்பெண்கள் அல்லது குருட்டு யூகத்தை ஊக்கப்படுத்த கேள்விகளை காலியாக விடுவதற்கு பகுதியளவு மதிப்பெண்களைப் பயன்படுத்துகின்றன. பல ஆய்வு குழுக்கள், உறுதியின்மை மற்றும் சமநிலை ஆகியவற்றைக் கணக்கில் கொள்ளும் மதிப்பீடுகளை ஆராய்ந்துள்ளன.

எங்கள் கருத்து வேறுபட்டது. நிச்சயமற்ற தன்மை குறித்த சில புதிய சோதனைகளைச் சேர்ப்பது மட்டும் போதாது. பரவலாகப் பயன்படுத்தப்படும், துல்லிய அடிப்படையிலான மதிப்பீடுகள் புதுப்பிக்கப்பட வேண்டும், இதனால் அவற்றின் மதிப்பெண் யூகிப்பதை ஊக்கப்படுத்தாது. முக்கிய ஸ்கோர் போர்டுகள் அதிர்ஷ்ட யூகங்களுக்கு வெகுமதி வழங்கினால், மாதிரிகள் தொடர்ந்து யூகிப்பதையே கற்றுக்கொள்வார்கள். ஸ்கோர்போர்டுகளை சரிசெய்வது, புதிதாக உருவாக்கப்பட்ட மற்றும் முந்தைய ஆராய்ச்சியிலிருந்து பெறப்பட்ட மாயத்தோற்ற-குறைப்பு நுட்பங்களை ஏற்றுக்கொள்வதை விரிவுபடுத்தும்.

மாயத்தோற்றங்களை நீக்குவது ஏன் கடினம் என்பதைப் பார்த்தோம். ஆனால் இத்தனைச் சிறப்பான தவறான தகவல்கள் முதலில் எங்கிருந்து தோன்றுகின்றன? எல்லாவற்றிற்கும் மேலாக, பெரிய முன் பயிற்சி பெற்ற மாதிரிகள் எழுத்துப்பிழைகள் மற்றும் பொருந்தாத அடைப்புக்குறிகள் போன்ற பிற வகையான பிழைகளை அரிதாகவே வெளிப்படுத்துகின்றன. வேறுபாடு, தரவிலுள்ள வடிவமைப்புகளின் வகைகளுடன் தொடர்புடையது.

மொழி மாதிரிகள் முதலில் முன் பயிற்சி மூலம் கற்றுக்கொள்கின்றன, இது அடுத்த வார்த்தையை அதிக அளவிலான உரையில் கணிக்கும் செயல்முறையாகும். பாரம்பரிய இயந்திர கற்றல் சிக்கல்களைப் போலன்றி, ஒவ்வொரு அறிக்கையிலும் "உண்மை/தவறு" லேபிள்கள் இணைக்கப்படவில்லை. மாதிரி சரளமான மொழியின் நேர்மறையான எடுத்துக்காட்டுகளை மட்டுமே காண்கிறது மற்றும் ஒட்டுமொத்த விநியோகத்தை அணுக வேண்டும். 

தவறானவையாக லேபிள் செய்யப்பட்ட உதாரணங்கள் இல்லாதபோது, சரியான அறிக்கைகள் மற்றும் தவறானவற்றை வேறுபடுத்துவது இரட்டிப்பாக கடினமாகிறது. ஆனால் லேபிள்கள் இருந்தாலும் சில பிழைகள் தவிர்க்க முடியாதவை. ஏன் என்று புரிந்து கொள்ள, ஒரு எளிய ஒப்பீட்டை பார்க்கலாம். பட அங்கீகாரத்தில், மில்லியன் கணக்கான பூனை மற்றும் நாய் புகைப்படங்கள் "பூனை" அல்லது "நாய்" என்று பெயரிடப்பட்டால், அல்காரிதம்கள் அவற்றை நம்பத்தகுந்த முறையில் வகைப்படுத்த கற்றுக்கொள்ளலாம். ஆனால் அதற்கு பதிலாக ஒவ்வொரு செல்லப்பிராணி புகைப்படத்தையும் அதன் பிறந்தநாளால் லேபிளிடுவதை கற்பனை செய்து பாருங்கள். பிறந்தநாள்கள் அடிப்படையில் சீரற்றவை என்பதால், இந்த பணி எவ்வளவு மேம்பட்ட வழிமுறையாக இருந்தாலும் எப்போதும் பிழைகளை உருவாக்கும்.

முன் பயிற்சியிலும் இதே கொள்கை பொருந்தும். எழுத்துப்பிழை மற்றும் அடைப்புக்குறிகள் சீரான வடிவங்களைப் பின்பற்றுகின்றன, எனவே அங்குள்ள பிழைகள் அளவுகோலுடன் மறைந்துவிடும். ஆனால் செல்லப்பிராணியின் பிறந்தநாள் போன்ற அரிதாக நிகழும் உண்மைகளை வெறும் வடிவமைப்புகளின் அடிப்படையில் கணிக்க முடியாது, அதனால் மாயத்தோற்றங்கள் உருவாகின்றன. எங்கள் பகுப்பாய்வு, அடுத்த சொல் கணிப்பிலிருந்து எந்த வகையான மாயத்தோற்றங்கள் தோன்றுகின்றன என்பதை விளக்குகிறது. இயல்பாக, முன் பயிற்சிக்குப் பிறகு மேலதிக நிலைகள் அவற்றை அகற்றவும் வேண்டும், ஆனால் முந்தைய பிரிவில் விவரிக்கப்பட்ட காரணங்களால் இது முழுமையாக வெற்றிகரமாக இல்லை. 

எங்கள் ஆய்வுக் கட்டுரையில் வழங்கப்பட்ட புள்ளிவிவரக் கோணப் பார்வை, மாயத்தோற்றங்களின் தன்மையை தெளிவுபடுத்தி, பொதுவான தவறான புரிதல்களைத் தள்ளி வைக்கும் என்று நாங்கள் நம்புகிறோம்:

• கூற்று: துல்லியத்தை மேம்படுத்துவதன் மூலம் மாயத்தோற்றங்கள் அகற்றப்படும், ஏனெனில் 100% துல்லியமான மாதிரி ஒருபோதும் மாயத்தோற்றங்களை உருவாக்காது. கண்டறிதல்: துல்லியம் ஒருபோதும் 100% ஆக முடியாது, ஏனெனில் மாதிரி அளவு, தேடல் மற்றும் பகுத்தறிவு திறன்களைப் பொருட்படுத்தாமல், சில நிஜ உலக கேள்விகள் இயல்பாகவே பதிலளிக்க முடியாதவை. 
• உரிமைகோரல்: மாயத்தோற்றங்கள் தவிர்க்க முடியாதவை.
  கண்டுபிடிப்பு: அவை தவிர்க்கப்படலாம், ஏனெனில் அறிவு மாதிரிகள் நிச்சயமற்றதாக இருக்கும்போது விலக முடியும்.
• உரிமைகோரல்: மாயத்தோற்றங்களைத் தவிர்ப்பதற்கு ஒரு அளவுக்குரிய புத்திசாலித்தனம் தேவைப்படுகிறது, இது பெரிய மாதிரிகளால் மட்டுமே அடையக்கூடியது.
  கண்டுபிடிப்பு: ஒரு சிறிய மாதிரிக்கு அதன் வரம்புகளை அறிதல் எளிதாக இருக்கலாம். உதாரணமாக, Māori கேள்விக்கு பதில் சொல்லும்படி கேட்டால், Māori ஒன்றும் தெரியாத ஒரு சிறிய மாடல் எளிதாக “எனக்கு தெரியாது” என்று சொல்லிவிடும், ஆனால் Māori சிறிது தெரிந்திருக்கும் மாடல் தனது நம்பிக்கையை நிர்ணயிக்க வேண்டும். ஆய்வறிக்கையில் விவாதிக்கப்பட்டபடி, "அளவீடு செய்யப்படுவதற்கு" துல்லியமாக இருப்பதை விட மிகக் குறைந்த கணக்கீடு தேவைப்படுகிறது.
• உரிமைகோரல்: மாயத்தோற்றங்கள் நவீன அறிவு மாதிரிகளில் ஒரு மர்மமான கோளாறு.
  கண்டுபிடிப்பு: மாயத்தோற்றங்கள் எழும் மற்றும் மதிப்பீடுகளில் வெகுமதி பெறும் புள்ளிவிவர வழிமுறைகளை நாங்கள் புரிந்துகொண்டுள்ளோம்.
• உரிமைகோரல்: மாயத்தோற்றங்களை அளவிட, நமக்கு ஒரு நல்ல மாயத்தைக் கணிப்பீடு தேவை.
  கண்டுபிடிப்பு: மாயத்தோற்றத்தைக் கணிப்பீடுகள் வெளியிடப்பட்டுள்ளன. ஆனால், நல்ல மாயத்தோற்ற ஈவல், நூற்றுக்கணக்கான பாரம்பரிய துல்லிய அடிப்படையிலான ஈவல்களுக்கு முன்னால் மிகக் குறைந்த தாக்கமே ஏற்படுத்துகிறது—அவை பணிவை தண்டித்து, யூகிப்பதற்கு வெகுமதி அளிக்கின்றன. அதற்கு பதிலாக, அனைத்து முதன்மை ஈவல் மெட்ரிக்குகளும், உறுதியின்மையை வெளிப்படுத்துவதை ஊக்குவிக்கும் வகையில் மறுசீரமைக்கப்பட வேண்டும்.

எங்கள் புதிய மொழி மாதிரிகளில் மாயத்தோற்ற விகிதம் குறைந்துள்ளது, மேலும் நம்பிக்கையுடன் செய்யப்படும் தவறுகளின் விகிதத்தை மேலும் குறைக்க கடினமாக உழைத்து வருகிறோம்.