లాంగ్వేజ్ మోడల్స్ ఎందుకు హాల్యూసినేట్ అవుతాయి
OpenAI లో, AI సిస్టమ్లను మరింత ఉపయోగకరంగా మరియు విశ్వసనీయంగా చేయడానికి మేము కష్టపడి పని చేస్తున్నాం. భాషా మోడళ్లు మరింత సామర్థ్యం కలిగినవిగా మారుతున్నప్పటికీ, పూర్తిగా పరిష్కరించడానికి కష్టమైన ఒక సవాలు ఇంకా ఉంది: హాల్యూసినేషన్స్. అంటే, మోడల్ నమ్మకంగా సమాధానం ఇస్తుంది కానీ అది నిజం కాకపోవడం. మా కొత్త పరిశోధనా పత్రం(కొత్త విండోలో తెరుచుకుంటుంది) ప్రకారం, లాంగ్వేజ్ మోడల్స్లో హాల్యూసినేషన్లు రావడానికి కారణం—అనిశ్చితి ఉన్నప్పటికీ దాన్ని ఒప్పుకోవడం కంటే గెస్ చేసిన సమాధానాలను స్టాండర్డ్ ట్రైనింగ్ మరియు ఈవాల్యూయేషన్ ప్రొసీజర్లు ఎక్కువగా ప్రోత్సహించడం.
ChatGPT కూడా హాల్యూసినేట్ అవుతుంది. GPT‑5 లో హాల్యూసినేషన్స్ గణనీయంగా తక్కువగా ఉంటాయి ప్రత్యేకంగా రీజనింగ్ సమయంలో, అయినప్పటికీ అవి ఇంకా జరుగుతాయి. హాల్యూసినేషన్స్ అన్నివిధాలా పెద్ద భాషా మోడళ్లకు ఒక మౌలిక సవాలుగానే మిగిలి ఉన్నాయి, కానీ వాటిని మరింత తగ్గించేందుకు మేము కృషి చేస్తున్నాం.
హాల్యూసినేషన్లు అనేవి లాంగ్వేజ్ మోడల్స్ తయారు చేసే, నమ్మదగినట్టుగా కనిపించే కానీ తప్పుడు స్టేట్మెంట్లు.అవి ఆశ్చర్యకరమైన రీతిలో కనబడవచ్చు, సులభంగా కనిపించే ప్రశ్నలకు కూడా. ఉదాహరణకు, Adam Tauman Kalai (ఈ పత్ర రచయితల్లో ఒకరు) రాసిన PhD డిసర్టేషన్ శీర్షికను ఒక ప్రాచుర్యం పొందిన chatbot ను అడిగితే, అది నమ్మకంగా మూడు వేర్వేరు సమాధానాలు ఇచ్చింది—అవన్నీ తప్పు. అతని జన్మదినం అడిగితే, మూడువేర్వేరు తేదీలు చెప్పింది—అన్నీ తప్పు.
ప్రస్తుత ఈవాల్యూయేషన్ పద్ధతులు తప్పు ఇన్సెంటివ్లు ఏర్పరుస్తుండటమే, హాల్యూసినేషన్లు కొనసాగడానికి ఒక ప్రధాన కారణం.ఈవాల్యూయేషన్లు స్వయంగా హాల్యూసినేషన్లకు కారణం కావు, కానీ చాలా ఈవాల్యూయేషన్లు మోడల్ పనితీరును అనిశ్చితి ఉన్నప్పుడు నిజాయితీగా చెప్పడం కంటే గెస్ చేయడం వైపు ప్రోత్సహించే రీతిలో కొలుస్తాయి.
దీన్ని ఒక బహుళ ఎంపిక పరీక్షలా ఆలోచించండి. సమాధానం తెలియకపోయినా ఊహిస్తే, అదృష్టవశాత్తు అది సరైందిగా ఉండొచ్చు. ఖాళీగా వదిలేస్తే జీరో ఖాయం. అదే విధంగా, మోడళ్లను ఖచ్చితత్వం ఆధారంగా మాత్రమే గ్రేడ్ చేస్తే — అంటే వారు పూర్తిగా సరైన సమాధానాలు ఇచ్చిన ప్రశ్నల శాతం ఆధారంగా — “నాకు తెలియదు” అని చెప్పడం కాకుండా ఊహించడానికి ప్రోత్సహిస్తారు.
ఇంకో ఉదాహరణగా, ఒక భాషా మోడల్ను ఎవరి పుట్టినరోజు అడిగితే కానీ అది తెలియకపోతే. అది “సెప్టెంబర్ 10” అని ఊహిస్తే, సరైందిగా ఉండే అవకాశం 365 లో 1. “నాకు తెలియదు” అని చెప్పడం ఖచ్చితంగా జీరో పాయింట్లకు దారితీస్తుంది. వేలాది పరీక్షా ప్రశ్నల్లో, ఊహించే మోడల్ అనిశ్చితిని అంగీకరించే జాగ్రత్త మోడల్ కంటే స్కోర్బోర్డులలో మెరుగ్గా కనిపిస్తుంది.
ఒకే “సరైన సమాధానం” ఉన్న ప్రశ్నలకు మూడు రకాల సమాధానాలు ఉంటాయి: ఖచ్చితమైన సమాధానాలు, తప్పులు, మరియు మోడల్ ఊహించకుండా ఊహించకుండా సమాధానం ఇవ్వకుండా విరమింపులు. విరమించడం హ్యూమిలిటీ లో భాగం, ఇది OpenAI యొక్క మూల విలువలు లో ఒకటి. చాలా స్కోర్బోర్డ్లు ఆక్యూరసీ ఆధారంగా మోడల్స్కు ప్రాధాన్యం ఇచ్చి ర్యాంక్ చేస్తాయి, కానీ తప్పైన సమాధానాలు—సమాధానం ఇవ్వకుండా మినహాయించడంనే కన్నా—మరింత హానికరం.మా Model Spec(కొత్త విండోలో తెరుచుకుంటుంది) ప్రకారం, తప్పుగా ఉండే అవకాశమున్న కాన్ఫిడెంట్ సమాచారాన్ని ఇవ్వడంపైగా, అనిశ్చితి ఉన్నప్పుడు అది స్పష్టం చేయడం లేదా క్లారిఫికేషన్ అడగడం మంచిది.
ఒక నిర్దిష్ట ఉదాహరణ కోసం, SimpleQA eval ను GPT5 సిస్టమ్ కార్డ్(కొత్త విండోలో తెరుచుకుంటుంది) నుండి ఉదాహరణగా పరిగణించండి.
మీట్రిక్ | gpt-5-thinking-mini | OpenAI o4-mini |
అబ్స్టెన్షన్ రేట్ | 52% | 1% |
ఖచ్చితత్వ రేటు | 22% | 24% |
లోపాల రేటు | 26% | 75% |
మొత్తం | 100% | 100% |
ఖచ్చితత్వం పరంగా, పాత OpenAI o4-mini మోడల్ కొంచెం మెరుగ్గా పనిచేస్తుంది. అయితే, దాని తప్పుల రేటు (అంటే, హాల్యూసినేషన్ రేటు) గణనీయంగా ఎక్కువ. అనిశ్చితి సమయంలో వ్యూహాత్మకంగా ఊహించడం ఖచ్చితత్వాన్ని మెరుగుపరుస్తుంది కానీ తప్పులు మరియు హాల్యూసినేషన్స్ ను పెంచుతుంది.
డజన్ల కొద్దీ ఈవాల్యూయేషన్ల ఫలితాలను సగటు తీసుకున్నప్పుడు, చాలా బెంచ్మార్క్లు కేవలం ఆక్యూరసీ మెట్రిక్పై మాత్రమే దృష్టి పెడతాయి. కానీ ఇది సమాధానాలను సరైనవి–తప్పైనవి అన్న రెండు అంచులకే పరిమితం చేసే తప్పు ద్వంద్వ భావనను కలిగిస్తుంది.సింపుల్QA వంటి సులభమైన evals లో, కొన్ని మోడళ్లు దాదాపు 100% ఖచ్చితత్వాన్ని సాధించి హాల్యూసినేషన్స్ ను తొలగిస్తాయి. కానీ మరింత ఛాలెంజింగ్ ఈవాల్యూయేషన్లలో మరియు రియల్ యూజ్ కేసుల్లో ఆక్యూరసీ ఎప్పుడూ 100% చేరదు. కారణం—కొన్ని ప్రశ్నలకు సమాచారం అందుబాటులో లేకపోవడం, చిన్న మోడల్స్లో లిమిటెడ్ రిజనింగ్ సామర్థ్యాలు ఉండటం, లేదా ముందుగా క్లారిఫై చేయాల్సిన సందిగ్ధతలు ఉండటం వల్ల సమాధానం నిర్ణయించటం సాధ్యంకాదు.
అయినప్పటికీ, కేవలం ఖచ్చితత్వం ఆధారంగా ఉన్న స్కోర్బోర్డులు లీడర్బోర్డులు మరియు మోడల్ కార్డ్స్ లో ఆధిపత్యం చెలాయిస్తున్నాయి, దీని వలన డెవలపర్లు వెనుకడుగు వేయని మోడళ్ల కంటే ఊహించే మోడళ్లను తయారు చేయడానికి ప్రోత్సహించబడుతున్నారు. అందువల్లనే, మోడళ్లు మరింత ఆధునికమవుతున్నప్పటికీ, అవి ఇంకా హాల్యూసినేట్ అవుతాయి—అనిశ్చితిని అంగీకరించకుండా నమ్మకంగా తప్పు సమాధానాలు ఇస్తాయి.
దీనికి ఒక సులభమైన పరిష్కారం ఉంది. అనిశ్చితి కంటే నమ్మకంగా చేసిన తప్పులకు ఎక్కువ శిక్ష విధించాలి, మరియు అనిశ్చితిని సరైన రీతిలో చూపించినప్పుడు పాక్షిక క్రెడిట్ ఇవ్వాలి. ఈ ఆలోచన కొత్తది కాదు. కొన్ని ప్రామాణికమైన పరీక్షలు కళ్లుమూసి ఊహించడం తగ్గించడానికి తప్పు సమాధానాలకు నెగటివ్ మార్కింగ్ లేదా ప్రశ్నలను ఖాళీగా వదిలేస్తే పాక్షిక క్రెడిట్ ఇవ్వడం వంటివి చాలాకాలంగా ఉపయోగిస్తున్నాయి. అనిశ్చితి మరియు కాలిబ్రేషన్ను పరిగణనలోకి తీసుకునే ఈవాల్యూయేషన్లను అన్వేషించిన రిసెర్చ్ గ్రూప్లు కూడా ఉన్నాయి.
మా అభిప్రాయం వేరుగా ఉంది. కొన్నిసార్లు అనిశ్చితిని కొలిచే కొత్త పరీక్షలు చేర్చడం సరిపోదు. విస్తృతంగా ఉపయోగించే ఆక్యూరసీ-బేస్డ్ ఈవాల్స్ను అప్డేట్ చేయాలి, ఎందుకంటే వాటి స్కోరింగ్ గెస్ చేయడం కాకుండా సరైన ప్రవర్తనను ప్రోత్సహించేవిధంగా ఉండాలి.ప్రధాన స్కోర్బోర్డులు అదృష్టవశాత్తు సరైన ఊహలకు బహుమతులు ఇస్తే, మోడళ్లు ఊహించడం నేర్చుకుంటూనే ఉంటాయి. స్కోర్బోర్డులను సరిచేయడం వల్ల కొత్తగా అభివృద్ధి చేసినవీ, పూర్వ పరిశోధనలలో వచ్చినవీ—హాల్యూసినేషన్ తగ్గించే పద్ధతులు విస్తృతంగా స్వీకరించబడతాయి.
హాల్యూసినేషన్స్ తొలగించడం ఎందుకు కష్టమో చెప్పుకున్నాం, కానీ ఈ అత్యంత నిర్దిష్టమైన వాస్తవ తప్పులు మొదట ఎక్కడి నుండి వస్తాయి? ఎందుకంటే, పెద్ద ముందస్తు శిక్షణ పొందిన నమూనాలు స్పెల్లింగ్ తప్పులు మరియు సరిపోలని కుండలీకరణాలు (parentheses) వంటి ఇతర రకాల లోపాలను అరుదుగా ప్రదర్శిస్తాయి. తేడా అనేది డేటాలో ఉన్న ప్యాటర్న్స్ రకాలకు సంబంధించినదే.
లాంగ్వేజ్ మోడల్స్ ముందుగా ప్రీట్రైనింగ్ ద్వారా నేర్చుకుంటాయి—అది భారీ పరిమాణంలో ఉన్న టెక్స్ట్లో వచ్చే తదుపరి పదాన్ని ప్రిడిక్ట్ చేసే ప్రాసెస్.సంప్రదాయ యంత్ర-అభ్యాస సమస్యలతో పోలిస్తే, ప్రతి వాక్యానికి “నిజం/అబద్ధం” అనే లేబుల్స్ ఉండవు. మోడల్ ప్రవహించే భాషలోని సరైన ఉదాహరణలనే చూస్తుంది, మొత్తం పంపిణీని అంచనా వేయాలి.
తప్పు ఉదాహరణలు లేకపోతే, సరైన వాక్యాలను తప్పు వాటి నుండి వేరు చేయడం రెట్టింపు కష్టమవుతుంది. లేబుల్స్ ఉన్నప్పటికీ, కొన్ని తప్పులు తప్పవు. ఎందుకంటే అనేది అర్థం చేసుకోవడానికి, ఒక సులభమైన పోలిక చూడండి. చిత్ర గుర్తింపులో, లక్షలాది పిల్లి మరియు కుక్క ఫోటోలకు “పిల్లి” లేదా “కుక్క” అని లేబుల్ చేస్తే, అల్గోరిథమ్స్ వాటిని విశ్వసనీయంగా వర్గీకరించడం నేర్చుకుంటాయి. కానీ ప్రతి పెంపుడు జంతువు ఫోటోను దాని పుట్టినరోజు ఆధారంగా లేబుల్ చేస్తున్నట్టు ఊహించండి. పుట్టినరోజులు సహజంగానే యాదృచ్ఛికమైనవి కాబట్టి, అల్గోరిథమ్ ఎంత అభివృద్ధి చెందినా ఈ పని తప్పులు తప్పక ఉత్పత్తి చేస్తుంది.
ఇదే సూత్రం ప్రీట్రైనింగ్ లో కూడా వర్తిస్తుంది. స్పెల్లింగ్ మరియు పేరెంటిసిస్లో ప్యాటర్న్స్ చాలా కనసిస్టెంట్గా ఉండడంతో, స్కేల్ పెరిగే కొద్దీ ఆ తప్పులు కనిపించకుండా పోతాయి.కానీ పెంపుడు జంతువు పుట్టినరోజు వంటి యాదృచ్ఛికమైన, అరుదుగా ఉండే వాస్తవాలను కేవలం నమూనాల ద్వారా అంచనా వేయలేము, అందువల్ల అవి హాల్యూసినేషన్స్ కు దారితీస్తాయి. మా విశ్లేషణలో, తర్వాతి పదం అంచనాల వల్ల ఏ రకాల హాల్యూసినేషన్స్ వస్తాయో వివరించబడింది. ఐడియల్గా, ప్రీట్రైనింగ్ తర్వాత వచ్చే స్టేజ్లు ఆ తప్పులను తొలగించాలి, కానీ ముందున్న విభాగంలో చెప్పిన కారణాల వల్ల ఇది పూర్తిగా విజయవంతం కావడం లేదు.
హాల్యూసినేషన్ల స్వభావాన్ని మా పేపర్లోని స్టాటిస్టికల్ దృక్పథం స్పష్టంగా చూపించి, విస్తృతంగా ఉన్న కొన్ని అపోహలను సరిదిద్దుతుందని మేము ఆశిస్తున్నాము.
- క్లెయిమ్: 100% ఖచ్చితమైన నమూనా ఎప్పుడూ భ్రాంతులు కలిగించదు కాబట్టి ఖచ్చితత్వాన్ని మెరుగుపరచడం ద్వారా భ్రాంతులు తొలగించవచ్చు.
ఫైండింగ్: ఖచ్చితత్వం ఎప్పుడూ 100% చేరుకోదు ఎందుకంటే, నమూనా పరిమాణం, శోధన మరియు తార్కిక సామర్థ్యాలతో సంబంధం లేకుండా, కొన్ని వాస్తవ ప్రపంచ ప్రశ్నలు సహజంగానే సమాధానం చెప్పలేనివి. - క్లెయిమ్: హాల్యూసినేషన్లు తప్పనిసరి.
ఫైండింగ్: అవి తప్పనిసరి కావు, ఎందుకంటే లాంగ్వేజ్ మోడల్స్కి అనిశ్చితి ఉన్నప్పుడు సమాధానం ఇవ్వకుండా మినహాయించే సామర్థ్యం ఉంది. - క్లెయిమ్:హాల్యూసినేషన్లను తప్పించుకోవడానికి పెద్ద మోడల్స్లో మాత్రమే లభించే ఒక నిర్దిష్ట స్థాయి ఇంటెలిజెన్స్ అవసరం.
ఫైండింగ్: చిన్న మోడల్స్కి అయితే తమ పరిమితులు ఏమిటో తెలుసుకోవడం ఇంకా సులువు.ఉదాహరణకు, Māori లో ఒక ప్రశ్న అడిగినప్పుడు, Māori అసలు తెలియని చిన్న మోడల్ సులభంగా “నాకు తెలియదు” అని చెప్పగలదు, కానీ కొంత Māori తెలిసిన మోడల్ తన నమ్మకాన్ని అంచనా వేయాలి. పత్రంలో చెప్పినట్లు, “క్యాలిబ్రేటెడ్” కావడం ఖచ్చితత్వం సాధించడంపై పోలిస్తే చాలా తక్కువ గణన అవసరం. - క్లెయిమ్: హాల్యూసినేషన్లు ఆధునిక లాంగ్వేజ్ మోడల్స్లో వచ్చే ఒక రహస్యమైన గ్లిచ్. ఫైండింగ్: హాల్యూసినేషన్లు ఎలా ఏర్పడుతాయో, ఈవాల్యూయేషన్ల్లో ఎలా రివార్డ్ అవుతాయో చూపించే స్టాటిస్టికల్ మెకానిజమ్లను మేము అర్థం చేసుకున్నాము.
- క్లెయిమ్: హాల్యూసినేషన్లను కొలవడానికి మనకు ఒక మంచి హాల్యూసినేషన్ ఇవాల్ చాలు. ఫైండింగ్: హాల్యూసినేషన్ ఇవాల్స్ ఇప్పటికే ప్రచురించబడ్డాయి.అయితే, మంచి హాల్యూసినేషన్ ఇవాల్ ఉన్నా కూడా, వినయాన్ని శిక్షించి గెస్ చేయడాన్ని ప్రోత్సహించే వందలాది సంప్రదాయ ఆక్యూరసీ-బేస్డ్ ఇవాల్స్ ముందు దాని ప్రభావం చాలా తక్కువ.దాని బదులు, అనిశ్చితిని స్పష్టంగా వ్యక్తపరిచే సమాధానాలను ప్రోత్సహించేలా అన్ని ప్రాథమిక ఇవాల్ మెట్రిక్లను మళ్లీ రూపకల్పన చేయాలి.
మా తాజా మోడల్స్లో హాల్యూసినేషన్ రేట్లు తక్కువగా ఉన్నాయి, ఇంకా లాంగ్వేజ్ మోడల్స్ ఇచ్చే కాన్ఫిడెంట్ తప్పులను మరింత తగ్గించేందుకు మేము నిరంతరం కృషి చేస్తూనే ఉన్నాము.
ప్రకటన సహకారులు
Adam Kalai, Santosh Vempala (Georgia Tech), Ofir Nachum, Eddie Zhang, David Robinson, Saachi Jain, Eric Mitchell, Alex Beutel, Johannes Heidecke
