በOpenAI፣ ሰው ሠራሽ አስተውሎት (AI) ስርዓቶች የበለጠ ጠቃሚ እና አስተማማኝ እንዲሆኑ ለማድረግ ጠንክረን እየሰራን ነው። የቋንቋ ሞዴሎች የበለጠ ችሎታ እየሰጡ ሲሄዱ እንኳን፣ አንድ ፈተና ሙሉ በሙሉ ለመፍታት በግትርነት ከባድ ሆኖ ይቆያል፦ ቅዠት። በዚህ ማለታችን ሞዴል በማረጋገጥ እውነት ያልሆነ መልስ ሲያያመነጫል የሚከሰቱ አጋጣሚዎች ናቸው። አዲሱ የምርምር ወረቀታችን(በአዲስ መስኮት ውስጥ ይክፈታል) የቋንቋ ሞዴሎች ቅዠት ያደርጋሉ ምክንያቱም መደበኛ የስልጠና እና የግምገማ ሂደቶች እርግጠኛ አለመሆንን ከመቀበል ይልቅ መገመትን ይበልጣሉ።
ChatGPT እንዲሁ ቅዠት ያደርጋል። GPT‑5 በተለይ በሚያማመዛዝኑበት ጊዜ ቅዥት በጣም ያነሰ ነው፣ ግን አሁንም ይከሰታሉ። ቅዠት ለሁሉም ትልቅ የቋንቋ ሞዴሎች መሠረታዊ ፈተና ሆኖ ይቆያል፣ ነገር ግን እነሱን የበለጠ ለመቀነስ ጠንክረን እየሰራን ነው።
ቅዠቶች አሳማኝ ናቸው ነገር ግን የቋንቋ ሞዴሎች ያመነጫሉ የውሸት መግለጫዎች ናቸው። ቀጥተኛ ለሚመስሉ ጥያቄዎች እንኳን በሚያስደንቅ ሁኔታ ሊታዩ ይችላሉ። ለምሳሌ፣ ከAdam Tauman Kalai (የዚህ ወረቀት ደራሲ) የPhD መመረቂያ ርእስ ሲጠይቁ በሰፊው የተጠቀሙትን ቻቦት ሲጠይቁ በሙሉ እምነት ሶስት የተለያዩ መልሶችን አቀረበ—አንዳቸውም ትክክል አልነበሩም። ልደቱን ስንጠይቅ ሶስት የተለያዩ ቀኖችን ሰጠ፣ እነሱም ሁሉም የተሳሳቱ ነበሩ።
አሁን ያለው የግምገማ ዘዴዎች የተሳሳቱ ማበረታቻዎችን ስለሚያዘጋጁ ቅዠቶች በከፊል ይቀጥላሉ። ምንም እንኳን ግምገማዎች ራሳቸው ቅዠቶችን በቀጥታ አያስከትሉም፣ አብዛኛዎቹ ግምገማዎች የሞዴል አፈጻጸምን በመገመት እርግጠኛ አለመሆንን ከታማኝነት ይልቅ በመገመት ያበረታታሉ።
እንደ ባለብዙ ምርጫ ፈተና ያስቡበት። መልሱን የማታውቁ ከሆነ ግን የግምት ምርጫ ቢያደርጉ እድለኛ ሊሆኑ እና ትክክለኛ ሊሆኑ ይችላሉ። ባዶውን መተው ዜሮን ያረጋግጣል። በተመሳሳይ መልኩ፣ ሞዴሎች በትክክል ብቻ ሲመዘገቡ፣ የትክክለኛ መልስ የሚሰጡትን የጥያቄ መቶኛ ሲመዘገቡ፣ «አላውቅም» ከማለት ይልቅ እንዲገምቱ ይበረታታሉ።
እንደ ሌላ ምሳሌ፣ የቋንቋ ሞዴል ለአንድ ሰው የልደት ቀን ተጠይቋል ነገር ግን አያውቅም እንበል። «ሴፕቴምበር 10» ብሎ ከገመተ 1-በ-365 ትክክል የመሆን እድል አለው። «አላውቅም» ማለት ዜሮ ነጥቦችን ያረጋግጣል። በሺዎች የሚቆጠሩ የሙከራ ጥያቄዎች ላይ፣ የግምት ሞዴል በውጤት ሰሌዳዎች ላይ ከአለመረጋጋጋትን የሚቀበል ጥንቃቄ ያለው ሞዴል ይሻላል።
አንድ ነጠላ «ትክክለኛ መልስ» ባለባቸው ጥያቄዎች ሶስት የምላሾች ምድቦችን ማስቀመጥ ይቻላል፣ ትክክለኛ ምላሾች፣ ስህተቶች እና ሞዴሉ ግምትን አደጋ ላይ የማይጥሉበት ድምቀቶች። መታቀብ የትህትና አካል ነው፣ ከOpenAI ዋና እሴቶች አንዱ። አብዛኛዎቹ የውጤት ሰሌዳዎች ሞዴሎችን በትክክለኛነት ያስቀድማሉ እና ያስደርጋሉ፣ ነገር ግን ስህተቶች ከመታገስ ይበልጣሉ። የእኛ ሞዴል ዝርዝር(በአዲስ መስኮት ውስጥ ይክፈታል) እርግጠኛ አለመሆንን መጠቆም ወይም ማብራሪያ መጠየቅ ከተሳሳተ እርግጠኛ መረጃ ማቅረብ ይሻላል ይላል።
ለተጨባጭ ምሳሌ፣ SimpleQA eval ከGPT5 ስርዓት ካርድ(በአዲስ መስኮት ውስጥ ይክፈታል) እንደ ምሳሌ ይቀይሩ።
ሜትሪክ | gpt-5-አስተሳሰብ-mini | OpenAI o4-mini |
የመታቀብ መጠን | 52% | 1% |
ትክክለኛነት መጠን | 22% | 24% |
የስህተት መጠን | 26% | 75% |
ጠቅላላ | 100% | 100% |
ከትክክለኛነት አንፃር፣ የድሮው የOpenAI o4-mini ሞዴል ትንሽ የተሻለ ነው። ሆኖም፣ የስህተት መጠኑ (ማለትም፣ የቅዠት መጠን) በከፍተኛ ደረጃ ከፍ ያለ ነው። እርግጠኛ ባልሆነ ጊዜ በስትራቴጂካዊ መገመት ትክክለኛነትን ያሻሽላል ነገር ግን ስህተቶችን እና ቅዠቶችን ያስገኛል።
በደርዘኖች በሚቆጠሩ ግምገማዎች አማካኝ ውጤቶች ሲገኙ፣አብዛኛዎቹ መመዘኛዎች የትክክለኛነት መለኪያውን ያስወጣሉ፣ነገር ግን ይህ ትክክል እና ስህተት መካከል የውሸት ልዩነትን ያካትታል። እንደ SimpleQA ባሉ ቀላል ግምገማዎች ላይ አንዳንድ ሞዴሎች ወደ 100% የሚጠጋ ትክክለኛነትን ያገኛሉ እና በዚህም ቅዠትን ያስወግዳሉ። ሆኖም፣ በበለጠ ፈታኝ ግምገማዎች እና በእውነተኛ አጠቃቀም ላይ ትክክለኛነት ከ100% በታች ይገኛል ምክንያቱም እንደ የማይገኝ መረጃ፣ የአነስተኛ ሞዴሎች የተወሰነ የማሰብ ችሎታ ወይም አመዛዝን ባሉ የተለያዩ ምክንያቶች መልሱ ሊወሰኑ የማይችሉ ጥያቄዎች አሉ።
ቢሆንም፣ ትክክለኛነት-ብቻ የውጤት ሰሌዳዎች የመሪ ሰሌዳዎችን እና የሞዴል ካርዶችን ይቆጣጠራሉ፣ ይህም አበልፃጊዎች ሞዴሎችን እንዲገነቡ ያነሳሳቸዋል። ይህ አንዱ አመዛዝን ነው፣ ሞዴሎች እያደጉ ሲሄዱም እንኳን፣ እርግጠኛ አለመሆንን ከመቀበል ይልቅ በሙሉ እምነት የተሳሳቱ መልሶችን ማቅረብ ይችላሉ።
ቀጥተኛ ማስተካከያ አለ። እርግጠኛ የሆኑ ስህተቶችን ከእርግጠኛ ያልሆነ ሁኔታ ይልቅ ይቀጡ፣ እና ለተገቢ የጥርጣሬ መግለጫ ከፊል ምስጋና ይስጡ። ይህ ሀሳብ አዲስ አይደለም። አንዳንድ ደረጃቸውን የጠበቁ ሙከራዎች ዓይነ ስውር ግምትን ለማሳጣት ጥያቄዎችን ባዶ በመተው ለተሳሳቱ መልሶች አሉታዊ ምልክት ማድረጊያ ስሪቶችን ወይም ከፊል ክሬዲት ለረጅም ጊዜ ተጠቅመዋል። በርካታ የምርምር ቡድኖች እርግጠኝነት እና መለያ የሚያስተውሉ ግምገማዎችን አስሰዋል።
የእኛ ነጥብ የተለየ ነው። በጎን ላይ ጥቂት አዳዲስ እርግጠኝነትን የሚያውቁ ሙከራዎችን ማከል በቂ አይደለም። በሰፊው ጥቅም ላይ የዋሉት፣ ትክክለኛነት ላይ የተመሰረቱ ኢቫሎች መዘመን አለባቸው ስለዚህም ውጤታቸው መገመትን ተስፋ አስቆራጭ ያደርጋል። ከዋናዎቹ የውጤት ሰሌዳዎች እድለኛ ግምቶችን ማስተካከል ቀጥለው ከቀጠሉ ሞዴሎች መገመት መማሩን ይቀጥላሉ። የውጤት ሰሌዳዎችን ማስተካከል አዲስ የተገነቡ እና ቀደም ሲል የተደረጉ ጥናቶችን የቅዠት ቅነሳ ቴክኒኮችን መቀበልን ሊያሰፋ ይችላል።
ቅዠቶችን ለማስወገድ በጣም ከባድ የሆነው ለምንድነው ተነጋግረናል፣ ነገር ግን እነዚህ በጣም ልዩ የሆኑ እውነታዊ ስህተቶች በመጀመሪያ ደረጃ ከየት መጡ? ከሁሉም በላይ፣ ትላልቅ ቀድሞ የሰለጠኑ ሞዴሎች እንደ ፊደል አጻጻፍ ስህተቶች እና የማይዛመዱ ቅንፎች ያሉ ሌሎች ዓይነት ስህተቶችን እምብዛም አያሳዩም። ልዩነቱ በውሂብ ውስጥ ካሉት ቅጦች ጋር የተያያዘ ነው።
የቋንቋ ሞዴሎች በመጀመሪያ በቅድመ-ስልጠና ይማራሉ፣ ይህም በብዙ ጽሁፎች ውስጥ ቀጣይ ቃል ማመን ሂደት ነው። በተለምዷዊ የማሽን መማር ችግሮች ላይ እንደሚኖር በእያንዳንዱ መግለጫ ላይ «እውነት/ሐሰት» መለያዎች የሉም። ሞዴሉ የቋንቋ አወንታዊ ምሳሌዎችን ብቻ ይመለከታል እና አጠቃላይ ስርጭቱን ማስረጃ ያስፈልገዋል።
ልክ ያልሆኑ ምሳሌዎች ሲጎዱ ትክክለኛ መግለጫዎችን ከተሳሳቱ ለመለየት በእጥፍ ከባድ ነው። ነገር ግን በመለያዎች ላይ እንኳን፣ አንዳንድ ስህተቶች የማይቀሩ ናቸው። ምክንያቱን ለማየት፣ ቀላል ያለ ተመሳሳይነት ያስቡ። በምስል ማወቂያ፣ በሚሊዮኖች የሚቆጠሩ የድመት እና የውሻ ፎቶዎች «ድመት» ወይም «ውሻ» ተብለው ከተሰየሙ ከሆነ አልጎርይዝሞች በአስተማማኝ ሁኔታ መመደብ መማር ይችላሉ። ነገር ግን እያንዳንዱን የቤት እንስሳ ፎቶ በቤት እንስሳው ልደት ላይ መሰየም ይልቁንስ አስቡት። ልደት ቀናቶች በመሠረቱ ዘፈቀደ ስለሆኑ ይህ ተግባር ምንም ያህል የላቀ ስልተ-ቀመር ቢኖርም ሁልጊዜ ስህተቶችን ያመነጫል።
በቅድመ-ስልጠና ላይ ተመሳሳይ መርህ ይተገብራል። የፊደል አጻጻፍ እና ቅንፍ በተመጣጠነ አሰራር ይከተላሉ፣ ስለዚህ እዚያ ያሉ ስህተቶች በመጠን ይጠፋሉ። ነገር ግን እንደ የቤት እንስሳ ልደት ያሉ ዝቅተኛ ድግግሞሽ እንደሆኑ እውነታዎች ከስርዓተ-ጥለት ብቻ ሊተነበይ አይችሉም እና ወደ ቅዠት ያመራሉ። ትንታኔያችን ከቀጣይ ቃል ትንበያ ምን አይነት ቅዠቶች መነሳት እንዳለባቸው ያብራራል። በተመሳሳይ ሁኔታ፣ ከቅድመ-ስልጠና በኋላ ተጨማሪ ደረጃዎች እነሱን አስወግድ አለባቸው፣ ነገር ግን ይህ በቀደመው ክፍል ውስጥ በተገለጹት አመዛዝን ሙሉ በሙሉ አልተሳካም።
በእኛ ወረቀታችን ውስጥ ያለው የስታቲስቲክስ መነፅር የአሳሳቢዎች ባህሪን እንደሚያብራራ እና በተለመዱ የተሳሳቱ አመለካከቶች ላይ እንዲመለስ ተስፋ እናደርጋለን፦
- የይገባኛል ጥያቄ፦ ቅዠቶች ትክክለኛነትን በማሻሻል ይወገዳሉ ምክንያቱም 100% ትክክለኛ ሞዴል በጭራሽ አያዳላምም።
ማግኘት፦ ትክክለኛነት 100% አይደርስም ምክንያቱም የሞዴል መጠን፣ የፍለጋ እና የማመዛዘን ችሎታዎች ምንም ቢሆኑም፣ አንዳንድ የገሃዱ ዓለም ጥያቄዎች በተፈጥሯቸው ሊመለሱ የማይችሉ ናቸው። - የይገባኛል ጥያቄ፦ ቅዠት የማይቀር ነው።
ማግኘት፦ አይደሉም፣ ምክንያቱም የቋንቋ ሞዴሎች እርግጠኛ ካልሆኑ ሊታቀቡ ይችላሉ። - የይገባኛል ጥያቄ፦ ቅዠቶችን ማስወገድ በትልልቅ ሞዴሎች ብቻ የሚደረስ የማሰብ ችሎታን ይጠይቃል።
ማግኘት፦ ለአነስተኛ ሞዴል ገደቦቹን ማወቅ ቀላል ሊሆን ይችላል። ለምሳሌ፣ የMāori ጥያቄ ለመመለስ ሲጠየቅ፣ Māori የማያውቅ ትንሽ ሞዴል በቀላሉ «አላውቅም» ማለት ይችላል፣ አንዳንድ ማኦሪ የሚያውቅ ሞዴል ግን የራሱን እምነት መወሰን አለበት። በወረቀቱ ላይ እንደተነገረው፣ «መስተካከል» ከትክክለኛ መሆን ይልቅ ያነሰ ሂሳብ ያስፈልጋል። - የይገባኛል ጥያቄ፦ ቅዠቶች በዘመናዊ የቋንቋ ሞዴሎች ውስጥ ሚስጥራዊ ብልሽት ናቸው።
ማግኘት፦ ቅዠቶች የሚነሱበትን እና በግምገማዎች የሚሸለሙበትን ስታቲስቲካዊ ዘዴዎችን እንረዳለን። - የይገባኛል ጥያቄ፦ ቅዠቶችን ለመለካት ጥሩ የአዳራሽነት ኢቫል ብቻ ያስፈልገናል።
ማግኘት፦ የቅዠት ግምገማዎች ታትመዋል። ነገር ግን፣ ጥሩ የቅዠት ኢቫል ትህትናን እና ሽልማቶችን የሚቀጣ በመቶዎች በሚቆጠሩ ትውፊታዊ ትክክለኝነት ላይ የተመሰረቱ ምዘናዎች ላይ ትንሽ ተጽእኖ የለውም። በምትኩ፣ እርግጠኛ ያልሆኑትን መግለጫዎች ለመሸለም ሁሉም የመጀመሪያ ደረጃ የኢቫል መለኪያዎች እንደገና መስራት አለባቸው።
የእኛ የቅርብ ጊዜ ሞዴሎች ዝቅተኛ የማሰብ ችሎታ አላቸው፣ እና በቋንቋ ሞዴሎቻችን የሚወጡ በራስ የመተማመን ስህተቶችን የበለጠ ለመቀነስ ጠንክረን መስራታችንን እንቀጥላለን።
የማስታወቂያ አስተዋጽዖ አበርካቾች
Adam Kalai፣ Santosh Vempala (Georgia Tech)፣ Ofir Nachum፣ Eddie Zhang፣ David Robinson፣ Saachi Jain፣ Eric Mitchell፣ Alex Beutel እና Johannes Heidecke
