በኦገስት 2024 SWE-bench Verified ለመጀመሪያ ጊዜ ካሳተምን ጀምሮ፣ ኢንዱስቲው ሞዴሎች በራስ-ሰር የሶፍትዌር ምህንድስና ተግባራት ላይ እያሳዩት ያለውን እድገት ለመለካት በሰፊው እየተጠቀመበት ይገኛል። ከተለቀቀ በኋላ፣ SWE-bench Verified የብቃት ዕድገትን የሚያሳይ ጠንካራ ማሳያ በመሆኑ፣ ግንባር ቀደም ሞዴሎች ሲወጡ እንደ ዋነኛ መለኪያ ሪፖርት መደረግ ጀምሮ ነበር። እነዚህን ብቃቶች መከታተል እና የወደፊት እድገታቸውን መተንበይ፣ የOpenAI የዝግጁነት ማዕቀፍ አንዱ እና ወሳኝ አካል ነው። መጀመሪያ የVerified መለኪያዎችን ስንፈጥር፣ በዋናው SWE-bench የውሂብ ስብስብ(በአዲስ መስኮት ውስጥ ይክፈታል) ውስጥ የተወሰኑ ተግባራትን ለማከናወን የማይቻል የሚያደርጉ የነበሩ የግምገማ ችግሮችን ለመፍታት ሞክረን ነበር።
ከመጀመሪያዎቹ ፈጣን ለውጦች በኋላ፣ በSWE-bench Verified ላይ የታየው ዘመናዊ ዕድገት ፍጥነቱ ቀንሷል፣ ባለፉት 6 ወራትም ከ74.9% ወደ 80.9% ብቻ ተሻሽሏል(በአዲስ መስኮት ውስጥ ይክፈታል)። ይህም አንድ ጥያቄ ያስነሳል፦ የቀሩት ውድቀቶች የሞዴሎቹን ውስንነት የሚያሳዩ ናቸው ወይስ ራሱ የውሂብ ስብስቡ ያለበትን ባህሪ?
በአዲስ ትንተና መሰረት፣ በVerified ስብስብ ላይ ሁለት ዋና ችግሮችን አግኝተናል፣ ይህም መለኪያው አሁን ባለው የአፈጻጸም ደረጃ ለሚደረጉ የግንባር ቀደም ሞዴሎች ስምሪት፣ ራስ-ሰር የሶፍትዌር ኢንጂነሪንግ ብቃቶችን ለመለካት ከእንግዲህ ብቁ እንዳልሆነ ያሳያል፦
- ፈተናዎች ትክክለኛ መፍትሔዎችን ውድቅ ያደርጋሉ፦ ሞዴሎች በብዛት ሊፈቷቸው ያልቻሉትን 27.6% የሚሆነውን የውሂብ ስብስብ ክፍል ኦዲት ያደረግን ሲሆን፣ ኦዲት ካደረግናቸው ጥያቄዎች መካከል ቢያንስ 59.4% የሚሆኑት በተግባር ትክክል የሆኑ መፍትሔዎችን ውድቅ የሚያደርጉ ጉድለት ያለባቸው የሙከራ ሂደቶች እንዳሉባቸው አረጋግጠናል፣ ይህ የሆነውም ምንም እንኳን የSWE-bench Verifiedን መጀመሪያ ስንፈጥር ይህንን ለማሻሻል ከፍተኛ ጥረት ብናደርግም ነው።
- በመፍትሔዎች ላይ ስለመሠልጠን፦ ግዙፍ ግንባር ቀደም ሞዴሎች ከሥልጠናቸው ላይ መረጃን የመቅሰም ብቃት ስላላቸው፣ በሚገመገሙበት ጥያቄዎች እና መፍትሔዎች ላይ ምንጊዜም ሥልጠና አለማግኘታቸው አስፈላጊ ነው። ይህ ለወደፊት ፈተና የሚሆኑ ጥያቄዎችን እና መፍትሔዎችን ለተማሪዎች ከፈተናው በፊት አስቀድሞ እንደማካፈል ነው - ተማሪዎቹ መልሱን ቃል በቃል ባይሸመድዱት እንኳ፣ መልሶቹን አስቀድመው ያዩ ተማሪዎች ካላዩት በተሻለ ውጤት እንደሚያመጡ እርግጥ ነው። የSWE-bench ጥያቄዎች የተወሰዱት ብዙ የሞዴል አቅራቢዎች ለሥልጠና ተግባራት ከሚጠቀሙባቸው ክፍት-ምንጭ ማከማቻዎች ነው። በእኛ ትንተና እንደተገነዘብነው፣ የሞከርናቸው ሁሉም ግንባር ቀደም ሞዴሎች እንደ መሰረታዊ እውነት ማጣቀሻ የሚያገለግለውን በሰው-የተጻፈውን የመጀመሪያውን ወርቃማ ማስተካከያ ዳግም ማመንጨት ወይም ለተወሰኑ ተግባራት የተቀመጡ ዝርዝር የጥያቄ መግለጫዎችን ቃል በቃል ደግመውታል፣ ይህም የሚያሳየው ሁሉም ሞዴሎች ቢያንስ የተወሰኑትን ጥያቄዎች እና መፍትሔዎች በሥልጠና ወቅት እንዳዩዋቸው ነው።
በተጨማሪም፣ በሥልጠና ወቅት ጥያቄዎቹን አስቀድመው ያዩ ሞዴሎች ስኬታማ የመሆን እድላቸው ከፍተኛ መሆኑን የሚያሳዩ ማስረጃዎችን ያገኘን ሲሆን ይህም የሆነው በቂ ዝርዝር መረጃ የሌላቸው ፈተናዎችን ለማለፍ የሚያስፈልጉ ተጨማሪ መረጃዎችን ቀድመው ስለሚያውቁ ነው።
ይህም ማለት በSWE-bench Verified ላይ የሚታዩ መሻሻሎች፣ ሞዴሎች በእውነተኛው ዓለም የሶፍትዌር መገንባት ላይ ያላቸውን እውነተኛ የብቃት እድገት ከእንግዲህ አያንጸባርቁም ማለት ነው። ይልቁንም፣ ውጤቶቹ ሞዴሉ በሥልጠና ወቅት ምን ያህል ከመለኪያው ጋር እንደተገናኘ የሚያሳዩ ሆኗል። ለዚህም ነው የSWE-bench Verified ውጤቶችን ሪፖርት ማድረግ ያቆምነው፣ ሌሎች የሞዴል ገንቢዎችም እንዲሁ እንዲያደርጉ እንመክራለን፡፡
የኮዲንግ ብቃቶችን በተሻለ ሁኔታ ለመከታተል የሚያስችሉ፣ ከአድልዎ እና ከመረጃ ብክለት የጸዱ አዳዲስ የግምገማ ዘዴዎችን እያዘጋጀን ሲሆን ይህም ለሰፊው የምርምር ማህበረሰብ ትኩረት ሊሰጠው የሚገባ ወሳኝ ዘርፍ መሆኑን እናምናለን። እነዚያን እስክናገኝ ድረስ፣ OpenAI ለSWE-bench Pro ውጤቶችን ሪፖርት እንዲያደርጉ የሚመክር ይሆናል።
የመጀመሪያው SWE-bench(በአዲስ መስኮት ውስጥ ይክፈታል) ግምገማ ይፋ የሆነው በ2023 ነበር። እያንዳንዱ ጥያቄ የተወሰደው በ12 ክፍት-ምንጭ Python ማከማቻዎች ውስጥ ከተፈቱ GitHub ቅሬታዎች ሲሆን፣ ከችግሩ ጋር ተያያዥነት ካለው pull request (PR) ጋር ተጣምሮ የቀረበ ነው። አንድ ሞዴል ያመነጨው የኮድ ለውጥ ትክክል መሆኑን ለመወሰን፣ እያንዳንዱ ጥያቄ ከሁለት ዓይነት የፈተና ስብስቦች ጋር ይቀርባል፦
- ባልተሻሻለው ኮድቤዝ ላይ የማይሰሩ፣ ነገር ግን ችግሩ በትክክል ሲፈታ ሊሰሩ የሚችሉ ፈተናዎች
- ተያያዥነት ያላቸው ሌሎች ተግባራት ሳይነኩ መቆየታቸውን ለማረጋገጥ፣ ከጥገናው በፊትም ሆነ በኋላ ውጤታማ የሚሆኑ የኋላ መመለስ ፈተናዎች።
ሞዴሉ ፈተናዎቹን የማያይ ይሆናል። ሞዴሉ የመጀመሪያው የችግሩ ገለጻ እና ጥገናው ከመደረጉ በፊት የነበረው የማከማቻ ይዘት ብቻ ተሰጥቶት ከእነዚህ በመነሳት የኮድ ለውጥ ማመንጨት ይኖርበታል። አንድን ጥያቄ የሚያልፈው፣ የኮድ ለውጡ ከተተገበረ በኋላ ሁሉም ፈተናዎች ሲያልፉ ብቻ ይሆናል።
"በዚያ የግምገማ ዘዴ ላይ፣ የሞዴሎችን ብቃት ካላቸው በታች አሳንሶ ሪፖርት ሊያደርጉ የሚችሉ በርካታ ችግሮችን አግኝተናል።
- አንዳንድ የአሃድ ፈተናዎች በጣም ዝርዝር ከመሆናቸው ወይም ከታዘዘው ስራ ጋር የማይጣጣሙ በመሆናቸው፣ ትክክለኛ የሆኑ የኮድ ማስተካከያዎች እንኳን ውድቅ ሊደረጉ ይችላሉ።
- ብዙዎቹ የተግባር መግለጫዎች በቂ ዝርዝር መረጃ የሌላቸው በመሆናቸው ለተለያዩ ትክክለኛ ትርጓሜዎች በር የሚከፍቱ ሲሆን - ፈተናዎቹ ግን ትኩረት የሚያደርጉት በአንዱ ትርጓሜ ላይ ብቻ ነው።
- እንደ አካባቢው አቀማመጥ (ለምሳሌ Linux ከWindows ወይም የpython ስሪት)፤ አንዳንድ ፈተናዎች ያለምንም በቂ ምክንያት ሊወድቁ ይችላሉ
እነዚህን ችግሮች ለመፍታት በ2024 SWE-bench Verifiedን አዘጋጅተናል። 1699 SWE-bench ጥያቄዎችን ለመገምገም እንዲሁም ችግሮችን ለመለየት ከባለሙያ የሶፍትዌር መሐንዲሶች ጋር ሠርተናል። እያንዳንዱ ጥያቄ በሶስት ባለሙያዎች በተናጠል ተገምግሟል። ይህ የግምገማ ሂደት 500 ጥያቄዎችን ያካተተ SWE-bench Verified የተባለ ውጤትን አስገኝቷል።
SWE-bench Verified ከመጀመሪያው ስሪት ጋር ሲነጻጸር ትልቅ ማሻሻያ ቢሆንም፣ የቀሩ ችግኝቶች አሁንም አሉ። OpenAI o3 ሞዴል በ64 ራሳቸውን የቻሉ ሙከራዎች ውስጥ በቋሚነት ሊፈታቸው ያልቻላቸውን 138 SWE-bench Verified ጥያቄዎች ላይ ኦዲት አድርገናል። እያንዳንዱ ሁኔታ ቢያንስ ስድስት ልምድ ባላቸው የሶፍትዌር መሐንዲሶች በተናጥል ተገምግሟል። አንድ ባለሙያ ችግር እንዳለ ከጠቆመ፣ በሌላ ተጨማሪ ቡድን በድጋሚ እንዲረጋገጥ ተደርጓል።
ከ138 ጥያቄዎች መካከል 59.4% የሚሆኑት በፈተና ዲዛይናቸው እና/ወይም በጥያቄው መግለጫ ላይ መሰረታዊ ስህተቶች እንዳሉባቸው ደርሰንበታል፣ ይህም እጅግ ከፍተኛ ብቃት ላላቸው ሞዴሎችም ሆነ ለሰዎች ችግሮቹን መፍታት እጅግ አስቸጋሪ ወይም የማይቻል ያደርጋቿል።
- ኦዲት ከተደረጉት ተግባራት መካከል 35.5% የሚሆኑት፣ የተወሰኑ የአተገባበር ዝርዝሮችን የግድ እንዲከተሉ የሚያስገድዱ ጥብቅ የሙከራ ሂደቶች ያሉባቸው ሲሆን ይህም በተግባር ትክክል የሆኑ በርካታ መፍትሔዎችን ውድቅ ያደርጋቿል፣ እነዚህንም ጠባብ የፈተና ጉዳዮች ብለን እንጠራቿለን።
- ኦዲት ከተደረጉት ተግባራት መካከል 18.8% የሚሆኑት፣ በጥያቄው መግለጫ ውስጥ ያልተጠቀሱ ተጨማሪ ተግባራትን የሚፈትሹ የሙከራ ሂደቶች ያሏቸው ሲሆኑ እነዚህንም ሰፊ የሙከራ ጉዳዮች ብለን እንጠራቿለን።
- ቀሪዎቹ 5.1% የሚሆኑት ሥራዎች፣ በዚህ የምደባ ሥርዓት ውስጥ በቀላሉ ሊካተቱ የማይችሉ የተለያዩ ችግሮች ነበሩባቸው።
ለመጀመሪያው የውድቀት ዓይነት ማሳያ የሚሆነው pylint-dev__pylint-4551(በአዲስ መስኮት ውስጥ ይክፈታል)ሲሆን፣ በዚህ ውስጥ PR እንደ አጠቃላይ መፍትሔው አካል 'get_annotation' የሚባል አዲስ ተግባር ያስተዋውቃል። ይህ የተግባር ስም በጥያቄው መግለጫ ውስጥ ያልተጠቀሰ ሲሆን ነገር ግን በፈተናዎቹ ውስጥ በቀጥታ ጥቅም ላይ ውሏል። ምንም እንኳ አንዳንድ ሞዴሎች እንዲህ ዓይነት ተግባር መፍጠር እንዳለባቸው በራሳቸው ግንዛቤ ሊረዱ ቢችሉም፣ ጥያቄውን በትክክል ለመፍታት ግን የግድ በዚሁ በተወሰነ ስም ተግባር መፍጠር አስፈላጊ አይደለም። ብዙ ትክክለኛ መፍትሄዎች በየኢምፖርት ስህተቶች ምክንያት በሙከራዎቹ ላይ ይወድቃሉ።
የጥያቄ መግለጫ
PR ፈተና ቅንጥብ
PR የፈተና ውድቀቶች (ለንባብ እንዲያመቹ ተቀንሰው የቀረቡ)
በጣም ሰፊ የፈተና ጉዳዮች ምሳሌ እንደ sympy__sympy-18199(በአዲስ መስኮት ውስጥ ይክፈታል) ነው። ይህ ተግባር የተወሰደው በ 'nthroot_mod' ተግባር ሶስት የተለያዩ ችግሮችን ከፈታ PR ሲሆን፣ እነርሱም #17373(በአዲስ መስኮት ውስጥ ይክፈታል)፣ #17377(በአዲስ መስኮት ውስጥ ይክፈታል) እና #18212(በአዲስ መስኮት ውስጥ ይክፈታል) ናቸው። ይሁን እንጂ ለSWE-bench Verified ተግባር የቀረበው መግለጫ የሚያተኩረው የመጨረሻው ጉዳይ #18212(በአዲስ መስኮት ውስጥ ይክፈታል) ላይ ብቻ ነው። ይህ ሁኔታ አለመጣጣምን ይፈጥራል፦ PR ፈተናዎቹ ሶስቱንም ችግሮች የሚሸፍኑ ሲሆን፣ መግለጫው ግን ስለ አንዱ ብቻ በዝርዝር ያስረዳል። እኛ ባደረግናቸው ሙከራዎች፣ ሞዴሎቹ ብዙ ጊዜ የተገለጸውን ማስተካከያ በትክክል ይተገብራሉ፣ ነገር ግን ሌሎቹን ሁለት ጉዳዮች የሚፈትሹትን ፈተናዎች ማለፍ ያቅታቿል።
የመጀመሪያው የPR መግለጫ (ከGitHub PR የተወሰደ)
ለ #18212 የጥያቄ መግለጫ
ለSWE-bench Verified ሥራ የቀረበ የጥያቄ መግለጫ (ከቁጥር #18212 ላይ ብቻ የተወሰደ)፦
የSWE-bench Verified መረጃዎች እና የሶፍትዌር ማከማቻዎቹ (የኮድ ስብስቦች እና የመልቀቂያ ማስታወሻዎች) ክፍት ምንጭ፣ በስፋት ጥቅም ላይ የሚውሉ እና ውይይት የሚደረግባቸው ሲሆኑ ይህም ለሞዴል ገንቢዎች የመረጃ መበከልን ለማስወገድ አስቸጋሪ ያደርግባቿል።
የመረጃ መበከል ምልክቶችን መጀመሪያ ያስተዋልነው በራሳችን ሞዴሎች ላይ ነበር። ለምሳሌ ያህል፣ ለመፍታት ፈጽሞ የማይቻል ናቸው ብለን የለየናቸውን 31 ተግባራት GPT‑5.2 በፈታበት ወቅት። django__django-14725(በአዲስ መስኮት ውስጥ ይክፈታል) ውስጥ፣ፈተናዎቹ 'edit_only' የሚል የተወሰነ አዲስ መለኪያ እንዲኖር የሚፈልጉ ሲሆን ይህ ግን በጥያቄው መግለጫ ውስጥ በግልጽ እንዲካተት አልተጠየቀም። GPT‑5.2 ጥያቄውን በሚፈታበት ወቅት ባሳየው ተከታታይ ሀሳብ ውስጥ፣ በኮድቤዝ ላይ የተደረጉ ለውጦችን በዝርዝር የሚገልጹ የስሪት ማሻሻያ ማስታወሻዎችን እንደሚያውቅ ያሳያል፣ እንዲሁም 'edit_only' የተሰኘው መለኪያ በDjango 4.1 ላይ መተዋወቁን በትክክል ለይቶ ይጠቅሳል።
GPT‑5.2 CoT
የመረጃ መበከል ምን ያህል ስፋት እና ጥልቀት እንዳለው በጥሬው ለመገምገም፣ ራስ-ሰር የሆነ በእሳት መፈተን የሙከራ ስርዓት ዘርግተናል። ለእያንዳንዱ SWE-bench Verified ጥያቄ፣ GPT‑5 የተሰኘው GPT‑5.2‑Chat የተባለውን በጥያቄዎች እንዲመረምረው ትዕዛዝ ሰጥተናል። Claude Opus 4.5 እና Gemini 3 Flash Preview የተባሉትን ሞዴሎችም የመረጃ መበከል (contamination) ካለባቸው ለማረጋገጥ መርምረናል እነዚህን ሞዴሎች የመረጥነው የማመዛዘን ሞዴል የሆኑትን ላለማካተት ሲሆን፣ ይሁን እንጂ በመካከላቸው ቀላል የማይባል የብቃት ልዩነት ሊኖር እንደሚችል እንረዳለን።
የመረጃ መበከልን ለመመርመር፣ GPT‑5 የሚከተሉትን ተቀብሏል፦ የSWE-bench Verified ተግባር መታወቂያ፣ የችግሩ መግለጫ፣ ወርቃማ ማስተካከያ እንዲሁም PR ፈተናዎች። ከ15 ዙሮች በላይ፣ GPT‑5 የስርዓት/ገንቢ ጥያቄን፣ የተጠቃሚውን ጥያቄ፣ የረዳቱን ቅድመ-ምላሽ እና የተለያዩ መረጃን የማውጫ ስልቶችን እንዲቀያይር ፈቀድንለት። ከእያንዳንዱ ዙር በኋላ፣ አንድ ዳኛ ሞዴል ምን ያህል አዲስ እና ለተግባሩ የተለየ መረጃ እንደተገኘ ምልክት ያደርጋል፣ እንዲሁም እያንዳንዱ ምላሽ የመረጃ ብክለቱ ከ "ነፃ" እስከ "ከፍተኛ" ባለው ደረጃ ይመደባል። GPT‑5 ካለፉት ዙሮች ባገኘው ልምድ በመነሳት ስልቱን እንዲያስተካክል ተደርጓል፣ ይህም ለተግባሩ የተለዩ ዝርዝር መረጃዎችን ደጋግሞ በመጠየቅ እንዲያገኝ አስችሎታል። ከፍተኛ የመረጃ መበከል ታይቶባቿል ለተባሉ ለእያንዳንዱ ምሳሌዎች፣ GPT‑5 ለተመርማሪው ሞዴል ብዙ መረጃ አሳልፎ እንዳልሰጠ በሌላ ተጨማሪ ዳኛ አረጋግጠናል። በመጨረሻም፣ በዚህ ልጥፍ ውስጥ ለቀረቡት የንግግር ሰነዶች መሠረት የሆኑትን "ከፍተኛ" ምሳሌዎችን እኛ ራሳችን በእጃችን መርምረናል።
ከተለያዩ የሞዴል አቅራቢዎች የተገኙ እና ከፍተኛ የመረጃ መበከል የታየባቸው ምሳሌዎች ከዚህ በታች ቀርበዋል።
ከተግባሩ መግለጫ ላይ አጭር የሆነ ቅንጥብ ብቻ ሲሰጠው፣ GPT‑5.2 ተመሳሳይ ወርቃማ ማስተካከያን ያወጣል። በተለይም፣ ትክክለኛውን የክፍል እና የዘዴ ስም፣ እንዲሁም አዲስ የተጨመረውን `የተጠቃሚ ስም ምንም ወይም የይለፍ ቃል ምንም ከሆነ` የሚለውን ቅድመ ሁኔታዊ ምላሽ በትክክል ያውቃል።
የተግባር መታወቂያ፦ django__django-11451(በአዲስ መስኮት ውስጥ ይክፈታል)
የመረጃ መበከልን የማውጣት ዘዴ
ወርቃማ ማስተካከያ
Opus የ PR ለውጡ ያስገባቸውን 4 የኮድ መስመሮች፣ የተቀየረውን የፋይል ስም እና የተጠቀመበትን ዘዴ ጨምሮ፣ በትክክል ማስታወስ ብቻ ሳይሆን በኮድ ለውጡ ውስጥ ተካቶ የነበረውን የውስጥ ማብራሪያ ሳይቀር ቃል በቃል ጠቅሷል።
የተግባር መታወቂያ፦ astropy__astropy-13236(በአዲስ መስኮት ውስጥ ይክፈታል)
የመረጃ መበከልን የማውጣት ዘዴ
ወርቃማ ማስተካከያ
Gemini 3 Flash፣ ስለ ሥራው ከመታወቂያው ውጪ ሌላ ምንም ዓይነት መረጃ ሳይሰጠው፣ የችግሩን መግለጫ እና ወርቃማ ማስተካከያ ቃል በቃል ማውጣት ይችላል። ይህም የተጠቃሚ ስም ማረጋገጫ አዲሱን የregex ቀመር እና ለውጡ የተደረገባቸውን ትክክለኛ የሥራ መስመር ቁጥሮች ያካትታል።
የተግባር መታወቂያ፦ django__django-11099(በአዲስ መስኮት ውስጥ ይክፈታል)
የመረጃ መበከልን የማውጣት ዘዴ
ወርቃማ ማስተካከያ
ከዚህ የSWE-bench Verified ኦዲት በመነሳት፣ ለግምገማ ዲዛይን የሚጠቅሙ ሁለት ሰፋ ያሉ ትምህርቶችን ተገንዝበናል። በመጀመሪያ፣ በይፋ ከሚገኙ ምንጮች የሚገኙ መለኪያዎች የመረጃ መበከል ስጋት ያለባቸው ሲሆን ይህም የሥልጠናው ውሂብ ለጥያቄዎቹ መጋለጥ ውጤቱ ያለ አግባብ እንዲጋነን ያደርጓል። መለኪያን ለመገንባት በይፋ ከበይነመረብ የተሰበሰበ ውሂብ ጥቅም ላይ የሚውል ከሆነ፣ የሞዴል ገንቢዎች የመረጃ መበከልን ለማረጋገጥ ተጨማሪ ምርመራዎችን ማድረግ ይኖርባቿል። በይፋ የሚለቀቁ መለኪያዎች፣ አንድ አንድ ጊዜም መፍትሔዎቻቸው ጭምር፣ በስተመጨረሻ በሞዴል ማሰልጠኛ ውሂቦች ውስጥ ሊካተቱ ይችላሉ። የውሂብ ስብስቦች በሚለጠፉበት መንገድ (ለምሳሌ በይለፍ ቃል የተጠበቁ ) እና በሥልጠና ውሂብ ማጣሪያ ሂደት (ለምሳሌ ካናሪ ስትሪንግስን በጥብቅ በመተግበር) ላይ ልዩ ጥንቃቄ ሊደረግ ይገባል።
ሁለተኛ፣ ራስ-ሰር ውጤት አሰጣጥን በትክክል ማዋቀር ፈታኝ ነው፣ የተሟሉ የሙከራ ጉዳዮች አንድን ሥራ በትክክል መከናወኑን ሙሉ በሙሉ ማረጋገጥ መቻል ያለባቸው ሲሆን ይህም ማለት አስፈላጊ ባልሆኑ ዝርዝር አተገባበሮች ላይ ጥገኝነታቸው የቀነሰ መሆን ሲገባቸው፣ በተቃራኒው ደግሞ አቋራጭ መፍትሔዎችን የሚከላከሉ መሆን ይኖርባቿል። እነዚህ ጥያቄዎች በተፈጥሯቸው ውስብስብ እና ለመፍታት አስቸጋሪ ናቸው። እነዚህን ጥያቄዎች ለይቶ ለማወቅ በርካታ እና ሰፊ የሆኑ የሰዎች የምደባ ሥራዎችን ማከናወን አስፈልጓል።
እነዚህን ግኝቶች በቅርብ ጊዜያት እያከናወንናቸው ባሉ የግምገማ ጥረቶቻችን ውስጥ አካተናል። ባለፉት ወራት፣ የSWE-Bench Pro ይፋዊ ክፍፍል የሚያሳያቸውን ውጤቶች ሪፖርት ለማድረግ መርጠናል። ሌሎች የሞዴል ገንቢዎችም ተመሳሳይ እርምጃ እንዲወስዱ እንመክራለን። SWE-bench Pro ፍጹም ነው ባይባልም፣ በተግባራዊ ምልከታ ሲታይ ግን በመረጃ መበከል ችግሮች የመጠቃት ዕድሉ አነስተኛ ይመስላል። የመረጃ መበከል መመርመሪያ መንገዳችን የተወሰኑ የመበከል ሁኔታዎችን ያገኘ ሲሆን፣ ሆኖም እነዚህ ሁኔታዎች ከSWE-bench Verified ጋር ሲነፃፀሩ በቁጥር እጅግ አነስተኛ እና ክብደታቸውም የቀለለ ናቸው፣ እንዲሁም አንድም ሞዴል ወርቃማ ማስተካከያ ቃል በቃል ሙሉ በሙሉ ማመንጨት አልቻለም።
በእውነተኛ፣ በግል በተዘጋጁ መለኪያዎች ላይ ኢንቨስት ማድረጋችንን እንቀጥላለን፣ ይህንኑ ለማድረግም የኢንዱስትሪውን እና የአካዳሚውን እርዳታ እንጠይቃለን። GDPVal ውስጥ፣ ተግባራቱ በዘርፉ ባለሙያዎች በሚስጥር የሚዘጋጁ በመሆናቸው ለብክለት የመጋለጥ ዕድላቸው ዝቅተኛ ነው፣ እንዲሁም መፍትሔዎቹ በሰለጠኑ ገምጋሚዎች አማካኝነት ሙሉ በሙሉ ይገመገማሉ። ይህ አካሄድ ከፍተኛ ሀብት እና ጉልበት የሚጠይቅ ቢሆንም፣ እውነተኛ የብቃት ዕድገትን ለመለካት ግን ከጊዜ ወደ ጊዜ እጅግ አስፈላጊ እየሆነ መጥቷል።
ደራሲ
ማንበብዎን ይቀጥሉ
