በኮዲንግ ግምገማዎች ምልክትን ከጫጫታ መለየት

የሞዴሎቻችንን ችሎታዎች በትክክል መለካት፣ የOpenAI የዝግጁነት ማዕቀፍ⁠(በአዲስ መስኮት ውስጥ ይክፈታል) ስር ያሉ ውሳኔዎችን ጨምሮ፣ ጤናማ የማሰማራት እና የደህንነት ውሳኔዎች ለማድረግ አስፈላጊ ነው። እያንዳንዱ ሞዴል ሲለቀቅ፣ የሞዴሉን እድገት ለመከታተል ለተለያዩ ውጫዊ እና ውስጣዊ መለኪያዎች ውጤቶችን እናቀርባለን። ውጤቶችን የሚነኩ ጉድለቶች በግምገማዎች ውስጥ ሲኖሩ፣ ስለ ችሎታዎች የተሳሳተ ግንዛቤ ሊሰጡ፣ የደህንነት ጉዳዮችን ሊያዛቡ እና የምርምር ቅድሚያዎችን ሊነኩ ይችላሉ።

በሰፊው ከሚጠቀሙባቸው የኮዲንግ መለኪያዎች አንዱ የሆነው SWE-bench Verified መሠረታዊ የንድፍ እና የብክለት ችግሮች እንዳሉት በቅርቡ መርምረናል፣ እና ግምገማው ስለ ሶፍትዌር ልማት ችሎታዎች ከእንግዲህ ትርጉም ያለው ምልክት እንደማይሰጥ አግኝተናል። በዚያን ጊዜ፣ ሰፊው ማህበረሰብ ወደ SWE-Bench Pro እንዲቀይር አበረታተን ነበር።

SWE-Bench Pro⁠(በአዲስ መስኮት ውስጥ ይክፈታል) ሞዴሎችን በረዘም ያሉ አድማሶች እና ይበልጥ እውነታዊ የኮዲንግ ተግባሮች በመፈተሽ፣ የኤጀንቲክ ኮዲንግ ችሎታዎችን በተሻለ ለመከታተል SWE-bench Verifiedን ለማሻሻል ተነድፎ ነበር። እንደ SWE-bench Verified ሁሉ፣ ተግባሮቹ ከሕዝባዊ እና ከግል ማከማቻዎች ስብስብ ውስጥ ካለ የባህሪ ለውጦች ታሪክ በፕሮግራማዊ መንገድ ይመነጫሉ። ሞዴሎች ነባር ተግባራዊነትን ሳያበላሹ፣ ለአንድ ባህሪ አዲስ ፈተናዎችን የሚያልፍ መፍትሄ መተግበር ይጠበቅባቸዋል። በ731 ተግባራት ያለው ሕዝባዊ ክፍል ላይ፣ ግንባር ቀደም ሞዴሎች በስምንት ወራት ውስጥ ከ23.3% ወደ 80.3% የማለፍ መጠን አሻሽለዋል።

ከዚያ በኋላ በSWE-Bench Pro ላይ ተመሳሳይ ኦዲት አካሂደናል፣ የውሂብ ነጥብ ትንተና ፓይፕላይን በመጠቀም የውሂብ ስብስቡን ገምግመናል። ፓይፕላይኑ ሊኖሩ የሚችሉ የግምገማ ጉድለቶችን ለመጠቆም፣ የሞዴል የተግባር ሙከራዎችን፣ የተግባር ሜታዳታን እና የውድቀት ዱካዎችን ገምግሟል። እያንዳንዱ የተጠቆመ ተግባር በብዙ የመርማሪ-ወኪል ዙሮች ተገምግሞ፣ በአምስት ልምድ ያላቸው የሶፍትዌር መሐንዲሶች በተናጠል ተፈትሿል፤ አለመግባባቶችም ለተጨማሪ ምርመራ ተላልፈዋል።

ችግሮቹ በዋናነት በአራት ምድቦች ውስጥ ወድቀዋል፦

• ከመጠን በላይ ጥብቅ ፈተናዎች¹ በእርምጃው ያልተገለጹ የተወሰኑ የአፈጻጸም ዝርዝሮችን ያስገድዳሉ፣ በዚህም በተግባር ትክክለኛ የሆኑ ብዙ ማስረከቢያዎችን ያሳጡታል።
• በበቂ ዝርዝር ያልተገለጹ እርምጃዎች² የተደበቁ ፈተናዎች የሚያስገድዷቸውን እና በምክንያታዊነት ሊገመቱ የማይችሉ መስፈርቶችን ይተዋሉ።
• ዝቅተኛ ሽፋን ያላቸው ፈተናዎች የተጠየቀውን ባህሪ በበቂ ሁኔታ አይፈትሹም፣ ስለዚህ ያልተሟሉ ማስተካከያዎች ሊያልፉ ይችላሉ።
• አንድ አሳሳች እርምጃ ሞዴሎችን ወደ ተሳሳተ ባህሪ ይመራል ወይም ፈተናዎች ከሚጠይቁት ጋር ይቃረናል።

ግኝቶቻችን ከባድ ግን ፍትሐዊ መለኪያዎችን ማዘጋጀት እንደሚከብድ፣ እንዲሁም ለሚሰፋ የውሂብ ጥራት ምርመራ የወኪሎች ጠቀሜታ እየጨመረ እንዳለ ያመለክታሉ። እነዚህን ውጤቶች በመመርኮዝ፣ የSWE-bench Pro ተግባሮች ~30% የተበላሹ እንደሆኑ እንገምታለን እና የሞዴል አበልጻጊዎች ውጤቶችን በጥንቃቄ እንዲመረምሩ እንመክራለን።

ዓላማችን የተግባር ውድቀቶች እውነተኛ የሞዴል ገደቦችን እንዲያንጸባርቁ፣ የተግባር ስኬቶችም ለእርምጃው መስፈርቶች ሙሉ እና ትክክለኛ መፍትሄዎችን እንዲያንጸባርቁ ማረጋገጥ ነው። በግምገማው ውስጥ የሚጠቀመውን የውሂብ ጥራት ለመፈተሽ፣ እያንዳንዱ የውሂብ ነጥብ የሞዴል ችሎታዎችን በትክክል ያንጸባርቅ እንደሆነ ለመገምገም የጥራት ማረጋገጫ ፓይፕላይን ፈጠርን።

የመጀመሪያ ራስ-ሰር ማጣሪያ ለሞዴሉ የተሰጡትን መመሪያዎች፣ ሞዴሉ ተግባሩን ለመፍታት ያደረጋቸውን ሙከራዎች እና እነዚህን ሙከራዎች ለመመዘን የተጠቀሙትን ፈተናዎች በመገምገም፣ ሊበላሹ ወይም ችግር ሊኖርባቸው የሚችሉ ምሳሌዎችን ይጠቁማል። ይህ ማጣሪያ 286 ሊበላሹ የሚችሉ ተግባሮችን ጠቁሟል። ከዚያ በኋላ ያንን ንዑስ ስብስብ በሁለት መንገዶች በጥልቀት ገምግመናል፦ ሰፊ ምርመራዎችን በመርማሪ ወኪሎች እና የመጨረሻ የሰው ፍርድ የሚያካሂድ በሰው ክትትል የሚደረግ የወኪል ግምገማ እና ከተሞክሮ ያላቸው የሶፍትዌር አበልጻጊዎች ጋር የሚሰራ የሰው ማብራሪያ ዘመቻ።

እያንዳንዱ የተጠቆመ ችግር የተግባሩን ማከማቻ እና አካባቢ መዳረሻ በተሰጣቸው Codex-ተመስርተው የሚሰሩ መርማሪ ወኪሎች ይኦዲት ይደረጋል። ይህ በአቅራቢያ ያለውን ኮድ እና የማከማቻ ልማዶችን በማጥናት ብዙ ጊዜ ሊፈታ የሚችል ምክንያታዊ የተግባር አሻሚነትን ከእውነተኛ በቂ ዝርዝር አለመገለጽ ለመለየት ይረዳቸዋል። ወኪሉ ፈተናዎችን ማስኬድ፣ በማከማቻው ውስጥ ፋይሎችን መመርመር፣ እና የሞዴል ሙከራዎችን እና በተግባሩ ላይ የተለመዱ የውድቀት አይነቶቻቸውን መመርመር ይችላል። እነዚህ ጥልቅ ኦዲቶች በተናጠል ብዙ ጊዜ ከተደገሙ በኋላ፣ አንድ ተመራማሪ ማጠቃለያዎቹን ገምግሞ፣ የመጨረሻ ፍርድ ሰጥቶ፣ ሊኖሩ የሚችሉ ችግሮችን መለያ ሰጥቷል።

በተመሳሳይ ጊዜ፣ በተጠቆመው ንዑስ ስብስብ ላይ የሰው ማብራሪያ ዘመቻ አካሂደናል። ተግባሮችን ከመገምገማቸው በፊት በመለኪያው ግቦች፣ በችግር ታክሶኖሚ እና በጠርዝ ኬዞች ላይ ከሰለጠኑ ልምድ ያላቸው የሶፍትዌር መሐንዲሶች ጋር ሰርተናል። እያንዳንዱ ተግባር በአምስት መሐንዲሶች ተገምግሟል።

ገምጋሚዎች የፓይፕላይን ትንተናውን ወይም ትራንስክሪፕቱን እንደ ደጋፊ አውድ ከመጠቀማቸው በፊት፣ ከሚታየው የችግር መግለጫ፣ የፈተና ኬዞች እና እውነተኛ የማጣቀሻ መፍትሄ (ወርቃማ ፓች ተብሎ የሚታወቀው) በመነሳት በተናጠል ፍርድ አበጁ። ከዚያ ገምጋሚዎቹ በተጨባጭ ማስረጃ መሠረት መለያ እና የክብደት ደረጃ ሰጡ እና አለመግባባቶችን ወይም ዝቅተኛ እርግጠኝነት ያላቸውን ጉዳዮች ለተጨማሪ ግምገማ አስተላለፉ።

የሰው ገምጋሚዎች ከመርማሪ ወኪሎች ይልቅ ተግባሮችን እንደተበላሹ ለማመልከት የበለጠ ዝንባሌ ነበራቸው። በሁለቱ የግምገማ መንገዶች መካከል በምድቦች ላይ የተወሰነ አለመግባባትም ነበር፣ ነገር ግን በማንኛውም የተጠቆመ ተግባር ውስጥ “አልተበላሸም” የሚለው በሰው የተሰጠ በጣም የተለመደ መለያ አልነበረም። የወኪል ፓይፕላይኑ ከጠቆማቸው ምድቦች ውስጥ፣ የገምጋሚዎች ፍርዶች በ74% ኬዞች ተደራርበዋል።

ከወኪል ፓይፕላይኑ ጋር ሲነጻጸር፣ የሰው ገምጋሚዎች ለአንድ ተግባር ብዙ መለያዎችን ለመምረጥም የበለጠ ዝንባሌ ነበራቸው፤ ይህም ተግባሮቹ በብዙ መንገዶች እንደተበላሹ ወይም በአንድ ምድብ ውስጥ በግልጽ እንዳልገቡ እንዳገኙ ያሳያል። ይህ የወኪል-እና-ገምጋሚ ፓይፕላይን ጥንቃቄ ያለው መለያ እንዳስገኘ ይጠቁማል፦ ሰዎች ያወቋቸውን ተመሳሳይ ሰፊ የውድቀት አይነቶች ቢይዝም፣ ገምጋሚዎች ተጨማሪ ወይም ተደራራቢ ችግሮችን ባዩባቸው ኬዞች ቁጥሩን አነስቶ ቆጥሯል። ትልቁ ልዩነት በዝቅተኛ ሽፋን ፈተናዎች ላይ ነበር ሰዎች ይህንን በመለኪያው 9.4% ውስጥ በጣም የተለመደ ችግር አድርገው መርጠውታል፣ ከወኪል ፓይፕላይኑ ግን 4.1% ነበር።

እኛ ያገኘናቸው ችግሮች፣ በ SWE-bench Verified ውስጥ ካሉ ተመሳሳይ ኬዞች ጋር ተዳምረው፣ መለኪያዎችን በጥብቅ መፈተሽ እንዳለብን ያጎላሉ። ከክፍት ምንጭ ማከማቻዎች የመጡ ችግሮች እና pull requestዎች መጀመሪያ ለሰዎች ትብብር የተፈጠሩ ነበሩ፣ ብዙ ጊዜም በአስተዳዳሪዎች እና በአስተዋጽዖ አበርካቾች መካከል በረዥም የኋላ-እና-ፊት ውይይቶች ይካሄዱ ነበር። በዚህ ምክንያት፣ የችግር መግለጫዎች፣ የተዋሃደ ኮድ እና የunit ፈተናዎች ሁልጊዜ ሞዴሎችን በታማኝነት ለመገምገም ንጹህ እና ተነጥለው የተዘጋጁ ተግባሮች እንዲሆኑ አይጣጣሙም። በተለይ፣ በpull requestዎች ውስጥ የተካተቱ ፈተናዎች ከመጠን በላይ ጥብቅ ሊሆኑ ይችላሉ፤ ምክንያቱም ተግባሩን ለመፍታት ከአፈጻጸም ነጻ የሆነ መስፈርት ለመግለጽ ሳይሆን፣ የተወሰነ ለውጥን ለማረጋገጥ ይጻፋሉ።

በተመሳሳይ ጊዜ፣ የግምገማ ጉድለቶችን መለየት ከአጭር ጊዜ በፊት ከነበረው ጋር ሲነጻጸር አሁን ቀላል ሆኗል። የሞዴል ችሎታዎች ሲሻሻሉ፣ እነዚያን ሞዴሎች በመጠቀም እርምጃዎችን፣ ፈተናዎችን፣ ፓችዎችን፣ ዱካዎችን እና ጠርዝ ኬዞችን በእጅግ የበለጠ ጥልቀት እና ተመሳሳይነት መመርመር እንችላለን፤ ይህም ቀደም ሲል በስፋት ለማግኘት ውድ ወይም የማይተገበር የነበሩ የመለኪያ ችግሮችን ለማውጣት ይረዳል።

ሰፊው የግምገማ ማህበረሰብ በተሞክሮ ያላቸው የሶፍትዌር አበልጻጊዎች በተለይ የሞዴል ችሎታዎችን ለመፈተሽ የሚገነቡ አዳዲስ መለኪያዎችን እንዲያዳብር እናደርጋለን። ያ አቀራረብ የሞዴል ችሎታዎችን ለመለካት የምንፈልገውን ከፍተኛ መስፈርት እና እውነታዊነት ሊጠብቅ ይችላል፣ እና በሂደቱ ሁሉ የተሻለ የሰው ክትትል ያስችላል። በዚህ ትንተና ውስጥ የተገለጡትን ችግሮች በመመርኮዝ፣ SWE-Bench Proን እንዲጠቀሙ ቀድሞ የሰጠነውን ምክር እንሰርዛለን።

በመጨረሻ፣ ግምገማ ለመጫወት ከባድ፣ ለማመን ቀላል እና የሞዴል ችሎታን ወይም አሰላለፍን በእውነት የሚያንጸባርቁ መለኪያዎች በኩል ትርጉም ያለው ምልክት መስጠት አለበት። እነዚህ ውጤቶች የOpenAIን የማሰማራት እና የደህንነት ውሳኔዎች ስለሚያሳውቁ፣ የምንከታተላቸው ግምገማዎች ትክክለኛ እና መረጃ ሰጪ መሆን አለባቸው።