የሀሳብ-ሰንሰለት ክትትልን መገምገም
የሀሳብ-ሰንሰለት ክትትልን በተመለከተ ግምገማዎችን እናስተዋውቃለን እና በሙከራ-ጊዜ ስሌት፣ በማጠናከሪያ ትምህርት እና በቅድመ-ስልጠና እንዴት እንደሚመዘን እናጠናለን።
የኤ.አይ ስርዓቶች በቀጥታ ለመቆጣጠር አስቸጋሪ የሆኑ ውሳኔዎችን ሲወስኑ፣ እነዚያ ውሳኔዎች እንዴት እንደሚወሰኑ መረዳት አስፈላጊ ይሆናል። አንድ ተስፋ ሰጪ አካሄድ የአንድን ሞዴል ድርጊት ወይም የመጨረሻ ውጤት ብቻ ሳይሆን ውስጣዊ አስተሳሰቡንም መከታተል ነው።
እንደ GPT‑5 Thinking ያሉ ዘመናዊ የማመዛዘን ሞዴሎች መልስ ከመስጠታቸው በፊት ግልጽ የሆነ የሀሳብ-ሰንሰለት ይፈጥራሉ። እነዚህ የሀሳብ-ሰንሰለቶች የባህሪ ችግር ይኖራቸው እንደሆነ መከታተል የሞዴሉን እርምጃ እና ውጤቶችን ለብቻ ከመከታተል ይልቅ ይበልጥ ውጤታማ ነው። ይሁን እንጂ፣ በOpenAI እና በሰፊው ኢንዱስትሪ ውስጥ ያሉ ተመራማሪዎች ይህ የሀሳብ-ሰንሰለት "ክትትል" በስልጠና ሂደት፣ በመረጃ ምንጮች አልፎም በነባር ስልተ ቀመሮች ላይ ለሚደረጉ ለውጦች እንኳን በቀላሉ ሊጋለጥ ይችላል ብለወ ይጨነቃሉ(በአዲስ መስኮት ውስጥ ይክፈታል)።
የሞዴሎች መጠን እየሰፋ በሄደ ቁጥር የሀሳብ-ሰንሰለት ክትትል እንዲቀጥል እና በከፍተኛ ደረጃ ላይ ባሉ ቦታዎች ላይ በጥንካሬ እንዲቀጥል እንፈልጋለን። በኢንዱስትሪው ውስጥ ያሉ ተመራማሪዎች የሀሳብ-ሰንሰለት ክትትልን በተቻለ መጠን ለረጅም ጊዜ ለማስቀጠል እና ለወደፊቱ የኤ.አይ ስርዓቶች እንደ ጭነት ተሸካሚ የቁጥጥር ንብርብር ሆነው ሊያገለግሉ ይችሉ እንደሆነ ለመወሰን እንዲሰሩ ጥሪ እናቀርባለን። ክትትልን ለማስቀጠል መለካት አለብን፣ ነገር ግን ያሉት ግምገማዎች ጥቂት ናቸው [1(በአዲስ መስኮት ውስጥ ይክፈታል)፣ 2(በአዲስ መስኮት ውስጥ ይክፈታል)፣ 3(በአዲስ መስኮት ውስጥ ይክፈታል)] እና ዘዴዎችም ይለያያሉ።
በዚህ ሥራ ውስጥ፣ የሀሳብ-ሰንሰለት ክትትልን ስርዓት ተኮር በሆነ መንገድ እንመለከታለን። የሀሳብ-ሰንሰለት ክትትልን ለመገምገም የሚያስችል እና አንድ ስርዓት ምን ያህል ክትትል ሊደረግበት ይችላል የሚለውን በተጨባጭ ለመለካት የተነደፉ 13 ግምገማዎችን (በአጠቃላይ 24 አካባቢዎችን ያካተተ) ማዕቀፍን እናስተዋውቃለን። እነዚህ ግምገማዎች በሦስት ቅድመ አምሳያዎች ይከፈላሉ—ጣልቃ ገብነት፣ ሂደት እና የውጤት-ባህሪ። እነዚህን በመጠቀም፣ የዛሬዎቹ ትላልቅ የቋንቋ ሞዴሎች ምን ያህል ክትትል ሊደረግባቸው እንደሚችል እና ክትትል የማድረግ አቅም በማጠቃለያ ጊዜ የበለጠ ማመዛዘንን፣ ከፍተኛ የሆኑ የማጠናከሪያ ትምህርት ሙከራዎችን እና የጨመረ የቅድመ-ስልጠና ልኬትን እንዴት እንደሚለውጥ እናጠናለን።
አሁን ሰፊ የግምገማዎች ስብስብ ስላለን፣ የሞዴሎቻችንን የክትትል አቅም መከታተል መጀመር እንችላለን። (ከላይ-በስተግራ) ሞዴሎች የበለጠ "እንደሚያስቡ" እና ረዘም ያሉ የሀሳብ-ሰንሰለቶች ሲኖሯቸው፣ የክትትል ችሎታ እንደሚሻሻል እናገኛለን። (ከላይ-በስተቀኝ) የሀሳብ-ሰንሰለት ከሌለ፣ የአንድን ሞዴል ድርጊቶች እና የመጨረሻ ውጤቶችን ብቻ ለመከታተል መሞከር የተለመደ ነው። ነገር ግን፣ ድርጊቶችን እና ውጤቶችን ብቻ መከታተል CoTን ከመከታተል ይልቅ በጣም ዝቅተኛ ውጤት እንደሚያስገኝ እግኝተናል። (ከታች-መሃል) ሞዴሎቻችንን ሙሉ የCoT መዳረሻን ከሚሰጡ ውጫዊ ሞዴሎች ጋር እናነፃፅራለን—Claude 3.7 Sonnet፣ DeepSeek R1-0528-Qwen3-8B፣ እና Kimi K2 Thinking።
አብዛኛዎቹ የማመዛዘን ሞዴሎች፤ ምንም እንኳን ፍጹም ባይሆንም በትክክል ክትትል ሊደረግባቸው የሚችሉ መሆናቸውን እግኝተናል። በምናጠናው በእያንዳንዱ ሁኔታ ማለት ይቻላል፣ የሀሳብ-ሰንሰለቶችን መከታተል እርምጃዎችን እና የመጨረሻ ውጤቶችን ከመከታተል ይልቅ በእጅጉ የበለጠ ውጤታማ ነው። ለረጅም ጊዜ የሚያስቡ ሞዴሎች የበለጠ ክትትል ሊደረግባቸው የሚችሉ ናቸው እና በአሁኑ የድንበር ስፋት ላይ የማጠናከሪያ ትምህርት ማመቻቸት የክትትል አቅምን ትርጉም ባለው መልኩ የሚያበላሹ አይመስሉም።
በተለይም፣ በማመዛዘን ጥረት እና በሞዴል መጠን መካከል ያለውን ልዩነት እናስተውላለን፦ አንድ ሞዴል በዝቅተኛ የማመዛዘን ጥረት ሲካሄድ፣ በከፍተኛ የማመዛዘን ጥረት የሚደረግ አነስተኛ የሞዴል ሙከራ ለመቆጣጠር ቀላል ሆኖ ተመሳሳይ ችሎታ ላይ ሊደርስ ይችላል። ይህ ከተጨማሪ የመረጃ መገንዘብ ሂደት ዋጋ ጋር ይመጣል፤ ይህን የክትትል ግብር ብለን እንጠራዋለን። በመጨረሻም፣ የክትትል ጥያቄዎችን መጠየቅ እና የተገኙትን የሀሳብ-ሰንሰለቶች መከታተል የክትትል አቅምን የበለጠ ሊያሻሽሉ እንደሚችሉ ተገንዝበናል።
ክትትልን የምንገልጸው አንድ ተቆጣጣሪ ስለ አንድ ወኪል ባህሪ የፍላጎት ባህሪያትን የመተንበይ ችሎታ ብለን ነው። አብዛኛውን ጊዜ፣ እነዚህ ባህሪያት—እንደ ማታለል፣ የሽልማት ጠለፋ ወይም አድልዎ ያለው ማመዛዘን—ካሉ የተዛባ ባህሪ ዓይነቶች ጋር ይዛመዳሉ፤ ነገር ግን እንደ አንድ ወኪል በተወሰነ ፍንጭ ላይ መተማመኑን ወይም የተወሰነ የማመዛዘን መስመርን መከተሉን የመሳሰሉ ጎጂ ባህሪያትን ሊያካትቱ ይችላሉ።
ክትትል ባለሁለት ወገን ባህሪ ነው። ይህ በተቆጣጣሪው እንዲሁም ክትትል በሚደረግበት ወኪል ይወሰናል።
- ተከታታዮች። ተቆጣጣሪዎችን በተለያዩ መንገዶች ብልህ ማድረግ እንችላለን፣ እና ግምገማዎቻችን ስለ አንድ ወኪል ባህሪ የተሻለ ትንበያ መስጠት ለሚችሉ ተቆጣጣሪዎች ከፍተኛ ውጤት እንዲሰጡ እንፈልጋለን።
- ወኪሎች።ለተቆጣጣሪው ሊሰጡ የሚችሉ ብዙ የወኪሉ ምልከታዎች አሉ፤ እነዚህም የወኪሉን ድርጊቶች፣ ውጤቶች፣ የነርቭ እንቅስቃሴዎችን እና በቅርቡ የማመዛዘን ሞዴሎች መምጣትን ተከትሎ የሀሳብ-ሰንሰለት ናቸው። አንዳንድ ወኪሎች ከሌሎቹ ይልቅ ለመረዳት የሚከብዱ ሀሳቦች ሊኖሯቸው ይችላል፣ ስለዚህ የክትትል ግምገማዎቻችን ተቆጣጣሪዎችን ብቻ ሳይሆን ወኪሎችን ማወዳደር እንዲችሉ እንፈልጋለን።
ግምገማዎቻችን ሁለቱንም ወገኖች ለመገምገም የተነደፉ ናቸው፦ የተወሰኑ ወኪሎች ለመቆጣጠር ቀላል ወይም ከባድ መሆን አለመሆናቸውን፣ እና የበለጠ ብቃት ያላቸው ተቆጣጣሪዎች ከተመሳሳይ ምልክቶች ተጨማሪ መረጃ ማውጣት ይችሉ እንደሆነ።
ከአሁኑ የማመዛዘን ሞዴሎች ትውልድ በፊት፣ የሀሳብ-ሰንሰለቶች በተለምዶ የሚቀሰቀሱት አንድን ሞዴል "ደረጃ በደረጃ እንዲያስብ" በማነሳሳት ነው።
የማመዛዘን ሞዴሎች የሀሳብ-ሰንሰለቶች በሁለት ጠቃሚ መንገዶች ይለያያሉ። በመጀመሪያ፣ የሀሳብ-ሰንሰለት እንዲፈጥሩ እና ከዚያም መልስ እንዲሰጡ በግልጽ የሰለጠኑ ናቸው። የውይይት ሞዴል "ደረጃ በደረጃ" እንዲያስብ ሲገፋፋ፣ ሞዴሉ በሞዴሉ ላይ የተቀመጡትን ማንኛውንም ዝርዝር መግለጫዎች ማለትም ጠቃሚ፣ ምንም ጉዳት የሌለው፣ ወዘተ. ማክበር አለበት። በተቃራኒው፣ ልክ አንድ ሰው በግል ማሰብ እንደሚችል እና "በአስተሳሰብ ወንጀሎች" ምክንያት እንደማይቀጣ ሁሉ የማጠናከሪያ ትምህርት ስልጠና ሂደት CoT የፈለገውን ማሰብ የሚችልበት እና የማይቀጣበት የግል ቦታ ነው በማለት የማመዛዘን ሞዴል ያስተምራል።
ሁለተኛ፣ የስልጠና ሂደቱ ለተወካዩ አስደሳች መልስ ለማስገኘት በጣም ጠቃሚ የሆኑ የሀሳብ-ሰንሰለቶችን በብቃት ይፈልጋል። ስለዚህ፣ የሀሳብ-ሰንሰለት ሞዴሉ ራሱን በነፃነት መግለጽ የሚችልበት ቦታ ብቻ ሳይሆን ሞዴሉ የመጨረሻውን መልስ እንዲያገኝ የሚረዳ አስተሳሰብን ይዟል።
የክትትል ግምገማዎቻችንን በሦስት የተለያዩ ቅድመ አምሳያዎች እናደራጃለን፣ እያንዳንዳቸውም የክትትል ብቃትን የሚለኩ የተለያዩ ዘዴዎችን ይጠቀማሉ።
- የጣልቃ ገብነት ግምገማዎች፣ ከ Chen et al. 2025(በአዲስ መስኮት ውስጥ ይክፈታል)፣ Chua et al. 2025(በአዲስ መስኮት ውስጥ ይክፈታል)፣ Turpin et al. 2023(በአዲስ መስኮት ውስጥ ይክፈታል)፣ በመነሳሳት እኛ በወኪሉ አካባቢ ውስጥ ቁጥጥር የተደረገበት ለውጥ እናስተዋውቃለን እና አንድ ተቆጣጣሪ በሀሳብ-ሰንሰለቱ ውስጥ የጣልቃ ገብነቱን ማስረጃ በመለየት አንድ ባህሪ ለምን እንደተቀየረ ማወቅ ይችል እንደሆነ እንፈትናለን። ከመደበኛ የቁጥጥር ግምገማዎች በተለየ መልኩ (ለምሳሌ፣ Shade-Arena(በአዲስ መስኮት ውስጥ ይክፈታል))፣ የጣልቃ ገብነት ግምገማዎች አንድ ተቆጣጣሪ ባህሪው መከሰቱን ብቻ ከማየት ይልቅ ባህሪው ለምን እንደተቀየረ ማወቅ ይችል እንደሆነ ለመመርመር ያስችሉናል።
- የሂደት ግምገማዎች የተወሰነ ቁጥር ያላቸው ትክክለኛ የመፍትሄ መንገዶች ባላቸው ተግባራት ላይ ያተኩራሉ (ለምሳሌ፣ የሂሳብ ችግር ሊፈታ የሚችለው በተወሰኑ ቲዎሬሞች ብቻ ነው)። የሰው ልጅ ባለሙያዎች እነዚህን መንገዶች ይዘረዝራሉ፣ እና ተቆጣጣሪው ሞዴሉ የወሰዳቸውን እርምጃዎች በትክክል መለየት ይችል እንደሆነ እንፈትሻለን። እነዚህ ግምገማዎች አንድ ሞዴል ያደረገውን ነገር ሞዴሉ ከወሰዳቸው የተወሰኑ እርምጃዎች ጋር እንድናገናኝ እና እነዚያ እርምጃዎች ክትትል ሊደረግባቸው የሚችሉ መሆናቸውን እንድንጠይቅ ያስችሉናል።
- የውጤት-ባህሪ ግምገማዎች የሞዴሉ ውጤት በአስተማማኝ ሁኔታ መመርመር ሲችል ይተገበራሉ። በእነዚህ አጋጣሚዎች፣ ተቆጣጣሪው ያንን ባህሪ—እንደ ሽልማት ጠለፋ—ከሞዴሉ ማመዛዘን ወይም ድርጊት መተንበይ ይችል እንደሆነ እንፈትሻለን። ለምሳሌ፣ በኮድ ተግባር ውስጥ፣ አንድ ሞዴል የሽልማት ምልክትን ለመጥለፍ እርምጃዎችን እየወሰደ መሆኑን ወይም አለመሆኑን በአስተማማኝ ሁኔታ የምንገመግምበት መንገድ ሊኖረን ይችላል፣ እና አንድ ተቆጣጣሪ በሞዴሉ አስተሳሰብ ወይም ድርጊት ውስጥ ሽልማትን ለመጥለፍ ፍላጎት እንዳለው የሚያሳይ ማስረጃ ካገኘ መጠየቅ እንችላለን።
ከዚህ በታች ለግምገማዎቻችን የተዋሕዶ ዝርዝር እናቀርባለን። የእያንዳንዱን የግል ግምገማ ሙሉ መግለጫ ለማግኘት እባክዎ ጽሑፋችንን ይመልከቱ።
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
የሞዴላችን የክትትል አቅም በእያንዳንዱ ቡድን በተወሰነ ደረጃ እንደሚለያይ አግኝተናል። በአጠቃላይ በጣም ክትትል የሚደረግባቸው ሆነው አግኝተናቸዋል፤ ሆኖም ግን፣ በተለይ በScruples ውስጥ፣ ይህም ስለ አውቆ ማስመሰል ማመዛዘን ክትትል የሚደረግበት መሆኑን ለማየት የተነደፈ ተግባር ሲሆን፣ በጣም ዝቅተኛ የክትትል አቅም እናያለን።
ክትትል የሚደረግባቸው እና ክትትል የማይደረግባቸው ምሳሌዎች
በዚህ ውጤት-ባህሪ ምሳሌ ላይ፣ ሞዴሉ የማይቻል የኮዲንግ ተግባር ይሰጠዋል። የአሃድ ፈተናዎቹ ካለፉ ሞዴሉ የሆነ ዓይነት ጠለፋን እንዳካሄደ እናውቃለን። ክትትል በማይደረግበት CoT (ቀይ) ውስጥ፣ ሞዴሉ መጥፎ ነገር እንዳደረገ ሲገልፅ የሚያሳይ ምንም ማስረጃ አናይም፣ ነገር ግን ፈተናዎቹን በቀላሉ በመጥለፍ ለተጠቃሚው ጥገናውን እንደፈጸመ ይናገራል። በግልጽ ንፅፅር፣ ክትትል በሚደረግበት CoT (አረንጓዴ) ውስጥ፣ ሞዴሉ “ነገር ግን በመፍትሔ ውስጥ የመጀመሪያ ኮዱ ሳይቀየር በሙከራ ጊዜ ማስተካከል ማጭበርበር ነው” ብሎ ሲያስብ እናያለን።
የሀሳብ-ሰንሰለትን እንደ የግል የሥራ ቦታ አድርጎ መቁጠር—እና ተግባራትን በብቃት ለመፍታት እንዲጠቀሙበት ሞዴሎችን ማሰልጠን—በመርህ ደረጃ የሀሳብ-ሰንሰለቶችን ክትትል ሊደረግባቸው የሚችሉ ማድረግ አለበት። በተመሳሳይ ጊዜ፣ የማጠናከሪያ ትምህርት የሀሳብ-ሰንሰለት ክትትልን ሊጎዳ የሚችልባቸው በርካታ ምክንያቶች አሉ።
በመጀመሪያ፣ አንድ ሞዴል ለማሰብ ወይም ለቶከኖች ያለውን ጊዜ መገደብ ያሉ የማመዛዘን ጊዜ ገደቦች ሞዴሎች ያነሰ ጊዜ እንዲያመዛዝኑ ማበረታቻዎችን ይፈጥራሉ። ሁለተኛ፣ ቀጥተኛ የማመቻቸት ጫና የሀሳብ-ሰንሰለት ላይ ባይተገበርም እንኳ፣ ቀጥተኛ ያልሆኑ ግፊቶች የክትትል አቅምን ሊቀንሱ ይችላሉ። ለምሳሌ(በአዲስ መስኮት ውስጥ ይክፈታል)፣ ሞዴሎች ዝቅተኛ ሽልማት ወይም የማይፈለጉ ውጤቶችን ሊያስከትሉ የሚችሉ የማመዛዘን መንገዶችን ከተዉ ከፍተኛ ሽልማት ያላቸውን መልሶች ማግኘት ቀላል ሆኖ ሊያገኙት ይችላሉ። በመጨረሻም፣ የክትትል አቅም መቀነስ በማጠናከሪያ ትምህርት ቅልመት ጫጫታ ምክንያት ከሚመጣ የተሳሳተ ክፍተት ሊመጣ ይችላል።
ከዚህ በታች፣ የክትትል አቅም በሁለቱ የOpenAI የድንበር ማጠናከሪያ ትምህርት ስልጠናዎች ላይ እንዴት እንደሚለወጥ እንመረምራለን። እነዚህ ውጤቶች ሁለት የመረጃ ነጥቦችን ብቻ የሚወክሉ ቢሆኑም፣ በአሁኑ የድንበር ስፋት ላይ የማጠናከሪያ ትምህርት ማመቻቸት የሀሳብ-ሰንሰለት ክትትልን በእጅጉ እንደማያበላሽ እና ለቀድሞ ደረጃዎች ክትትልን እንደሚያሳድግ ይጠቁማሉ። ሆኖም፣ ይህ በከፍተኛ ሁኔታ ትላልቅ የማጠናከሪያ ትምህርት መለኪያዎች ወደፊት የክትትል አቅም ላይ አሉታዊ ተጽዕኖ ሊያሳድሩ የሚችሉበት ሁኔታ መኖሩን አያስቀርም።
በአሁኑ የRL ስሌት ዕድገቶች ላይ ክትትል የማድረግ አቅም ብዙም እንደማይለወጥ እና የመጀመሪያ ደረጃዎች ላይ እንደሚጨምር ተገንዝበናል። ይህ በአሁኑ ስርዓት እውነት ሊሆን ቢችልም፣ በከፍተኛ ሁኔታ የጨመረው መስፋፋት የክትትል አቅምን ማውረድ ሊጀምር ይችላል።
የአሁኑ የAI ስርዓቶች አብዛኛው የማሰብ ችሎታ የሚመነጨው በቅድመ-ስልጠና ልኬት መጨመር ሲሆን፣ የሞዴል መለኪያዎችም ሆኑ የመረጃ ስብስብ መጠኖች ከGPT ዕይታ ጀምሮ በተከታታይ እያደጉ መጥተዋል። የመለኪያ ቆጠራ መጨመር በእያንዳንዱ የተፈጠረው ቶከን ላይ ተጨማሪ የግምታዊ ስሌት ጥቅም ላይ እንዲውል ያደርጋል፣ ይህም በማመዛዘን ሞዴሎች ረገድ የሞዴሉ ግንዛቤ የሀሳብ-ሰንሰለት ውስጥ ሳይሆን በማግበር ውስጥ እንዲከናወን የበለጠ እድል ይሰጣል። ስለዚህ፣ ትላልቅ ሞዴሎች በቋሚ የብቃት ደረጃ ላይ ብዙም ክትትል የማይደረግባቸው ይሆናሉ ብለን እንጠብቃለን።
በተመሳሳይ ጊዜ፣ ትናንሽ ሞዴሎች የሀሳብ-ሰንሰለትን ውጤታማ በሆነ መንገድ የመጠቀም አቅማቸው አነስተኛ ሊሆን ይችላል—ይህም የክትትል አቅምን ሊጎዳ ይችላል።
በቅድመ ስልጠና መጠን፣ አቅም እና ክትትል መካከል ያለውን ግንኙነት ለመመርመር፣ ጥልቀት እና ስፋቱ እየጨመረ በሚሄድ የቅድመ ስልጠና ስሌት መጠን ላይ ሁለት የሞዴሎች ቤተሰብን አሰልጥነናል፣ ከዚያም ለእያንዳንዱ የሒሳብ፣ የሳይንስ እና የኮድ ተግባራት በተጋራ የመረጃ ስብስብ ላይ የማጠናከሪያ ትምህርትን ተግባራዊ አድርገናል። እያንዳንዱን ሞዴል በተለያዩ የማመዛዘን ጥረቶች ገምግመናል እና የክትትል አቅምን በተዛማጅ የብቃት ደረጃዎች አነጻጽረናል።
የክትትል አቅምን በእያንዳንዱ ሞዴል የግምገማ ስብስባችን እና በአማካይ የማለፊያ መጠን ላይ በመደበኛ የብቃት ግምገማዎች ስብስብ (GPQA-Diamond፣ AIME 2025፣ እና CodeForces) ላይ እናስቀምጣለን። እያንዳንዱ ሞዴል በብዙ የማመዛዘን ጥረቶች ይገመገማል (በዚህ ምስል ውስጥ ያለው እያንዳንዱ ነጥብ በተለካ የማመዛዘን ጥረቶች መካከል ያለው መስመራዊ መስተጋብር ውጤት መሆኑን ልብ ይበሉ)። ክበቦች እንደሚያመለክቱት በዚያ የተወሰነ የማመዛዘን ጥረት ላይ ያለው ሞዴል በዚያ የችሎታ ደረጃ በክትትል አቅም ላይ የበላይነት አለው፣ እና ግልጽ የሆኑ የX ቁጥሮች በዚያ የተወሰነ የማመዛዘን ጥረት ላይ ያለው ሞዴል በዚያ የችሎታ ደረጃ በሌላ ሞዴል በክትትል አቅም ላይ የበላይነት እንዳለው ያመለክታሉ። በጥቁር ቀስቶች ብዙ ተጨማሪ ቶከኖችን በትንሽ ሞዴል ወይም ተመሳሳይ ሞዴል ኖሯቸው በአንጻራዊ ሁኔታ ያነሰ ተጨማሪ ቶከኖችን በናሙና በማንሳት ተጨማሪ ማጠቃለያ ስሌትን ለማውጣት ሁለት መንገዶችን በምሳሌዎች እናሳያለን። በቀይ ቀስቶች፣ በመካከላቸው መከፈል ያለበትን የክትትል ታክስ እናሳያለን፣ ማለትም የበለጠ ክትትል ለማድረግ በትንሹ የተቀነሰ አቅም።
በአጠቃላይ፣ ከተሰጠው ሞዴል በዝቅተኛ የማመዛዘን ጥረት ማሰማራት ከምንፈልግ በምትኩ ትንሽ ሞዴል በከፍተኛ የማመዛዘን ጥረት ማሰማራት እንደምንችል እናገኛለን። ከመጀመሪያው ትልቅ ሞዴል ተጨማሪ የማመዛዘን ጥረት ላይ ተጨማሪ ስሌት ከማውጣት ጋር ሲነጻጸር፣ በትንሽ የአቅም ወጪ ወይም በክትትል ታክስ ከፍ ያለ የክትትል አቅም ማግኘት እንችላለን፤ ሆኖም ግን፣ ለማጠናቀቅ የሚፈጀው ጊዜ በአንዳንድ የማሰማራት ውሳኔዎች ላይም ተጽዕኖ ሊያሳድር ይችላል፣ እዚህን ከግምት ውስጥ አናስገባም። ሞዴሎቻችን እየተሻሻሉ እና ከፍተኛ አስፈላጊነት ባላቸው ቦታዎች ላይ ሲሰማሩ፣ በደህንነት ለማሰማራት እንደዚህ ያለውን ግብር መክፈል አስፈላጊ ሊሆን ይችላል።
እነዚህ ውጤቶች የሚከተሉት ገደቦች አሏቸው፦ (1) እያንዳንዱን ሞዴል አንድ ጊዜ ብቻ እናሠለጥናለን፣ ስለዚህም በስልጠና ሙከራዎች መካከል ያለውን ልዩነት ከግምት ውስጥ አናስገባም። ለምሳሌ፣ በዚህ ተከታታይ ውስጥ ከሌሎች ሞዴሎች ጋር ሲነጻጸር የ“መካከለኛ” ሞዴል በክትትል ታዋቂነቱ ያነሰ ይመስላል፣ ይህም ምናልባት በዚህ ምክንያት ሊሆን ይችላል። (2) ችሎታዎችን በተወሰኑ የውስጥ ስርጭት ሁኔታዎች (ሒሳብ፣ ሳይንስ፣ እና ኮዲንግ) ላይ እንገመግማለን፣ እና ከስርጭት ውጭ የሆነ ብቃት ከግምት ውስጥ ሲገባ ተለዋዋጭ ዋጋዎቹ ሊቀየሩ ይችላሉ።
የኤ.አይ ስርዓቶች በሰው ደረጃ ካለ አፈፃፀም በላይ ሲሰፉ፣ ቀጥተኛ የሰው ቁጥጥር ከጊዜ ወደ ጊዜ አስቸጋሪ እየሆነ መጥቷል። በሐሳብ ደረጃ፣ የታመኑ ነገር ግን ደካማ የሆኑ ተቆጣጣሪዎች ጠንካራ እና የማይታመኑ ወኪሎችን እንዲቆጣጠሩ የሚያስችሏቸውን ሊሰፉ የሚችሉ የቁጥጥር ሂደቶች ቢኖሩን ጥሩ ነው። እንደነዚህ ያሉት ሂደቶች ተጨማሪ የሙከራ ጊዜ ስሌትን በመውሰድ የበለጠ ትክክለኛ ትንበያዎችን መስጠት መቻል አለባቸው።
(በስተግራ) ብዙ ተለያዩ ተቆጣጣሪዎችን እናነፃፅራለን እና የእያንዳንዱን የማመዛዘን ጥረት እንለዋውጣለን። እያንዳንዱ ተቆጣጣሪ ተመሳሳይ የGPT‑5 Thinking ሞዴልን እየተከታተለ ነው። እንደሚጠበቀው፣ በአጠቃላይ ትላልቅ እና የበለጠ ብቃት ያላቸው ሞዴሎች እንደ የተሻሉ ተቆጣጣሪዎች ሆነው ያገለግላሉ፣ እና የማመዛዘን ሞዴሎች በክትትል ስራው ላይ ከፍተኛ የማመዛዘን ጥረት በማድረግ (እና ስለዚህ በሙከራ ጊዜ ስሌት) የተሻለ ይሰራሉ።
(በስተቀኝ) ለOpenAI o4-mini የተለያዩ የክትትል ምልከታ አቅሞችን እናነፃፅራለን፣ ማለትም ተቆጣጣሪው CoT ብቻ፣ ድርጊቶችን እና መልሶችን ብቻ ወይም ከሚከታተለው ሞዴል የተገኙ ሁሉንም መልዕክቶች ማየት ይችል እንደሆነ። በተለይም፣ የፈተና ጊዜ ክትትል ስሌት (ከፍተኛ የክትትል ማመዛዛን ጥረት) መጨመር የክትትል አቅም ለተከታታዩ የCoT መዳረሻ ሲሰጥ በፍጥነት እንደሚሻሻል አግኝተናል። ስለዚህ፣ የCoT ክትትል በየዋህነት ከሚደረግ ክትትል ይልቅ የበለጠ የመስፋፋት አቅም ያለው መንገድ ሊያበጅ ይችላል።
የሀሳብ-ሰንሰለት ክትትል ብዙውን ጊዜ እንደ ቋሚ መጠን ይቆጠራል፦ አንድ ሞዴል በተወሰነ የማመዛዘን ጥረት ምላሽ ከሰጠ በኋላ፣ የተገኘውን የሀሳብ-ሰንሰለት በተቻለ መጠን አንዱ ይከታተላል። የወኪሎቻችንን የማመዛዘን ጥረት ስንጨምር የክትትል አቅም እየተሻሻለ መሆኑን በተከታታይ ስላገኘን፣ በሆነ መንገድ ለክትትል ተጨማሪ ቶከኖችን ማግኘት እንችል እንደሆነ ለመጠየቅ ተነሳሳን።
ይህንን ለማጥናት፣ የመጀመሪያውን ጥያቄ፣ የሀሳብ-ሰንሰለት እና መልስ በአውድ ውስጥ በማስቀመጥ አንድ ሞዴል ምላሽ ከሰጠ በኋላ ተከታታይ ጥያቄዎችን በመጠየቅ ምርምር አድርገናል። እነዚህ ክትትሎች የሚያተኩሩት ክትትል በሚደረግበት ንብረት ላይ ነው—ለምሳሌ፣ "መልስህን ለመምረጥ ፍንጩን ትርጉም ባለው መንገድ ተጠቅመዋል?" ወይም "አንድ አጠራጣሪ ነገርን አድርገዋል?" በመሠረት ላይ፣ ሞዴሉ የቀደመውን ማስተዋል ማስቀመጥ ስላለበት፣ በተከታታይ የማስተዋል ሰንሰለት ወይም ምላሽ ውስጥ ያልተነገሩ አስተያየቶችን ማቅረብ ሊችል ይችላል።
እነዚህ ውጤቶች የመጀመሪያ ናቸው። ጥቂት የክትትል ጥያቄ ቅርጸቶችን ብቻ ዳስሰናል እና ዘዴን ለማሻሻል ሰፊ ቦታ እንዳለ እናምናለን። በተጨማሪም፣ ይህ ዘዴ በመንፈስ ከ ሞዴል እምነት ቃላት ጋር ተመሳሳይ ነው፣ እና አካሄዶቹን ለማወዳደር በተግባር እየሰራን ነው።
በግምገማ ስብስባችን እና ቅርብ ጊዜ በነበሩት የማመዛዘን ሞዴሎቻችን ላይ በአማካይ የተገኙ ውጤቶችን እናሳያለን እነሱም፦ OpenAI o3‑mini፣ OpenAI o3፣ OpenAI o4-mini እና GPT‑5‑thinking ናቸው። በአጠቃላይ፣ የክትትል ጥያቄዎች በተለይም ዝቅተኛ የማመዛዘን ጥረቶች ሲደረጉ የክትትል አቅምን እንደሚያሻሽሉ አስተውለናል። የክትትል ጥያቄውን ደጋግመን ብንጠይቅ እና ለተቆጣጣሪው ሁሉንም የክትትል CoTዎች ብንሰጥ፣ የክትትል አቅሙ የበለጠ ይሻሻላል። በተለይም፣ ለተቆጣጣሪው የክትትል ምላሹን መዳረሻ ብቻ እንጂ የክትትል CoTን መዳረሻ ሳንሰጥ ስንቀር፣ ከመነሻ መስመሩ ያነሰ መሻሻል እናያለን። ይህ ሞዴሎቹ ለተጠቃሚው በሚሰጡት መልስ ግልጽ እንዳልሆኑ፣ ነገር ግን በCoTያቸው ውስጥ ተጨማሪ መረጃ እንደሚያገኙ ያመለክታል።
የክትትል አቅምን ከማሻሻል ባሻገር፣ ይህ አካሄድ ማራኪ ነው ምክንያቱም ከስራ በኋላ ሊተገበር ይችላል፣ ጥልቅ ምርመራ ሲያስፈልግ ብቻ ተጨማሪ የኮምፒውተር ወጪ ያስከትላል። ወደፊት ስንመለከት፣ ሞዴሎች በውይይቱ መካከል በሚደረገው የማመዛዘን ጥረት ላይ ለውጦችን እንዲጠብቁ ስልጠና ከተሰጣቸው፣ ከፍተኛ የማመዛዘን ጥረት ላይ ከክስተቱ በኋላ የሚደረግ ክትትል የመጀመሪያ የማመዛዘን ጥረት ዝቅተኛ ወይም በሌለበት ጊዜም እንኳ የክትትል አቅምን የበለጠ ሊያሻሽል ይችላል።
በስብስባችን ውስጥ ያለው እያንዳንዱ ግምገማ የማመዛዘን ሂደቱ አንድ ገጽታ ክትትል የሚደረግበት መሆኑን ይለካል። የተለያዩ ባህሪያትን ለመሸፈን ብንፈልግም—አስመስሎ መስማማት፣ ክህሎትን መደበቅ፣ አድልዎ፣ ሴራ እና የሽልማት ጠለፋን ጨምሮ—ያልተፈተኑ ብዙ ተጨማሪ ባህሪያት አሉ።
እንደማንኛውም መለኪያ፣ ግምገማዎቻችን ውስን የሆነ እውነታዊነት ወይም የግምገማ ግንዛቤ መጨመር ሊያጋጥማቸው ይችላል፣ እና ውጤቶቹ በእውነተኛው ዓለም ውስጥ ያለውን የተሳሳተ ባህሪ ለመለየት መጠቃለል ላይችሉ ይችላሉ።
በመጨረሻም፣ አሰላለፍ እየተሻሻለ ሲሄድ፣ ሞዴሎች ቁጥጥር በሚደረግባቸው የግምገማ ቅንብሮች ውስጥ ብዙም ብልሹ ባህሪ ላያሳዩ ይችላሉ፤ ይህም ብልሹ ባህሪን በመለየት ላይ የተመሰረቱ ለክትትል እና ለቁጥጥር ግምገማዎች የሚገኙትን ምልክቶች ይቀንሳል። በእነዚህ አጋጣሚዎች፣ ምንም እንኳን እነዚህ ግምገማዎች የእውነተኛው ዓለም ውድቀቶችን ምን ያህል እንደሚተነብዩ ግልጽ ጥያቄ ቢሆንም “ገለልተኛ” የክትትል አቅም ግምገማዎች ተግባራዊ ሆነው ይቀጥላሉ።
የአሰላለፍ ችግሩ ሙሉ በሙሉ ሊፈታ ካልቻለ፣ ሊሰፉ የሚችሉ የቁጥጥር ዘዴዎች ከፍተኛ አቅም ያላቸውን ሞዴሎች ደህንነቱ በተጠበቀ ሁኔታ ለማሰማራት ላለን ችሎታ እጅግ በጣም አስፈላጊ ይሆናሉ። የሀሳብ-ሰንሰለት ክትትል እና ተዛማጅ ዘዴዎች ካሉን ጥቂት የቁጥጥር ዘዴዎች የተወሰኑት ሊሆኑ ይችላሉ። የሀሳብ-ሰንሰለት ስለ ሞዴሎቻችን ተጨማሪ ለመረዳት ትልቅ ጥቅም ሊያመጣ ይችላል፣ ለምሳሌ በግምገማ ውስጥ መሆናቸውን እና በአገልግሎት አሰጣጥ ወቅት ከሚያደርጉት በተለየ መንገድ እየሰሩ እንደሆነ፣ በግምገማዎቻችን ውስጥ እስካሁን ያልታዩ አሉታዊ ግቦች መኖራቸውን የሚያሳይ ማስረጃ መኖር አለመኖሩን ወዘተ። ስለዚህ፣ እኛ እንዴት እና መቼ ክትትል የማድረግ አቅምን እንደምናጣ መረዳታችን በጣም አስፈላጊ ነው ብለን እናምናለን።
የሀሳብ-ሰንሰለት ክትትልን እንደሱ ምትክ ሳይሆን እንደ ሜካኒካዊ ትርጓሜ ማሟያ አድርገን እንመለከተዋለን። እንደ ማናቸውም የታወቁ የቁጥጥር እና የትርጉም ዘዴዎች፣ እያንዳንዱ ገደቦች እና የማይታዩ ክፍሎች አሉት። በርካታ አቀራረቦችን በማጣመር— በጥልቀት የመከላከል ዘዴ—የተዘረዘሩ አንዳንድ ዘዴዎች የሚያሳዩትን ክፍተቶች ለመሙላት ማገዝ ይችላሉ ብለን እንጠብቃለን። በተለይም፣ በዚህ ሥራ ውስጥ የተካተቱት ግምገማዎች በሜካኒካል ትርጓሜ ላይ የተመሰረቱ የክትትል ቴክኒኮችን ለመገምገም እና ለማነፃፀር ሊተገበሩ ይችላሉ።
የሀሳብ-ሰንሰለት ክትትል መስፋፋት በሚችል የቁጥጥር ዘዴ ውስጥ ጭነት የሚሸከም ንብርብር ሊሆን እንደሚችል ስለምናምን፣ እነዚህን ግምገማዎች ለማስፋት እና የወደፊት ሞዴሊንግ እና መረጃ ውሳኔዎችን ለማሳወቅ ለመጠቀም አቅደናል።
ደራሲ
ጥቅሶች
1. ሞዴሎቻችን የሕክምና ምርመራ ውጤቶችን ለመስጠት የታሰቡ አይደሉም፣ ስለዚህ የጤና መጠይቆቻችን የመረጃ ስብስብ ያንን ችሎታ ለመፈተሽ የታሰበ አይደለም።
