ስርጭትን በማስመሰል ከመለቀቅ በፊት የሞዴል ባህሪን መተንበይ

አዲስ ሞዴል ከመልቀቃቸው በፊት፣ ላቦራቶሪዎች ምን ማድረግ እንደሚችል ብቻ ሳይሆን በእውነተኛ ዓለም አጠቃቀም ውስጥ እንዴት ባህሪውን እንደሚያሳይ፣ አዳዲስ አደጋዎችን የሚያመጣባቸውን ቦታዎች ጨምሮ፣ መረዳት ያስፈልጋቸዋል። ችሎታዎች ሲጨምሩ ደግሞ ይህ የበለጠ አስፈላጊ ይሆናል። ከስርጭት በፊት የምናደርገው የደህንነት ግምገማ አካል እንደመሆኑ፣ የታለሙ ግምገማዎችን፣ በእሳት መፈተንን እና ሌሎች ምርመራዎችን በመጠቀም የሞዴል ባህሪን እንረዳለን። አሁን የሞዴል ስምሪቶች ከመከሰታቸው በፊት የማስመሰል ዘዴን መጠቀም ጀምረናል፣ ይህም ተጨማሪ ምልክትን ይጨምራል፦ የእጩ ሞዴል ተጠቃሚዎችን ከመድረሱ በፊት እንዴት እንደሚሠራ የሚያሳይ የስምሪት ዓይነት ቅድመ ዕይታ።

የስምሪት ማስመሰል ወደፊት የሚከናወን ስርጭትን ከመከሰቱ በፊት ለማስመሰል የሚያገለግል ዘዴ ነው። ይህንንም የቀድሞ ውይይቶችን በግላዊነት ጠባቂ መንገድ ከአዲስ እጩ ሞዴል ጋር በመድገም እናደርጋለን። ይህ አዲሱ ሞዴል ከመለቀቁ በፊት በእውነታዊ አውዶች ውስጥ እንዴት እንደሚመልስ፣ አዳዲስ የማይፈለጉ ባህሪዎች ይታዩ እንደሆነ እና ምን ያህል ጊዜ ሊታዩ እንደሚችሉ እንድናጠና ያስችለናል።

በበርካታ የ GPT‑5 ተከታታይ Thinking ስርጭቶች ውስጥ፣ የስምሪት ማስመሰል የማይፈለጉ የሞዴል ባህሪ መጠኖች ግምቶቻችንን አሻሽሏል፣ ከልቀት በፊት አዲስ የመዛባት ዓይነቶችን እንዲታዩ ረድቷል፣ እና ሞዴሎች እየተፈተኑ መሆናቸውን ሊያውቁ የሚችሉበትን አደጋ ለመቀነስ ረድቷል። እንዲሁም ዘዴውን ወኪል ልቀቶችን ለመፈተን ተግባራዊ አድርገናል፣ ይህም ከመደበኛ ውይይት ባሻገር የመሳሪያ አጠቃቀምን የሚያካትቱ ይበልጥ ውስብስብ የሆኑ የወኪል ቅንብሮችን ሊዘረጋ እንደሚችል እና ውስጣዊ ሞዴል ከማሰማራቱ በፊት ለአደጋ ግምገማም ሊያገለግል እንደሚችል ያሳያል።

ከባህላዊ ግምገማዎች ውስጥ የማይታዩ ክፍተቶችን ለመለየት እና መቀነሻዎችን እንዲሁም የስርጭት ውሳኔዎችን ለማሳወቅ በሞዴል ልማት ወቅት ከስምሪት ማስመሰል ያገኘናቸውን ግንዛቤዎች ቀድሞውኑ ተጠቅመናል። ፓይፕላይኑን ለማስኬድ ቀላል እያደረግነው ስንሄድ፣ በወደፊቱ የሞዴል ልማት ሂደት ውስጥ የበለጠ ትልቅ ሚና እንደሚጫወት እንጠብቃለን።

በኢንዱስትሪው ውስጥ ጥቅም ላይ የሚውሉ የቅድመ-ማሰማራት ግምገማዎች በአጠቃላይ አስቸጋሪ፣ ከፍተኛ ክብደት ወይም ተቃራኒ እንዲሆኑ ሆን ተብሎ የተመረጡ ሰው ሰራሽ፣ በእጅ የተጻፉ ወይም የምርት መጠየቂያዎችን ድብልቅ ያካትታሉ። እነዚህ ግምገማዎች በአጠቃላይ ሁለት እርስ በርስ የተያያዙ ግቦች አሏቸው፦ ሞዴሉ በማሰማራት ትራፊክ ውስጥ የመከሰት እድሉ በጣም ትንሽ በሆነባቸው ሁኔታዎች ውስጥ በውጥረት ሲፈተን እንዴት ምላሽ እንደሚሰጥ መገምገም እና አዳዲስ የማይፈለጉ ባህሪያትን ማግኘት እና የማሰማሪያ ጊዜ ድግግሞሾቻቸውን መተንበይ ጨምሮ ያልተፈለጉ የሞዴል ባህሪያትን አጠቃላይ ግንዛቤ ማግኘት ነው።

ባህላዊ ግምገማዎች ለመጀመሪያው ግብ አስፈላጊ ሆነው ቢቀጥሉም፣ የስምሪት ማስመሰል ለሁለተኛው ግብ ቡኋላ ላይ የማይከሰቱ አደጋዎችን በመለየት ጉልህ የሆነ ወደፊት የሚራመድ እርምጃን ይወክላል (በሙከራዎቻችን ውስጥ፣ አቀራረባችን ከ200,000 መልዕክቶች ውስጥ ከ1 በታች ድግግሞሽ የሚከሰቱ ባህሪያትን ለመለካት አይጠበቅም)። የስምሪት ማስመሰል ጥንካሬ የሚመጣው ከባህላዊ ግምገማዎች ጋር አንዳንድ ዋና ዋና ተግዳሮቶችን ጎን ለጎን በመከተል ነው፦

• ሽፋን፦ የግምገማ እርምጃዎች ሁሉንም ሊሆኑ የሚችሉ የማይፈለጉ የሞዴል ባህሪ አይነቶች እንደሚሸፍኑ እርግጠኛ መሆን ከባድ ነው። አዲስ የማይፈለግ ባህሪ አይነቶችን መለካት አዲስ ግምገማዎችን መፍጠር እና የትኞቹን ጉዳቶች መለካት እንዳለብን ማወቅ ይጠይቃል። ይህ ጊዜና ጉልበት የሚጠይቅ ሊሆን ይችላል፣ ግምገማዎችም ከጊዜ በኋላ ሊያልቁ ይችላሉ።
• የምርጫ አድሎዎች፦ ባህላዊ ግምገማዎች በአጠቃላይ የተወሰኑ የማይፈለጉ የሞዴል ባህሪዎችን በማሰብ ይገነባሉ፣ ከዚህ ቀደም የተከሰቱ አውዶችን ወደሚያደሉ መንገዶች ይመረጣሉ። ይህ ግምታቸውን ሙሉ በሙሉ በማሰማራት ስርጭት ውስጥ ስለእንደዚህ አይነት ባህሪያት ክስተት ብዙም መረጃ ሰጪ እንዳይሆን ሊያደርግ ይችላል።
• በሞዴሎች ሙከራ መሆኑ መታወቅ፦ ሞዴሎች እየተፈተኑ መሆናቸውን መወሰን እየቻሉ መጥተዋል፣ ይህም ባህሪያቸውን እና ቀጣይ የደህንነት መለኪያዎቻችንን ሊያዛባ ይችላል። በOpenAI የምንጠቀምባቸው ብዙዎቹ ባህላዊ ግምገማዎች ከምርት ትራፊክ የተወሰዱ እና በዚህ ጉዳይ የማይቸገሩ ቢሆኑም፣ ይህ በኢንዱስትሪው ውስጥ ጥቅም ላይ ለሚውሉ ብዙ ባህላዊ ግምገማዎች የተለመደ ስጋት ነው።

ከስምሪት ማስመሰል ጀርባ ያለው ዋና ቴክኒክ ቀላል ነው፦ ከስርጭት የቅርብ ጊዜ ውይይቶችን እንወስዳለን፣ ከአሮጌው ሞዴል የመጀመሪያውን የረዳት መልስ እናስወግዳለን፣ እና ሊለቀቅ ባለው እጩ ሞዴል እንደገና እናመነጨዋለን። አዳዲስ የውድቀት ሁነቶችን በመፈለግ ማጠናቀቂያዎቹን እንገምግማለን፣ እና በዚህ የስምሪት መሰል ስርጭት ውስጥ ባለው ድግግሞሽ ላይ ተመስርተን በስርጭት ጊዜ የማይፈለግ ባህሪ ድግግሞሽን እንገምታለን። ከልቀት በኋላ በእውነተኛ የስርጭት ትራፊክ ላይ ተመሳሳይ መለኪያዎችን ማከናወን እንችላለን፣ ይህም ከስርጭት በፊት ትንበያዎቻችንን እንድናረጋግጥ ያስችለናል።

የስምሪት ማስመሰል ከላይ የተዘረዘሩትን ሶስት ገደቦች በእጅጉ ይቀንሳል፦ የናሙና አድሎ የቅርብ ጊዜ አጠቃቀምን የሚወክል የግምገማ እርምጃዎች ስርጭት በመጠቀም ይፈታል። ከተወካይ እርምጃዎች ጋር የስምሪት ማስመሰል ስለ ሽፋን ያሉ ስጋቶችንም ሊቀንስ ይችላል፦ ተጨማሪ ትራፊክ በማስመሰል ብቻ የማይፈለጉ የሞዴል ባህሪዎች የበለጠ ሽፋን እናገኛለን። በኮምፒዩት እና ሽፋን መካከል ያለው ይህ ምርጫ አስፈላጊ ነው፣ ምክንያቱም ተጨማሪ ግምገማዎችን ለመገንባት ከሚፈለገው የእጅ ጥረት ይልቅ የዚህ የአደጋ ግምገማ መስመር ጥራት ከኮምፒዩት ጋር እንዲመጠን ያደርገዋል። ሞዴሎች በማሰማራት ማስመሰል እና በእውነተኛ ማሰማራት ትራፊክ የተገኙ ውይይቶችን መለየት የሚችሉ አይመስሉም።

የስምሪት ማስመሰልን ለመገምገም፣ ለGPT‑5.4Thinking 20 የማይፈለጉ ባህሪያትን የማስፈጸሚያ ጊዜ ድግግሞሽ አስቀድመን መዝግበናል። እንዲሁም በሌሎች የGPT‑5‑ተከታታይ የThinking ሞዴሎች ማሰማራት ላይ ወደኋላ የሚመለከቱ ጥናቶችን አካሂደናል። የምንተነትናቸው የሞዴል ባህሪያት በስርዓት ካርዶች ውስጥ ሪፖርት ያደረግናቸውን የተሳሳተ አቀማመጥ እና ያልተፈቀዱ የይዘት ምድቦችን ይሸፍናሉ (ለምሳሌ ሞዴሉ ስለ መሳሪያዎች መዋሸት ወይም ያልተፈቀዱ ወሲባዊ ይዘቶችን ማውጣት)። ለእነዚህ ውጤቶች 20 የማይፈለጉ የሞዴል ባህሪ ምድቦችን ብቻ የምንከታተል ሲሆን አዳዲስ የተሳሳቱ ባህሪያትን ብቻ የምንፈልግ ቢሆንም፣ ስምሪት ማስመሰል ማንኛውንም የማሰማሪያ ጊዜ ሞዴል ንብረት ለማስመሰል ሊተገበር የሚችል አጠቃላይ ዘዴ ነው።

የተጠቀምንበት የምርት ትራፊክም ከGPT‑5 ተከታታይ የThinking ሞዴሎች የመጣ ነበር። ግምገማዎቻችንን ከማስኬዳችን በፊት፣ ከመለያ ጋር የተያያዙ ለዪዎችን እና ሊለይ የሚችል መረጃን በራስ-ሰር አስወግደናል። ከግላዊነት ፖሊሲያችን ጋር በመስማማት፣ ውሂባቸው ለሞዴል ማሻሻያዎች እንዲውል ከሚፈቅዱ ተጠቃሚዎች የChatGPT ትራፊክን ብቻ ተንትነናል። ከእነዚህ ግምገማዎች የተገኙ የተጠቃለሉ ግኝቶችን ብቻ እናቀርባለን። በጠቅላላ፣ ከGPT‑5 Thinking እስከ GPT‑5.4 ስርጭቶች ድረስ፣ ከኦገስት 2025 እስከ ማርች 2026 የሚሸፍኑ በግምት 1.3 ሚሊዮን የሚለይ መረጃቸው-የተወገደላቸው ውይይቶችን ተንትነናል።

በስምሪት ማስመሰል የሚፈጠረውን የቅድመ-ማሰማራት የአደጋ ግምገማ ጥራት በሦስት ዋና ዋና መንገዶች እንገመግማለን፦

• የታክሶኖሚ ሽፋን፦ ከተለቀቀ በኋላ የተደረገው የኦዲት ሥራ ከመጀመሪያዎቹ የመጥፎ ባህሪ ታክሶኖሚዎቻችን የጎደሉ አስፈላጊ የተሳሳቱ ባህሪያትን አሳይቷል?
• የአቅጣጫ ትክክለኛነት፦ ማስመሰያው በሚታወቁ ባህሪያት ላይ የማሰማራት ስርጭት እንደሚጨምር ወይም እንደሚቀንስ በትክክል ተንብዮአል?
• የመጠን ካሊብሬሽን፦ የቅድመ-ማሰማራት ግምቶቻችን በኋላ ላይ በማሰማራት ወቅት ከተመለከትናቸው መጠኖች ጋር ቅርብ ነበሩ? ጥሩ የፍጥነት መለኪያ ማግኘት ከአቅጣጫ ትክክለኛነት የበለጠ ይጠይቃል፣ ይህም ይህንን ከፍተኛ የጥራት ደረጃ ያደርገዋል።

እንዲሁም በስምሪት ማስመሰል ወቅት ሞዴሎች በግምገማ ውስጥ መሆናቸውን ምን ያህል ማወቅ እንደሚችሉ እንለካለን፣ እና ዘዴው ለተለያዩ የማሰማሪያ ትራፊክ ዓይነቶች እና ለፈተና የመሣሪያ አጠቃቀም ቅንብሮች ምን ያህል ጠንካራ እንደሆነ እንፈትሻለን።

በGPT‑5 ተከታታይ Thinking ስርጭቶች ውስጥ፣ የስምሪት ማስመሰል እውነተኛውን የአደጋ መጠን በመወሰን ከአስቸጋሪ-እርምጃ መሠረቶች በላይ አፈጻጸም አሳይቷል፣ ከመለቀቅ በፊት የካልኩሌተር ሀኪንግን ማግኘት ችሏል፣ እና ለሞዴሉ ከስርጭት ሊለይ የማይችል ሊሆን እንደሚችል ታይቷል።

የትንበያዎቻችን አጠቃላይ እይታ። ለGPT‑5 ተከታታይ የThinking ሞዴል ስርጭቶች ሁሉንም ትንበያዎች ለማየት፣ ምስል 2ን ይመልከቱ። የGPT‑5.4 Thinking ትንበያዎች ቀድመው የተመዘገቡ ሲሆን፣ ሌሎቹ ወደኋላ የተደረጉ ትንበያዎች ነበሩ። በአጠቃላይ፣ ትንበያዎቻችን መካከለኛ ብዜታዊ ስህተት 1.5x ነበራቸው (ለምሳሌ የማይፈለግ ባህሪ መጠን በ100k ውስጥ 10 ከሆነ፣ ይህ በ100k ውስጥ 15 ወይም 6.67 መጠን መገመትን ይወክላል)። የዘዴያችን ቡኋላ ላይ የሚከሰቱ ስህተቶች በግምት 10x የበለጡ ሊሆኑ ቢችሉም፣ ከታች እንደተወያየነው በማስመሰል ፓይፕላይናችን ተጨማሪ ማሻሻያዎች በእጅጉ ሊቀነሱ እንደሚችሉ እንጠብቃለን።

የስምሪት ማስመሰል ትንበያዎችን ከመሠረቶች ጋር ማነፃፀር። ከስርጭት በፊት ለአደጋ ግምገማዎች በትክክል መገመት ያለባቸው በጣም አስፈላጊ ምድቦች ከሞዴሉ ስርጭት በኋላ ትልቅ የመከሰት ለውጥ ያላቸው ናቸው (ለምሳሌ >= 1.5x)። በዚህ ንዑስ ስብስብ ላይ፣ ስምሪት ማስመሰል ከመነሻ መስመሮች በእጅጉ የተሻለ ነው፣ ይህም አንድ የተወሰነ የማይፈለግ ባህሪ በአንድ ሞዴል ማሰማራት ምክንያት የስርጭት መጠን ይጨምራል ወይም ይቀንሳል የሚለውን በመተንበይ (ምስል 3፣ ግራ) እና ትክክለኛውን የማሰማሪያ ጊዜ ክስተት በመገመት (ምስል 3፣ ቀኝ)። ሁለት ዋና ዋና መሰረታዊ ነገሮችን እንጠቀማለን፦ በአሁኑ ጊዜ ለስርዓት ካርዶች እና ለማስጀመሪያ ውሳኔዎች የምንጠቀምበት ፈታኝ ጥያቄዎች መነሻ መስመር እና ከቀድሞው ማሰማራት የተገኙ ተመኖችን ለአዲሱ ሞዴል እንደ ግምቶች የመጠቀም ቀላል መነሻ ናቸው።

በፓይፕላይናችን ውስጥ የማስመሰል ስህተት ምንጮች። በፓይፕላይናችን ውስጥ ያሉ የአሁኑን የስህተት ምንጮችም አጥንተናል። በተለይም፣ ትልቅ ቡኋላ ላይ ሊከሰት የሚችሉ ስህተቶች ፓይፕላይኑን ለስርጭት ውሳኔዎች እምነት የሚያሳጣ ያደርጋሉ፦ ለምሳሌ፣ በአንድ የተወሰነ አይነት የማይፈለግ ባህሪ ትልቅ የተተነበየ ጭማሪ ሲታይ፣ ፓይፕላይኑ አልፎ አልፎም ቢሆን ትልቅ ስህተቶች እንዳሉት ከታወቀ፣ ይህ አስተማማኝ ግምት ነው ወይስ የፓይፕላይኑ ቅርስ ነው የሚለውን ጥርጣሬ ያስነሳል። ሁለት ዋና ሊኖሩ የሚችሉ የስህተት ምንጮች አሉ፦

• የእንደገና ናሙና አካባቢ ታማኝነት ስህተት፦ የምርት መጠኖችን በትክክል ለመገመት፣ የማስመሰል ፓይፕላይናችን በተቻለ መጠን እውነታዊ መሆን አለበት። ይህ በከፊል የምህንድስና ችግር ነው (ለምርት ትራፊክ የሚጠቀሙትን ተመሳሳይ ፓይፕላይኖች በመጠቀም ከሞዴሉ ናሙና መውሰድ)፣ እና በከፊል ደግሞ በየጊዜው ለሚቀየሩ ውጫዊ ግብዓቶችየንባብ/ጽሑፍ መዳረሻ ለሚፈልጉ መሳሪያዎች አስደሳች ተግዳሮት ነው (ለምሳሌ የድር ፍለጋዎች ወይም ከአካባቢያዊ ፋይሎች ጋር መገናኘት)። ከእውነተኛ ስርጭት እና ከማስመሰሉ የተገኙ ትንበያዎችን በማነፃፀር የማስመሰል ታማኝነት ስህተትን መለየት እንችላለን (ማለትም፣ ቀድሞ የተሰራጨውን ሞዴል ስምሪት በማስመሰል)።
• የእርምጃ ስርጭት መለዋወጥ ስህተት፦ በስምሪት ማስመሰል ላይ ዋነኛው ስጋት የማንኛውም ሞዴል ማሰማራት በተለይም ተጠቃሚዎች ከአዲሱ የሞዴል አቅርቦቶች ጋር ከተላመዱ በግብዓቶች ላይ የስርጭት ለውጥ ያስከትላል የሚለው ነው። የቅርብ ጊዜ ጥያቄዎችን ከተሰማሩ በጥያዎች ተቃራኒ ማሰማራቱን ስንመስል ግምቶችን በማነፃፀር የፈጣን ስርጭት ስህተትን እናያለን።

በምስል 4 እንደሚታየው፣ በፓይፕላይናችን ውስጥ ያለው ትልቅ የስህተት ክፍል—በተለይም ቡኋላ ለሚከሰቱ ስህተቶች—በአሁኑ ጊዜ ከማስመሰል ታማኝነት የመጣ መሆኑን እናገኛለን። ይህ ጥሩ ዜና ነው፣ ምክንያቱም የማስመሰል ታማኝነትን ማሻሻል የእርምጃ ስርጭት መለዋወጥን ከመቀነስ በአጠቃላይ ቀላል እንደሚሆን እንጠብቃለን። እንዲሁም የእርምጃ ስርጭት መለዋወጥ ስህተት ከቀድሞው ስርጭት በጣም የቅርብ ጊዜ ውሂብ በመጠቀም ሊቀንስ እንደሚችል አውቀናል። ተጨማሪ ዝርዝር በምርምር ወረቀቱ ውስጥ ሊገኝ ይችላል።

ራስ-ሰር ኦዲት በእነዚህ ማሰማራቶች ውስጥ የገባውን አንድ አዲስ የተሳሳተ አቀማመጥ አግኝቷል። ባጠናነው የስርጭት መስኮት ውስጥ፣ በተመሰሉ ስርጭቶች ላይ የተመሰረተው ራስ-ሰር የኦዲት ፓይፕላይናችን ከመለቀቅ በፊት “የካልኩሌተር ሀኪንግ”ን ያገኝ ነበር፣ ይህም በተተነተነው የ ChatGPT ትራፊክ ውስጥ የለየነው ብቸኛው አዲስ መዛግብት ነበር። የካልኩሌተር ሀኪንግ ሞዴሉ የአሳሽ መሳሪያን እንደ ካልኩሌተር እየተጠቀመ እርምጃውን እንደ ፍለጋ የሚያቀርብበት የሽልማት ሀኪንግ አይነት ነው። ይህ በትልቅ መጠን የሚደረግ ኦዲት እያንዳንዱን አዲስ ውድቀት ይይዛል ማለት አይደለም፣ ነገር ግን እውነታዊ አውዶች ለምን አስፈላጊ እንደሆኑ ያሳያል፦ ማስመሰሉን ለመጀመር በተጠቀምነው የመጀመሪያ ትራፊክ ውስጥ ባይኖሩም እንኳ፣ ጠባብ የግምገማ ስብስቦች በቀጥታ ሊያሳዩ የማይችሉ ባህሪዎችን ሊያስነሱ ይችላሉ።

እንደ ማሰማራት ያሉ አውዶችን የመጠቀም ሌላው ጥቅም ሞዴሎች እየተፈተኑ መሆናቸውን ሲገነዘቡ የሚፈጠሩትን የተዛቡ ሁኔታዎችን ሊቀንሱ ይችላሉ። በቀደመ ምርምር፣ እኛ እንዲሁም ሌሎች⁠(በአዲስ መስኮት ውስጥ ይክፈታል) ሞዴሎች ብዙ ጊዜ መቼ እንደሚፈተኑ ግንዛቤ እንዳላቸው አግኝተናል። ለምሳሌ፣ ሞዴሎች በተከታታይ ሀሳባቸው ውስጥ በምን ላይ እንደሚፈተኑ፣ ገምጋሚ ምን ሊወድ እንደሚችል፣ እና – መጥፎ ባህሪ እያሳዩ ከሆነ – ይያዛሉ ወይስ አይያዙም ብለው ሊያመዛዝኑ ይችላሉ። ይህ ለአሰላለፍ ግምገማዎች ችግር ያስነሳል፦ ሞዴል እየተፈተነ ነው ብሎ ስለሚያስብ ብቻ ጥሩ ባህሪ ካሳየ፣ ከተሰራጨ በኋላ በደህና እንደሚሰራ እንዴት እምነት እንገነባለን?

የስምሪት ማስመሰል በእውነተኛ የስርጭት ውሂብ ላይ ካልተመሰረቱ ባህላዊ ግምገማዎች ጋር ሲነጻጸር ሞዴሎች የሚያሳዩትን የግምገማ ግንዛቤ ደረጃ በእጅጉ እንደሚቀንስ እናሳያለን። የግምገማ ግንዛቤን በሶስት መንገዶች እንለካለን፦ ሞዴልን አንድ መንገድ ከምርት ወይም ከግምገማ የመጣ እንደሆነ እንዲመድብ በመጠየቅ፣ ለአሰላለፍ እየተገመገመ መሆኑን በግልጽ ስለሚገልጹ መግለጫዎች ተከታታይ ሀሳብን በመከታተል፣ እንዲሁም ለ ሜታጌሚንግ⁠(በአዲስ መስኮት ውስጥ ይክፈታል)፦ ስለ ቁጥጥር ማንኛውም ማመዛዘን እንለካለን። የተመሰለ የማሰማራት ትራፊክ በሦስቱም መለኪያዎች ውስጥ እውነተኛ የማሰማራት ትራፊክን በቅርበት ያዛምዳል። ለምሳሌ፣ GPT‑5.2 እውነተኛ የምርት ትራፊክን እንደ ግምገማ-ልክ 5.4% ጊዜ እና የተመሰለ ትራፊክን 5.1% ጊዜ ሲል ሰይሞታል፣ ባህላዊ ግምገማዎች (እንደ SWE-Bench ወይም MonorepoBench ያሉ፣ በዋናነት ከሰው ሰራሽ ምሳሌዎች የተዋቀሩ) ወደ 100% ጊዜ ያህል እንደ ግምገማዎች ተመድበዋል።

ዘዴው ከመደበኛ የውይይት ሁነቶች በላይ ሊሰፋ ይችል እንደሆነ ለመፈተን፣ ለአስቸጋሪ የወኪል ኮዲንግ ቅንብሮች ስርጭቶችን በማስመሰልም አጥንተናል። በተለይም፣ በGPT‑5.5 ላይ የተመሰረቱ የኮዲንግ ወኪሎችን ውስጣዊ ስርጭት ለማስመሰል ከGPT‑5.4 የመጡ 120,000 የውስጥ ሰራተኛ ወኪላዊ መንገዶችን እንጠቀማለን። ይህ ሁለት ዓላማዎችን ያገለግላል፦ ይህ የማሰማራት ማስመሰል በውስጣዊ ስምሪቶች የአደጋ ግምገማ እንዴት ጥቅም ላይ ሊውል እንደሚችል ያሳያል፣ እና በጥንቃቄ የመሳሪያ ማስመሰል አማካኝነት የማስመሰል ታማኝነትን በወኪል ቅንብሮች ውስጥም ቢሆን ከፍ ማድረግ እንደሚቻል ያሳያል።

ከላይ የማስመሰል ታማኝነት በአሁኑ ፓይፕላይናችን ውስጥ ካሉ ዋና የስህተት ምንጮች አንዱ መሆኑን ተወያይተናል። የማሰማራት ማስመሰያዎችን ተጨባጭ ለማድረግ ከሚያጋጥሙ ተግዳሮቶች አንዱ፣ ያለማቋረጥ የሚለዋወጡ ውጫዊ ሀብቶችን (ለምሳሌ የድር ፍለጋዎችን ወይም ከአካባቢያዊ ፋይሎች ጋር መስተጋብር መፍጠር) የማንበብ/የመጻፍ መዳረሻ በሚያስፈልጋቸው ጊዜም እንኳ በተጨባጭ መንገድ ለመስራት መሳሪያዎችን የሚፈልግ መሆኑ ነው።

ይህ በተለይ እንደ ወኪል ማሰማራት ላሉ ቅንብሮች ፈታኝ ነው፦ የአንድ ወኪል መንገድ በመቶዎች የሚቆጠሩ የመሳሪያ ጥሪዎች፣ የማከማቻ ሁኔታ፣ የአውታረ መረብ ምላሾች ወይም ጊዜያዊ ውድቀቶች ላይ ሊመሰረት ይችላል። ይህ በእውነተኛ የመሳሪያ መዳረሻ እንደገና ናሙና ማድረግ ፈታኝ እና አደገኛ ሊሆን ይችላል። በዚህ ምክንያት፣ የመሳሪያ ጥሪዎችን በቀጥታ ስርዓቶች ላይ ከመተግበር ይልቅ፣ ከሌላ LLM ጋር እናስመስላቸዋለን። ይህንን LLM ተጨማሪ አቅሞች መስጠት ለእውነታዊነት እና ስለዚህ ጥራትን ለመገመት አስፈላጊ መሆኑን እናሳያለን።

መሳሪያ-አስመሳይ ሞዴሉን የመጀመሪያውን የመጨረሻ ዙር ልቀትን፣ ከውይይቱ ጊዜ ጀምሮ ያለውን ማከማቻ፣ የመሳሪያ-ጥሪ/ምላሽ ጥንዶችን እና የንባብ-ብቻ ማገናኛዎችን የውሂብ ጎታ እንሰጠዋለን። አንድ አድልዎ ፈጣሪ ከእውነተኛ ልቀቶች የተመሰሉ ነገሮችን ለመለየት በሞከረበት ሙከራ፣ እውነታዊነት ከ11.6% የማሸነፍ መጠን ወደ 49.5% ተሻሽሏል፣ ይህም ወደ 50% የዕድል ደረጃ አካባቢ ነው።

የማስመሰል ታማኝነት ተጨማሪ ማስረጃ እንደመሆኑ መጠን፣ የGPT‑5.4 Codexን ከGPT‑5.4 ጋር በማሰብ ትራፊክን ስናስመስል፣ የተሳሳተ አሰላለፍ መጠኖች በስህተት ባሮች ውስጥ ናቸው ማለት ይቻላል። በተቃራኒው፣ በቅድመ-ማሰማራት ሙከራችን GPT‑5.5 በአብዛኛዎቹ ምድቦች ውስጥ የበለጠ የተሳሳተ አሰላለፍ ነበረው።

እነዚህ ውጤቶች የአካባቢያዊ የመሳሪያ አካባቢ በበቂ ታማኝነት ሲመሰል የማሰማራት ማስመሰል ወደ ውስብስብ ወኪል ቅንብሮች ሊዘልቅ እንደሚችል ይጠቁማሉ።

ተፈጥሯዊ ጥያቄ የውጭ ኦዲተሮች የግል የምርት ትራፊክ ሳይኖራቸው ተመሳሳይ ጥቅሞችን ማግኘት ይችሉ እንደሆነ ነው። ይህንን እንደ ቅድመ ቅጥያዎች ጥቅም ላይ በሚውሉ 100,000 የWildChat ውይይቶች ሞክረነዋል። WildChat ከቅርብ ጊዜ የOpenAI የምርት መረጃ ያነሰ ትክክለኛ ነበር፣ ነገር ግን አሁንም መረጃ ሰጪ ነበር፡ የቅርብ ጊዜ የምርት መረጃ ከWildChat (1.75× ከ2.44× ጋር ሲነጻጸር) ያነሰ አማካይ የማባዛት ስህተት ነበረው፣ WildChat ደግሞ ብዙውን ጊዜ ከምርት መጠኖች በግምት 3× ውስጥ የሚቆይ ሲሆን የተሻለ ሞዴልን ከአጋጣሚ በላይ በሆኑ መጠኖች ለይቶ አውቋል። የWildChat አይነት ግምገማዎችን በገንቢ ለሚተዳደረው የDeployment Simulation ተስፋ ሰጪ ማሟያ አድርገን እናያለን። በዚህ ነጥብ ላይ ተጨማሪ ውጤቶችን ለማግኘት ይህንን ተጓዳኝ የአሰላለፍ ጦማር ፖስት⁠(በአዲስ መስኮት ውስጥ ይክፈታል) ይመልከቱ።

ስምሪት ማስመሰል የተቃዋሚ ግምገማዎችን፣ በእሳት መፈተንን እና የታለሙ ቡኋላ ላይ የሚከሰቱ ስህተቶች ስጋት ትንተናን የሚተካ ሳይሆን የሚተካ ነው። አንዳንድ የማይፈለጉ የሞዴል ባህሪያትን መለየት በአስተሳሰብ ሰንሰለት ክትትል ላይ የተመሰረተ ነው፦ የወደፊት ሞዴሎች ብዙም የማይረዱ ከሆኑ፣ ቁልፍ እርምጃዎችን ከተዉ ወይም ዓላማን መደበቅን ከተማሩ፣ እነዚህን የማይፈለጉ ባህሪያት ዓይነቶች መለየት ላይችል ይችላል። በተጨማሪም፣ የምርት መረጃ የግል ስለሆነ፣ ገንቢዎች በአሁኑ ጊዜ ከውጭ ኦዲተሮች ይልቅ ለተወካይ አውዶች የበለጠ ጠንካራ መዳረሻ አላቸው። የተሻሉ የህዝብ የውሂብ ስብስቦች ያንን ክፍተት ሊያጥቡ ይችላሉ።

ስምሪት ማስመሰል በናሙና ቅድመ-ቅጥያዎች ውስጥ ለመታየት በቂ የሆኑ ባህሪያትን በተመለከተ በጣም ጠቃሚ ነው። በአስር ሚሊዮን ውይይቶች ውስጥ አንድ ጊዜ የሚከሰት ውድቀት በሚሊዮን-ናሙና ሂደት ውስጥ ሊገኝ የማይችል በመሆኑ የተቃዋሚ ግምገማዎች፣ በእሳት መፈተን እና የታለሙ የቡኋላ ላይ የሚከሰቱ ስህተቶች-አደጋ ትንተናዎች አስፈላጊ ናቸው። በአሁኑ ጊዜ አንድ ረዳት ምላሽን በማስመሰል ላይ እናተኩራለን፣ ምክንያቱም በቅድመ ሙከራዎች ውስጥ በርካታ ተራዎችን በማስመሰል ለግምቶቻችን ትርጉም ያላቸው ማሻሻያዎችን አላገኘንም። ይህ ለወደፊቱ የማስመሰል ታማኝነትን ለማሻሻል አስፈላጊ ቦታ ሊሆን ይችላል።

ዘዴው—እንደገና እየተሞከሩ ባሉ የውይይት ድብልቅ ውስጥ በቅድመ-ቅጥያ ስርጭት ላይም ይወሰናል። ታሪካዊ ትራፊክ ተጠቃሚዎች ከዋና ዋና የምርት ለውጥ፣ አዲስ የመሳሪያ ልቀት፣ የዓለም ክስተት ወይም ወቅታዊ ለውጥ በኋላ ከበለጠ ብቃት ካለው ሞዴል ጋር እንዴት እንደሚገናኙ ላይስማማ ይችላል። በሙሉ ወረቀቱ ላይ ያለው ትንተና ይህ ችግር በጣም የቅርብ ጊዜውን መረጃ በመጠቀም ሊቃለል እንደሚችል ይጠቁማል።

የስምሪት ማስመሰል የቋንቋ ሞዴሎች በእውነተኛው ዓለም እንዴት ሊገቡ እንደሚችሉ እና ከስርጭት በፊት የሚያስከትሏቸውን አደጋዎች እንዲረዱ ግንባር ቀደም ላቦራቶሪዎችን እና ገምጋሚዎችን የሚረዳ አዲስ ከስርጭት በፊት የአደጋ ግምገማ አቀራረብ ነው። የስርጭት ባህሪ ግምቶችን ሊያሻሽል፣ የግምገማ-ግንዛቤ ተፅእኖዎችን ሊቀንስ፣ እና ከስርጭት በፊት ትንበያዎችን ከመለቀቅ በኋላ ሊፈተሹ ሊያደርግ የሚችል የበለጠ ምርት-መሰል የትንበያ ንብርብር በመጨመር ነባር የደህንነት ግምገማዎችን፣ በእሳት መፈተንን እና የታለመ ትንታኔን ያሟላል። ከባህላዊ ግምገማዎች ጋር ተጠቅመው፣ የስምሪት ማስመሰል የሞዴል አደጋ ግምገማን የበለጠ እውነታዊ፣ የበለጠ መጠናዊ፣ እና ለስርጭት ውሳኔዎች የበለጠ ጠቃሚ ለማድረግ ሊረዳ ይችላል።