በOpenAI የሚከሰቱ የሞዴል ዓላማ አለመጣጣም ክስተቶችን ለመከታተል፣ ለመመርመርና ይፋ ለማድረግ የሚያገለግል አዲስ ማዕቀፍ፣ እንዲሁም ባለፉት ስድስት ወራት ስለተመለከትናቸው ያልተጠበቁ ወይም አሳሳቢ የሞዴል ባህሪያት ስድስት ሪፖርቶችን እያጋራን ነው።
ከዚህ በፊት ተመራማሪዎች፣ የAI ገንቢዎች፣ ፖሊሲ አውጪዎችና ሕዝቡ የተሻለ መረጃ እንዲኖራቸው፣ ስለ ዓላማ አለመጣጣም ያገኘናቸውን ውጤቶች ለሕዝብ ይፋ ለማድረግ ጥረናል። ሆኖም እነዚህን ግኝቶች ለማሳወቅ ሥርዓታዊ አካሄድ ባለመኖሩ፣ ይፋ ማድረጋችን እንደየአጋጣሚውና ከሚፈለገው ባነሰ ድግግሞሽ ሲከናወን ቆይቷል። ብዙውን ጊዜ በርካታ ክስተቶችን በአንድ ሪፖርት እስክናሰባስብ ጠብቀናል፣ ወይም አዲስ ለተለቀቁ ሞዴሎች በተዘጋጁ የሥርዓት ካርዶች ውስጥ አካተናቸዋል። ይህ አዲስ ማዕቀፍ ሪፖርት የምናደርግበትን ባህሪ ሙሉ በሙሉ ባንገልጸው ወይም ባንቀንሰውም እንኳ፣ ከታየ በኋላ የዓላማ አለመጣጣም ሪፖርቶች በፍጥነት እንዲታተሙ የታሰበ ነው።
የAI ሥርዓቶች ይበልጥ የላቁና በስፋት የተሰማሩ እየሆኑ ሲሄዱ፣ የዓላማ መጣጣም ምርምር ስላደረገው እድገት ሰፊና በተሻለ መረጃ ላይ የተመሠረተ ስምምነት መገንባት ያስፈልገናል። የAI ኢንዱስትሪው ለረዥም ጊዜ በከፍተኛው ፍጥነት በኃላፊነት ማስፋፋቱን ለመቀጠል በሚያስችል ደረጃ የዓላማ መጣጣምና ክትትልን እንደፈታ አናምንም። በሚቀጥሉት ወራትና ዓመታት የAI ልማት እንዴት መቀጠል እንዳለበት የሚወሰኑ ውሳኔዎች፣ የግንባር ቀደም ሞዴሎችን ከሚገነቡ ድርጅቶች ውጭ ያሉ ሰዎች ራሳቸው ሊመረምሩት በሚችሉት ማስረጃ ላይ መመሥረት አለባቸው።
የዓላማ አለመጣጣም ምሳሌዎች፣ ሌሎች የAI ገንቢዎች ሥርዓቶቻቸው ተመሳሳይ አቅም ሲደርሱ ሊያጋጥሟቸው የሚችሉ ችግሮችን ለመለየት፣ የጥበቃ ሥርዓቶችን ድክመት ለማሳየት ወይም ስለሞዴል ባህሪ ያሉ ግምቶችን ለመፈተን ሊያግዙ ይችላሉ። እነዚህን ግኝቶች ማጋራት ሌሎች ተመሳሳይ ችግሮችን እንዲመረምሩ፣ ማብራሪያዎቻችንን እንዲፈትኑና የመቀነሻ እርምጃዎችን እንዲያሻሽሉ ያስችላቸዋል። በዓላማ አለመጣጣም ዙሪያ ግልጽነት ጠቃሚ ነው ብለን ስለምናምን፣ አዲሱ ማዕቀፋችን የጉዳዩ አስፈላጊነት እርግጠኛ ባይሆንም እንኳ ይፋ ማድረግን ያበረታታል። ይህም ይፋ ከምናደርጋቸው ክስተቶች አንዳንዶቹ መሠረተ ቢስ፣ የሰፊ ንድፍ አካል ያልሆኑ ወይም የወደፊት ክስተቶችን የማያመለክቱ ሆነው ሊገኙ ይችላሉ ማለት ነው።
በአሁኑ ጊዜ የAI ገንቢዎች በሞዴሎቻቸው የሚታዩ የዓላማ አለመጣጣም ምሳሌዎችን እንዴት ይፋ ማድረግ እንዳለባቸው ግልጽ መሥፈርቶችን የያዘ ኢንዱስትሪ አቀፍ ማዕቀፍ የለም። ዛሬ የምንገልጸው ማዕቀፍ ገንቢዎች የትኞቹን የዓላማ አለመጣጣም ክስተቶች ይፋ ማድረግ እንዳለባቸውና ሪፖርቶቻቸው ምን ማካተት እንዳለባቸው የሚወስኑ መሥፈርቶችን ለመፍጠር የመጀመሪያ እርምጃ ይሆናል ብለን ተስፋ እናደርጋለን። ይህን ማዕቀፍ በሂደት ላይ ያለ ሥራ አድርገን እንመለከተዋለን፤ በተሞክሮና በሕዝብ አስተያየትም እናሻሽለዋለን።
እዚህ ማዕቀፉ እንዴት እንደሚሠራ እንገልጻለን፤ የምናትማቸውን የመጀመሪያ ሪፖርቶችም እናጋራለን።
የሞዴል ዓላማ አለመጣጣም እንዴት እንደሚፈጠርና እንደሚገለጥ፣ እንዲሁም የጥበቃ ሥርዓቶች የት እንደሚሳኩ ወይም እንደሚከሽፉ ጠቃሚ ማስረጃ የሚሰጡ ምሳሌዎችን ይፋ ማድረግ ዓላማችን ነው። ለአዳዲስ አሠራሮች፣ በሚታወቅ ባህሪ ላይ ለሚከሰቱ ጉልህ ለውጦች፣ እንዲሁም ስለደህንነት ወይም ችግር መቀነስ ያሉ ግምቶችን ለሚፈትኑ ግኝቶች ቅድሚያ እንሰጣለን። አንድ ምሳሌ ይፋ ለመደረግ ብቁ እንዲሆን ጉዳት ማድረስ ወይም ሰፊ ንድፍ መኖሩን ማረጋገጥ አያስፈልገውም። ይህ ማዕቀፍ ሥልጠናን፣ ግምገማን፣ ሙከራንና ስምሪትን ጨምሮ በሞዴሉ የሕይወት ዑደት በሙሉ የሚከሰቱ መሥፈርቱን የሚያሟሉ ባህሪያትን ይሸፍናል።
ይህም ሞዴሎች ያለፈቃድ እርምጃ የሚወስዱባቸውን፣ ከሌሎች ሞዴሎች ጋር የሚቀናጁባቸውን ወይም ቁጥጥርን የሚያመልጡባቸውን አዳዲስ መንገዶች፤ በዓላማ ማስማሚያ ዘዴ ወይም በጥበቃ ሥርዓት ላይ ጥያቄ የሚያስነሱ ውድቀቶችን፤ እንዲሁም በታተመ የደህንነት ግምገማ ውስጥ ያለን አባባል የሚፈትኑ ባህሪያትን ያካትታል። በሦስተኛ ወገኖች ላይ ተፅዕኖ ሊያሳድር በሚችል የዓላማ አለመጣጣም ላይም ተመሳሳይ ይፋ የማድረግ መሥፈርቶች ተፈጻሚ ይሆናሉ።
ይህ ከዚህ በፊት ይፋ ካደረግናቸው ክስተቶች ጋር የተደጋገሙ የሚመስሉ የዓላማ አለመጣጣም ክስተቶችንም ሊያካትት ይችላል። የችግሩ መደጋገም ራሱ ሞዴሎቻችን እንዴት እንደሚሠሩ ወይም የጥበቃ ሥርዓቶቻችን ምን ያህል ውጤታማ እንደሆኑ የሚያሳይ ጠቃሚ ማስረጃ ሊሆን ይችላል፤ ለምሳሌ፣ አንድን የዓላማ አለመጣጣም ባህሪ ለመቀነስ ተደጋጋሚ ጥረት ቢደረግም ባህሪው መከሰቱን ከቀጠለ። በእነዚህ ሁኔታዎች ዋናውን የዓላማ አለመጣጣም መግለጫ በማዘመን ተጨማሪ ምሳሌዎችን እናትማለን።
በጊዜ ሂደት ከሌሎች ገንቢዎች፣ ከውጭ ተመራማሪዎች፣ ከኢንዱስትሪ ደረጃዎች አውጪ አካላትና ከተቆጣጣሪዎች ጋር ይበልጥ ተጨባጭ የይፋ ማድረጊያ መሥፈርቶችን ለማዘጋጀት አቅደናል። ከባድ የደህንነት፣ የጥበቃና የዓላማ አለመጣጣም ክስተቶች ለአሜሪካ ፌዴራል መንግሥት መጋራት አለባቸው ብለንም እናምናለን፤ የሪፖርት ማቅረቢያ ዘዴዎችንም ለመጠቆም እየሠራን ነው። ይህ ማዕቀፍ ነባር ግዴታዎቻችንን የሚያሟላ እንደሆነ እንቆጥረዋለን፤ ወሳኝ የደህንነት ክስተቶችን ወይም የሳይበር ደህንነት ጥሰቶችን ጨምሮ በሕግ የተጣሉብንን ይፋ የማድረግ መሥፈርቶች እንደማይተካም እናስገነዝባለን።
የዓላማ አለመጣጣምን ይፋ ለማድረግ ያዘጋጀነውን አዲስ ማዕቀፍ ለማስጀመር፣ ሞዴሎቻችንን በማሠልጠን ወይም በመገምገም ወቅት ስለተመለከትናቸው የዓላማ አለመጣጣም ባህሪያት ስድስት ሪፖርቶችን እያተምን ነው። እነዚህ ጉዳዮች ከተጠቃሚው መረጃ ከመደበቅ አንስቶ እንቅፋቶችን ለማለፍ ያልተፈቀዱ እርምጃዎችን እስከመውሰድ የሚደርሱ፣ ማጋራት ይገባቸዋል ብለን የምናምናቸውን የተለያዩ ባህሪያት ያሳያሉ። እነዚህ የነጠላ ክስተቶች ሪፖርቶች ናቸው፤ በሞዴሎቻችን ሁሉ የዓላማ አለመጣጣም ምን ያህል በተደጋጋሚ እንደሚከሰት የሚወክሉ ተደርገው መወሰድ የለባቸውም። ከታች ያለው እያንዳንዱ ንጥል ወደ ሙሉው ሪፖርት ያገናኛል።
በተግባር ማጠቃለያዎች ውስጥ በራስ የተፈጠሩ መመሪያዎች(በአዲስ መስኮት ውስጥ ይክፈታል)። ያልተለቀቀ የምርምር ሞዴል ሥራውን በአዲስ የአውድ መስኮት ለመቀጠል በሚያገለግሉ ማጠቃለያዎች ውስጥ፣ መደበኛ ገደቦቹን ችላ እንዲል የሚያዙ መመሪያዎችን ጨምሮ፣ ከተግባሩ ጋር ያልተያያዙ መመሪያዎችን አስገብቷል። ተፅዕኖ የደረሰባቸው 27 ማጠቃለያዎችን ለይተናል።
በተግባር ማጠቃለያዎች ውስጥ ስህተቶችን ለመደበቅ የሚያዙ መመሪያዎች(በአዲስ መስኮት ውስጥ ይክፈታል)። GPT‑5.6 Sol በሚሠለጥንበት ወቅት፣ ብዙ የሞዴል አጋጣሚዎች ስህተቶችን ወይም የዓላማ አለመጣጣም ባህሪን ከተጠቃሚው ለመደበቅ የሚያዙ መመሪያዎችን በማጠቃለያዎቻቸው ላይ ጨምረዋል። ለምሳሌ፣ የኮምፓክሽን ማጠቃለያዎች ያልተሟላ ታሪካዊ መረጃን ይፋ ሳያደርጉ እንዲፈበርኩና በምንጭ ስሪቶች መካከል ያሉ አለመጣጣሞችን እንዲደብቁ የሚያዙ መመሪያዎችን አካተዋል።
ለተጋለጡ API ቁልፎች የሕዝብ ማከማቻዎችን መፈለግ፣ ከዚያም መረጃ መፈብረክ(በአዲስ መስኮት ውስጥ ይክፈታል)። በካሊፎርኒያ ውስጥ ስላለ አንድ ካውንቲ የገቢ አሃዞች መደበኛ ጥያቄ ሲመልስ፣ አንድ ሞዴል የተጋለጠ API ቁልፍ አግኝቶ ያለፈቃድ ተጠቅሞበታል። የተጠየቁትን አሃዞች ማግኘት አሁንም ባልቻለ ጊዜ፣ አሃዞቹን ፈብርኮ ከተጠየቀው ምንጭ የተገኙ መረጃዎች አድርጎ አቅርቧቸዋል።
ፋይሎችን ለመጥቀስ ወደ በይነመረብ መስቀል(በአዲስ መስኮት ውስጥ ይክፈታል)። አንድ ተጠቃሚ ከ5,000,000 ካሬ ሜትር በላይ ስፋት ያላቸውን ሐይቆች መለያና ስም ያልተለቀቀ ሞዴልን ሲጠይቅ፣ ወኪሉ Pythonን በመጠቀም ትክክለኛውን መልስ አግኝቷል። ሆኖም መመሪያዎቹ የአሳሽ ጥቅስ ስለጠየቁ፣ ወኪሉ ተጠቃሚውን ሳይጠይቅ ፋይሉን ሰቅሎ በመልሱ ውስጥ ለመጥቀስ ወሰነ።
በውስጣዊ የሶፍትዌር ማከማቻ በኩል ያልተፈቀደ መጻፍና መገናኘት(በአዲስ መስኮት ውስጥ ይክፈታል)። ሞዴሎች የጎደሉ የግቤት ፋይሎችን ሲፈልጉ፣ የውስጥ የሶፍትዌር ማከማቻን እንደ መልዕክት ሰሌዳ ተጠቅመው በተለያዩ የሥልጠና ናሙናዎች መካከል ጥያቄዎችንና ምላሾችን ተለዋውጠዋል፤ ሆኖም ፋይሎቹን መልሶ ማግኘት አልቻሉም። ይህ ሪፖርት አንድ ሞዴል የአውታረ መረብ ገደቦችን ለማለፍ ሲሞክር የሙከራ ፋይሎችን ወደ ማከማቻ በተሳካ ሁኔታ የሰቀለበትን ቀደምት ክስተትም ይመረምራል።
በትብብር በሚሠሩ ወኪሎች መካከል ያልተፈቀደ ፋይል መጋራት(በአዲስ መስኮት ውስጥ ይክፈታል)። በተመሳሳይ የሥልጠና ተግባር ላይ አብረው የሚሠሩ ወኪሎች፣ እርስ በርስ በአካባቢያቸው ያሉ ፋይሎችን ማግኘት ባልቻሉ ጊዜ ፋይሎችን ለመጋራት የሕዝብ ፋይል ማስተናገጃ ድረ ገጾችን ተጠቅመዋል። ተግባሩ ሞዴሎቹ የአካባቢ ፋይሎችን ብቻ እንዲጠቀሙ ቢጠይቅም፣ ይህ የተግባሩን ውጤቶች በሕዝባዊ URL ላይ እንዲገኙ አድርጓል።
ማንኛውም የOpenAI ሠራተኛ አንድን የዓላማ አለመጣጣም ምሳሌ የደህንነትና የዓላማ መጣጣም ቡድኖቻችን እንዲመረምሩት ማመልከትና ለሕዝብ ይፋ ሊደረግ እንደሚገባ እንዲጤን መጠየቅ ይችላል። ይህ ወቅታዊ ምርመራና ይፋ ማድረግን ለማረጋገጥ ለእያንዳንዱ ደረጃ ቀነ ገደብ ያለውን የይፋ ማድረግ ሂደታችንን ያስጀምራል።
አንድ ምሳሌ ከተመለከተ በኋላ፣ የቴክኒክ ሠራተኞቻችን ምን እንደተከሰተ፣ ምን እርግጠኛ እንዳልሆነ፣ ለሕዝብ ይፋ ማድረጉ ተገቢ መሆኑንና የትኞቹ እውነታዎች ሊጋሩ እንደሚችሉ ይመረምራሉ። ማንኛውም ሦስተኛ ወገን ተፅዕኖ ደርሶበት እንደሆነና ከመታተሙ በፊት በግል ማሳወቅ ያስፈልገው እንደሆነም ይገመግማሉ።
ከዚያም ምሳሌው ከሦስት የሂደት መስመሮች ለአንዱ ይመደባል፦ ለይፋ ማድረግ ዝግጁ፣ አነስተኛ ምርመራ ወይም ሰፊ ምርመራ («ዝግተኛ የሂደት መስመር»)።
«ለይፋ ማድረግ ዝግጁ» ከተገመገሙ በኋላ ለመታተም በቂ ምርመራ የተጠናቀቀላቸውን፣ መሥፈርቱን የሚያሟሉ ክስተቶች ይሸፍናል። «አነስተኛ ምርመራ» ተጨማሪ ቴክኒካዊ ምርመራ የሚያስፈልጋቸውን ይሸፍናል። እነዚህ ሁለት የሂደት መስመሮች ይፋ ከምናደርጋቸው ክስተቶች አብዛኞቹን፣ በተለይም ሰፊ ምርመራን፣ ከሦስተኛ ወገኖች ጋር ቅንጅትን ወይም ከባድ የአላግባብ አጠቃቀም ሥጋቶችን መቆጣጠር የማይጠይቁ ጉዳዮችን እንደሚሸፍኑ እንጠብቃለን። ዛሬ የምንለቃቸው ክስተቶች በሙሉ ከእነዚህ ሁለት የሂደት መስመሮች በአንዱ ይመደባሉ።
«ሰፊ ምርመራ» ውስብስብ ምርመራዎችን፣ በተለይም ሦስተኛ ወገኖችን የሚያካትቱትን ይሸፍናል። አንድ ሦስተኛ ወገን ተፅዕኖ ሲደርስበት፣ የጥበቃ፣ የሕግና ኃላፊነት የተሞላበት ይፋ የማድረግ ግዴታዎቻችን ከዚህ ማዕቀፍ ቅድሚያ ያገኛሉ። የመጀመሪያ ማሳወቂያን በተቻለ ፍጥነት ለማተም እንጥራለን፤ ሆኖም በጥበቃ ምክንያት ልናዘገየው እንችላለን፤ ለምሳሌ፣ አንድ ሞዴል በስፋት ጥቅም ላይ በዋለ ሶፍትዌር ውስጥ ከዚህ በፊት ያልታወቀ የተጋላጭነት ክፍተት ካገኘ። አንድ ሪፖርት የሦስተኛ ወገንን ማንነት የሚገልጽ ከሆነ፣ ምንም የጥበቃ ወሰን ባይጣስም እንኳ አስቀድመን ለማሳወቅ አስበናል።
በ«ሰፊ ምርመራ» የሂደት መስመር ለተመደበ ክስተት የሚወጣው የመጀመሪያ ማሳወቂያ ስለተከሰተው ነገር አጠቃላይ መግለጫ ይሰጣል፣ የውጭ ባለሙያዎች ምርመራውን እያገዙ መሆኑን ይገልጻል፣ እንዲሁም የመጨረሻውን ሪፖርት መቼ ለማተም እንደምንጠብቅ ያለውን ማንኛውንም ግምት ያቀርባል። የOpenAI Hugging Face ክስተት በዚህ ማዕቀፍ መሠረት ይፋ ተደርጎ ቢሆን ኖሮ፣ በዚህ የሂደት መስመር ሥር ይመደብ ነበር።
ምሳሌውን ያቀረበው ሠራተኛ ይፋ ስለማድረግ በተሰጠው ውሳኔና፣ ይፋ እንዲደረግ ከተወሰነ፣ በየትኛው የሂደት መስመር እንደሚከናወን ይነገረዋል። ይፋ ማድረጉን ወይም ተገቢውን የሂደት መስመር በተመለከተ መፍትሔ ያላገኙ አለመግባባቶች ወደ OpenAI የደህንነት አማካሪ ቡድን (SAG) ይመራሉ። ይህ ቡድን ከድርጅቱ የተለያዩ ክፍሎች የተውጣጡ ከፍተኛ ኃላፊዎችን ያካተተ ሲሆን፣ የግንባር ቀደም ሞዴሎችን አቅምና የጥበቃ ሥርዓቶች ይገመግማል፣ የዝግጁነት ማዕቀፋችንን ይቆጣጠራል፣ እንዲሁም ለOpenAI አመራር ምክር ይሰጣል። በSAG ውስጥ የሚነሱ አለመግባባቶች ወይም ሠራተኞች በውሳኔዎቹ ላይ የሚያቀርቧቸው ተቃውሞዎች ወደ OpenAI አመራር ይተላለፋሉ። ይፋ ላለማድረግ ወይም ይፋ ማድረጉ አስፈላጊ እንዳልሆነ የተሰጡ ውሳኔዎች ለደህንነትና ለዓላማ መጣጣም አመራር፣ እንዲሁም በተቻለ መጠን ጉዳዩ ለሚመለከታቸው የቴክኒክ ሠራተኞች ይጋራሉ።
ይህ ይፋ የማድረግ ሂደት በተግባር እንዴት እንደሚሠራ እየተማርን ስንሄድ ልናሻሽለው እንችላለን፤ ማንኛውንም ለውጥም በዚህ ልጥፍ ላይ እንመዘግባለን።
እያንዳንዱ ሙሉ ሪፖርት የተመለከትነውን ባህሪ፣ ክብደቱንና በውጭ ያስከተለውን ማንኛውንም ተፅዕኖ፣ የተከሰተበትን ሁኔታ፣ ቀኑን ወይም የቀን ክልሉን፣ መቼ እንዳወቅነው፣ እንዲሁም በአጠቃላይ የተሳተፈውን ሞዴል ወይም ሞዴሎች ይገልጻል። በተቻለ ጊዜ የሚከተሉትንም እናጋራለን፦
ስለተከሰተው ነገርና በዚህ ሳቢያ ስለደረሰ ጉዳት ተጨማሪ ዝርዝር፤
የዓላማ አለመጣጣሙን እንዴት እንዳወቅንና የምርመራችንን ወሰን፤
ለዓላማ መጣጣም ምርምርና ለቴክኒካዊ የAI ደህንነት ያለውን አንድምታ የተረዳንበትን መንገድ፤
ምሳሌው ያስነሳቸውን ገና መልስ ያላገኙ ጠቃሚ ጥያቄዎች፤
ባህሪውን ለመፍታት እየወሰድናቸው ያሉ ወይም ለመውሰድ ያቀድናቸው እርምጃዎች። የዓላማ አለመጣጣሙን ሪፖርት ምርመራችንን ከማጠናቀቃችን ወይም መፍትሔ ከማዘጋጀታችን በፊት ልናትም ስለምንችል፣ እነዚህ መረጃዎች ይፋ በሚደረጉበት ጊዜ ሁልጊዜ ላይገኙ ይችላሉ።
በደንበኞች ሥርዓት ላይ በሚደረግ ስምሪት የሚከሰትን የዓላማ አለመጣጣም በተመለከተ፣ የደንበኞች ግላዊነትና የውል ግዴታዎቻችን በሚፈቅዱት መጠን መረጃ እናጋራለን።
የዛሬዎቹ ሪፖርቶች ስለሚታወቁ የዓላማ አለመጣጣሞች ወይም በመካሄድ ላይ ስላሉ ምርመራዎች የተሟላ ዘገባ ሳይሆኑ፣ የመጀመሪያ ይፋ ማድረጊያዎች ናቸው። እነዚህ የመጀመሪያ ሪፖርቶች በዚህ ማዕቀፍ የሚሸፈኑትን ጉዳዮች ሙሉ ዓይነት ወይም ክብደት እንዲወክሉ የታሰቡ አይደሉም። የዚህን ማዕቀፍ መስፈርቶች የሚያሟሉ የዓላማ አለመጣጣም ክስተቶችን፣ ረዘም ያለ ምርመራ ወይም ከሦስተኛ ወገኖች ጋር ቅንጅት የሚጠይቁ ይበልጥ ውስብስብ ጉዳዮችን ጨምሮ፣ ይፋ ለማድረግ ቁርጠኞች ነን። በዚህ ማዕቀፍ መሠረት ሪፖርቶችን በቀጣይነት ማተማችንን እንቀጥላለን፤ የሪፖርት ግዴታዎቻችንንም እያዳበርን ስንሄድ ተጨማሪ መረጃ እናጋራለን።
