Third Moment Research: 10,000 агент, 36+ цагийн ажиллагаа

Компани бүр өөрийн ажлын явц, хэрэгсэл, онцгой тохиолдлууд, амжилтыг хэмжих шалгууртай. ⁠(шинэ цонхонд нээгдэнэ)Шилдэг агентууд тухайн ажлыг маш сайн гүйцэтгэж, ашиглах тусам чадвараа сайжруулдаг байх ёстой гэж Third Moment Research⁠(шинэ цонхонд нээгдэнэ) үздэг.

Тус компани энэ санаанд тулгуурлан өөрийгөө сайжруулдаг хиймэл оюуны систем бүтээж байна. Үүний тулд OpenAI-ийн хамгийн сүүлийн үеийн загваруудаар агентуудын үйлдлийг шинжилж, давтагддаг сул талыг нь илрүүлэн, тэдгээр асуудлыг хамарсан олон мянган зохиомол нөхцөлийг автоматаар үүсгэдэг. Баг эдгээр нөхцөлийг ашиглан агентуудыг сайжруулж, шинэ асуудал гарах бүрд уг үйл явцыг давтдаг.

Codex, GPT‑6 Astra, GPT‑6 Sol болон GPT‑6.1 Sol нь системийн судалгаа, тооцооллын ажлыг дэмжиж, Third Moment-д 36–48 цаг үргэлжлэх судалгаанд 10,000 агентыг зэрэг ажиллуулах боломж олгодог. Мөн тус компани агентуудын ажиллах орчны аюулгүй байдлыг шалгахдаа Daybreak ашигладаг.

Амжилтыг нь тодорхой хэмжих боломжтой тул Third Moment эхний хэрэглээнийхээ нэгээр тоон санхүүгийн салбарыг сонгосон. Энэ салбар нь агентууд хэрхэн ажилладаг, юун дээр хүндрэлтэй тулгардгийг судлах бодитой орчин болдог. Баг судалгааны орчин дахь асуудлуудыг олж, шийдвэрлэхийн тулд Codex ашигладаг.

Нэг удаа баг Codex-ийг тухайн үеийн хамгийн шинэ GPT загвар болох GPT‑5.6‑тай хамт ашиглаж, симуляцийн явцын олон мянган бүртгэлийг (агентуудын үйлдэл болон орчны хариу үйлдэл) цагийн тэмдэглэгээ, кодын сантай нь хамтатган шинжилсэн.

Codex хурдыг хязгаарлаж буй нэг асуудлыг илрүүлсэн: АНУ-ын хувьцааны нэг жилийн захиалга тус бүрийн өгөгдөл дээр арилжааны стратегийг буцаан шалгахад хэдэн цаг зарцуулж байв. Хүлээх зуураа агентууд шалгалт дууссан эсэхийг дахин дахин лавлаж, токеныг үргүй зарцуулан, контекстээ төлөв шалгасан мэдээллээр дүүргэж байжээ.

Codex буцаан шалгалтын гүйцэтгэлийг хэмжиж, оролтын өгөгдөл болон ашиглалтыг нь шинжилсний дараа кэшийн оновчлол, санах ойд өгөгдлийг нягт байрлуулах аргыг олсон. Улмаар шийдлүүдийг туршиж, засварыг үндсэн системд нэвтрүүлснээр буцаан шалгах хугацааг ойролцоогоор 3 цагаас 3–5 минут болгож багасгасан. Ингэснээр токены хэрэглээ, контекст дэх хэрэггүй мэдээлэл багасаж, агентууд токены төсвийнхөө илүү их хэсгийг дараагийн туршилтуудад зарцуулах боломжтой болсон.

Third Moment агент бүрийг тодорхой ажилд нь шаардлагатай хэрэгсэл, мэдээлэл, орчноор хангадаг. Тоон судалгаа хийхдээ баг Docker орчин дотор Codex-ийн анхдагч хамгаалалтыг ажиллуулдаг. Агентуудад нэг терабайт өгөгдөл, баримт бичиг, мөн шинж чанар боловсруулах, GPU ашиглан загвар сургах, арилжааны стратеги болон симуляцийн модулиудтай судалгааны репозитор өгдөг.

GPT‑6 Astra, GPT‑6 Sol болон GPT‑6.1 Sol нь сэтгэн бодох чадварыг хангадаг бол Codex хамгаалалт нь агентуудад үйлдэл хийх, төлөвлөгөө гаргах, зорилго тавих, дэд агент үүсгэх, ажиллах явцдаа контекстээ хураангуйлах хэрэгслүүдийг өгдөг.

Даалгавраа дуусгахаас өмнө зогсдог агентуудын асуудлыг шийдэхийн тулд Third Moment нь GPT‑6 Sol эсвэл GPT‑6.1 Sol-д суурилсан гадна хамгаалалт дотор Codex-ийг дэд агент болгон ашигладаг. Даалгавар дуусаагүй үлдвэл гадна хамгаалалт нь гүйцэтгэлийн явцыг шалгаж, дахин оролдох уу, ажлыг зогсоох уу, эсвэл хүнээр хянуулах уу гэдгийг шийддэг.

Тэрхүү судалгааны орчинд агентууд Third Moment-ийн инженерүүдийн бүтээсэн суурь арилжааны системийг сайжруулахаар ажилладаг. Тэд түүхэн өгөгдөл дээр арилжааны стратегиудыг туршиж, сайжрал нь бодитой юу, эсвэл санамсаргүй хэлбэлзэл үү гэдгийг үнэлэн, үр дүн бүрд үндэслэж дараагийн туршилтаа сонгодог. Адамын хэлснээр тэдний ажил суурь арилжааны системийг сайжруулжээ.

Адамын хэлснээр GPT‑5.5‑аас өмнөх загварууд зөвхөн хэрэглэгчийн заасан туршилтыг л хийж чаддаг байжээ. GPT‑5.5, GPT‑5.6 гарснаар Codex хамгаалалттай ажиллаж буй загварууд үр дүнд үндэслэн дараагийн туршилтаа төлөвлөж чаддаг болсон. Харин одоо GPT‑6 Astra, GPT‑6 Sol, GPT‑6.1 Sol-ийн тусламжтайгаар агентууд дэд агентуудтай хамт олон зуун туршилтыг зэрэг явуулж, үндсэн шалтгааныг судалж чаддаг.

Энэ ахиц агентуудад багийн төсөөлөөгүй судалгааны чиглэлүүдийг эрэлхийлэхэд тусалсан. Нэг удаагийн ажиллагааны үеэр GPT‑6.1 Sol нийтэд харагддаггүй арилжаа нь нийт арилжааны хэмжээнд төсөөлснөөс их хувь эзэлдэг нэгэн бирж дээр тэдгээр арилжааны нөлөөг тогтоожээ. “Энэ бол манай судалгааны багийн анхнаасаа тооцоолоогүй, шууд анзаарагдахааргүй үр дүн байсан” гэж Адам хэлэв.

Third Moment загваруудыг оновчлол, машин сургалтын систем, тоон судалгааны чиглэлээр үнэлдэг. Тус компани хил хязгаарын шинэ загваруудыг сэтгэн бодох хамгийн өндөр тохиргоогоор нь туршиж, репозитор дотроос хэрэгтэй зүйлээ олох, үр ашигтай код бичих, судалгааг тууштай үргэлжлүүлэх чадварыг нь үнэлдэг. Одоогийн туршилтад GPT‑6 Luna мөн багтаж байна.

Нэг сорилд агентуудад оноог шууд харуулдаг үйлчилгээний гаралтыг өөрчлөхгүйгээр шинэчлэлтийн хоцролтыг багасгах даалгавар өгдөг. Баг үр дүнгийн зөв байдлыг хангасан нөхцөлд, ижил төхөөрөмж дээр мэргэжилтний боловсруулсан шийдлийн ажиллах дундаж хугацааг загварын шийдлийнхэд хувааж, хурд хэд дахин нэмэгдсэнийг хэмждэг. Адамын хэлснээр GPT‑6 Astra хурдыг хамгийн их нэмэгдүүлсэн.

Симуляцийн систем дэх аюулгүй байдлын тодорхой сул талыг шалгах зэрэг нарийн чиглэсэн ажилд баг GPT‑5.6 Terra шиг нөөц бага зарцуулдаг загварууд ашигладаг. Гүн судалгаанд илүү сайн сэтгэн бодох чадвар нь өндөр зардлыг зөвтгөж чадна гэж Адам үздэг: “Тоон санхүүгийн салбарт сонирхол татахуйц дохио олж илрүүлэх нь асар өндөр үнэ цэнтэй.”

10,000 агент бие даан ажиллаж байгаа тул Third Moment-д судалгааны орчнуудынхаа аюулгүй байдлыг өргөн хүрээнд шалгах арга хэрэгтэй. Баг симуляци эхлүүлэхээс өмнө уг шалгалтыг автоматжуулахын тулд Daybreak кибер аюулгүй байдлын платформыг ашигладаг.

Эдгээр туршилтаар агент судалгааны орчноосоо гарч, илүү өргөн сүлжээнд нэвтэрч чадах эсэхийг шалгадаг. “Daybreak ашигласнаар бид агентуудаар өөрсдөөр нь симуляцид нэвтрэлтийн туршилт хийлгэж, дэд бүтэц болон аюулгүй байдлыг нь шалгуулж чаддаг” гэж Адам хэлэв.

Third Moment-ийн зорилго нь компаниудын өдөр тутам хийдэг нарийн мэргэжлийн ажлуудыг ч хамардаг. Жижиглэн худалдааны компанийн хувьд энэ нь барааны нөөц дутагдах эсвэл нийлүүлэгч хоцрох үед нийлүүлэлтийн сүлжээний талаар илүү зөв шийдвэр гаргахыг хэлж болно. Инженерийн багийн хувьд томоохон кодын сангаас гүйцэтгэлийг хязгаарлаж буй хэсгүүдийг олох байж болно. Баримт бичиг ихтэй байгууллагын хувьд нэг баримт бичигт заасан үүрэг амлалт нөгөөд нь бүртгэсэн үр дүнтэй хаана зөрж байгааг илрүүлэх байж болно.

Third Moment нь GPT‑6 Astra, GPT‑6 Sol болон GPT‑6.1 Sol-ийн сэтгэн бодох чадварт тулгуурлан, тус тусдаа явуулдаг судалгааг хамтран ажиллах хэдэн зуун мянган дэд агентын түвшинд хүргэхээр төлөвлөж байна. Төлөвлөгөөнд нь бие биеэсээ хамааралтай олон арван туршилтын цувааг их наяд токеноор дэмжихээр тусгасан. Шинэ сорилт тулгарах бүрд тухайн судалгааг ашиглан агентуудыг хүний оролцоогүйгээр сайжруулах нь үүний зорилго юм.

Адамын хувьд энэ нь агентууд хэрхэн суралцаж, ажиллахыг чиглүүлэх илүү их боломжийг хүмүүст олгоно: “Хүмүүс судалгааг өөрсдөө хийхийн оронд хэрхэн судлах, судалгааны үйл явцыг хэрхэн оновчлох талаар бодож, илүү их үр нөлөө үзүүлэх боломжтой болно.”