Codex-оор өөрийгөө сайжруулдаг татварын агент бүтээх

Thrive Holdings ба OpenAI мэргэжилтний туршлагыг Codex-ээр хөтлөгдсөн мөчлөгтэй нэгтгэн Crete-ийн нягтлангуудад зориулсан Tax AI-г хэрхэн хамтран бүтээсэн тухай

Бодит ертөнцийн системүүд бодит хэрэглээнд лабораторид ажилладгаасаа өөрөөр ажилладаг бөгөөд нэвтрүүлэхээс өмнө таамаглахад хэцүү байдлаар доголддог. Багууд эдгээр алдааг ихэвчлэн нээлтийн дараа олж мэддэг бөгөөд дараа нь хэвийн бус тохиолдлуудыг шалгах, өгөгдөлүүдийг тохируулах, хэрэглэгчдээс ирсэн санал хүсэлтийг тогтвортой бүтээгдэхүүний сайжруулалт болгон хөрвүүлэхэд хэдэн долоо хоногийг зарцуулдаг. Санал хүсэлтийн мөчлөг нь гар ажиллагаатай, удаан бөгөөд инженер оролцож урагшлуулах үед л сайжирдаг. Гэхдээ өнөөдөр сайтар зохион бүтээсэн үнэлгээний дэд бүтэц, мэргэжилтнүүд болон бодит орчинд шууд хандах боломж, мөн Codex-ийн хил хязгаар чадваруудын ачаар та өөрийгөө сайжруулдаг агентуудыг бүтээж чадна.

Энэ нийтлэлд бид ийм төрлийн агент бүтээхдээ Codex-ийг хэрхэн ашигласнаа тайлбарлах болно. Сүүлийн зургаан сарын хугацаанд OpenAI-ийн талбарт ажилласан инженерүүд, судлаачид болон Thrive Holdings-ийн инженерүүд Crete⁠(шинэ цонхонд нээгдэнэ)-ийн 30+ нягтлан бодох фирмийн сүлжээнд зориулж, улам төвөгтэй татварын тайлан бэлтгэхэд туслах Tax AI-г хамтран бүтээсэн. Алдаа бүрийг инженерүүдээр олж засуулахын оронд Tax AI нь Codex-ийг ашиглан бодит хэрэглээг бие даасан сайжруулалтыг тэтгэх бүтэцтэй дохио болгон хувиргадаг.

Crete-ийн мэргэжилтнүүд улирал бүр хэдэн арван мянган татварын тайлан бэлтгэдэг бөгөөд энэ нь суурь сая сая баримттай ажиллахыг шаарддаг. Төвөгтэй байдал нь дундаас дээш хүртэлх тайлангуудын хувьд зөвхөн өгөгдөл оруулахад нэг тайлан тутамд найман цаг шаардагдаж, эмх замбараагүй өгөгдлийн эх сурвалж, өмнөх жилийн баримтууд, гар аргаар мэдээлэл татах ба тооцоолол хийх үйл явцууд байнга гардаг. Тэд татварын улирлын хамгийн ачаалалтай үед татварын бэлтгэл нь томоохон саад болж байгааг бидэнд онцолсон.

Энэ асуудлыг шийдэхийн тулд Tax AI энэ татварын улиралд туршилтад оролцсон Crete фирмүүдийн 7000 татварын тайланг боловсруулсан. Систем нь 1040 ба 1041 татварын тайлан бэлтгэх цаг их шаардсан үйл явцын ихэнхийг автоматжуулдаг ч үр ашгийн өсөлтөөс ч илүү анхаарал татах зүйл нь систем өөрөө гурван сарын өмнө анх нэвтрүүлсэн хувилбараасаа хэмжигдэхүйц илүү болсон явдал юм.

Tax AI-д мэргэжилтнүүд эх файлуудаа үйлчлүүлэгчид хамаарах тэмдэглэлтэй нь хамт байршуулдаг. Дараа нь Tax AI хяналтад бэлэн татварын хөдөлгүүрийн илгээх материалыг үүсгэдэг. Энэ нь мэргэжилтнүүдийн татварын бэлтгэлд зарцуулах цагийн ойролцоогоор гуравны нэгийг хэмнэж, 97% хүртэл нарийвчлалтай тайлангийн ноорог гаргаж, нэвтрүүлэх боломжийг ойролцоогоор 50%-иар нэмэгдүүлснээр тэдэнд үйлчлүүлэгчидтэй илүү их цаг өнгөрөөх боломжийг олгодог. 

Tax AI дараа нь засвар шаардахгүйгээр тайланг хэр нарийвчлалтай бөглөж чаддагийг ойлгосноор бид энэ сайжруулалтыг тоон үзүүлэлтээр хэмжиж чадна. Бид тайлангийн хэдэн хувь нь талбарын зөв бөглөсний 75%, 90%, эсвэл 100%-д хүрч байгааг шалгаж нарийвчлалыг хэмждэг. Эхлэх үед тайлангийн дөрөвний нэг нь л талбарын зөв бөглөсний 75%-д хүрч байсан бол зургаан долоо хоногийн дотор 86% нь энэ түвшинд хүрсэн. Систем 90% ба 100% зөв талбарын бөглөсөн түвшинд бүр ч хурдан өсөлт үзүүлсэн. Эдгээр босго нь янз бүрийн тайланд мэргэжилтний дараах ажил хэр их шаардлагатай хэвээр байгааг бодит байдлаар харуулдаг. 

Эхэндээ Tax AI W-2, 1099 зэрэг илүү энгийн ажлыг гүйцэтгэж байсан. Улирал үргэлжлэхийн хэрээр энэ нь K-1, schedules, илүү хэцүү хэвийн бус тохиолдол бүхий илүү төвөгтэй тайлан руу шилжсэн. Шинэ чадвар нэг тайлан тутамд бүр өмнөхөөсөө илүү их цаг хэмнэсэн, учир нь түүний хариуцсан даалгаврууд гар аргаар хийхэд илүү хэцүү, илүү цаг шаарддаг байсан. Бид өнөөдөр ч тасралтгүй ахиц дэвшил харсаар байна.

Дараа нь бид багууд маань Tax AI-г өөрийгөө сайжруулдаг болгохоор хэрхэн хамтран инженерчилснийг гурван чухал тулгуурт түшиглэн тайлбарлана: 1) нарийн мэргэшсэн зөвлөхүүдийн санал хүсэлт, 2) хэрэглээний мөрүүд (оролтоос эцсийн гаралт хүртэлх бүтэцтэй түүх), 3) тасралтгүй, илүү хурдан бүтээгдэхүүн хөгжүүлэлтийг боломжтой болгох зорилтот үнэлгээ дээр суурилсан Codex-ээр удирдуулсан давталтын мөчлөг. Манай туршлага системийн ерөнхий чанар болон түүгээр урсаж буй өгөгдлийг хэлбэржүүлэхэд мэргэжилтний туршлага чухал байдаг бусад бүтээгчдэд хэрэг болно гэж найдаж байна.

Бид татварын бэлтгэлийн илүү хэцүү хэсгүүд рүү (K-1, түрээсийн үл хөдлөх хөрөнгийн хуваарь, мөн олон эх файлаар утгуудыг тулгах шаардлагатай татварын маягтууд) ахих тусам жинхэнэ сорилт нь бүтээгдэхүүн төвөгтэй хэрэглээний алдааг харагдахуйц, ойлгомжтой, хэрэгжүүлэхүйц болгож чадах эсэх байсан нь тодорхой болсон.

Бүтээгдэхүүний эхний үед засварын ихэнх нь гар ажиллагаатай байсан. Мэргэжилтнүүд системийн алдааг засаж чаддаг байсан ч бүтээгдэхүүн бүрэн контекстыг хадгалдаггүй байв: тайлангаас өмнөх өөрчлөгдсөн утга нь үнэхээр гаралтын алдаа, зураглалын асуудал, бүтээгдэхүүний дэмжлэг дутмаг байдал эсвэл хүлээгдэж буй ажлын урсгалын хэлбэлзлийг илэрхийлж болох байлаа. Эдгээр тохиолдлыг ялгахын тулд инженерийн багаас дараах ажиллагаа шаардлагатай хэвээр байсан. Инженерүүд код бичих агентуудыг ашиглаж болох байсан ч систем хиймэл оюун ухааныг сайжруулалтын мөчлөг дотор утга учиртай ашиглахаар хараахан зохион бүтээгдээгүй байсан юм. Бидэнд асуудлыг хэрхэн зөв шийдвэрлэх дохио байгаагүй.

Энэ нь биднийг системийг гурван тулгуур баганад суурилан зохион бүтээхэд хүргэсэн:

1. Мэргэжилтнүүдтэй ойр байх: Ажлыг хийж буй хүмүүс бүтээгдэхүүн юу сурахыг чиглүүлэх хэрэгтэй. Тэдний зөн совин, ойлголт нь ямар алдаа чухал болохыг илчилж, ажлын урсгалын аль хэсэгт дараа нь анхаарах нь зүйтэйг тодорхойлоход тусалдаг.
2. Бодит хэрэглээ нь нотолгоо үүсгэдэг байхаар бүтээгдэхүүнийг бүтээх: Бүтээгдэхүүн зөвхөн оролт, гаралтыг бус; эх материалаас татаж авсан талбар ба гарал үүсэл, дараагийн тайлан, мэргэжилтний хийсэн засвар хүртэлх бүх дамжлагын явцыг хадгалах ёстой.
3. Codex-ээр удирдуулсан сайжруулалтын мөчлөг бий болгох: Бодит хэрэглээний асуудлууд харагдаж, бүтэцжсэн болмогц тэдгээр нь үр дүн, зорилтот үнэлгээ, хүрээлэгдсэн инженерчлэлийн даалгавар болж чадна. Дараа нь Codex шалгах, өөрчлөлт санал болгох, тэдгээрийг зорилтот болон шалгах үнэлгээний эсрэг баталгаажуулах, мөн бүтээгдэхүүнийг цэвэр гар ажиллагаатай давталтын мөчлөгөөс илүү хурдан урагшлуулахад тусалж чадна. 

Доорх түрээсийн үл хөдлөх хөрөнгийн жишээ нь энэ мөчлөг бодит байдалд хэрхэн ажилладгийг харуулж, мэргэжилтний засвар хэрхэн бүтэцтэй үр дүн, дараа нь үнэлгээний зорилт, эцэст нь Codex-д хүрээлэгдсэн инженерчлэлийн даалгавар болдгийг тайлбарлана.

Түрээсийн үл хөдлөх хөрөнгийн орлогыг хувь хүний татварын тайлангийн Schedule E дээр тайлагнадаг. Инженерийн өнцгөөс энэ мэдээллийг гаргаж авах даалгаврыг тайлбарлахад энгийн боловч сайн хийхэд хэцүү. Систем эмх замбараагүй эх материалыг (гараар бичсэн тэмдэглэл, имэйл, хүснэгт, бусад үйлчлүүлэгчийн файл) уншиж, татварын хөдөлгүүрт итгэлтэйгээр зураглаж болох түрээсийн үл хөдлөх хөрөнгийн талбаруудыг олборлон, мэргэжилтэн үр дүнг батлах эсвэл засахад хангалттай нотолгоог хадгалах ёстой. Доорх хялбаршуулсан жишээ нь эдгээр эх файлууд болон олборлосон гаралтууд ямар харагдаж болохыг харуулна.

Агентын таамагласан утга ба мэдүүлсэн татварын тайлан дахь бодит утгын зөрүү нь үнэхээр олборлолтын алдаа байж болох ч мэргэжилтний сонголт, татварын хөдөлгүүр дэх өмнөх жилийн тайлангаас шилжүүлсэн утга эсвэл мэдүүлгийн ажлын урсгалын өөр хэсэгт оруулсан эсвэл өөрчилсөн утга ч байж болно. Мэргэжилтнүүд эдгээр тохиолдлыг ялгахад бидэнд тусалсан тул ямар үйлдэл нь мэргэжилтний засвар шаардах эсвэл илгээхийг хаахыг тодорхойлж чадсан.

Бид эдгээр засварыг нарийвчлан харж чаддаг байсан тул хяналтын явцыг төгсгөлийн, алдааны дараах алхмаас тасралтгүй суралцах мөчлөг болгон хувиргасан. Бид ажлын урсгалыг мэргэжилтний үйлдлүүдийг бүтэцтэй өгөгдөл болгон бүртгэхээр зохион бүтээсэн. Одоо оролцоо бүр Tax AI юу санал болгосон, мэргэжилтэн юуг өөрчилсөн, эцэст нь мэдүүлсэн тайланд юу орсныг яг таг бүртгэснээр бүтээгдэхүүний сайжруулалтын мөчлөгийг тэтгэж байна.

Түрээсийн үл хөдлөх хөрөнгө шиг төвөгтэй ажлын урсгалын хувьд систем эх файлууд ба мэдүүлсэн тайлангийн хооронд юу болдгийг хадгалах ёстой. Энэ замд баримтуудыг зохион байгуулж, хувааж, ангилна; түрээсийн үл хөдлөх хөрөнгийн талбаруудыг эх материал руу буцах холбоостойгоор татаж авна; эдгээр утгыг татварын хөдөлгүүрт зураглана; мөн мэдүүлэхээс өмнө мэргэжилтнүүд тэдгээрийг засаж болно. Эдгээр бүтээгдэхүүний түвшний мөрүүд нь алдаа хаана гарсныг мөрдөн шалгах боломж олгодог. Мэргэжилтний засварыг хэрэгтэй үнэлгээний зорилт болгохын тулд систем тэдгээрийг гурван алхмаар боловсруулдаг:

• Зөрүүг бүртгэх: Tax AI-н гаралтыг мэдүүлсэн тайлантай харьцуулж, хүлээгдэж буй утга, таамагласан утга, мөн зөрүү нь хэрэгжүүлэхүйц эсэхийг агуулсан талбарын түвшний хяналтын мөрүүдийг үүсгэнэ.
• Холбоотой алдааг бүлэглэх: Ижил төстэй хяналтын мөрүүдийг бүлэглэж, давтагддаг бүтээгдэхүүний алдааг хүлээгдэж буй ажлын урсгалын хэлбэлзлээс салгана. Жишээлбэл, мэргэжилтний давтагдсан засварууд нь Tax AI-н “түрээсийн хоногийн тоо” талбарыг байнга алгасдаг, “бусад зардал”-ыг буруу боловсруулдаг эсвэл нэг эх багц доторх олон түрээсийн үл хөдлөх хөрөнгийг андуурдгийг харуулж болно.
• Давтагдсан хэв маягийг үнэлгээний зорилт болгох: Хянаж, хэмжсэний дараа давтагдсан үр дүнгүүд нь Codex-г сайжруулах тодорхой үнэлгээний зорилт болдог.

Гурав дахь тулгуур нь эдгээр шинэ үнэлгээний өгөгдлийг ашиглан ажиллах чадвартай инженерчлэлийг бий болгох явдал юм. Энд Codex гол байр суурь эзэлдэг.

Манай үнэлгээний дамжлага Tax AI-г “түрээсийн хоногийн тоо” талбарыг тогтмол алгасдаг, харин мэргэжилтнүүд үүнийг найдвартай бөглөдөг гэж тэмдэглэсэн гэж төсөөлье. Энэ үр дүн аль хэдийн төлөөлөх эх багцууд болон хүлээгдэж буй гаралтуудтай зорилтот үнэлгээний багц болгон хувиргасан тул Codex бүтээгдэхүүний хөгжүүлэлтийн бүтэц дотор үндсэн шалтгааныг шууд шалгах боломжтой.

Codex зөвхөн хангалтгүй эцсийн гаралттай ажилладаггүй. Энэ нь мөр, үнэлгээ, репозитор, чадварыг хамтад нь шалгадаг:

• Дамжлагыг мөрдөн шалгах: Эх багцууд, үр дүнгийн схемүүд, шилжүүлэгчийн үйлдэл, кодын замуудыг шалгаж, асуудал нь дэмжигдээгүй талбар, алдагдсан үр дүн гаргах хэв маяг, эх сурвалж сонголтын асуудал, шилжүүлэгчийн цоорхой эсвэл үнэлгээний алгоритмын доголдол эсэхийг тогтооно.
• Зорилтот засваруудыг хэрэгжүүлэх: Алдааны шалтгаанаас хамаарч өгөгдөл татах схемийг өргөтгөх, түрээсийн үл хөдлөх хөрөнгийн баримтуудад зориулсан эх сурвалж сонголтыг сайжруулах, татварын системийн шилжүүлэгчийг шинэчлэх эсвэл хэрэв ажлын урсгалын ердийн хэлбэлзэл нь алдаанд тооцогдоод байвал үнэлгээний алгоритмыг нарийвчлан засна.
• Баталгаажуулж, санал болгох: Зорилтот үнэлгээг дахин ажиллуулж, илүү өргөн хүрээний шалгах багцуудыг ажиллуулаад инженерээр хянуулахаар татах хүсэлтийг гаргана.
• Мөчлөгийг хаах: Мэргэжилтний давтагддаг засварыг хэмжигдэхүйц инженерчлэлийн даалгавар болго. Хэрэв нотолгоо тодорхойгүй эсвэл аюулгүйгээр автоматжуулах боломжгүй бол тухайн тохиолдлыг мөчлөгөөр хүчээр дамжуулахын оронд бүтээгдэхүүний баг руу буцаана.

Түрээсийн үл хөдлөх хөрөнгийн жишээ нь илүү өргөн хүрээний дахин ашиглаж болох хэв маягийн төлөөлөл юм: хэрэглээний үр дүн ба мөрүүдийг ашиглан агентын чадварыг сайжруулах. Бодит өгөгдлөөс хянаж боловсруулсан үр дүн, эх мөрүүд, хүлээгдэж буй татварын хөдөлгүүрийн гаралт, холбогдох кодын жишээнүүд, үнэлгээний командуудыг оролтын багц болгон өгвөл Codex долоо хоног, сараар гүйцэтгэл ба нарийвчлалыг мэдэгдэхүйц сайжруулж чадна. Энэ нь harness engineering болон Symphony-ийн тухай бидний ажилд тайлбарласан зарчмууд дээр тулгуурладаг бөгөөд эдгээр нь даалгаврыг Codex-д ойлгомжтой болгох, хүрээтэй контекст ба хэрэгслүүд өгөх, баталгаажуулалт ба хүний хяналтыг орчны нэг хэсэг хэвээр байлгах үйл явцыг тайлбарладаг. 

Тэр нотолгоо автоматаар Codex-ийн даалгавар болдоггүй. Мэргэжилтний засвар нь өгөгдөл татах явцын алдаа, шилжүүлгийн зөрүү, дэмжигдээгүй бүтээгдэхүүний үйлдэл, татварын дүгнэлт, эсвэл хүлээгдэж буй ажлын урсгалын хэлбэлзлийг илэрхийлж болно. Давтагдсан зөрүүнүүдийг хянаж, хэрэгжүүлэхүйц үр дүн болгон бүлэглэсний дараа л систем тэдгээрийг амжилттай биелэх нөхцөл бүхий даалгавар болгодог.

Бид энэ автоматжуулалтыг бүтээгдэхүүний хязгаарлагдсан давхаргад хэрэглэдэг. Энэ давхарга нь өгөгдөл татаж, эх баримтуудыг татварын ажлын урсгал руу буулгадаг. Инженерүүд архитектур, бүтээгдэхүүний шийдвэр, гаргалтыг хариуцсан хэвээр байна. Мэргэжилтнүүд аль хэдийн хийж буй ажлаараа сайжруулалтын мөчлөгийг чиглүүлдэг. Үүнд: олборлосон утгуудыг засах, тайлангуудыг хянах, эцсийн мэдүүлгийг батлах.

Codex-ийн хувьд үр дүн нь бүдэг дохиолол биш, харин нотолгоо, засварлаж болох бүтээгдэхүүний гадаргуу, тодорхой баталгаажуулалтын хаалгатай хүрээлэгдсэн инженерчлэлийн даалгавар юм. Төлөөлөх түрээсийн үл хөдлөх хөрөнгийн даалгаврын контекстыг дараах байдлаар нэгтгэж болно:

Энэхүү мөчлөг нь түрээсийн үл хөдлөх хөрөнгөөс цааш ч үйлчилнэ. Түрээсийн үл хөдлөх хөрөнгө 90% нарийвчлал ба гүйцэд байдалд хүрэхэд ойролцоогоор зургаан долоо хоног, инженерийн томоохон хяналт шаардсан ч энэ ажил нь дахин ашиглаж болох хийсвэрлэл, хяналтын үр дүн, үнэлгээний тогтсон хэвшмэл, хэрэгжүүлэлтийн хэв маягийг бий болгож, Schedule C болон Schedule A зэрэг ижил төвөгтэй хуваарийг дэмжихийг хялбар болгосон.

Tax AI нь өөрийгөө сайжруулдаг агентуудыг бүтээх замыг харуулж байна. Мэргэжилтнүүд үйлчилгээг хүргэх явцдаа өндөр үнэ цэнтэй санал хүсэлтийн дохио үүсгэдэг. Бүтээгдэхүүний ажлын урсгалууд эдгээр дохиог бүтэцтэй нотолгоо болгон хадгалдаг. Үнэлгээгээр дэмжигдсэн инженерчлэлийн системүүд сайжруулалтыг бодит хэрэглээнд хүрэхээс нь өмнө баталгаажуулж, агентаар ажилладаг мөчлөг нь системийг тасралтгүй өөрийгөө сайжруулах урсгалд байлгадаг. 

Thrive Holdings-ийн бүтэц нь энэ орчныг тодорхой салбаруудад давтан хэрэгжүүлэх боломжийг олгодог. Holdings нь эзэмшигч бөгөөд оператор учраас манай нэгдсэн инженерийн багууд Crete зэрэг бизнесүүдийн доторх мэргэжилтнүүд болон хэрэглээний өгөгдөлтэй нийлүүлэгч биш, харин түншийн хувиар шууд ажиллаж чаддаг. Энэ нь технологи, бүтээгдэхүүн, үйлчилгээ бүгд нэг дор байрлаж, бидэнд илүү хурдан хөдөлж, онцгой бүтээгдэхүүн бүтээхэд тусалдаг гэсэн үг юм.

Өнгөрсөн жил татварын бэлтгэлд 180 цаг зарцуулсан нэг ахлах нягтлан бодогч энэ жил ердөө 15 цаг зарцуулсан байна. Тэр энэ цагийнхаа нэг хэсгийг бүх үйлчлүүлэгч рүүгээ залгаж, тайланг нь тайлбарлаж өгөхөд зориулсан нь жилийн өмнө боломжгүй байсан өндөр түвшний үйлчилгээ юм. Үлдсэн цагаа тэр шинэ үйлчлүүлэгч авах, шинэ үйлчилгээний санал руу тэлэхэд ашиглажээ.

Одоо манай багууд Tax AI-н ижил гурван хэсэгт загварыг Thrive Holdings⁠(шинэ цонхонд нээгдэнэ)-ийн бусад домэйн дахь ажлын урсгал бүтээх зураг төсөл болгон ашиглаж байна; нягтлан бодох бүртгэлийн ажлын урсгалууд болох данс хөтлөлт, аудит, мөн IT тусламжийн үйлчилгээг автоматжуулах зэрэг үйл ажиллагааны ажлын урсгалууд. Домэйн, салбар бүрд өөрийгөө сайжруулдаг агентуудын өргөн амлалт хүчинтэй хэвээр байна. Хамгийн сайн агентуудыг хүмүүс чиглүүлж, цаг хугацааны явцад илүү чадвартай, илүү итгэлтэй, илүү үнэ цэнтэй болохоор сургадаг.

Энэ төсөл дээр ажилласан OpenAI-н багийн талаар илүү ихийг мэдэхийг хүсвэл холбогдоно уу.