Ինքնակատարելագործվող հարկային ագենտներ Codex-ով

Ինչպես Thrive Holdings-ը և OpenAI-ը համատեղ մշակեցին Tax AI-ը Crete-ի հաշվապահների համար՝ միավորելով մասնագետների փորձը Codex-ով ղեկավարվող ցիկլի հետ

Իրական աշխարհի համակարգերը արտադրական միջավայրում այլ կերպ են գործում, քան լաբորատորիայում՝ խափանվելով այնպիսի ձևերով, որոնք դժվար է կանխատեսել մինչև գործարկումը։ Թիմերը հաճախ այդ խափանումները հայտնաբերում են գործարկումից հետո, ապա շաբաթներ են ծախսում եզրային դեպքերը ուսումնասիրելու, հարցումները ճշգրտելու և արտադրական հետադարձ կապը կայուն արտադրանքի բարելավումների վերածելու վրա։ Հետադարձ կապի ցիկլը ձեռքով է և դանդաղ, և բարելավվում է միայն այն ժամանակ, երբ ինժեներն այն առաջ է մղում։ Բայց այսօր՝ խնամքով նախագծված eval ենթակառուցվածքով, մասնագետներին և իրական աշխարհի միջավայրերին անմիջական հասանելիությամբ, և Codex-ի առաջատար ագենտային հնարավորություններով, կարելի է կառուցել ինքնակատարելագործվող ագենտներ։

Այս գրառման մեջ մենք կբացատրենք, թե ինչպես օգտագործեցինք Codex-ը այս տեսակի ագենտ կառուցելու համար։ Անցած վեց ամիսների ընթացքում OpenAI-ի տեղում աշխատող ինժեներներն ու հետազոտողները, ինչպես նաև Thrive Holdings-ի ինժեներները համագործակցեցին՝ կառուցելու Tax AI-ը Crete⁠(բացվում է նոր պատուհանում)-ի 30+ հաշվապահական ընկերություններից բաղկացած ցանցի հետ և նրանց համար՝ օգնելու պատրաստել գնալով ավելի բարդ հարկային հայտարարագրեր։ Փոխանակ յուրաքանչյուր խափանում գտնելու և շտկելու համար ապավինելու ինժեներներին՝ Tax AI-ը օգտագործում է Codex-ը՝ արտադրական օգտագործումը կառուցվածքային ազդանշանների վերածելու համար, որոնք սնուցում են ինքնավար բարելավումը։

Crete-ի մասնագետները յուրաքանչյուր սեզոն պատրաստում են տասնյակ հազարավոր հարկային հայտարարագրեր, ինչը պահանջում է աշխատել միլիոնավոր հիմքում ընկած փաստաթղթերի հետ։ Միջինից մեծ բարդության հայտարարագրերի դեպքում միայն տվյալների մուտքագրումը կարող է տևել ութ ժամ մեկ հայտարարագրի համար՝ հաճախ ներառելով անկանոն տվյալների աղբյուրներ, նախորդ տարվա փաստաթղթեր և ձեռքով արտահանում ու հաշվարկ։ Նրանք մեզ ցույց տվեցին, որ հարկային պատրաստումը հարկային սեզոնի ամենածանրաբեռնված հատվածում զգալի խցանում է։

Այս խնդիրը լուծելու համար Tax AI-ը այս հարկային սեզոնին մշակեց 7,000 հարկային հայտարարագիր այն Crete ընկերություններում, որոնք մասնակցում էին փորձնական ծրագրին։ Համակարգը ավտոմատացնում է 1040 և 1041 հարկային հայտարարագրերի պատրաստման ժամանակատար գործընթացի մեծ մասը, բայց արդյունավետության աճից էլ ավելի համոզիչն այն է, որ համակարգն ինքնին չափելիորեն ավելի լավն է, քան երեք ամիս առաջ առաջին անգամ գործարկված տարբերակը։

Tax AI-ում մասնագետները վերբեռնում են աղբյուրային ֆայլերը՝ հաճախորդին հատուկ ցանկացած նշումների հետ միասին։ Այնուհետև Tax AI-ը ստեղծում է հարկային շարժիչի ներկայացում՝ պատրաստ վերանայման համար։ Այն մասնագետներին խնայում է հարկային պատրաստման ժամանակի մոտ մեկ երրորդը, կազմում է հայտարարագրեր մինչև 97% ճշգրտությամբ և ավելացնում է թողունակությունը մոտ 50%-ով՝ նրանց ավելի շատ հնարավորություն տալով ժամանակ անցկացնել հաճախորդների հետ։ 

Մենք կարող ենք քանակապես գնահատել այս բարելավումը՝ հասկանալով, թե որքան ճշգրիտ կարող է Tax AI-ը լրացնել հայտարարագիրը՝ առանց հետագայում ուղղման կարիք ունենալու։ Մենք ճշգրտությունը չափում ենք՝ ստուգելով, թե հայտարարագրերի ինչ մասն է հասնում դաշտերի 75%, 90% կամ 100% ճիշտ լրացման։ Գործարկման պահին հայտարարագրերի միայն մեկ քառորդն էր հասնում դաշտերի 75% ճիշտ լրացման, բայց վեց շաբաթվա ընթացքում 86%-ը հասավ այդ շեմին։ Համակարգը նույնիսկ ավելի արագ աճ ցույց տվեց դաշտերի 90% և 100% ճիշտ լրացման մակարդակներում։ Այս շեմերը մեզ գործնական պատկերացում են տալիս, թե տարբեր հայտարարագրերը դեռ որքան մասնագետի հետագա աշխատանք են պահանջում։ 

Սկզբում Tax AI-ը մշակում էր ավելի պարզ աշխատանքներ, օրինակ՝ W-2-ներ և 1099-ներ։ Սեզոնի ընթացքում այն անցավ ավելի բարդ հայտարարագրերի՝ K-1-ներով, աղյուսակներով և ավելի դժվար եզրային դեպքերով։ Յուրաքանչյուր նոր հնարավորություն մեկ հայտարարագրի հաշվով ավելի շատ ժամանակ էր խնայում, քան նախորդը, որովհետև այն ստանձնած առաջադրանքներն ավելի դժվար և ձեռքով կատարելու համար ավելի ժամանակատար էին։ Մենք այսօր էլ շարունակում ենք տեսնել շարունակական առաջընթաց։

Հաջորդիվ կանցնենք, թե ինչպես մեր թիմերը համատեղ ինժեներեցին Tax AI-ը, որպեսզի այն լինի ինքնակատարելագործվող՝ հենվելով երեք կարևոր հենասյուների վրա՝ 1) փորձառու մասնագետների հետադարձ կապ, 2) արտադրական հետագծեր (կառուցվածքային պատմություն մուտքերից մինչև վերջնական ելք), և 3) Codex-ով ղեկավարվող իտերացիոն ցիկլ՝ հարմարեցված eval-ների հիման վրա, շարունակական և ավելի արագ արտադրանքի զարգացում ապահովելու համար։ Հուսով ենք, որ մեր փորձը օգտակար կլինի այլ ստեղծողների համար այն տիրույթներում, որտեղ մասնագետների փորձը կարևոր է ամբողջ համակարգի և դրա միջով անցնող տվյալների որակը ձևավորելու համար։

Երբ մենք անցանք հարկային պատրաստման ավելի դժվար հատվածներին (K-1-ներ, վարձակալվող անշարժ գույքի աղյուսակներ և հարկային ձևեր, որտեղ արժեքները պետք է համադրվեին մի քանի աղբյուրային ֆայլերի միջև), ակնհայտ դարձավ, որ իրական մարտահրավերն այն էր, թե արդյոք արտադրանքը կարող է բարդ արտադրական խափանումները դարձնել տեսանելի, հասկանալի և գործնական։

Արտադրանքի սկզբնական օրերին ուղղումների մեծ մասը ձեռքով էր կատարվում։ Մասնագետները կարող էին ուղղել համակարգի սխալները, բայց արտադրանքը չէր գրանցում ամբողջ համատեքստը․ ներկայացումից առաջ փոփոխված արժեքը կարող էր արտացոլել իրական արտահանման բացթողում, քարտեզագրման խնդիր, արտադրանքի աջակցության բացակայություն կամ սպասվող աշխատանքային աղմուկ։ Այդ դեպքերը տարանջատելը դեռ պահանջում էր ինժեներական թիմի հետագա աշխատանք։ Ինժեներները կարող էին օգտագործել կոդավորման ագենտներ, բայց համակարգը դեռ նախագծված չէր այնպես, որ ԱԲ-ն իմաստալից կերպով օգտագործվեր բարելավման ցիկլի ներսում։ Մենք չունեինք այն ազդանշանը, որը կօգներ հասկանալ ճիշտ հաղթահարվելիք խնդիրը։

Սա մեզ բերեց համակարգը երեք հենասյուների շուրջ նախագծելուն․

1. Մնալ մասնագետներին մոտ․ աշխատանքը կատարող մարդիկ պետք է ուղղորդեն, թե ինչ է սովորում արտադրանքը։ Նրանց ինտուիցիան և ըմբռնումը բացահայտում են, թե որ սխալներն են կարևոր, և օգնում են հասկանալ, թե աշխատանքային հոսքի որ մասերի վրա արժե կենտրոնանալ հաջորդիվ։
2. Կառուցել արտադրանքը այնպես, որ արտադրական միջավայրը ապացույց ստեղծի․ արտադրանքը պետք է գրանցի ոչ միայն մուտքերն ու ելքերը, այլ ամբողջ ուղին՝ աղբյուրային նյութից մինչև արտահանված դաշտեր և դրանց ծագում, մինչև ներքևի ներկայացում և փորձագետի ուղղում։
3. Ստեղծել Codex-ով ղեկավարվող բարելավման ցիկլ․ երբ արտադրական խնդիրները տեսանելի և կառուցվածքային են դառնում, դրանք կարող են վերածվել բացահայտումների, հարմարեցված eval-ների և սահմանված ինժեներական առաջադրանքների։ Այնուհետև Codex-ը կարող է օգնել հետաքննել, առաջարկել փոփոխություններ, վավերացնել դրանք թիրախավորված և ռեգրեսիոն eval-ների դեմ, և արտադրանքը առաջ մղել ավելի արագ, քան զուտ ձեռքով իտերացիոն ցիկլը։ 

Ստորև բերված վարձակալվող գույքի օրինակը ցույց է տալիս, թե ինչպես է այդ ցիկլը գործում գործնականում՝ ներկայացնելով, թե ինչպես է մասնագետի ուղղումը դառնում կառուցվածքային բացահայտում, ապա eval թիրախ, և վերջապես Codex-ով սահմանված ինժեներական առաջադրանք։

Վարձակալվող գույքից եկամուտը ներկայացվում է անհատական հարկային հայտարարագրի Schedule E-ում։ Ինժեներական տեսանկյունից դրա արտահանման առաջադրանքը պարզ է նկարագրելու համար, բայց դժվար՝ լավ կատարելու համար։ Համակարգը պետք է կարդա անկանոն աղբյուրային նյութը (ձեռագիր նշումներ, էլփոստեր, աղյուսակներ և հաճախորդի այլ ֆայլեր), արտահանի վարձակալվող գույքի այն դաշտերը, որոնք համակարգը կարող է վստահորեն քարտեզագրել հարկային շարժիչին, և պահպանի բավարար ապացույց, որպեսզի մասնագետը կարողանա հաստատել կամ ուղղել արդյունքը։ Ստորև բերված պարզեցված օրինակը ցույց է տալիս, թե ինչպես կարող են տեսք ունենալ այդ աղբյուրային ֆայլերն ու արտահանված ելքերը։

ագենտի կանխատեսած արժեքի և ներկայացված հարկային հայտարարագրի փաստացի արժեքի տարբերությունը կարող է արտացոլել իրական արտահանման բացթողում, բայց կարող է նաև լինել մասնագետի նախընտրություն, հարկային շարժիչում նախորդ տարվա հայտարարագրից փոխանցված արժեք, կամ հայտարարագրման աշխատանքային հոսքի այլ հատվածում ներմուծված կամ փոփոխված արժեք։ Մասնագետներն օգնեցին մեզ տարբերակել այդ դեպքերը, որպեսզի կարողանայինք հասկանալ, թե որ գործողություններն էին պահանջում մասնագետի ուղղում կամ արգելափակում ներկայացումը։

Քանի որ մենք կարողանում էինք մանրամասն տեսնել այս ուղղումները, վերանայման գործընթացը վերջնական, ձախողումից հետո կատարվող քայլից վերածեցինք շարունակական ուսուցման ցիկլի։ Մենք նախագծեցինք աշխատանքային հոսքը այնպես, որ փորձագետների գործողությունները գրանցվեն որպես կառուցվածքային տվյալներ։ Այժմ յուրաքանչյուր միջամտություն սնուցում է արտադրանքի բարելավման ցիկլը՝ գրանցելով, թե կոնկրետ ինչ է առաջարկել Tax AI-ը, ինչ է փոփոխել մասնագետը, և ինչն է վերջնականապես ներառվել ներկայացված հայտարարագրում։

Վարձակալվող գույքի նման բարդ աշխատանքային հոսքի դեպքում համակարգը պետք է պահպանի, թե ինչ է տեղի ունենում աղբյուրային ֆայլերի և ներկայացված հայտարարագրի միջև։ Այդ ճանապարհին փաստաթղթերը կազմակերպվում, բաժանվում և դասակարգվում են, վարձակալվող գույքի դաշտերը արտահանվում են՝ աղբյուրային նյութին հղումներով, այդ արժեքները կարտեզագրվում են հարկային շարժիչում, և մասնագետները դեռ կարող են դրանք ուղղել մինչև ներկայացնելը։ Արտադրանքի մակարդակի այդ հետագծերը հնարավորություն են տալիս հետաքննել, թե որտեղ է տեղի ունեցել խափանումը։ Մասնագետների ուղղումները օգտակար գնահատման թիրախների վերածելու համար համակարգը դրանք մշակում է երեք քայլով․

• Գրանցել տարբերությունը․ Tax AI-ի ելքը համեմատվում է ներկայացված հայտարարագրի հետ՝ դաշտային մակարդակի վերանայման տողեր ստանալու համար, որոնք գրանցում են սպասվող արժեքը, կանխատեսված արժեքը և այն, թե արդյոք տարբերությունը գործնական է թվում։
• Խմբավորել կապված խափանումները․ Նման վերանայման տողերը խմբավորվում են՝ արտադրանքի կրկնվող խափանումները սպասվող աշխատանքային աղմուկից առանձնացնելու համար։ Օրինակ՝ մասնագետների կրկնվող ուղղումները կարող են ցույց տալ, որ Tax AI-ը հաճախ բաց է թողնում «արդար վարձակալության օրեր» դաշտերը, սխալ է մշակում «այլ ծախսերը», կամ շփոթում է նույն աղբյուրային փաթեթի մի քանի վարձակալվող գույքերը։
• Կրկնվող օրինաչափությունները դարձնել գնահատման թիրախներ․ վերանայումից և չափումից հետո կրկնվող բացահայտումները դառնում են հստակ eval թիրախներ Codex-ի բարելավման համար։

Երրորդ հենասյունը ինժեներական ցիկլի ստեղծումն է, որը կարող է գործել այս նոր eval-ների հիման վրա։ Այստեղ Codex-ը դառնում է կենտրոնական։

Ենթադրենք մեր eval խողովակաշարը նշում է, որ Tax AI-ը հետևողականորեն բաց է թողնում "արդար վարձակալության օրեր" դաշտը, մինչդեռ մասնագետները հուսալիորեն լրացնում են այն։ Քանի որ այս բացահայտումն արդեն փաթեթավորվել է որպես թիրախավորված eval հավաքածու՝ ներկայացուցչական աղբյուրային փաթեթներով և սպասվող ելքերով, Codex-ը կարող է անմիջապես հետաքննել արմատական պատճառը արտադրանքի շրջանակի ներսում։

Codex-ը չի աշխատում միայն անբավարար վերջնական ելքի հետ։ Այն միասին ուսումնասիրում է հետագիծը, eval-ը, պահոցը և հմտությունները․

• Հետաքննել խողովակաշարը․ ուսումնասիրել աղբյուրային փաթեթները, արտահանման սխեմաները, քարտեզագրիչի վարքը և կոդի ուղիները՝ որոշելու համար, թե խնդիրը չաջակցվող դաշտ է, բաց թողնված արտահանման օրինաչափություն, աղբյուրի ընտրության խնդիր, քարտեզագրիչի բաց, թե գնահատիչի խնդիր։
• Իրականացնել թիրախավորված շտկումներ․ ընդլայնել արտահանման սխեման, բարելավել աղբյուրի ընտրությունը վարձակալվող գույքի փաստաթղթերի համար, թարմացնել հարկային շարժիչի քարտեզագրիչը, կամ ճշգրտել գնահատիչը, եթե սպասվող աշխատանքային աղմուկը հաշվարկվում է որպես խափանում։
• Վավերացնել և առաջարկել․ կրկին գործարկել թիրախավորված eval-ը, գործարկել ավելի լայն ռեգրեսիոն հավաքածուներ և ներկայացնել թեկնածու pull request ինժեներական վերանայման համար։
• Փակել ցիկլը․ կրկնվող մասնագիտական ուղղումը վերածել չափելի ինժեներական առաջադրանքի։ Եթե ապացույցը երկիմաստ է կամ անվտանգ ավտոմատացման համար հարմար չէ, դեպքը ցիկլով ստիպողաբար անցկացնելու փոխարեն վերաուղղվում է արտադրանքի թիմին։

Վարձակալվող գույքի օրինակը ավելի լայն վերօգտագործելի օրինաչափության խորհրդանշական օրինակ է՝ օգտագործել արտադրական արտեֆակտներն ու հետագծերը ագենտի կարողությունները բարելավելու համար։ Արտադրական տվյալներից վերանայված բացահայտումները, աղբյուրային հետագծերը, սպասվող հարկային շարժիչի ելքը, համապատասխան կոդի օրինակները և eval հրամանները որպես մուտքերի հավաքածու ունենալով՝ Codex-ը կարող է շաբաթների և ամիսների ընթացքում էապես բարելավել արդյունավետությունն ու ճշգրտությունը։ Սա հիմնվում է մեր harness engineering և Symphony աշխատանքներում նկարագրված սկզբունքների վրա, որոնք բացատրում են, թե ինչպես առաջադրանքները դարձնել ընթեռնելի Codex-ի համար, տրամադրել սահմանված համատեքստ և գործիքներ, և պահպանել վավերացումն ու մարդկային վերանայումը որպես միջավայրի մաս։ 

Այդ ապացույցը ինքնաբերաբար Codex-ի առաջադրանք չի դառնում։ Մասնագետի ուղղումը կարող է արտացոլել արտահանման բացթողում, քարտեզագրման խնդիր, արտադրանքի չաջակցվող վարք, հարկային դատողություն կամ սպասվող աշխատանքային աղմուկ։ Միայն այն բանից հետո, երբ կրկնվող տարբերությունները վերանայվում և խմբավորվում են գործնական բացահայտման մեջ, համակարգը դրանք վերածում է սահմանափակ առաջադրանքի՝ հստակ հաջողության պայմանով։

Մենք այս ավտոմատացումը կիրառում ենք արտադրանքի սահմանափակ շերտի վրա։ Այս շերտը կատարում է արտահանում և աղբյուրային փաստաթղթերը քարտեզագրում է հարկային աշխատանքային հոսքերի մեջ։ Ինժեներները շարունակում են պատասխանատու մնալ ճարտարապետության, արտադրանքի որոշումների և թողարկման համար։ Մասնագետները ղեկավարում են բարելավման ցիկլը իրենց արդեն կատարած աշխատանքի միջոցով՝ ուղղելով արտահանված արժեքները, վերանայելով հայտարարագրերը և հաստատելով վերջնական ներկայացումները։

Codex-ի համար արդյունքը ոչ թե անորոշ ահազանգ է, այլ սահմանված ինժեներական առաջադրանք՝ ապացույցներով, խմբագրվող արտադրանքի մակերեսներով և հստակ վավերացման դարպասներով։ Վարձակալվող գույքի ներկայացուցչական առաջադրանքի համատեքստը կարելի է ամփոփել այսպես․

Նույն ցիկլը կիրառվում է նաև վարձակալվող գույքից դուրս։ Վարձակալվող գույքը մոտ վեց շաբաթ և զգալի ինժեներական վերահսկողություն պահանջեց՝ 90% ճշգրտության և ամբողջականության հասնելու համար, բայց այդ աշխատանքը ստեղծեց վերօգտագործելի աբստրակցիաներ, վերանայման արտեֆակտներ, eval պայմանականություններ և իրականացման օրինաչափություններ, որոնք հեշտացրին նմանապես բարդ բաժինների, օրինակ՝ Schedule C-ի և Schedule A-ի աջակցումը։

Tax AI-ը ցույց է տալիս ինքնակատարելագործվող ագենտներ կառուցելու ուղի։ Մասնագետները ծառայությունը մատուցելով ստեղծում են բարձրարժեք հետադարձ կապի ազդանշաններ։ Արտադրանքի աշխատանքային հոսքերը պահպանում են այդ ազդանշանները որպես կառուցվածքային ապացույց։ Eval-ով ամրապնդված ինժեներական համակարգերը վավերացնում են բարելավումները մինչև դրանք հասնեն արտադրական միջավայր, իսկ ագենտով աշխատող ցիկլը պահում է համակարգը շարունակական ինքնակատարելագործման հոսքի մեջ։ 

Thrive Holdings-ի կառուցվածքը մեզ թույլ է տալիս այս միջավայրը վերարտադրել կոնկրետ ոլորտներում։ Holdings-ը և՛ սեփականատեր է, և՛ Օպերատոր, ուստի մեր միավորված ինժեներական թիմերը կարողանում են անմիջապես աշխատել մասնագետների և արտադրական տվյալների հետ Crete-ի նման բիզնեսների ներսում՝ ոչ թե որպես մատակարար, այլ որպես գործընկերներ։ Սա նշանակում է, որ տեխնոլոգիան, արտադրանքը և ծառայությունը բոլորը մեկ հարկի տակ են, ինչը օգնում է մեզ ավելի արագ շարժվել և ստեղծել բացառիկ արտադրանքներ։

Մի ավագ հաշվապահ, որը անցյալ տարի 180 ժամ էր ծախսել հարկային պատրաստման վրա, այս տարի դրա վրա ծախսեց ընդամենը 15 ժամ։ Նա այդ ժամանակի մի մասը հատկացրեց իր բոլոր հաճախորդներին զանգահարելուն և նրանց հայտարարագրերը միասին անցնելուն՝ բարձր ներգրավվածությամբ ծառայության այնպիսի մակարդակով, որը մեկ տարի առաջ հնարավոր չէր։ Մնացած ժամանակը նա օգտագործեց նոր հաճախորդներ ընդունելու և նոր ծառայությունների առաջարկներ ընդլայնելու համար։

Միասին մեր թիմերն այժմ օգտագործում են Tax AI-ի նույն եռամաս դիզայնը որպես նախագիծ՝ Thrive Holdings⁠(բացվում է նոր պատուհանում)-ի այլ տիրույթներում աշխատանքային հոսքեր կառուցելու համար՝ հաշվապահական հոսքեր, ինչպիսիք են հաշվապահությունը և աուդիտը, ինչպես նաև գործառնական հոսքեր, ինչպիսիք են ՏՏ օգնության սեղանի ավտոմատացումը։ Տիրույթների և ոլորտների միջև ինքնակատարելագործվող ագենտների ավելի լայն խոստումը պահպանվում է։ Լավագույն ագենտները մարդկանց կողմից ուղղորդվում են, որպեսզի ժամանակի ընթացքում դառնան ավելի կարող, ավելի վստահելի և ավելի արժեքավոր։

Այս նախագծի վրա աշխատած OpenAI թիմի մասին ավելին իմանալու համար կապ հաստատեք։