Membina ejen cukai yang menambah baik diri dengan Codex

Bagaimana Thrive Holdings dan OpenAI membangunkan bersama Tax AI untuk akauntan Crete dengan menggabungkan kepakaran pengamal dengan gelung dipacu Codex

Sistem dunia sebenar berkelakuan berbeza dalam pengeluaran berbanding di makmal, dan gagal dengan cara yang sukar dijangka sebelum penggunaan. Pasukan sering menemui kegagalan tersebut selepas pelancaran, kemudian menghabiskan berminggu-minggu memeriksa kes pinggir, melaras prompt dan menterjemahkan maklum balas pengeluaran kepada penambahbaikan produk yang berkekalan. Gelung maklum balas adalah manual dan perlahan, dan hanya bertambah baik apabila jurutera memajukannya. Namun hari ini, dengan infrastruktur eval yang direka dengan teliti, akses langsung kepada pengamal dan persekitaran dunia sebenar, serta keupayaan ejen termaju Codex, anda boleh membina ejen yang menambah baik diri.

Dalam siaran ini, kami akan menghuraikan cara kami menggunakan Codex untuk membina jenis ejen ini. Sepanjang enam bulan lalu, jurutera dan penyelidik OpenAI yang ditempatkan ke hadapan bersama jurutera Thrive Holdings bekerjasama membina Tax AI bersama dan untuk rangkaian 30+ firma perakaunan Crete⁠(dibuka dalam tetingkap baru) bagi membantu menyediakan penyata cukai yang semakin kompleks. Daripada bergantung pada jurutera untuk mencari dan membaiki setiap kegagalan, Tax AI menggunakan Codex untuk menukar penggunaan pengeluaran menjadi isyarat berstruktur yang memacu penambahbaikan autonomi.

Pengamal Crete menyediakan puluhan ribu penyata cukai setiap musim yang memerlukan pemprosesan berjuta-juta dokumen asas. Bagi pemfailan berkompleksiti sederhana hingga tinggi, kemasukan data sahaja boleh mengambil masa lapan jam bagi setiap penyata, selalunya melibatkan sumber data yang berselerak, dokumen tahun sebelumnya, serta pengekstrakan dan pengiraan manual. Mereka menunjukkan kepada kami bahawa penyediaan cukai ialah kesesakan utama semasa tempoh paling sibuk musim cukai.

Untuk menyelesaikan masalah ini, Tax AI memproses 7,000 penyata cukai di seluruh firma Crete yang mengambil bahagian dalam perintis musim cukai ini. Sistem ini mengautomasikan sebahagian besar proses intensif masa untuk menyediakan penyata cukai 1040 dan 1041, tetapi yang lebih menarik daripada peningkatan kecekapan ialah sistem itu sendiri dapat diukur sebagai lebih baik daripada versi yang mula-mula digunakan tiga bulan lalu.

Dalam Tax AI, pengamal memuat naik fail sumber bersama sebarang nota khusus pelanggan. Tax AI kemudian mencipta penyerahan enjin cukai yang sedia untuk disemak. Ia menjimatkan kira-kira satu pertiga masa pengamal untuk penyediaan cukai, mendraf penyata dengan ketepatan sehingga 97%, dan meningkatkan throughput kira-kira 50%, mewujudkan lebih banyak ruang untuk mereka meluangkan masa bersama pelanggan. 

Kami boleh mengukur penambahbaikan ini dengan memahami sejauh mana tepatnya Tax AI dapat melengkapkan penyata tanpa memerlukan pembetulan kemudian. Kami mengukur ketepatan dengan memeriksa bahagian penyata yang mencapai 75%, 90% atau 100% pelengkapan medan yang betul. Semasa pelancaran, hanya satu perempat penyata berada pada 75% pelengkapan medan yang betul, tetapi dalam tempoh enam minggu, 86% mencapai tahap itu. Sistem menunjukkan pertumbuhan yang lebih pantas pada tahap 90% dan 100% pelengkapan medan yang betul. Ambang ini memberi kami gambaran praktikal tentang berapa banyak susulan pengamal yang masih diperlukan oleh penyata yang berbeza. 

Pada awalnya, Tax AI mengendalikan kerja yang lebih mudah, seperti W-2 dan 1099. Apabila musim berjalan, ia beralih kepada penyata yang lebih kompleks dengan K-1, jadual dan kes pinggir yang lebih sukar. Setiap keupayaan baharu menjimatkan lebih banyak masa bagi setiap penyata berbanding sebelumnya kerana tugas yang diambil alih lebih sukar dan lebih memakan masa untuk dilakukan secara manual. Kami terus melihat kemajuan berterusan hari ini.

Seterusnya, kami akan menerangkan cara pasukan kami mereka bentuk bersama Tax AI supaya menambah baik diri dengan bersandarkan tiga tonggak kritikal: 1) maklum balas pengamal pakar, 2) jejak pengeluaran (sejarah berstruktur daripada input hingga output akhir), dan 3) gelung iterasi dipacu Codex berdasarkan eval tersuai untuk membolehkan pembangunan produk berterusan yang lebih pantas. Kami berharap pengalaman kami berguna kepada pembina lain dalam domain yang kepakaran pengamalnya penting untuk membentuk kualiti sistem menyeluruh dan data yang mengalir melaluinya.

Apabila kami bergerak ke bahagian penyediaan cukai yang lebih sukar (K-1, jadual hartanah sewa dan borang cukai yang nilainya perlu diselaraskan merentas berbilang fail sumber), menjadi jelas bahawa cabaran sebenar ialah sama ada produk boleh menjadikan kegagalan pengeluaran yang kompleks kelihatan, difahami dan boleh diambil tindakan.

Pada hari-hari awal produk, kebanyakan pembetulan dilakukan secara manual. Pengamal boleh membetulkan ralat sistem, tetapi produk tidak menangkap konteks penuh: nilai yang diubah sebelum pemfailan mungkin mencerminkan kegagalan pengekstrakan sebenar, masalah pemetaan, sokongan produk yang tiada, atau hingar aliran kerja yang dijangka. Mengasingkan kes-kes tersebut masih memerlukan susulan daripada pasukan kejuruteraan. Jurutera boleh menggunakan ejen pengekodan, tetapi sistem itu belum direka untuk menggunakan AI secara bermakna dalam gelung penambahbaikan. Kami tidak mempunyai isyarat untuk mengenal pasti cabaran yang betul untuk diatasi.

Itu mendorong kami mereka bentuk sistem berasaskan tiga tonggak:

1. Kekal dekat dengan pengamal: Orang yang melakukan kerja perlu mengemudi apa yang dipelajari produk. Intuisi dan pemahaman mereka mendedahkan ralat yang penting dan membantu memaklumkan bahagian aliran kerja yang wajar diberi tumpuan seterusnya.
2. Bina produk supaya pengeluaran menghasilkan bukti: Produk perlu menangkap lebih daripada sekadar input dan output; ia perlu menangkap laluan penuh daripada bahan sumber, kepada medan yang diekstrak dan asal-usulnya, kepada penyerahan hiliran dan pembetulan pakar.
3. Cipta gelung penambahbaikan dipacu Codex: Apabila isu pengeluaran kelihatan dan berstruktur, ia boleh menjadi dapatan, eval tersuai dan tugas kejuruteraan berskop. Codex kemudian boleh membantu menyiasat, mencadangkan perubahan, mengesahkannya terhadap eval disasarkan dan regresi, serta memajukan produk lebih pantas daripada kitaran iterasi manual semata-mata. 

Contoh hartanah sewa di bawah menunjukkan bagaimana gelung itu berfungsi dalam amalan, membawa anda melalui cara pembetulan pengamal menjadi dapatan berstruktur, kemudian sasaran eval, dan akhirnya tugas kejuruteraan berskop Codex.

Pendapatan hartanah sewa dilaporkan pada Schedule E bagi penyata cukai individu. Dari perspektif kejuruteraan, tugas mengekstraknya mudah diterangkan tetapi sukar dilakukan dengan baik. Sistem perlu membaca bahan sumber yang berselerak (nota tulisan tangan, e-mel, hamparan dan fail pelanggan lain), mengekstrak medan hartanah sewa yang boleh dipetakan dengan yakin oleh sistem kepada enjin cukai, dan mengekalkan bukti yang mencukupi supaya pengamal boleh meluluskan atau membetulkan hasilnya. Contoh ringkas di bawah menunjukkan rupa fail sumber dan output yang diekstrak itu.

Perbezaan antara nilai yang diramalkan ejen dan nilai sebenar daripada penyata cukai yang difailkan mungkin mencerminkan kegagalan pengekstrakan sebenar, tetapi ia juga boleh menjadi keutamaan pengamal, nilai yang dibawa ke hadapan daripada penyata tahun sebelumnya dalam enjin cukai, atau nilai yang diperkenalkan atau diubah di tempat lain dalam aliran kerja pemfailan. Pengamal membantu kami membezakan kes-kes tersebut supaya kami dapat mengenal pasti tindakan yang memerlukan pembetulan pengamal atau menghalang penyerahan.

Oleh sebab kami dapat melihat pembetulan ini secara terperinci, kami mengubah proses semakan daripada langkah akhir selepas kegagalan kepada kitaran pembelajaran berterusan. Kami mereka bentuk aliran kerja untuk menangkap tindakan pakar sebagai data berstruktur. Kini, setiap campur tangan menyuap gelung penambahbaikan produk dengan merekodkan dengan tepat apa yang dicadangkan Tax AI, apa yang diubah suai oleh pengamal, dan apa yang akhirnya dimasukkan ke dalam penyata yang difailkan.

Bagi aliran kerja kompleks seperti hartanah sewa, sistem perlu mengekalkan apa yang berlaku antara fail sumber dan penyata yang difailkan. Sepanjang laluan itu, dokumen disusun, dipecah dan dikelaskan; medan hartanah sewa diekstrak dengan petikan kembali kepada bahan sumber; nilai tersebut dipetakan ke dalam enjin cukai; dan pengamal masih boleh membetulkannya sebelum pemfailan. Jejak pada peringkat produk itu memungkinkan penyiasatan tentang tempat kegagalan berlaku. Untuk menukar pembetulan pengamal menjadi sasaran penilaian yang berguna, sistem memprosesnya dalam tiga langkah:

• Tangkap perbezaan: Output Tax AI dibandingkan dengan penyata yang difailkan untuk menghasilkan baris semakan peringkat medan yang menangkap nilai dijangka, nilai diramalkan dan sama ada perbezaan itu kelihatan boleh diambil tindakan.
• Kumpulkan kegagalan berkaitan: Baris semakan yang serupa dikumpulkan untuk memisahkan kegagalan produk berulang daripada hingar aliran kerja yang dijangka. Sebagai contoh, pembetulan pengamal yang berulang mungkin menunjukkan bahawa Tax AI kerap terlepas medan “hari sewaan adil”, salah mengendalikan “perbelanjaan lain”, atau mengelirukan berbilang hartanah sewa dalam pakej sumber yang sama.
• Tukar corak berulang menjadi sasaran eval: Setelah disemak dan diukur, dapatan berulang menjadi sasaran eval yang jelas untuk diperbaiki oleh Codex.

Tonggak ketiga ialah mewujudkan gelung kejuruteraan yang mampu bertindak berdasarkan eval baharu ini. Di sinilah Codex menjadi teras.

Katakan saluran eval kami menandakan bahawa Tax AI secara konsisten terlepas medan "hari sewaan adil", sedangkan pengamal mengisinya dengan andal. Oleh sebab dapatan ini telah pun dibungkus menjadi set eval yang disasarkan, dengan pakej sumber yang mewakili dan output yang dijangka, Codex boleh menyiasat punca akar secara langsung dalam rangka produk.

Codex tidak bekerja hanya dengan output akhir yang kurang memuaskan. Ia memeriksa jejak, eval, repo dan kemahiran bersama-sama:

• Siasat saluran: Periksa pakej sumber, skema pengekstrakan, tingkah laku pemeta dan laluan kod untuk menentukan sama ada isu itu ialah medan yang tidak disokong, corak pengekstrakan yang terlepas, masalah pemilihan sumber, jurang pemeta atau isu penggred.
• Laksanakan pembaikan disasarkan: Luaskan skema pengekstrakan, perbaik pemilihan sumber untuk dokumen hartanah sewa, kemas kini pemeta enjin cukai, atau perhalus penggred jika hingar aliran kerja yang dijangka sedang dikira sebagai kegagalan.
• Sahkan dan cadangkan: Jalankan semula eval yang disasarkan, jalankan suite regresi yang lebih luas, dan tampilkan calon pull request untuk semakan kejuruteraan.
• Tutup gelung: Tukar pembetulan pengamal yang berulang menjadi tugas kejuruteraan yang boleh diukur. Jika buktinya samar atau tidak selamat untuk diautomatikkan, kes itu dihantar semula kepada pasukan produk dan bukannya dipaksa melalui gelung.

Contoh hartanah sewa melambangkan corak boleh guna semula yang lebih luas: menggunakan artifak dan jejak pengeluaran untuk meningkatkan keupayaan ejen. Dengan dapatan yang telah disemak daripada data pengeluaran, jejak sumber, output enjin cukai yang dijangka, contoh kod yang relevan dan arahan eval sebagai satu set input, Codex boleh meningkatkan prestasi dan ketepatan secara nyata sepanjang minggu dan bulan. Ini berasaskan prinsip yang diterangkan dalam kerja kami tentang kejuruteraan harness dan Symphony, yang menerangkan cara menjadikan tugas mudah difahami oleh Codex, menyediakan konteks dan alat yang terhad skopnya, serta mengekalkan pengesahan dan semakan manusia sebagai sebahagian daripada persekitaran. 

Bukti itu tidak secara automatik menjadi tugas Codex. Pembetulan pengamal mungkin mencerminkan kegagalan pengekstrakan, isu pemetaan, tingkah laku produk yang tidak disokong, pertimbangan cukai atau hingar aliran kerja yang dijangka. Hanya selepas perbezaan berulang disemak dan dikumpulkan menjadi dapatan yang boleh diambil tindakan, sistem menukarnya menjadi tugas terhad dengan syarat kejayaan yang jelas.

Kami menggunakan automasi ini pada lapisan produk yang terhad. Lapisan ini melakukan pengekstrakan dan memetakan dokumen sumber ke dalam aliran kerja cukai. Jurutera kekal bertanggungjawab terhadap seni bina, keputusan produk dan penghantaran. Pengamal mengemudi gelung penambahbaikan melalui kerja yang memang mereka lakukan: membetulkan nilai yang diekstrak, menyemak penyata dan meluluskan pemfailan akhir.

Bagi Codex, hasilnya bukan amaran kabur tetapi tugas kejuruteraan berskop dengan bukti, permukaan produk yang boleh diedit dan gerbang pengesahan yang jelas. Konteks untuk tugas hartanah sewa yang mewakili boleh diringkaskan seperti berikut:

Gelung yang sama terpakai melangkaui hartanah sewa. Hartanah sewa mengambil masa kira-kira enam minggu dan pengawasan kejuruteraan yang besar untuk mencapai ketepatan dan perolehan semula 90%, tetapi kerja itu menghasilkan abstraksi boleh guna semula, artifak semakan, konvensyen eval dan corak pelaksanaan yang memudahkan sokongan bagi jadual yang sama kompleks seperti Schedule C dan Schedule A.

Tax AI membuktikan laluan untuk membina ejen yang menambah baik diri. Pengamal menjana isyarat maklum balas bernilai tinggi dengan menyampaikan perkhidmatan. Aliran kerja produk mengekalkan isyarat tersebut sebagai bukti berstruktur. Sistem kejuruteraan yang disokong eval mengesahkan penambahbaikan sebelum ia sampai ke pengeluaran, dan gelung berkuasa ejen mengekalkan sistem dalam aliran penambahbaikan kendiri yang berterusan. 

Struktur Thrive Holdings membolehkan kami meniru persekitaran ini dalam industri tertentu. Holdings ialah pemilik dan juga pengendali, jadi pasukan kejuruteraan gabungan kami dapat bekerja secara langsung dengan pengamal dan data pengeluaran dari dalam perniagaan seperti Crete, bukan sebagai vendor tetapi sebagai rakan kongsi. Ini bermakna teknologi, produk dan perkhidmatan semuanya berada di bawah satu bumbung untuk membantu kami bergerak lebih pantas dan membina produk yang luar biasa.

Seorang akauntan kanan yang menghabiskan 180 jam untuk penyediaan cukai tahun lalu hanya menghabiskan 15 jam untuknya tahun ini. Sebahagian daripada masa itu digunakan untuk menghubungi setiap pelanggannya dan membimbing mereka melalui penyata masing-masing, tahap perkhidmatan sentuhan tinggi yang tidak mungkin dilakukan setahun lalu. Baki masa itu dia gunakan untuk mengambil pelanggan baharu dan mengembangkan tawaran perkhidmatan baharu.

Bersama-sama, pasukan kami kini menggunakan reka bentuk tiga bahagian yang sama daripada Tax AI sebagai pelan tindakan untuk membina aliran kerja dalam domain lain di seluruh Thrive Holdings⁠(dibuka dalam tetingkap baru); aliran kerja perakaunan seperti simpan kira dan audit, serta aliran kerja operasi seperti automasi meja bantuan IT. Merentas domain dan industri, janji lebih luas ejen yang menambah baik diri tetap kukuh. Ejen terbaik dipandu oleh manusia untuk belajar menjadi lebih berkeupayaan, lebih dipercayai dan lebih bernilai dari semasa ke semasa.

Untuk mengetahui lebih lanjut tentang pasukan OpenAI yang mengusahakan projek ini, hubungi kami.