การสร้างเอเจนต์ด้านภาษีที่พัฒนาตนเองได้ด้วย Codex
โดยสมาชิกฝ่ายเทคนิค: Aravind Srinivasan และ Samay Shamdasani (Thrive Holdings), Arthur Fernandes Araujo และ John de Wasseige (OpenAI)
Thrive Holdings และ OpenAI ร่วมกันพัฒนา Tax AI สำหรับนักบัญชีของ Crete ได้อย่างไร โดยผสานความเชี่ยวชาญของผู้ปฏิบัติงานเข้ากับวงจรที่ขับเคลื่อนด้วย Codex
การทำงานของระบบในสถานการณ์จริงมีความแตกต่างจากในสภาพแวดล้อมทดลอง โดยมักพบจุดบกพร่องที่คาดการณ์ได้ยากก่อนการปรับใช้ ทีมงานมักค้นพบความล้มเหลวเหล่านั้นหลังจากเปิดตัวผลิตภัณฑ์ จากนั้นจึงใช้เวลาหลายสัปดาห์ในการตรวจสอบกรณีที่เกิดขึ้นได้ยาก การปรับปรุงพรอมต์ และการเปลี่ยนสัญญาณตอบรับจากหน้างานให้กลายเป็นการพัฒนาผลิตภัณฑ์อย่างยั่งยืน วงจรข้อเสนอแนะเป็นแบบแมนนวลและมีความล่าช้า โดยจะดีขึ้นก็ต่อเมื่อวิศวกรเข้ามาผลักดันให้เกิดการเปลี่ยนแปลง แต่ในปัจจุบันคุณสามารถสร้างเอเจนต์ที่มีศักยภาพในการพัฒนาตนเองได้ด้วยโครงสร้างพื้นฐานสำหรับการประเมินผลที่ออกแบบมาอย่างรอบคอบ การเข้าถึงผู้ปฏิบัติงานและสภาพแวดล้อมการทำงานจริงโดยตรง ตลอดจนขีดความสามารถระดับแนวหน้าของเอเจนต์อย่าง Codex
ในโพสต์นี้เราจะเจาะลึกว่าเราใช้ Codex เพื่อสร้างเอเจนต์ประเภทนี้ได้อย่างไร ในช่วงหกเดือนที่ผ่านมา วิศวกรที่ทำงานร่วมกับลูกค้าโดยตรงและนักวิจัยของ OpenAI พร้อมด้วยวิศวกรของ Thrive Holdings ได้ร่วมมือกันสร้าง Tax AI เพื่อเครือข่ายบริษัทบัญชีมากกว่า 30 แห่งของ Crete(เปิดในหน้าต่างใหม่)เพื่อช่วยจัดเตรียมแบบแสดงรายการภาษีที่ซับซ้อนมากขึ้นเรื่อยๆ แทนที่จะพึ่งพาวิศวกรให้ค้นหาและแก้ไขความล้มเหลวแต่ละครั้ง Tax AI ใช้ Codex เพื่อเปลี่ยนการใช้งานจริงในสภาพแวดล้อมการผลิตให้เป็นสัญญาณที่มีโครงสร้าง ซึ่งใช้ขับเคลื่อนการปรับปรุงแบบอัตโนมัติ
ผู้ปฏิบัติงานที่ Crete ต้องจัดเตรียมแบบแสดงรายการภาษีจำนวนหลายหมื่นฉบับในแต่ละฤดูกาล ซึ่งจำเป็นต้องอาศัยการตรวจสอบและประมวลผลเอกสารประกอบจำนวนหลายล้านฉบับ สำหรับการยื่นภาษีที่มีความซับซ้อนระดับปานกลางถึงระดับสูง เฉพาะขั้นตอนการป้อนข้อมูลเพียงอย่างเดียวอาจใช้เวลาถึง 8 ชั่วโมงต่อหนึ่งฉบับ ซึ่งมักเกี่ยวข้องกับแหล่งข้อมูลที่ไม่เป็นระเบียบ เอกสารจากปีก่อนหน้า รวมถึงการสกัดข้อมูลและการคำนวณด้วยตนเอง ความล่าช้าในขั้นตอนการเตรียมภาษีถูกชี้ให้เห็นว่าเป็นอุปสรรคสำคัญที่สุดในช่วงฤดูกาลภาษีทีมีงานเดข้ามาเยอะ
เพื่อแก้ไขปัญหานี้ Tax AI ได้ประมวลผลแบบแสดงรายการภาษีจำนวน 7,000 ฉบับจากสำนักงานต่าง ๆ ของ Crete ที่เข้าร่วมโครงการนำร่องในช่วงฤดูกาลภาษีนี้ ระบบนี้ลดภาระงานในกระบวนการเตรียมแบบยื่นภาษี 1040 และ 1041 ที่กินเวลานานได้เป็นอย่างดี อย่างไรก็ตามสิ่งที่น่าประทับใจยิ่งกว่าการเพิ่มประสิทธิภาพ คือตัวระบบเองมีการพัฒนาขึ้นอย่างวัดผลได้ เมื่อเทียบกับเวอร์ชันที่เปิดตัวครั้งแรกเมื่อสามเดือนที่แล้ว
ใน Tax AI ผู้ปฏิบัติงานจะอัปโหลดไฟล์ต้นฉบับพร้อมกับหมายเหตุเฉพาะของลูกค้า จากนั้น Tax AI จะสร้างรายการส่งข้อมูลไปยังระบบคำนวณภาษี ซึ่งพร้อมสำหรับการตรวจสอบ ช่วยให้ผู้ปฏิบัติงานประหยัดเวลาได้ประมาณหนึ่งในสามในการจัดเตรียมภาษี ร่างแบบแสดงรายการภาษีด้วยความถูกต้องสูงสุดถึง 97% และเพิ่มอัตราการประมวลผลได้ประมาณ 50% ทำให้พวกเขามีเวลามากขึ้นในการพบปะกับลูกค้า
เราสามารถวัดผลการปรับปรุงนี้ในเชิงปริมาณได้ด้วยการทำความเข้าใจว่า Tax AI สามารถกรอกแบบแสดงรายการภาษีได้อย่างถูกต้องเพียงใด โดยไม่จำเป็นต้องแก้ไขในภายหลัง เราวัดความแม่นยำโดยตรวจสอบสัดส่วนของแบบแสดงรายการที่กรอกช่องข้อมูลได้ถูกต้องครบถ้วนถึงระดับ 75% 90% หรือ 100% ผลการดำเนินงานในช่วงเริ่มต้นพบว่า มีแบบแสดงรายการภาษีเพียงหนึ่งในสี่เท่านั้นที่เติมข้อมูลในช่องได้ถูกต้องครบถ้วนร้อยละ 75% แต่ภายในระยะเวลา 6 สัปดาห์ สัดส่วนดังกล่าวเพิ่มขึ้นเป็นร้อยละ 86% ระบบแสดงให้เห็นถึงอัตราการเติบโตที่รวดเร็วยิ่งขึ้น ในระดับการเติมข้อมูลที่ถูกต้องครบถ้วนสมบูรณ์ถึง 90% และ 100% เกณฑ์เหล่านี้ช่วยให้เราเห็นมุมมองเชิงปฏิบัติว่า รายการที่ส่งกลับประเภทต่างๆ ยังคงต้องมีการติดตามผลจากผู้ปฏิบัติงานมากน้อยเพียงใด
ในช่วงแรก ๆ Tax AI จัดการงานที่ไม่ซับซ้อนมากนัก เช่น แบบฟอร์ม W-2 และ 1099 เมื่อฤดูกาลดำเนินไประบบเปลี่ยนไปจัดการกับแบบแสดงรายการภาษีที่มีความซับซ้อนมากขึ้น ซึ่งรวมถึงเอกสาร K-1 ตารางแนบ และกรณีเฉพาะที่ยากต่อการจัดการ ความสามารถที่เพิ่มเข้ามาแต่ละอย่างช่วยลดระยะเวลาในงานเตรียมภาษีแต่ละฉบับได้มากกว่าที่เคยเป็นมา เพราะภารกิจที่ระบบรับช่วงต่อนั้นมีความยุ่งยากและกินเวลาในการทำด้วยตนเองสูงกว่า วันนี้เรายังคงเห็นความคืบหน้าอย่างต่อเนื่อง
ถัดไปเราจะอธิบายทีละขั้นตอนว่าทีมของเราร่วมกันออกแบบและพัฒนา Tax AI ให้สามารถปรับปรุงตัวเองได้อย่างไร โดยอาศัยเสาหลักสำคัญสามประการ ได้แก่: 1) ความคิดเห็นจากผู้ปฏิบัติงานผู้เชี่ยวชาญ 2) ร่องรอยการทำงานในสภาพแวดล้อมจริง (ประวัติที่มีโครงสร้างตั้งแต่อินพุตไปจนถึงเอาต์พุตสุดท้าย) และ 3) วงจรการทำซ้ำที่ขับเคลื่อนด้วย Codex โดยอิงจากการประเมินผลที่ปรับแต่งเฉพาะ เพื่อให้การพัฒนาผลิตภัณฑ์เป็นไปอย่างต่อเนื่องและรวดเร็วยิ่งขึ้น เราหวังว่าประสบการณ์ของเราจะก่อให้เกิดประโยชน์ต่อผู้พัฒนาท่านอื่นในสาขาที่ความเชี่ยวชาญของผู้ปฏิบัติงานเป็นกุญแจสำคัญในการกำหนดคุณภาพของระบบโดยรวมและข้อมูลที่ไหลผ่านระบบนั้น
เมื่อ Tax AI ได้ขยายขอบเขตการทำงานไปยังการยื่นแบบภาษีที่มีความซับซ้อนมากขึ้น สัดส่วนของแบบแสดงรายการที่ผ่านการประเมินคะแนนจนถึงระดับ 75%, 90% และการประมวลผลเสร็จสมบูรณ์ ก็มีอัตราที่เพิ่มสูงขึ้นอย่างต่อเนื่องตลอดช่วงฤดูกาลภาษี
เมื่อก้าวเข้าสู่ส่วนที่ยากขึ้นของการเตรียมภาษี (เช่น K-1, ตารางรายการอสังหาริมทรัพย์ให้เช่า และแบบภาษีที่ต้องมีการตรวจสอบยอดให้ตรงกันจากไฟล์ข้อมูลหลายแหล่ง) ความท้าทายที่แท้จริงคือการทำให้ระบบสามารถแสดงผล เข้าใจ และจัดการกับข้อผิดพลาดที่เกิดขึ้นจริงในระหว่างการใช้งานได้อย่างชัดเจน
กระบวนการแก้ไขข้อผิดพลาดในระยะแรกของผลิตภัณฑ์ส่วนใหญ่ยังเป็นแบบแมนนวล ผู้ปฏิบัติงานสามารถแก้ไขข้อผิดพลาดของระบบได้ แต่ตัวผลิตภัณฑ์กลับไม่สามารถจัดเก็บข้อมูลบริบทที่ครบถ้วนได้ เนื่องจากค่าที่ถูกเปลี่ยนก่อนการยื่นภาษีอาจสะท้อนถึงความผิดพลาดในการสกัดข้อมูล ปัญหาการจับคู่ข้อมูล การขาดการรองรับจากตัวผลิตภัณฑ์ หรือความความคลาดเคลื่อนของงานตามปกติ การแก้ไขกรณีเหล่านั้นให้เรียบร้อยยังคงต้องอาศัยการติดตามผลจากทีมวิศวกรรม วิศวกรสามารถใช้เอเจนต์ช่วยเขียนโค้ดได้ก็จริง แต่ระบบในขณะนั้นยังไม่ได้ถูกออกแบบมาเพื่อใช้ประโยชน์จาก AI ในเชิงลึกภายในวงจรการปรับปรุงประสิทธิภาพ รายังไม่มีสัญญาณหรือข้อมูลที่ชัดเจนเพียงพอที่จะระบุได้ว่าเส้นทางไหนคือเป้าหมายที่ถูกต้องที่เราควรเลือกเดิน
ปัจจัยดังกล่าวส่งผลให้เกิดการออกแบบระบบโดยยึดหลักการสำคัญ 3 ประการ ดังนี้
- อยู่ใกล้ชิดกับผู้ปฏิบัติงานจริง: คนที่ลงมือทำงานควรเป็นผู้กำหนดทิศทางว่าสิ่งที่ผลิตภัณฑ์เรียนรู้ควรเป็นอะไร สัญชาตญาณและความเข้าใจของพวกเขาช่วยชี้ให้เห็นว่าข้อผิดพลาดใดมีความสำคัญ และช่วยให้ทราบว่าส่วนใดของเวิร์กโฟลว์ควรให้ความสำคัญเป็นลำดับถัดไป
- สร้างผลิตภัณฑ์ให้สามารถสร้างหลักฐานการทำงานได้: ผลิตภัณฑ์ต้องบันทึกมากกว่าแค่ข้อมูลขาเข้าและขาออก แต่ต้องจัดเก็บเส้นทางทั้งหมดตั้งแต่เอกสารต้นทาง ข้อมูลที่สกัดได้และที่มา ไปจนถึงการยื่นส่งข้อมูลและการแก้ไขโดยผู้เชี่ยวชาญ
- สร้างลูปการปรับปรุงที่ขับเคลื่อนด้วย Codex: เมื่อปัญหาในโปรดักชันมองเห็นได้และถูกจัดโครงสร้างแล้ว ปัญหาเหล่านั้นสามารถกลายเป็นข้อค้นพบ การประเมินผลที่ปรับให้เหมาะสม และงานวิศวกรรมที่กำหนดขอบเขตชัดเจนได้ จากนั้น Codex จะช่วยตรวจสอบ เสนอการเปลี่ยนแปลง ตรวจยืนยันการเปลี่ยนแปลงเหล่านั้นกับการประเมินแบบเจาะจงและการประเมินการถดถอย และผลักดันผลิตภัณฑ์ให้ก้าวหน้าได้เร็วกว่าเมื่อเทียบกับวงจรการทำซ้ำแบบที่ต้องทำด้วยตนเองล้วนๆ
ตัวอย่างอสังหาริมทรัพย์ให้เช่าด้านล่างแสดงให้เห็นการทำงานของวงจรดังกล่าวในทางปฏิบัติ โดยอธิบายขั้นตอนตั้งแต่การที่ผู้ปฏิบัติงานแก้ไขข้อมูลจนกลายเป็นผลการค้นพบที่มีโครงสร้าง ตามด้วยการกำหนดให้เป็นเป้าหมายสำหรับการประเมิน และสิ้นสุดที่การเป็นงานด้านวิศวกรรมที่จำกัดขอบเขตใน Codex
รายได้จากอสังหาริมทรัพย์ให้เช่าจะถูกรายงานใน Schedule E ของแบบแสดงรายการภาษีเงินได้บุคคลธรรมดา ในมุมมองด้านวิศวกรรม งานสกัดข้อมูลดังกล่าวสามารถอธิบายได้ง่าย แต่การทำให้สำเร็จอย่างมีประสิทธิภาพนั้นมีความท้าทาย ระบบต้องอ่านเอกสารต้นทางที่ไม่เป็นระเบียบ (เช่น บันทึกที่เขียนด้วยลายมือ อีเมล สเปรดชีต และไฟล์อื่นๆ ของลูกค้า) สกัดข้อมูลรายการอสังหาริมทรัพย์ให้เช่าที่ระบบสามารถจับคู่กับโปรแกรมคำนวณภาษีได้อย่างแม่นยำ และจัดเก็บหลักฐานให้เพียงพอต่อการที่ผู้ปฏิบัติงานจะอนุมัติหรือแก้ไขผลลัพธ์นั้น ตัวอย่างแบบง่ายด้านล่างแสดงให้เห็นว่าไฟล์ต้นทางเหล่านั้นและเอาต์พุตที่ดึงออกมาอาจมีลักษณะอย่างไร
ข้อมูลจากแหล่งอสังหาริมทรัพย์ให้เช่าจะถูกปรับให้อยู่ในรูปแบบมาตรฐานในช่องกรอกข้อมูลที่ผ่านการอ้างอิงข้อมูล ก่อนจะถูกเชื่อมโยงเข้ากับแนวคิดของระบบภาษีในขั้นตอนถัดไป
ความแตกต่างระหว่างค่าที่เอเจนต์คาดการณ์กับค่าจริงจากแบบแสดงรายการภาษีที่ยื่น อาจสะท้อนถึงการสกัดข้อมูลที่ผิดพลาดจริง หรืออาจเกิดจากความต้องการเฉพาะของผู้ปฏิบัติงาน ค่าที่ถูกยกยอดมาจากปีก่อนในระบบภาษี หรือการที่ข้อมูลถูกแก้ไขจากจุดอื่นในขั้นตอนการทำงาน ผู้เชี่ยวชาญได้ช่วยให้เราจำแนกกรณีเหล่านั้น เพื่อให้สามารถระบุได้ว่าการดำเนินการใดบ้างที่จำเป็นต้องได้รับการแก้ไขโดยผู้เชี่ยวชาญ หรือกรณีใดที่ส่งผลให้การยื่นเอกสารไม่สามารถดำเนินการต่อไปได้
ข้อมูลจากการแก้ไขข้อมูลเหล่านี้ช่วยให้เราพลิกโฉมขั้นตอนการตรวจสอบ จากที่เป็นเพียงการแก้ไขที่ปลายเหตุหลังเกิดข้อผิดพลาด ไปสู่การเป็นระบบการเรียนรู้แบบต่อเนื่องที่ช่วยพัฒนาประสิทธิภาพของงานตลอดเวลา เราออกแบบเวิร์กโฟลว์ให้บันทึกการดำเนินการของผู้เชี่ยวชาญในรูปแบบข้อมูลที่มีโครงสร้าง ทุกการดำเนินการแก้ไขในขณะนี้จะช่วยป้อนข้อมูลสู่วงจรการพัฒนาผลิตภัณฑ์ โดยระบบจะบันทึกสิ่งที่ Tax AI เสนอ สิ่งที่ผู้ปฏิบัติงานปรับเปลี่ยน และสิ่งที่ถูกส่งยื่นจริงในแบบภาษีไว้อย่างละเอียด
สำหรับกระบวนการทำงานที่มีความซับซ้อนอย่างอสังหาริมทรัพย์สำหรับให้เช่า ระบบจำเป็นต้องรักษาข้อมูลสิ่งที่เกิดขึ้นระหว่างไฟล์ต้นฉบับและแบบแสดงรายการภาษีที่ยื่นจริงไว้ ตลอดเส้นทางดังกล่าว เอกสารจะถูกจัดระเบียบ แบ่งแยก และจำแนกประเภท ช่องข้อมูลของอสังหาริมทรัพย์ให้เช่าจะถูกสกัดโดยมีการอ้างอิงกลับไปยังเอกสารต้นฉบับ ค่าเหล่านั้นจะถูกจับคู่เข้าสู่ระบบคำนวณภาษี และผู้ปฏิบัติงานอาจทำการแก้ไขข้อมูลเหล่านั้นก่อนการยื่นแบบภาษี ร่องรอยการทำงานระดับผลิตภัณฑ์เหล่านี้ช่วยให้สามารถตรวจสอบย้อนกลับไปยังจุดที่เกิดความล้มเหลวได้ เพื่อให้การแก้ไขจากผู้ปฏิบัติงานกลายเป็นเป้าหมายการประเมินที่มีประสิทธิภาพ ระบบจะประมวลผลข้อมูลดังกล่าวผ่าน 3 ขั้นตอน:
- ระบุความแตกต่าง: ผลลัพธ์จาก Tax AI จะถูกนำไปเปรียบเทียบกับแบบแสดงรายการภาษีที่ยื่นจริง เพื่อจัดทำบันทึกการตรวจสอบในระดับช่องข้อมูล ซึ่งจะระบุค่าที่ควรจะเป็น, ค่าที่คาดการณ์โดยระบบ และวิเคราะห์ว่าความแตกต่างที่พบนั้นเป็นประเด็นที่จำเป็นต้องดำเนินการแก้ไขหรือไม่
- จัดกลุ่มปัญหาที่มีลักษณะคล้ายกัน: แถวข้อมูลการตรวจสอบที่มีลักษณะใกล้เคียงกันจะถูกจัดกลุ่มไว้ด้วยกัน เพื่อจำแนกความผิดพลาดของผลิตภัณฑ์ที่เกิดขึ้นบ่อยครั้งออกจากความแปรปรวนปกติที่พบได้ในขั้นตอนการทำงาน ตัวอย่างเช่น การแก้ไขซ้ำๆ จากผู้ปฏิบัติงานอาจแสดงให้เห็นว่า Tax AI มักตรวจไม่พบข้อมูลวันให้เช่า จัดการ “ค่าใช้จ่ายอื่นๆ” ผิดพลาด หรือแยกความแตกต่างของอสังหาริมทรัพย์ให้เช่าหลายแห่งในเอกสารชุดเดียวกันไม่ได้
- เปลี่ยนรูปแบบซ้ำๆ ให้เป็นเป้าหมายการประเมิน: เมื่อได้รับการตรวจสอบและวัดผลแล้ว ข้อค้นพบที่เกิดขึ้นซ้ำๆ จะกลายเป็นเกณฑ์การประเมินผลที่ชัดเจน เพื่อให้ Codex นำไปพัฒนาขีดความสามารถต่อไป
การคัดแยกแถวข้อมูลรีวิวอสังหาริมทรัพย์ช่วยจำแนกปัญหาของผลิตภัณฑ์ที่เกิดขึ้นซ้ำๆ ออกจากสัญญาณรบกวนทั่วไป และเปลี่ยนกรณีที่สามารถแก้ไขได้ให้เป็นเป้าหมายการประเมินเพื่อสร้างความท้าทายให้ Codex ได้พัฒนาขีดความสามารถต่อไป
เสาหลักประการที่สามคือการสร้างวงจรทางวิศวกรรมที่สามารถดำเนินการตามเกณฑ์การประเมินใหม่เหล่านี้ได้ นี่คือจุดที่ Codex กลายมาเป็นศูนย์กลาง
สมมติว่าไปป์ไลน์การประเมินผลของเราระบุว่า Tax AI พลาดช่องกรอกข้อมูลของ "จำนวนวันที่ให้เช่าในราคาตลาดที่เป็นธรรม" อยู่เสมอ ในขณะที่ผู้ประกอบวิชาชีพกรอกข้อมูลในช่องนี้ได้อย่างน่าเชื่อถือ เนื่องจากข้อค้นพบนี้ถูกบรรจุไว้ในชุดการประเมินแบบกำหนดเป้าหมายแล้ว พร้อมด้วยแพ็กเกจแหล่งข้อมูลตัวอย่างและผลลัพธ์ที่คาดหวัง Codex จึงสามารถตรวจสอบสาเหตุที่แท้จริงได้โดยตรงภายในโครงสร้างผลิตภัณฑ์
Codex ไม่ได้ทำงานกับแค่ผลลัพธ์ขั้นสุดท้ายที่ไม่ได้มาตรฐานเพียงอย่างเดียว ระบบจะดำเนินการตรวจสอบร่องรอยการทำงาน เกณฑ์การประเมินผล Repo และทักษะควบคู่กัน:
- ตรวจสอบไปป์ไลน์: ตรวจสอบแพ็กเกจแหล่งข้อมูล โครงสร้างการสกัดข้อมูล พฤติกรรมการจับคู่ข้อมูล และเส้นทางของโค้ด เพื่อระบุว่าปัญหาเกิดจากช่องข้อมูลที่ไม่รองรับ รูปแบบการสกัดข้อมูลที่ตกหล่น ปัญหาการเลือกแหล่งข้อมูล ข้อจำกัดของตัวจับคู่ข้อมูล หรือปัญหาที่ระบบการให้คะแนน
- ดำเนินการแก้ไขเฉพาะจุด: ดำเนินการขยายขอบเขตโครงสร้างการสกัดข้อมูล ปรับปรุงการเลือกแหล่งข้อมูลสำหรับเอกสารอสังหาริมทรัพย์ให้เช่า อัปเดตระบบจับคู่ข้อมูลเข้าสู่ระบบภาษี หรือปรับปรุงระบบประเมินผลหากพบว่าสิ่งที่ถูกนับเป็นความผิดพลาดนั้นแท้จริงแล้วเป็นเพียงสัญญาณรบกวนตามปกติของขั้นตอนการทำงาน
- การตรวจสอบความถูกต้องและเสนอแนวทาง: ดำเนินการรันการประเมินแบบกำหนดเป้าหมายซ้ำ รันชุดทดสอบ Regression ในวงกว้างขึ้น และนำเสนอคำขอ Pull Request เพื่อให้ทีมวิศวกรตรวจสอบ
- ปิดวงจรการทำงาน: เปลี่ยนการแก้ไขซ้ำๆ จากผู้ปฏิบัติงานให้เป็นงานทางวิศวกรรมที่สามารถวัดผลได้ หากหลักฐานมีความคลุมเครือหรือไม่ปลอดภัยที่จะดำเนินการด้วยระบบอัตโนมัติ ระบบจะส่งเคสนั้นกลับไปยังทีมผลิตภัณฑ์เพื่อพิจารณาแทนที่จะบังคับให้เข้าสู่กระบวนการอัตโนมัติ
กระบวนการพัฒนาตนเองอย่างครบวงจร: ระบบจะดึงรอยร่องรอยการทำงานในโปรดักชันมาวิเคราะห์เพื่อหาจุดที่ต้องแก้ไขบ่อยๆ จากนั้นจะเปลี่ยนจุดเหล่านี้ให้เป็นสัญญาณเตือนความล้มเหลว เพื่อให้ Codex นำไปตรวจสอบร่วมกับข้อมูลการทดสอบ โค้ดใน Repo และทักษะอื่นๆ แพทเทิร์นที่นำไปใช้งานได้จริงจะถูกเปลี่ยนให้กลายเป็นแบบทดสอบที่ชัดเจนและไอเดียพัฒนาผลิตภัณฑ์ใหม่ๆ ส่วนกรณีที่ยังกำกวมหรือไม่ชัดเจน จะถูกส่งกลับไปให้ทีมวิศวกรตรวจสอบอีกครั้ง การปรับปรุงแต่ละรายการที่นำออกใช้งานจริงจะสร้างข้อมูลหลักฐานใหม่จากสภาพแวดล้อมการใช้งานจริงสำหรับรอบถัดไป
ตัวอย่างอสังหาริมทรัพย์ให้เช่าถือเป็นภาพแทนของรูปแบบการใช้งานที่สามารถนำไปปรับใช้ซ้ำได้ในวงกว้าง นั่นคือการใช้ผลงานและร่องรอยการทำงานจริงมาเป็นข้อมูลเพื่อยกระดับความสามารถของเอเจนต์ AI ด้วยการใช้ข้อมูลที่ผ่านการตรวจสอบจากข้อมูลในระบบจริง ร่องรอยการทำงาน ผลลัพธ์ที่คาดหวังของระบบภาษี ตัวอย่างโค้ดที่เกี่ยวข้อง และคำสั่งการประเมินผลเป็นชุดข้อมูลนำเข้า Codex สามารถปรับปรุงประสิทธิภาพและความแม่นยำขึ้นได้อย่างมีนัยสำคัญในระยะเวลาหลายสัปดาห์ถึงหลายเดือน หลักการนี้ต่อยอดจากแนวคิดที่เราได้วางไว้ในงานด้าน Harness Engineering และ Symphony ซึ่งได้อธิบายขั้นตอนการสร้างภารกิจให้มีความชัดเจนต่อการประมวลผลของ Codex การจัดเตรียมบริบทและเครื่องมือที่ตรงประเด็น รวมถึงการบูรณาการขั้นตอนการตรวจสอบและการทบทวนโดยมนุษย์ให้เป็นส่วนหนึ่งของสภาพแวดล้อมการทำงาน
หลักฐานดังกล่าวไม่ได้เปลี่ยนเป็นงานสำหรับ Codex โดยอัตโนมัติ การแก้ไขของผู้ปฏิบัติงานอาจสะท้อนถึงความผิดพลาดในการสกัดข้อมูล ปัญหาการจับคู่ข้อมูล พฤติกรรมผลิตภัณฑ์ที่ไม่ได้รับการรองรับ การตัดสินใจทางภาษี หรือสัญญาณรบกวนตามปกติในกระบวนการทำงาน ระบบจะแปลงความแตกต่างที่พบซ้ำ ๆ ให้เป็นงานที่มีขอบเขตชัดเจนและมีเงื่อนไขความสำเร็จที่วัดผลได้ ก็ต่อเมื่อผ่านการตรวจสอบและจัดกลุ่มเป็นข้อสรุปที่พร้อมนำไปแก้ไขแล้วเท่านั้น
ระบบนำกระบวนการอัตโนมัตินี้ไปประยุกต์ใช้กับเลเยอร์ที่มีขอบเขตจำกัดของผลิตภัณฑ์ เลเยอร์นี้ทำหน้าที่สกัดข้อมูลและแมปเอกสารต้นทางเข้ากับเวิร์กโฟลว์ด้านภาษี วิศวกรยังคงรับผิดชอบด้านสถาปัตยกรรม การตัดสินใจเกี่ยวกับผลิตภัณฑ์ และการส่งมอบผลิตภัณฑ์ ผู้ปฏิบัติงานจะขับเคลื่อนวงจรการปรับปรุงผ่านงานที่ทำอยู่แล้ว ได้แก่ การแก้ไขค่าที่ดึงออกมา การตรวจทานแบบแสดงรายการภาษี และการอนุมัติการยื่นแบบขั้นสุดท้าย
สำหรับ Codex ผลลัพธ์ที่ได้ไม่ใช่การแจ้งเตือนที่คลุมเครือ แต่เป็นงานวิศวกรรมที่มีขอบเขตชัดเจน พร้อมด้วยหลักฐานประกอบ ส่วนประกอบของผลิตภัณฑ์ที่แก้ไขได้ และจุดตรวจสอบความถูกต้องที่กำหนดไว้อย่างเป็นรูปธรรม บริบทสำหรับงานตัวอย่างด้านอสังหาริมทรัพย์ให้เช่าสามารถสรุปได้ดังนี้:
วงจรการทำงานแบบเดียวกันนี้สามารถประยุกต์ใช้กับงานด้านอื่นที่นอกเหนือจากอสังหาริมทรัพย์ให้เช่าได้ การเพิ่มความแม่นยำและการเรียกคืนข้อมูลของอสังหาริมทรัพย์ให้เช่าให้ถึง 90% ใช้เวลาประมาณ 6 สัปดาห์และต้องอาศัยการกำกับดูแลทางวิศวกรรมอย่างเข้มข้น แต่กระบวนการดังกล่าวสร้างโครงสร้างที่นำไปใช้ซ้ำได้ รวมถึงชิ้นงานรีวิว แนวปฏิบัติในการประเมิน และรูปแบบการใช้งานที่ช่วยให้การสนับสนุนตารางที่มีความซับซ้อนใกล้เคียงกัน เช่น Schedule C และ Schedule A เป็นไปได้ง่ายขึ้น
Tax AI พิสูจน์ให้เห็นถึงแนวทางในการสร้างเอเจนต์ที่พัฒนาตนเองได้ ผู้ปฏิบัติงานสร้างสัญญาณตอบรับที่มีมูลค่าสูงจากการให้บริการจริง เวิร์กโฟลว์ของผลิตภัณฑ์จะเก็บรักษาสัญญาณเหล่านั้นไว้เป็นหลักฐานที่มีโครงสร้าง ระบบวิศวกรรมที่ขับเคลื่อนด้วยการประเมินผลจะตรวจสอบความถูกต้องของการปรับปรุงก่อนที่จะนำไปใช้งานจริง และกระบวนการที่ขับเคลื่อนด้วยเอเจนต์อัจฉริยะ จะช่วยให้ระบบเกิดการพัฒนาตนเองอย่างต่อเนื่อง
โครงสร้างของ Thrive Holdings ช่วยให้สามารถจำลองสภาพแวดล้อมนี้ไปปรับใช้ในอุตสาหกรรมเฉพาะทางต่างๆ ได้ ในฐานะที่ Thrive Holdings ดำเนินบทบาททั้งในฐานะเจ้าของและผู้บริหารจัดการ ทำให้ทีมวิศวกรรมของเราสามารถทำงานร่วมกับผู้ปฏิบัติงานและข้อมูลจากหน้างานจริงในธุรกิจต่างๆ เช่น Crete ได้โดยตรง ในฐานะหุ้นส่วนทางธุรกิจไม่ใช่ในฐานะผู้ให้บริการภายนอก นั่นหมายความว่า เทคโนโลยี ผลิตภัณฑ์ และบริการ ทั้งหมดอยู่ภายใต้โครงสร้างเดียวกัน ซึ่งช่วยให้เราสามารถดำเนินงานได้รวดเร็วยิ่งขึ้นและสร้างผลิตภัณฑ์ที่มีความเป็นเลิศ
นักบัญชีอาวุโสท่านหนึ่ง ซึ่งเคยใช้เวลาถึง 180 ชั่วโมงในการเตรียมข้อมูลภาษีเมื่อปีที่แล้ว สามารถลดเวลาการทำงานลงเหลือเพียง 15 ชั่วโมงในปีนี้ เธอนำเวลาส่วนนั้นไปใช้ในการโทรหาลูกค้าทุกคน และอธิบายการยื่นภาษีให้พวกเขาเข้าใจทีละขั้นตอน ซึ่งเป็นระดับของบริการที่ใส่ใจอย่างใกล้ชิดซึ่งเมื่อหนึ่งปีก่อนยังไม่สามารถทำได้ เวลาที่เหลือนั้น เธอใช้ไปกับการรับลูกค้ารายใหม่และขยายไปสู่การนำเสนอบริการใหม่ๆ
ขณะนี้ทีมงานของเราได้นำโครงสร้างการออกแบบสามส่วนจากโครงการ Tax AI มาใช้เป็นแม่แบบในการสร้างเวิร์กโฟลว์สำหรับธุรกิจอื่นภายใต้ Thrive Holdings(เปิดในหน้าต่างใหม่) ไม่ว่าจะเป็นงานด้านบัญชี เช่น การทำบัญชีและการตรวจสอบบัญชี หรือกระบวนการปฏิบัติงานอย่างระบบอัตโนมัติสำหรับแผนกช่วยเหลือด้านไอที ศักยภาพในวงกว้างของเอเจนต์ที่พัฒนาตัวเองได้คือความหวังที่เข้ามาพลิกโฉมการทำงานในทุกภาคส่วนและทุกอุตสาหกรรม เอเจนต์ที่ดีที่สุดได้รับการชี้นำโดยมนุษย์ให้เรียนรู้และพัฒนาให้มีความสามารถมากขึ้น น่าเชื่อถือมากขึ้น และมีคุณค่ามากขึ้นเมื่อเวลาผ่านไป
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับทีม OpenAI ที่ทำงานในโปรเจ็กต์นี้ ติดต่อเรา


