בניית סוכני מס שמשתפרים בעצמם בעזרת Codex
מאת חברי הצוות הטכני: Aravind Srinivasan ו-Samay Shamdasani (Thrive Holdings), Arthur Fernandes Araujo ו-John de Wasseige (OpenAI)
איך Thrive Holdings ו-OpenAI פיתחו יחד את Tax AI עבור רואי החשבון של Crete, בשילוב מומחיות מקצועית ומחזור שיפור המונע בידי Codex
מערכות בעולם האמיתי מתנהגות בסביבת הייצור אחרת מאשר במעבדה, ונכשלות בדרכים שקשה לצפות לפני ההטמעה. צוותים מגלים את הכשלים האלה לעיתים קרובות לאחר ההשקה, ואז משקיעים שבועות בבדיקת מקרי קצה, בהתאמת הנחיות ובהפיכת משוב מסביבת הייצור לשיפורים עמידים במוצר. מחזור המשוב ידני ואיטי, ומביא לשיפור רק כשמהנדס מקדם אותו. אבל כיום, בעזרת תשתית הערכה שתוכננה בקפידה, גישה ישירה לאנשי מקצוע ולסביבות בעולם האמיתי, והיכולות האג'נטיות של Codex שבחזית הטכנולוגיה, אפשר לבנות סוכנים שמשתפרים בעצמם.
במאמר הזה נסביר איך השתמשנו ב-Codex כדי לבנות סוכן כזה. במהלך ששת החודשים האחרונים, מהנדסים וחוקרים של OpenAI העובדים בשטח עם לקוחות שיתפו פעולה עם מהנדסי Thrive Holdings בבניית Tax AI, יחד עם רשת של יותר מ-30 משרדי רואי חשבון של Crete(נפתח בחלון חדש) ולמענם, כדי לסייע בהכנת דוחות מס מורכבים יותר ויותר. במקום להסתמך על מהנדסים שיאתרו ויתקנו כל כשל, Tax AI משתמש ב-Codex כדי להפוך את השימוש בסביבת הייצור לאותות מובנים שמניעים שיפור אוטונומי.
מומחי המס של Crete מכינים עשרות אלפי דוחות מס בכל עונה, עבודה שדורשת לעבור על מיליוני מסמכים שעליהם הדוחות מבוססים. בדוחות ברמת מורכבות בינונית עד גבוהה, הזנת הנתונים לבדה עשויה להימשך שמונה שעות לדוח, ולעיתים קרובות כרוכה במקורות נתונים לא מסודרים, במסמכים משנים קודמות ובחילוץ וחישוב ידניים. הם הצביעו על הכנת דוחות המס כצוואר בקבוק משמעותי בתקופה העמוסה ביותר של עונת הגשת הדוחות.
כדי לפתור את הבעיה, Tax AI עיבד 7,000 דוחות מס במשרדי Crete שהשתתפו בפיילוט בעונת הגשת הדוחות הנוכחית. המערכת מבצעת אוטומציה לחלק גדול מהתהליך עתיר הזמן של הכנת דוחות מס בטופסי 1040 ו-1041. אבל מעבר להתייעלות, מה שמרשים עוד יותר הוא שהמערכת עצמה טובה יותר באופן מדיד מהגרסה שהוטמעה לראשונה לפני שלושה חודשים.
ב-Tax AI, מומחי המס מעלים קובצי מקור לצד הערות ספציפיות ללקוח, אם יש כאלה. לאחר מכן, Tax AI יוצר חבילת נתונים להגשה למנוע המס, מוכנה לבדיקה. הוא חוסך למומחי המס כשליש מהזמן שהם מקדישים להכנת דוחות, מכין טיוטות דוחות בדיוק של עד 97% ומגדיל את התפוקה בכ-50%, כך שנותר להם יותר זמן ללקוחות.
אפשר לכמת את השיפור הזה באמצעות בחינה של הדיוק שבו Tax AI יכול למלא דוח בלי שיידרש תיקון בהמשך. אנחנו מודדים דיוק באמצעות בדיקת שיעור הדוחות שבהם 75%, 90% או 100% מהשדות מולאו נכון. בעת ההשקה, רק רבע מהדוחות הגיעו למילוי נכון של 75% מהשדות, אבל בתוך שישה שבועות 86% מהדוחות הגיעו לרף הזה. המערכת הציגה שיפור מהיר עוד יותר ברמות המילוי הנכון של 90% ו-100% מהשדות. הרפים האלה נותנים לנו תמונה מעשית של היקף העבודה שעדיין נדרש ממומחי המס כדי להשלים דוחות שונים.
בתחילת הדרך, Tax AI טיפל במשימות פשוטות יותר, כמו טופסי W-2 ו-1099. ככל שהעונה התקדמה, הוא עבר לטפל בדוחות מורכבים יותר, עם טופסי K-1, נספחים ומקרי קצה קשים יותר. כל יכולת חדשה חסכה יותר זמן לדוח מקודמתה, משום שהמשימות שהיא אפשרה לבצע היו קשות יותר וגזלו יותר זמן בעבודה ידנית. אנחנו ממשיכים לראות התקדמות גם כיום.
בהמשך נסביר איך הצוותים שלנו תכננו יחד את Tax AI כך שישתפר בעצמו, על בסיס שלושה נדבכים חיוניים: 1) משוב ממומחי מס, 2) תיעוד ריצות בסביבת הייצור — היסטוריה מובנית מהקלט ועד הפלט הסופי, ו-3) מחזור שיפור המונע בידי Codex ומבוסס על בדיקות הערכה מותאמות, כדי לאפשר פיתוח מוצר רציף ומהיר יותר. אנחנו מקווים שהניסיון שלנו יועיל למפתחים אחרים בתחומים שבהם המומחיות של אנשי המקצוע חיונית לאיכות המערכת כולה ולאיכות הנתונים העוברים בה.
ככל ש-Tax AI התרחב לטיפול בדוחות מס מורכבים יותר, שיעור הדוחות שנבדקו והגיעו למילוי של 75%, 90% ומילוי מלא המשיך לעלות לאורך עונת הגשת הדוחות.
כשהתקדמנו לחלקים המורכבים יותר בהכנת דוחות מס — טופסי K-1, נספחי נדל״ן להשכרה וטופסי מס שדרשו התאמת ערכים בין כמה קובצי מקור — התברר שהאתגר האמיתי הוא האם המוצר יכול לחשוף כשלים מורכבים בסביבת הייצור, להפוך אותם למובנים ולאפשר לפעול לתיקונם.
בימיו הראשונים של המוצר, רוב התיקונים נעשו ידנית. מומחי המס יכלו לתקן שגיאות במערכת, אבל המוצר לא תיעד את ההקשר המלא: ערך ששונה לפני ההגשה עשוי היה לשקף שגיאה אמיתית בחילוץ, בעיית מיפוי, חוסר תמיכה במוצר או רעש צפוי בתהליך העבודה. ההבחנה בין המקרים האלה עדיין דרשה המשך בירור מצד צוות ההנדסה. המהנדסים יכלו להשתמש בסוכני קוד, אבל המערכת עדיין לא תוכננה לשימוש משמעותי בבינה מלאכותית בתוך מחזור שיפור. לא היו לנו האותות הנחוצים כדי לזהות את יעד השיפור הנכון.
לכן תכננו את המערכת סביב שלושה נדבכים:
קשר קרוב עם אנשי המקצוע: האנשים שעושים את העבודה צריכים לכוון את מה שהמוצר לומד. האינטואיציה וההבנה שלהם חושפות אילו שגיאות חשובות, ועוזרות להחליט באילו חלקים בתהליך העבודה כדאי להתמקד בהמשך.
בניית המוצר כך שהשימוש בסביבת הייצור ייצור ראיות: המוצר צריך לתעד יותר מקלט ופלט בלבד. עליו לתעד את המסלול המלא: מחומר המקור, דרך השדות שחולצו והמקורות שמהם הגיעו, ועד להגשה בהמשך התהליך ולתיקון של מומחה.
יצירת מחזור שיפור המונע בידי Codex: ברגע שבעיות בסביבת הייצור גלויות ומתועדות באופן מובנה, אפשר להפוך אותן לממצאים, לבדיקות הערכה מותאמות ולמשימות הנדסיות בהיקף מוגדר. אז Codex יכול לסייע בחקירה, להציע שינויים, לאמת אותם באמצעות בדיקות הערכה ממוקדות ובדיקות רגרסיה, ולקדם את המוצר מהר יותר ממחזור שיפור ידני לחלוטין.
הדוגמה הבאה, מתחום הנכסים להשכרה, מראה איך מחזור השיפור פועל בפועל: איך תיקון של מומחה מס הופך לממצא מובנה, אחר כך ליעד הערכה, ולבסוף למשימה הנדסית בהיקף מוגדר עבור Codex.
הכנסה מנכסים להשכרה מדווחת בנספח Schedule E לדוח המס של יחיד. מבחינה הנדסית, קל לתאר את משימת חילוץ הנתונים האלה, אבל קשה לבצע אותה היטב. המערכת צריכה לקרוא חומרי מקור לא מסודרים — הערות בכתב יד, הודעות דוא״ל, גיליונות אלקטרוניים וקובצי לקוח אחרים — לחלץ את השדות הנוגעים לנכסים להשכרה שאותם היא יכולה למפות בביטחון למנוע המס, ולשמר מספיק ראיות כדי שמומחה מס יוכל לאשר או לתקן את התוצאה. הדוגמה הפשוטה שלהלן ממחישה כיצד עשויים להיראות קובצי המקור והפלטים שחולצו מהם.
חבילת מסמכי מקור של נכס להשכרה עוברת נרמול לשדות עם הפניות למקורות, לפני מיפוים למושגים המתאימים במנוע המס בהמשך התהליך.
הבדל בין הערך שחזה הסוכן לערך בפועל בדוח המס שהוגש עשוי להעיד על שגיאה אמיתית בחילוץ הנתונים. אבל הוא יכול לנבוע גם מהעדפה של מומחה המס, מערך שהועבר במנוע המס מדוח של שנה קודמת, או מערך שהוזן או שונה בשלב אחר בתהליך הגשת הדוח. מומחי המס עזרו לנו להבחין בין המקרים האלה, כדי שנוכל לזהות אילו פעולות דרשו תיקון מצידם או מנעו הגשה.
היכולת לראות את התיקונים האלה בפירוט אפשרה לנו להפוך את תהליך הבדיקה משלב סופי שמגיע לאחר כשל למחזור למידה מתמשך. תכננו את תהליך העבודה כך שיתעד פעולות של מומחים כנתונים מובנים. כעת, כל התערבות מזינה את מחזור השיפור של המוצר באמצעות תיעוד מדויק של מה שהציע Tax AI, מה ששינה מומחה המס ומה שנכלל בסופו של דבר בדוח שהוגש.
בתהליך עבודה מורכב כמו טיפול בנכסים להשכרה, המערכת צריכה לשמר את מה שקורה בין קובצי המקור לדוח שהוגש. לאורך הדרך, המסמכים מאורגנים, מפוצלים ומסווגים; שדות הנוגעים לנכסים להשכרה מחולצים עם הפניות לחומר המקור; הערכים האלה ממופים למנוע המס; ומומחי המס עדיין יכולים לתקן אותם לפני ההגשה. תיעוד הריצות הזה ברמת המוצר מאפשר לחקור היכן התרחש הכשל. כדי להפוך תיקונים של מומחי מס ליעדי הערכה שימושיים, המערכת מעבדת אותם בשלושה שלבים:
תיעוד ההבדל: הפלט של Tax AI מושווה לדוח שהוגש, כדי ליצור שורות בדיקה ברמת השדה המתעדות את הערך הצפוי, את הערך שנחזה, והאם נראה שאפשר לפעול לתיקון ההבדל.
קיבוץ כשלים קשורים: שורות בדיקה דומות מקובצות יחד כדי להפריד בין כשלים חוזרים במוצר לרעש צפוי בתהליך העבודה. למשל, תיקונים חוזרים של מומחי מס עשויים להראות ש-Tax AI מחמיץ לעיתים קרובות שדות של מספר ימי השכרה במחיר שוק, מטפל באופן שגוי ב״הוצאות אחרות״, או מבלבל בין כמה נכסים להשכרה באותה חבילת מסמכי מקור.
הפיכת דפוסים חוזרים ליעדי הערכה: לאחר בדיקה ומדידה, ממצאים חוזרים הופכים ליעדי הערכה ברורים ש-Codex יכול לשפר את הביצועים בהם.
שורות הבדיקה של נכסים להשכרה מפרידות בין כשלים חוזרים במוצר לרעש צפוי, ואז הופכות את המקרים שניתן לטפל בהם ליעדי הערכה שנותנים ל-Codex יעד ברור לשיפור.
הנדבך השלישי הוא יצירת מחזור עבודה הנדסי שיכול לפעול על סמך בדיקות ההערכה החדשות האלה. כאן Codex ממלא תפקיד מרכזי.
נניח שתהליך ההערכה שלנו מזהה ש-Tax AI מחמיץ באופן עקבי את השדה ״מספר ימי השכרה במחיר שוק״, בעוד שמומחי המס מקפידים למלא אותו. מכיוון שהממצא הזה כבר שולב במערך בדיקות ממוקד, עם חבילות מסמכי מקור מייצגות ופלטים צפויים, Codex יכול לחקור את שורש הבעיה ישירות בתוך תשתית המוצר.
Codex לא מסתמך רק על פלט סופי שאינו טוב מספיק. הוא בוחן יחד את תיעוד הריצה, בדיקת ההערכה, מאגר הקוד והמיומנויות:
חקירת תהליך העיבוד: בדיקת חבילות מסמכי המקור, סכמות החילוץ, התנהגות רכיב המיפוי ומסלולי הריצה בקוד, כדי לקבוע אם הבעיה היא שדה שאינו נתמך, דפוס חילוץ שהוחמץ, בעיה בבחירת המקור, פער ברכיב המיפוי או תקלה ברכיב הדירוג.
יישום תיקונים ממוקדים: הרחבת סכמת החילוץ, שיפור בחירת המקורות למסמכי נכסים להשכרה, עדכון רכיב המיפוי למנוע המס, או חידוד רכיב הדירוג אם רעש צפוי בתהליך העבודה נספר ככשל.
אימות והצעה: הרצה חוזרת של בדיקת ההערכה הממוקדת, הרצת מערכי בדיקות רגרסיה רחבים יותר, והצגת pull request מוצע לבדיקה של צוות ההנדסה.
סגירת מעגל: הפיכת תיקון חוזר של מומחה מס למשימה הנדסית מדידה. אם הראיות אינן חד-משמעיות או שלא ניתן לטפל במקרה באוטומציה בטוחה, הוא מוחזר לצוות המוצר במקום לאלץ אותו לעבור במחזור השיפור.
מחזור השיפור העצמי מקצה לקצה: תיעוד הריצות בסביבת הייצור חושף תיקונים חוזרים ברמת השדה. אלה הופכים לאותות כשל ש-Codex יכול לבדוק לצד תיעוד הריצה, בדיקות ההערכה, מאגר הקוד והמיומנויות. דפוסים שאפשר לפעול לפיהם הופכים לבדיקות הערכה ממוקדות ולהצעות לשינויים במוצר; מקרים לא ברורים מוחזרים לבדיקה של מהנדסים. כל שיפור שמופץ מספק ראיות חדשות מסביבת הייצור למחזור הבא.
הדוגמה של נכסים להשכרה ממחישה דפוס רחב יותר שאפשר ליישם שוב: שימוש בתוצרים ובתיעוד ריצות מסביבת הייצור כדי לשפר את יכולותיו של סוכן. כאשר Codex מקבל כקלט ממצאים בדוקים מנתוני הייצור, תיעוד ריצות הכולל מקורות, פלט צפוי של מנוע המס, דוגמאות קוד רלוונטיות ופקודות להרצת בדיקות הערכה, הוא יכול לשפר משמעותית את הביצועים והדיוק לאורך שבועות וחודשים. גישה זו נשענת על העקרונות שתיארנו בעבודתנו בנושא הנדסת harness ובנושא Symphony. שם הסברנו איך להגדיר משימות כך ש-Codex יוכל להבין אותן, לספק הקשר וכלים בהיקף מוגדר, ולהשאיר אימות ובדיקה אנושית כחלק מהסביבה.
הראיות האלה אינן הופכות אוטומטית למשימה עבור Codex. תיקון של מומחה מס עשוי לשקף שגיאת חילוץ, בעיית מיפוי, פעולה שהמוצר אינו תומך בה, שיקול דעת מקצועי בתחום המס, או רעש צפוי בתהליך העבודה. רק לאחר שהבדלים חוזרים נבדקו וקובצו לכדי ממצא שאפשר לפעול לפיו, המערכת הופכת אותם למשימה תחומה עם תנאי הצלחה ברור.
אנחנו מיישמים את האוטומציה הזו בשכבה מוגדרת של המוצר. השכבה הזו מחלצת נתונים ממסמכי מקור וממפה אותם לתהליכי העבודה בתחום המס. המהנדסים נשארים אחראים לארכיטקטורה, להחלטות המוצר ולהפצת השינויים. מומחי המס מכוונים את מחזור השיפור באמצעות העבודה שהם כבר עושים: תיקון ערכים שחולצו, בדיקת דוחות ואישור הגשות סופיות.
מבחינת Codex, התוצאה אינה התראה עמומה אלא משימה הנדסית מוגדרת, עם ראיות, רכיבי מוצר שניתן לערוך ונקודות אימות מפורשות. אפשר לסכם כך את ההקשר של משימה מייצגת בתחום הנכסים להשכרה:
אותו מחזור שיפור מתאים גם לתחומים שמעבר לנכסים להשכרה. בתחום הנכסים להשכרה נדרשו כשישה שבועות ופיקוח הנדסי נרחב כדי להגיע לדיוק ולאחזור של 90%. אבל העבודה הזו הניבה הפשטות לשימוש חוזר, תוצרי בדיקה, מוסכמות להערכה ודפוסי מימוש, שהקלו על התמיכה בנספחים ברמת מורכבות דומה, כגון Schedule C ו-Schedule A.
Tax AI מוכיח שיש דרך לבנות סוכנים שמשתפרים בעצמם. מומחי המס מייצרים אותות משוב רבי-ערך תוך כדי מתן השירות. תהליכי העבודה במוצר משמרים את האותות האלה כראיות מובנות. מערכות הנדסיות הנתמכות בבדיקות הערכה מאמתות שיפורים לפני שהם מגיעים לסביבת הייצור, ומחזור עבודה המונע בידי סוכנים משאיר את המערכת בתהליך מתמשך של שיפור עצמי.
המבנה של Thrive Holdings מאפשר לנו לשכפל את הסביבה הזו בענפים מסוימים. Holdings היא גם הבעלים וגם המפעילה, ולכן צוותי ההנדסה המשותפים שלנו יכולים לעבוד ישירות עם אנשי המקצוע ועם נתוני הייצור מתוך עסקים כמו Crete — לא כספק, אלא כשותפים. כלומר, הטכנולוגיה, המוצר והשירות נמצאים כולם תחת קורת גג אחת, מה שעוזר לנו להתקדם מהר יותר ולבנות מוצרים יוצאי דופן.
רואת חשבון בכירה שהקדישה 180 שעות להכנת דוחות מס בשנה שעברה הקדישה לכך השנה רק 15 שעות. חלק מהזמן שהתפנה שימש אותה להתקשר לכל אחד מלקוחותיה ולעבור איתם על הדוחות שלהם — רמת שירות אישי שלא הייתה אפשרית לפני שנה. את יתר הזמן היא ניצלה לקבלת לקוחות חדשים ולהרחבת מגוון השירותים.
הצוותים שלנו משתמשים כעת יחד באותו מבנה תלת-שלבי של Tax AI כבסיס לבניית תהליכי עבודה בתחומים נוספים ברחבי Thrive Holdings(נפתח בחלון חדש): תהליכים חשבונאיים כמו הנהלת חשבונות וביקורת, ותהליכים תפעוליים כמו אוטומציה של מוקד תמיכת IT. ההבטחה הרחבה של סוכנים שמשתפרים בעצמם תקפה בכל התחומים והענפים. הסוכנים הטובים ביותר לומדים בהכוונה אנושית, וכך נעשים בעלי יכולות גבוהות יותר, זוכים ליותר אמון ומעניקים ערך רב יותר לאורך זמן.
למידע נוסף על צוות OpenAI שעבד על הפרויקט, צרו קשר.
