Մոդելից դեպի ագենտ. Պատասխանների API-ն համալրել համակարգչային միջավայրով
Բո Սյուի, Դեննի Չժանգի և Ռոհիտ Արունաչալամի կողմից
Մենք ներկայումս անցումային փուլում ենք՝ որոշակի առաջադրանքներում գերազանցող մոդելներից դեպի բարդ աշխատանքային հոսքերը կարգավորելու ունակ ագենտների օգտագործում։ Մոդելներին հարցումներ տալով՝ դուք կարող եք մուտք գործել միայն ուսուցանված բանականությանը։ Այնուամենայնիվ, մոդելին համակարգչային միջավայր տրամադրելը կարող է ապահովել օգտագործման դեպքերի շատ ավելի լայն շրջանակ, օրինակ՝ ծառայություններ գործարկելը, APIs-ից տվյալներ հարցումը կամ ավելի օգտակար արտեֆակտների ստեղծումը, ինչպիսիք են էլեկտրոնային աղյուսակները կամ հաշվետվությունները։
Ագենտներ կառուցել փորձելիս ի հայտ են գալիս մի քանի գործնական խնդիրներ՝ որտեղ տեղադրել միջանկյալ ֆայլերը, ինչպես խուսափել մեծ աղյուսակները հարցման մեջ տեղադրելուց, ինչպես աշխատանքային հոսքին տալ ցանցային հասանելիություն՝ առանց անվտանգության գլխացավանք ստեղծելու, և ինչպես կառավարել ժամանակի սպառումները և կրկնափորձերը՝ առանց ինքներդ աշխատանքային հոսքերի համակարգ կառուցելու։
Մշակողներին իրենց սեփական կատարման միջավայրերը կառուցելու բեռը դնելու փոխարեն մենք կառուցեցինք անհրաժեշտ բաղադրիչները՝ Պատասխանների API(բացվում է նոր պատուհանում) -ն համակարգչային միջավայրով ապահովելու համար, որպեսզի այն հուսալիորեն կատարի իրական աշխարհի առաջադրանքներ։
OpenAI-ի Պատասխանների API-ն՝ shell գործիքի և հոսթինգային կոնտեյների աշխատատարածքի հետ միասին, նախատեսված է լուծելու այս գործնական խնդիրները։ Մոդելը առաջարկում է քայլեր և հրամաններ. հարթակը դրանք գործարկում է մեկուսացված միջավայրում՝ մուտքերի և ելքերի համար ֆայլային համակարգով, ընտրովի կառուցվածքային պահեստով (օրինակ՝ SQLite), և սահմանափակ մուտքով դեպի ցանց։
Այս գրառման մեջ մենք կքննարկենք, թե ինչպես ենք ստեղծել համակարգչային միջավայր ագենտների համար և կկիսվենք որոշ նախնական դասերով՝ այն ավելի արագ, կրկնվող և անվտանգ արտադրական հոսքերի համար օգտագործելու վերաբերյալ։
Լավ ագենտի աշխատանքային հոսքը սկսվում է խիստ կատարման ցիկլից. մոդելը առաջարկում է գործողություն, օրինակ՝ ֆայլեր կարդալը կամ API-ով տվյալներ ստանալը, հարթակը այն գործարկում է, և արդյունքը սնուցում է հաջորդ քայլը։ Կսկսենք shell գործիքից՝ այս ցիկլը գործողության մեջ տեսնելու ամենապարզ եղանակից, ապա կանդրադառնանք կոնտեյների աշխատատարածքին, ցանցային կապին, վերօգտագործելի հմտություններին և համատեքստի սեղմմանը։
Shell գործիքը հասկանալու համար նախ օգտակար է հասկանալ, թե ինչպես է լեզվական մոդելը ընդհանուր առմամբ օգտագործում գործիքներ՝ օրինակ՝ ֆունկցիա կանչելու կամ համակարգչի հետ փոխազդելու համար։ Վարժեցման ընթացքում մոդելին քայլ առ քայլ ցույց են տրվում գործիքների օգտագործման օրինակներ և դրանց արդյունքում ստացվող ազդեցությունները։ Սա օգնում է մոդելին սովորել՝ որոշելու, թե երբ օգտագործել գործիք և ինչպես օգտագործել այն։ Երբ մենք ասում ենք «գործիք օգտագործել», մենք նկատի ունենք, որ մոդելը իրականում միայն առաջարկում է գործիքի կանչ։ Այն չի կարող ինքնուրույն կատարել կանչը։
Shell գործիքը մոդելը դարձնում է զգալիորեն ավելի հզոր. այն հրամանի տողի միջոցով փոխազդում է համակարգչի հետ՝ կատարելու առաջադրանքների լայն շրջանակ՝ տեքստ որոնելուց մինչև ձեր համակարգչից API հարցումներ ուղարկելը։ Կառուցված լինելով ծանոթ Unix գործիքակազմի վրա՝ մեր shell գործիքը կարող է անել այն ամենը, ինչ կսպասեիք, իսկ grep, curl և awk նման օգտակար ծրագրերը հասանելի են անմիջապես՝ առանց լրացուցիչ կարգավորումների։
Մեր առկա կոդերի թարգմանչի համեմատ, որը կատարում է միայն Python, shell գործիքը հնարավորություն է տալիս օգտագործման դեպքերի շատ ավելի լայն շրջանակի, օրինակ՝ Go կամ Java ծրագրեր գործարկելու կամ NodeJS սերվեր սկսելու։ Այս ճկունությունը թույլ է տալիս մոդելին կատարել բարդ գործակալական առաջադրանքներ։
Ինքնուրույն, մոդելը կարող է միայն առաջարկել shell հրամաններ, բայց ինչպե՞ս են այս հրամանները կատարվում: Մեզ անհրաժեշտ է օրքեստրատոր՝ մոդելի ելքը ստանալու, գործիքներ կանչելու և գործիքի պատասխանը մոդելին հետ փոխանցելու համար՝ ցիկլով, մինչև առաջադրանքը ավարտվի։
Պատասխանների API-ն այն է, թե ինչպես են ծրագրավորողները փոխազդում OpenAI մոդելների հետ. Երբ օգտագործվում է հատուկ գործիքների հետ, Պատասխանների API-ն վերահսկողությունը վերադարձնում է հաճախորդին, և հաճախորդը գործիքները գործարկելու համար պահանջում է իր սեփական հարթակը։ Այնուամենայնիվ, այս API-ն կարող է նաև պատրաստի տարբերակով համակարգել մոդելի և հոսթինգված գործիքների միջև։
Երբ Պատասխանների API-ն ստանում է հարցում, այն հավաքում է մոդելի համատեքստը՝ օգտատիրոջ հարցումը, նախորդ խոսակցության վիճակը և գործիքների հրահանգները։ Որպեսզի shell-ի կատարումը աշխատի, հարցումը պետք է նշի shell գործիքի օգտագործումը և ընտրված մոդելը պետք է ուսուցանված լինի առաջարկելու shell հրամաններ—GPT‑5.2 և ավելի ուշ մոդելները ուսուցանված են դրա համար։ Այս ամբողջ համատեքստով մոդելն այնուհետև որոշում է հաջորդ գործողությունը։ Եթե այն ընտրում է shell execution, այն վերադարձնում է մեկ կամ մի քանի shell հրամաններ Պատասխանների API ծառայությանը։ API ծառայությունը այդ հրամանները փոխանցում է կոնտեյների գործարկման միջավայրին, հետ է հոսքագրում shell-ի ելքը և այն փոխանցում է մոդելին հաջորդ հարցման համատեքստում։ Այնուհետև մոդելը կարող է ուսումնասիրել արդյունքները, տալ հետագա հրամաններ կամ ներկայացնել վերջնական պատասխան։ Պատասխանների API-ն կրկնում է այս ցիկլը մինչև մոդելը վերադարձնի ավարտում՝ առանց լրացուցիչ shell հրամանների։
Երբ Պատասխանների API-ն կատարում է shell հրաման, այն պահպանում է հոսքային կապ կոնտեյների ծառայության հետ։ Երբ ելքը ստեղծվում է, API-ն այն գրեթե իրական ժամանակում փոխանցում է մոդելին, որպեսզի մոդելը կարողանա որոշել՝ սպասե՞լ ավելի շատ ելքի, գործարկե՞լ մեկ այլ հրաման, թե՞ անցնել վերջնական պատասխանին։
Պատասխանների API-ն հոսքային կերպով փոխանցում է shell հրամանների ելքային տվյալները
Մոդելը կարող է մեկ քայլում առաջարկել մի քանի shell հրաման, և Պատասխանների API-ն կարող է դրանք կատարել միաժամանակ՝ օգտագործելով առանձին կոնտեյների սեսիաներ։ Յուրաքանչյուր սեսիա հոսքային հեռարձակում է ելքը անկախ, և API-ն բազմապատկում է այդ հոսքերը՝ դրանք վերադարձնելով որպես կառուցվածքային գործիքների արտածումներ՝ որպես համատեքստ։ Այլ կերպ ասած՝ ագենտի ցիկլը կարող է զուգահեռացնել աշխատանքը, օրինակ՝ ֆայլերի որոնումը, տվյալների ստացումը և միջանկյալ արդյունքների վավերացումը։
Երբ հրամանը ներառում է ֆայլային գործողություններ կամ տվյալների մշակում, shell-ի ելքը կարող է շատ մեծ դառնալ և սպառել համատեքստի բյուջեները՝ առանց օգտակար ազդանշաններ ավելացնելու։ Դա վերահսկելու համար մոդելը յուրաքանչյուր հրամանի համար սահմանում է արտածման սահմանաչափ։ Պատասխանների API-ն պարտադրում է այդ սահմանաչափը և վերադարձնում է սահմանափակված արդյունք, որը պահպանում է արտածման թե՛ սկիզբը, թե՛ վերջը՝ միաժամանակ նշելով բաց թողնված բովանդակությունը. Օրինակ, դուք կարող եք սահմանափակել արդյունքը մինչև 1,000 նիշ՝ պահպանված սկզբով և վերջով:
սկզբում գտնվող տեքստ ... 1000 նիշը կրճատված է ... վերջում գտնվող տեքստ
Միասին, միաժամանակյա կատարումը և սահմանափակված արդյունքը ագենտի ցիկլը դարձնում են և՛ արագ, և՛ համատեքստի առումով արդյունավետ, որպեսզի մոդելը կարողանա շարունակել հիմնավորումը համապատասխան արդյունքների վրա՝ հում տերմինալի լոգերից չծանրաբեռնվելով։
Ագենտի ցիկլերի հետ կապված հնարավոր խնդիրներից մեկն այն է, որ առաջադրանքները կարող են երկար ժամանակ գործել։ Երկարատև առաջադրանքները լցնում են համատեքստի պատուհանը, ինչը կարևոր է հերթափոխերի և ագենտների միջև համատեքստ ապահովելու համար։ Պատկերացրեք, որ ագենտը կանչում է հմտություն, ստանում է պատասխան, ավելացնում է գործիքային կանչեր և հիմնավորման ամփոփագրեր՝ սահմանափակ համատեքստային պատուհանը արագ լցվում է։ Որպեսզի ագենտը շարունակ աշխատելիս չկորցնենք կարևոր համատեքստը, մեզ պետք է միջոց՝ պահպանելու հիմնական մանրամասները և հեռացնելու ցանկացած ավելորդ բան։ Փոխարենը՝ ծրագրավորողներից պահանջելու նախագծել և պահպանել ամփոփման կամ վիճակ կրող անհատական համակարգեր, մենք Պատասխանների API-ում ավելացրել ենք բնիկ կոմպակտացում, որը նախագծված է համապատասխանելու այն բանին, թե ինչպես է մոդելը գործում և ինչպես է այն ուսուցանվել։
Մեր վերջին մոդելները ուսուցանված են վերլուծելու նախորդ զրույցի վիճակը և ստեղծելու կրճատման տարր, որը պահպանում է հիմնական նախորդ վիճակը՝ կոդավորված, թոքեն-արդյունավետ ներկայացմամբ։ Կրճատումից հետո հաջորդ համատեքստային պատուհանը բաղկացած է այս կրճատման տարրից և ավելի վաղ պատուհանի բարձրարժեք հատվածներից։ Դա թույլ է տալիս աշխատանքային հոսքերին շարունակվել համահունչ կերպով պատուհանների սահմանների միջով, նույնիսկ ընդլայնված բազմաքայլ և գործիքներից կախված սեսիաներում։ Codex-ը հիմնվում է այս մեխանիզմի վրա ՝ երկարատև կոդավորման առաջադրանքները և գործիքների կրկնվող գործարկումը պահպանելու համար՝ առանց որակի վատթարացման։
Կրճատումը հասանելի է կամ սերվերի վրա ներկառուցված, կամ առանձին `/կրճատում` վերջնակետի միջոցով։ Սերվերի կողմի կրճատումը թույլ է տալիս կարգավորել շեմ, և համակարգը ավտոմատ կերպով կառավարում է կրճատման ժամանակացույցը՝ վերացնելով բարդ հաճախորդի կողմի տրամաբանության անհրաժեշտությունը։ Այն թույլ է տալիս մի փոքր ավելի մեծ արդյունավետ համատեքստային պատուհան՝ կրճատումից անմիջապես առաջ փոքր գերազանցումները հանդուրժելու համար, որպեսզի սահմանին մոտ հարցումները դեռ կարողանան մշակվել և կրճատվել՝ մերժվելու փոխարեն։ Քանի որ մոդելի ուսուցումը զարգանում է, բնիկ կոմպակտացման լուծումը նույնպես զարգանում է դրա հետ միասին՝ OpenAI-ի մոդելի յուրաքանչյուր թողարկման համար։
Codex-ը օգնեց մեզ կառուցել կրճատման համակարգը՝ միաժամանակ ծառայելով որպես դրա վաղ օգտատեր։ Երբ Codex-ի մեկ օրինակում կրճատման սխալ էր տեղի ունենում, մենք գործարկում էինք երկրորդ օրինակը՝ հետաքննելու համար։ Արդյունքում Codex-ը, պարզապես խնդրի վրա աշխատելով, ստացավ բնիկ, արդյունավետ կոմպակտացման համակարգ։ Codex-ի՝ ինքն իրեն ստուգելու և կատարելագործելու այս կարողությունը դարձել է OpenAI-ում աշխատելու հատկապես հետաքրքիր կողմերից մեկը։ Գործիքների մեծ մասը միայն պահանջում է, որ օգտատերը սովորի, թե ինչպես օգտագործել դրանք. Codex-ը սովորում է մեզ հետ միասին։
Հիմա եկեք անդրադառնանք վիճակին և ռեսուրսներին։ Կոնտեյները ոչ միայն հրամաններ գործարկելու տեղ է, այլ նաև մոդելի աշխատանքային համատեքստը։ Կոնտեյների ներսում մոդելը կարող է կարդալ ֆայլեր, հարցումներ կատարել տվյալների բազաներին և մուտք գործել արտաքին համակարգեր՝ ցանցային քաղաքականության վերահսկման ներքո։
Կոնտեյների համատեքստի առաջին մասը ֆայլային համակարգն է՝ ռեսուրսները վերբեռնելու, կազմակերպելու և կառավարելու համար։ Մենք ստեղծեցինք կոնտեյների և ֆայլի(բացվում է նոր պատուհանում) API-ներ՝ մոդելին հասանելի տվյալների քարտեզ տրամադրելու և օգնելու համար, որ այն ընտրի թիրախային ֆայլային գործողություններ՝ լայնածավալ, աղմկոտ սկանավորումներ կատարելու փոխարեն։
Տարածված հակաօրինաչափություն է ամբողջ մուտքագրումը անմիջապես փաթեթավորել հարցման համատեքստի մեջ։ Քանի որ մուտքերը մեծանում են, հարցումը չափից շատ լցնելը դառնում է թանկ և մոդելի համար դժվար՝ կողմնորոշվելու։ Ավելի լավ օրինաչափություն է ռեսուրսները փուլային տեղակայել կոնտեյների ֆայլային համակարգում և թողնել, որ մոդելը որոշի՝ ինչ բացել, վերլուծել կամ փոխակերպել shell հրամանների միջոցով։ Մարդկանց նման, մոդելներն էլ ավելի լավ են աշխատում կազմակերպված տեղեկատվության դեպքում։
Կոնտեյների համատեքստի երկրորդ մասը տվյալների բազաներն են։ Շատ դեպքերում մենք առաջարկում ենք ծրագրավորողներին կառուցվածքային տվյալները պահել տվյալների բազաներում՝ որպես SQLite, և կատարել դրանց հարցումներ։ Օրինակ, ամբողջ աղյուսակը հարցման մեջ պատճենելու փոխարեն, կարող եք մոդելին տալ աղյուսակների նկարագրություն՝ ինչ սյունակներ կան և ինչ են դրանք նշանակում, և թույլ տալ, որ այն վերցնի իրեն անհրաժեշտ տողերը։
Օրինակ, եթե հարցնեք՝ «Այս եռամսյակում ո՞ր ապրանքների վաճառքներն էին նվազում», մոդելը կարող է հարցում կատարել միայն համապատասխան տողերի նկատմամբ՝ ամբողջ աղյուսակը սկանավորելու փոխարեն։ Սա ավելի արագ է, ավելի էժան, ավելի մասշտաբային՝ ավելի մեծ տվյալների հավաքածուների համար։
Կոնտեյների համատեքստի երրորդ մասը ցանցային հասանելիությունն է՝ ագենտների ծանրաբեռնվածությունների կարևոր բաղադրիչը։ Ագենտի աշխատանքային հոսքը կարող է կարիք ունենալ ստանալու կենդանի տվյալներ, կանչելու արտաքին API-ներ կամ տեղադրելու փաթեթներ։ Միևնույն ժամանակ, կոնտեյներներին անսահմանափակ ինտերնետ հասանելիություն տալը կարող է ռիսկային լինել. դա կարող է տեղեկատվությունը բացահայտել արտաքին կայքերին, ակամա շփվել զգայուն ներքին կամ երրորդ կողմի համակարգերի հետ, կամ ավելի դժվար դարձնել հավատարմագրերի արտահոսքից և տվյալների էքսֆիլտրացիայից պաշտպանվելը։
Այս մտահոգություններին անդրադառնալու համար՝ առանց ագենտների օգտակարությունը սահմանափակելու, մենք ստեղծեցինք հոսթված կոնտեյներներ՝ կողային կցորդի ելքի պրոքսին օգտագործելու համար։ Բոլոր ելքային ցանցային հարցումները անցնում են կենտրոնացված քաղաքականության շերտով, որը կիրառում է թույլատրվածների ցանկեր և մուտքի վերահսկողություն՝ միաժամանակ պահելով երթևեկությունը դիտարկելի։ Մուտքի տվյալների համար մենք ելքային տրաֆիկի ժամանակ օգտագործում ենք տիրույթով սահմանափակված գաղտնիքի ներարկում։ Մոդելը և կոնտեյները տեսնում են միայն տեղապահներ, մինչդեռ գաղտնի արժեքների հում տարբերակները մնում են մոդելի համար տեսանելի համատեքստից դուրս և կիրառվում են միայն հաստատված նպատակակետերի համար։ Սա նվազեցնում է արտահոսքի ռիսկը՝ միաժամանակ դեռևս հնարավորություն տալով վավերացված արտաքին կանչերին։
Shell հրամանները հզոր են, բայց շատ առաջադրանքներ կրկնում են նույն բազմաքայլ օրինաչափությունները։ Ագենտները յուրաքանչյուր գործարկման ժամանակ ստիպված են վերագտնել աշխատանքային հոսքը՝ վերապլանավորելով, հրամանները կրկին արձակելով և պայմանավորվածությունները կրկին սովորելով՝ ինչը հանգեցնում է անհամապատասխան արդյունքների և կատարման ժամանակի վատնման։ Ագենտի հմտություններ(բացվում է նոր պատուհանում) փաթեթավորում են այդ կաղապարները վերօգտագործվող, համադրվող կառուցվածքային բլոկների մեջ։ Կոնկրետ, հմտությունը թղթապանակների փաթեթ է, որը ներառում է ‘SKILL.md(բացվում է նոր պատուհանում)’ (պարունակելով մետատվյալներ և հրահանգներ) գումարած ցանկացած աջակցող ռեսուրսներ, օրինակ՝ API սպեցիֆիկացիաներ և UI ակտիվներ։
Այս կառուցվածքը բնականորեն համապատասխանում է այն գործարկման միջավայրի ճարտարապետությանը, որը մենք նկարագրել էինք ավելի վաղ։ Կոնտեյները տրամադրում է մշտական ֆայլեր և կատարման համատեքստ, իսկ shell գործիքը տրամադրում է կատարման ինտերֆեյսը։ Երբ երկուսն էլ տեղում են, մոդելը կարող է հայտնաբերել հմտությունների ֆայլերը՝ օգտագործելով shell հրամաններ (`ls`, `cat` և այլն)՝ երբ դրա կարիքը լինի, մեկնաբանել հրահանգները և գործարկել հմտությունների սցենարները՝ բոլորը նույն ագենտի ցիկլում։
Մենք տրամադրում ենք API-ներ(բացվում է նոր պատուհանում) ՝ OpenAI հարթակում հմտությունները կառավարելու համար: Մշակողները վերբեռնում և պահում են հմտության պանակները որպես տարբերակավորված փաթեթներ, որոնք հետագայում կարող են հետ բերվել հմտության ID-ով։ Մինչ հարցումը մոդելին ուղարկելը, Պատասխանների API-ն բեռնում է հմտությունը և այն ներառում է մոդելի համատեքստում։ Այս հաջորդականությունը դետերմինիստական է:
- Ներբեռնել հմտության մետատվյալները, ներառյալ անունը և նկարագրությունը։
- Ներբեռնեք հմտության փաթեթը, պատճենեք այն կոնտեյների մեջ և ապափաթեթավորեք այն։
- Թարմացրեք մոդելի համատեքստը հմտության մետատվյալներով և կոնտեյների ուղիով։
Երբ որոշում է՝ արդյոք որևէ հմտություն համապատասխան է, մոդելը աստիճանաբար ուսումնասիրում է դրա ցուցումները և կատարում է դրա սցենարները՝ կոնտեյների մեջ shell հրամանների միջոցով։
Բոլոր մասերը միասին հավաքելու համար՝ Պատասխանների API -ն ապահովում է կազմակերպում, shell գործիքը ապահովում է կատարելի գործողություններ, հոսթի կոնտեյները ապահովում է մշտական գործարկման համատեքստ, հմտությունների շերտը՝ վերօգտագործելի աշխատանքային հոսքի տրամաբանություն, իսկ կրճատումը թույլ է տալիս ագենտին երկար ժամանակ աշխատել՝ իրեն անհրաժեշտ համատեքստով։
Այս պրիմիտիվների միջոցով մեկ հարցումը կարող է ընդլայնվել՝ վերածվելով սկզբից մինչև վերջ աշխատանքային հոսքի․ հայտնաբերել ճիշտ հմտությունը, ստանալ տվյալներ, դրանք փոխակերպել տեղային կառուցվածքային վիճակի, արդյունավետորեն հարցում կատարել դրանց նկատմամբ և ստեղծել կայուն արտեֆակտներ։
Ստորև ներկայացված դիագրամը ցույց է տալիս, թե ինչպես է այս համակարգն աշխատում՝ կենդանի տվյալներից էլեկտրոնային աղյուսակ ստեղծելու համար։
Պատասխանների API-ն համակարգում է ագենտային առաջադրանքը
Shell գործիքը և համակարգչային միջավայրը սկզբից մինչև վերջ աշխատանքային հոսքերի համար համակցելու խորացված օրինակի համար տեսեք մեր ծրագրավորողների բլոգի գրառումը(բացվում է նոր պատուհանում) և խոհարարական գիրքը(բացվում է նոր պատուհանում), որոնք ներկայացնում են հմտության փաթեթավորումը և դրա կատարումը Պատասխանների API-ի միջոցով։
Մենք ոգևորված ենք տեսնելու, թե ինչ կկառուցեն ծրագրավորողները պրիմիտիվների այս հավաքածուով։ Լեզվային մոդելները նախատեսված են ավելին անելու համար, քան պարզապես տեքստ, պատկերներ և աուդիո ստեղծելը՝ մենք կշարունակենք զարգացնել մեր հարթակը՝ այն դարձնելով ավելի ընդունակ՝ մասշտաբով բարդ, իրական աշխարհի առաջադրանքները կատարելու գործում։
