Amplitude․ բարելավումներ 1–2 օրում՝ OpenAI-ի օգնությամբ

Amplitude-ը միշտ օգնել է թիմերին տեսնել, թե մարդիկ իրականում ինչպես են օգտագործում իրենց պրոդուկտները։ Պրոդուկտի զարգացման նրա նախաձեռնող ագենտը՝ Wave-ը, օգնում է թիմերին այդ բացահայտումները վերածել թողարկված բարելավումների։ Ըստ Amplitude-ի՝ Wave-ի աշխատանքի մոտ 80%-ն ապահովում են OpenAI-ի մոդելները, այդ թվում՝ GPT‑6.1 Sol-ը, GPT‑6 Luna-ն և GPT‑Image‑2.5 Flare-ը։ Wave-ը պրոդուկտի վերաբերյալ բացահայտումները վերածում է իրականացման պլանների, որոնք թիմերը կարող են ուղարկել ծրագրավորման ագենտներին, այդ թվում՝ Codex-ին, ապա չափում է ազդեցությունը։

Amplitude-ի գնահատմամբ՝ Wave-ը կարող է օգնել թիմերին պրոդուկտի բարելավումները թողարկել 1–2 օրում՝ նախկին մոտ մեկ ամսվա փոխարեն։ Amplitude-ի սեփական գլխավոր էջում Wave-ն օգնեց անհատականացնել առաջարկների քարտերը՝ դրանց միջոցով ուղարկվող հաղորդագրությունների թիվն ավելացնելով 160%-ով։

Wave-ը Amplitude-ի՝ պրոդուկտի զարգացման նախաձեռնող ագենտն է։ Թիմերը նշում են պրոդուկտի այն հատվածը, նպատակներն ու չափորոշիչները, որոնց ուղղությամբ ցանկանում են առաջընթաց գրանցել։ Wave-ը համադրում է Amplitude-ի տվյալները, օգտատերերի աշխատաշրջանների ձայնագրությունները, հաճախորդների արձագանքներն ու կոդը՝ հնարավորությունները բացահայտելու և առաջնահերթություն սահմանելու, լուծումներ մշակելու և մարդկանց ու ծրագրավորման ագենտների հետ իրականացումը համակարգելու համար։ Այնուհետև այն հետևում է արդյունքներին և ստացած գիտելիքներն օգտագործում բարելավումների հաջորդ փուլը պլանավորելու համար։

Այս գործընթացում Amplitude-ը տարբեր առաջադրանքների համար օգտագործում է OpenAI-ի տարբեր մոդելներ։ GPT‑6.1 Sol-ն ապահովում է հնարավորությունների կառավարչի աշխատանքն ու կոդի և տվյալների խորքային ուսումնասիրությունները։ GPT‑6 Luna-ն կատարում է հաճախ կրկնվող, ավելի ցածր ծախսով առաջադրանքներ, օրինակ՝ կոդի զննում և գնահատման փոքր ստուգումներ։ GPT‑Image‑2.5 Flare-ը ստեղծում է պրոդուկտի մակետներ՝ որպես տեսողական նմուշներ օգտագործելով աշխատաշրջանների ձայնագրություններից վերցված էկրանակադրերը։

Երբ հնարավորությունը պատրաստ է իրականացման, թիմերը կարող են այն անմիջապես Wave-ից ուղարկել ծրագրավորման ագենտներին, այդ թվում՝ Codex-ին՝ կցելով տեխնիկական պլանն ու ընդունման չափանիշները, որոնցով պետք է առաջնորդվել իրականացման ընթացքում։

«Wave-ի գաղափարը միասնական հարթակ ունենալն է, որտեղ ագենտները մանրակրկիտ ուսումնասիրում են աշխատաշրջանների ձայնագրությունների, վերլուծական տվյալների և կոդի հսկայական ծավալներ՝ պրոդուկտները բարելավելու հնարավորություններ գտնելու համար», — բացատրում է Amplitude-ի ԱԲ պրոդուկտների գլխավոր մենեջեր Ջեյքոբ Նյումանը։

Amplitude-ը Wave-ը փորձարկեց իր գլխավոր էջում, որտեղ ընդհանուր առաջարկների քարտերը պետք է օգնեին օգտատերերին զրույց սկսել ԱԲ ագենտի հետ։ Wave-ը պարզեց, որ մարդիկ հաճախ անտեսում էին դրանք․ աշխատաշրջանների 100 ձայնագրության ընտրանքում 80 օգտատեր մուտքագրել էր իր հարցը, և միայն 12-ն էր ընտրել առաջարկներից մեկը։

Wave-ն առաջարկեց անհատականացնել քարտերը՝ հիմնվելով վերջին գծապատկերների, վահանակների կամ այն էջի վրա, որտեղից օգտատերը եկել էր։ Այն պատկերավոր ներկայացրեց փոփոխությունը և կազմեց տեխնիկական պլան՝ նախատեսելով նաև պահպանել ազատ մուտքագրման հնարավորությունը և ցուցադրել ընդհանուր առաջարկներ, երբ անհատականացման համար համատեքստը բացակայում է։ Կարճ վերանայումից հետո թիմն աշխատանքը հանձնարարեց ծրագրավորման ագենտին և փոփոխության A/B փորձարկում անցկացրեց։

Amplitude-ի հրապարակած փորձարկման արդյունքներով՝ մեկ օր անց գլխավոր էջի առաջարկների քարտերով ուղարկված հաղորդագրությունների թիվը վերահսկիչ խմբի համեմատ աճել էր 160%-ով։ «Սա հիանալի օրինակ է, թե ինչպես ոչ հեղափոխական, պարզապես անտեսված փոփոխությունները կարող են անսպասելիորեն նպաստել գործառույթների ավելի լայն կիրառմանը», — բացատրում է Amplitude-ի ԱԲ ավագ գլխավոր ինժեներ Էրիկ Կարլսոնը։

Wave-ի առաջադրանքները տարբեր պահանջներ են դնում մոդելների առջև։ Խորքային ուսումնասիրությունը պահանջում է դատողության բարձր կարողություն և հիմնավոր եզրակացություններ։ Հարյուրավոր անգամներ կրկնվող փոքր ստուգումը պետք է լինի արագ ու ոչ ծախսատար։ Amplitude-ը յուրաքանչյուր առաջադրանքի համար գնահատում է որակը, արձագանքման ժամանակն ու ծախսը, ապա համապատասխանաբար ընտրում մոդելները։

Wave-ի հնարավորություններն ուսումնասիրող ագենտի համար Amplitude-ը գնահատեց, թե արդյոք մոդելները հաստատում են բացահայտումները լրացուցիչ տվյալներով, խուսափում կեղծ դրական արդյունքներից, հաշվի առնում գնահատողի արձագանքը, վերականգնվում գործիքների խափանումներից հետո և պնդումները համապատասխանեցնում ապացույցներին։ GPT‑6.1 Sol-ը ստացավ 5-ից 4,06 ընդհանուր գնահատական՝ երեք այլընտրանքային մոդելների 3,62-ի, 3,52-ի և 2,94-ի համեմատ։ Այն առաջատար էր ուսումնասիրության բոլոր հինգ չափանիշներով և ուներ ուսումնասիրության ամենակարճ մեդիանային ժամանակը՝ 54 րոպե։

Wave-ի տվյալագիտության ագենտի առանձին գնահատման ժամանակ GPT‑6.1 Sol-ը ստացավ 100-ից 67,5 միավոր՝ մեկ այլ առաջատար մոդելի 69,3-ի համեմատ։ Ընդ որում, մեկ առաջադրանքի հաշվով մոդելի միջին ծախսը 1,28 $ էր՝ մյուսի 2,63 $-ի դիմաց։ GPT‑6.1 Sol-ը նաև ավելի բարձր գնահատականներ ստացավ գործիքների օգտագործման սահմանված կանոնների պահպանման, գնահատման և անորոշության, ինչպես նաև ապացույցներով հիմնավորման չափանիշներով։

Մեծ ծավալի աշխատանքների համար, օրինակ՝ կոդի զննում և գնահատման փոքր ստուգումներ, Amplitude-ն օգտագործում է GPT‑6 Luna-ն՝ արձագանքման ժամանակն ու ծախսը ցածր պահելու համար։ Աշխատանքը մասնագիտացված ագենտների միջև բաշխելը թույլ է տալիս թիմին ավելի ծախսատար դատողությունն օգտագործել այն առաջադրանքների համար, որոնք դրա կարիքն ամենաշատն ունեն։

Կառուցվածքային էսքիզների և մակետների ստեղծման գնահատման ժամանակ OpenAI-ի պատկերի գեներացման մոդելը լուծման կառուցվածքային էսքիզների համար ստացավ 100-ից 80,3 միավոր՝ պատկերի գեներացման մեկ այլ մոդելի 63,9-ի համեմատ։ Amplitude-ի գնահատումն ընդգրկում էր տեղեկատվության հաղորդման որակը, պրոդուկտին համապատասխանությունը, հրահանգների պահպանումը, տեքստի և միջերեսի ընթեռնելիությունն ու տեսողական միասնությունը՝ 15 հնարավորությունների շրջանակում։

Տարբեր ոլորտների հաճախորդներն արդեն օգտագործում են Wave-ի բետա տարբերակը՝ պրոդուկտների բարելավումները բացահայտելու և թողարկելու համար։ Wave-ը վերլուծում է աշխատաշրջանների և վերլուծական տվյալները, ապա մշակում առաջարկություններ՝ կցելով առաջարկվող ուղղումը, տեխնիկական պլանն ու ընդունման չափանիշները։

Դրանից հետո թիմերը կարող են վերահսկել ավտոմատացման աստիճանը։ Թիմերի մեծ մասը սխալների ուղղումներն անմիջապես ուղարկում է ծրագրավորման ագենտներին, իսկ նոր գործառույթներն ու ավելի խոշոր նախաձեռնությունները վերանայում են մարդիկ։

Թողարկման հասնող փոփոխությունների դեպքում բացահայտումից մինչև իրականացում ճանապարհը կարող է կարճ լինել․ հաճախորդների գործարկած փորձարկումներից, գործառույթների դրոշակներից և ուղեցույցներից յուրաքանչյուր չորրորդը գործարկվել է նույն օրը, երբ Wave-ը բացահայտել է հնարավորությունը, կեսը՝ չորս օրից էլ շուտ, իսկ երեքից երկուսը՝ մեկ շաբաթվա ընթացքում։

«OpenAI-ի հետ մեր նպատակն է հասնել նրան, որ ընկերությունները ծրագրային ապահովում մշակելիս ստեղծեն ինքնակատարելագործվող պրոդուկտներ», — ասում է Սքեյթսը։ Քանի որ OpenAI-ի մոդելների դատողության և ծրագրավորման կարողությունները բարելավվում են, թիմերը կկարողանան ուսումնասիրության ու իրականացման ավելի շատ աշխատանք պատվիրակել ագենտներին, ինչի արդյունքում ավելի լավ պրոդուկտներն ավելի արագ կհասնեն օգտատերերին։ Amplitude-ն արդեն տեսնում է դա․ ագենտները բացահայտում և օգնում են իրականացնել սեփական պրոդուկտի բարելավումները, մինչ թիմն աշխատում է այլ առաջնահերթությունների վրա։ «Կարծում եմ՝ թիմերը կզարմանան, թե որքան բան կարող են անել, երբ իրենց ծրագրային ապահովումն աշխատում է իրենց կողքին՝ պրոդուկտն ավելի լավը դարձնելու համար»։