Kaip „Amplitude“ su „OpenAI“ patobulina produktą per 1–2 dienas

„Amplitude“ visada padėjo komandoms suprasti, kaip žmonės iš tiesų naudojasi jų produktais. Jos iniciatyvus produktų tobulinimo agentas „Wave“ padeda komandoms šias įžvalgas paversti įdiegtais patobulinimais. „Amplitude“ teigimu, maždaug 80 % „Wave“ veikimo užtikrina „OpenAI“ modeliai, įskaitant „GPT‑6.1 Sol“, „GPT‑6 Luna“ ir „GPT‑Image‑2.5 Flare“. „Wave“ įžvalgas apie produktą paverčia įgyvendinimo planais, kuriuos komandos gali perduoti programavimo agentams, įskaitant „Codex“, o tada įvertina poveikį.

„Amplitude“ vertinimu, „Wave“ gali padėti komandoms produkto patobulinimus įdiegti per 1–2 dienas, užuot užtrukus maždaug mėnesį. Pačios „Amplitude“ pradiniame puslapyje „Wave“ padėjo suasmeninti pasiūlymų korteles, todėl per jas siunčiamų žinučių skaičius išaugo 160 %.

„Wave“ – tai iniciatyvus „Amplitude“ produktų tobulinimo agentas. Komandos jam nurodo produkto sritį, siekiamus tikslus ir rodiklius, kuriuos nori pagerinti. „Wave“ sujungia „Amplitude“ duomenis, seansų įrašus, klientų atsiliepimus ir kodą, kad nustatytų galimybes, suskirstytų jas pagal svarbą, parengtų sprendimus ir koordinuotų jų įgyvendinimą su žmonėmis bei programavimo agentais. Tada jis stebi rezultatus ir remdamasis įgytomis žiniomis padeda planuoti tolesnius patobulinimus.

Šioje darbo eigoje „Amplitude“ skirtingoms užduotims naudoja skirtingus „OpenAI“ modelius. „GPT‑6.1 Sol“ užtikrina galimybių valdytojo veikimą ir išsamius kodo bei duomenų tyrimus. „GPT‑6 Luna“ atlieka dažnas, mažesnių sąnaudų reikalaujančias užduotis, pavyzdžiui, peržiūri kodą ir atlieka nedidelės apimties vertinimo patikras. „GPT‑Image‑2.5 Flare“ generuoja produkto maketus, kaip vaizdinius orientyrus naudodamas seansų įrašų ekrano kopijas.

Kai galimybė parengta įgyvendinti, komandos gali ją tiesiai iš „Wave“ perduoti programavimo agentams, įskaitant „Codex“, kartu su techniniu planu ir priėmimo kriterijais, kuriais bus vadovaujamasi įgyvendinant.

„Wave“ idėja – vieninga platforma su agentais, kurie peržiūri didžiulius kiekius seansų įrašų, analitinių duomenų ir kodo, ieškodami galimybių tobulinti produktus“, – aiškina „Amplitude“ vyriausiasis DI produktų vadovas Jacob Newman.

„Amplitude“ išbandė „Wave“ savo pradiniame puslapyje, kuriame bendro pobūdžio pasiūlymų kortelės turėjo padėti naudotojams pradėti pokalbį su DI agentu. „Wave“ nustatė, kad žmonės jas dažnai praleisdavo: iš 100 peržiūrėtų seansų įrašų matyti, kad 80 naudotojų įvedė savo klausimus ir tik 12 pasirinko pasiūlymą.

„Wave“ pasiūlė suasmeninti korteles pagal naujausias diagramas, ataskaitų sritis arba puslapį, iš kurio naudotojas atėjo. Jis iliustravo pakeitimą ir parengė techninį planą, kuriame numatė išsaugoti galimybę laisvai įvesti tekstą ir rodyti bendro pobūdžio pasiūlymus, kai nėra suasmeninimui reikalingo konteksto. Po trumpos peržiūros komanda perdavė darbą programavimo agentui ir atliko pakeitimo A/B testą.

„Amplitude“ pateikti eksperimento rezultatai parodė, kad po vienos dienos per pradinio puslapio pasiūlymų korteles išsiųstų žinučių skaičius buvo 160 % didesnis nei kontrolinėje grupėje. „Tai puikus pavyzdys, kaip paprasti, dažnai tiesiog nepastebimi dalykai gali netikėtai paskatinti naudotis funkcijomis“, – aiškina „Amplitude“ vyresnysis vyriausiasis DI inžinierius Eric Carlson.

Skirtingos „Wave“ užduotys kelia skirtingus reikalavimus modeliams. Išsamiam tyrimui reikia stipraus protavimo ir gerai pagrįstų išvadų. Nedidelė patikra, kartojama šimtus kartų, turi būti greita ir nebrangi. „Amplitude“ įvertina kiekvienos užduoties kokybę, delsą ir sąnaudas, o tada atitinkamai parenka modelius.

Vertindama modelius „Wave“ galimybių tyrėjui, „Amplitude“ tikrino, ar jie patvirtina išvadas papildomais įrodymais, išvengia klaidingai teigiamų rezultatų, atsižvelgia į vertintojo pastabas, atkuria darbą po įrankių trikčių ir derina teiginius su įrodymais. „GPT‑6.1 Sol“ bendras įvertinimas buvo 4,06 iš 5, o trijų alternatyvių modelių – atitinkamai 3,62, 3,52 ir 2,94. Jis pirmavo pagal visus penkis tyrimo kriterijus, o jo tyrimo trukmės mediana buvo trumpiausia – 54 minutės.

Atskirame „Wave“ duomenų mokslo agento vertinime „GPT‑6.1 Sol“ surinko 67,5 iš 100 balų, o kitas pirmaujantis modelis – 69,3. Vidutinės modelio sąnaudos vienai užduočiai buvo atitinkamai 1,28 USD ir 2,63 USD. „GPT‑6.1 Sol“ taip pat surinko daugiau balų už įrankių sąsajos reikalavimų laikymąsi, įverčių ir neapibrėžtumo vertinimą bei faktinį pagrindimą įrodymais.

Didelės apimties darbams, tokiems kaip kodo peržiūra ir nedidelės vertinimo patikros, „Amplitude“ naudoja „GPT‑6 Luna“, kad delsa ir sąnaudos išliktų mažos. Paskirsčiusi darbą specializuotiems agentams, komanda gali brangesnį protavimą skirti toms užduotims, kurioms jo labiausiai reikia.

Vertinant struktūrinių ir vaizdinių maketų generavimą, „OpenAI“ vaizdų generavimo modelis už sprendimo struktūrinius maketus surinko 80,3 iš 100 balų, o kitas vaizdų generavimo modelis – 63,9. „Amplitude“ vertino 15 tobulinimo galimybių, atsižvelgdama į pateikimo aiškumą, atitiktį produktui, instrukcijų laikymąsi, teksto ir naudotojo sąsajos įskaitomumą bei vizualinį nuoseklumą.

Įvairių sektorių klientai jau naudoja „Wave“ beta versiją, kad rastų ir įdiegtų produktų patobulinimus. „Wave“ analizuoja seansų ir analitinius duomenis, tada parengia rekomendacijas su siūlomu pataisymu, techniniu planu ir priėmimo kriterijais.

Toliau komandos pačios nustato automatizavimo lygį. Dauguma komandų klaidų taisymus siunčia tiesiai programavimo agentams, o naujas funkcijas ir ambicingesnius sumanymus peržiūri žmonės.

Kai pakeitimai pasiekia paleidimo etapą, kelias nuo galimybės atradimo iki įgyvendinimo gali būti trumpas: iš klientų paleistų eksperimentų, funkcijų jungiklių ir vedlių vienas iš keturių pradėjo veikti tą pačią dieną, kai „Wave“ aptiko galimybę, pusė – per mažiau nei keturias dienas, o du iš trijų – per savaitę.

„Kartu su „OpenAI“ siekiame, kad įmonėms kurti programinę įrangą reikštų kurti savaime tobulėjančius produktus“, – sako Skates. Tobulėjant „OpenAI“ modelių protavimo ir programavimo gebėjimams, komandos galės patikėti agentams daugiau tyrimo ir įgyvendinimo darbų, tad geresni produktai naudotojus pasieks greičiau. „Amplitude“ tai jau mato: kol komanda dirba su kitais prioritetais, agentai randa galimybių patobulinti pačios įmonės produktą ir padeda jas įgyvendinti. „Manau, komandos nustebs, kiek daug gali nuveikti, kai programinė įranga kartu su jomis dirba tam, kad produktas būtų geresnis.“