Amplitude täiustab OpenAI abil tooteid 1–2 päevaga

Amplitude on alati aidanud tiimidel näha, kuidas inimesed nende tooteid tegelikult kasutavad. Ettevõtte ennetavalt tegutsev tooteagent Wave aitab tiimidel need tähelepanekud kasutusele võetud täiustusteks muuta. Amplitude’i sõnul põhineb Wave ligikaudu 80% ulatuses OpenAI mudelitel, sealhulgas mudelitel GPT‑6.1 Sol, GPT‑6 Luna ja GPT‑Image‑2.5 Flare. Wave koostab toote kohta tehtud tähelepanekutest teostusplaanid, mille tiimid saavad saata programmeerimisagentidele, sealhulgas Codexile, ning mõõdab seejärel muudatuste mõju.

Amplitude’i hinnangul aitab Wave tiimidel tootetäiustusi kasutusele võtta senise ligikaudu kuu asemel 1–2 päevaga. Amplitude’i enda avalehel aitas Wave soovituskaarte isikupärastada, suurendades kaartide kaudu saadetud sõnumite arvu 160%.

Wave on Amplitude’i ennetavalt tegutsev tooteagent. Tiimid määravad talle tootevaldkonna ning eesmärgid ja mõõdikud, mida soovivad parandada. Wave koondab Amplitude’i andmed, seansisalvestised, klientide tagasiside ja koodi, et leida ja tähtsuse järjekorda seada täiustamisvõimalusi, töötada välja lahendusi ning koordineerida teostust inimeste ja programmeerimisagentidega. Seejärel jälgib ta tulemusi ja kasutab õpitut järgmiste täiustuste kavandamisel.

Selle töövoo eri ülesannete jaoks kasutab Amplitude erinevaid OpenAI mudeleid. GPT‑6.1 Sol toetab võimaluste haldurit ning koodi ja andmete süvauuringuid. GPT‑6 Luna täidab sagedasi ja väiksema kuluga ülesandeid, näiteks vaatab koodi läbi ning teeb väiksemaid hindamiskontrolle. GPT‑Image‑2.5 Flare loob tootemakette, kasutades visuaalsete näidistena seansisalvestiste kuvatõmmiseid.

Kui võimalus on teostamiseks valmis, saavad tiimid saata selle otse Wave’ist programmeerimisagentidele, sealhulgas Codexile, koos tööd suunava tehnilise plaani ja vastuvõtukriteeriumidega.

„Wave’i mõte on pakkuda ühtset platvormi agentidega, mis töötavad läbi tohutul hulgal seansisalvestisi, analüütikat ja koodi, et leida võimalusi toodete täiustamiseks,“ selgitab Amplitude’i juhtiv AI-tootejuht Jacob Newman.

Amplitude katsetas Wave’i oma avalehel, kus üldised soovituskaardid pidid aitama kasutajatel AI-agendiga vestlust alustada. Wave avastas, et inimesed jätsid need sageli tähelepanuta: 100 seansisalvestise valimis kirjutas 80 kasutajat oma küsimuse ise ja ainult 12 valis mõne soovituse.

Wave tegi ettepaneku isikupärastada kaarte hiljutiste diagrammide, töölaudade või lehe põhjal, millelt kasutaja oli tulnud. Ta visualiseeris muudatuse ja koostas tehnilise plaani, mis nägi muu hulgas ette vaba sisestamise säilitamise ja üldiste soovituste kuvamise, kui isikupärastamiseks vajalik kontekst puudub. Pärast lühikest ülevaatust andis tiim töö programmeerimisagendile ja tegi muudatusega A/B-testi.

Amplitude’i jagatud katsetulemuste järgi kasvas avalehe soovituskaartide kaudu saadetud sõnumite arv ühe päeva järel kontrollrühmaga võrreldes 160%. „See on suurepärane näide sellest, kuidas tähelepanuta jäävad, sugugi mitte murrangulised asjad võivad funktsioonide kasutuselevõttu ootamatult suurendada,“ selgitab Amplitude’i juhtiv AI-insener Eric Carlson.

Wave’i ülesanded seavad mudelitele erinevaid nõudmisi. Põhjalik uurimine nõuab tugevat arutlusvõimet ja hästi põhjendatud järeldusi. Sadu kordi korratav väike kontroll peab olema kiire ja odav. Amplitude hindab iga ülesande puhul kvaliteeti, latentsust ja kulu ning valib selle põhjal mudelid.

Wave’i võimaluste uurija jaoks hindas Amplitude, kas mudelid otsisid leidudele kinnitust, vältisid valepositiivseid tulemusi, arvestasid hindaja tagasisidega, taastusid tööriistade tõrgetest ning hoidsid väited tõenditega kooskõlas. GPT‑6.1 Sol sai koondhindeks 4,06 punkti 5-st, samas kui kolm alternatiivset mudelit said vastavalt 3,62, 3,52 ja 2,94 punkti. See oli parim kõigi viie uurimiskriteeriumi järgi ning selle uurimisaja mediaan oli kõige lühem: 54 minutit.

Wave’i andmeteadusagendi eraldi hindamisel sai GPT‑6.1 Sol 67,5 punkti 100-st, teine juhtiv mudel aga 69,3 punkti. Mudeli keskmine kulu käivituse kohta oli vastavalt 1,28 ja 2,63 dollarit. GPT‑6.1 Sol sai kõrgema hinde ka tööriistade liidesenõuete järgimise, hinnangute ja määramatuse käsitlemise ning tõenditel põhineva teabe kinnitamise eest.

Suuremahulise töö puhul, nagu koodi läbivaatamine ja väiksemad hindamiskontrollid, kasutab Amplitude mudelit GPT‑6 Luna, et hoida latentsus ja kulu väiksena. Töö jagamine spetsialiseerunud agentide vahel võimaldab tiimil kasutada kulukamat arutlust ülesannetes, mis seda kõige rohkem vajavad.

Sõrestikmudelite ja makettide loomise hindamisel sai OpenAI pildi genereerimise mudel lahenduse sõrestikmudelite eest 80,3 punkti 100-st, teine pildi genereerimise mudel aga 63,9 punkti. Amplitude hindas 15 täiustamisvõimaluse puhul idee edasiandmise kvaliteeti, vastavust tootele, juhiste järgimist, teksti ja kasutajaliidese loetavust ning visuaalset ühtsust.

Eri valdkondade kliendid kasutavad juba Wave’i beetaversiooni, et leida ja kasutusele võtta tootetäiustusi. Wave analüüsib seansi- ja analüütikaandmeid ning koostab seejärel soovitused koos pakutud paranduse, tehnilise plaani ja vastuvõtukriteeriumidega.

Sealt edasi saavad tiimid ise määrata automatiseerimise taseme. Enamik tiime saadab veaparandused otse programmeerimisagentidele, kuid uued funktsioonid ja suuremad algatused vaatab üle inimene.

Kasutuselevõtuni jõudvate muudatuste puhul võib tee avastamisest teostuseni olla lühike: klientide käivitatud katsetest, funktsioonilülititest ja juhenditest võeti iga neljas kasutusele samal päeval, kui Wave võimaluse tuvastas, pooled vähem kui nelja päevaga ning kaks kolmest nädala jooksul.

„Meie eesmärk koos OpenAI-ga on muuta isetäiustuvad tooted ettevõtete tavapäraseks tarkvaraarenduse viisiks,“ ütleb Skates. Kui OpenAI mudelite arutlus- ja programmeerimisvõime paraneb, saavad tiimid delegeerida agentidele rohkem uurimis- ja teostustööd ning lõppkokkuvõttes jõuavad paremad tooted kasutajateni kiiremini. Amplitude näeb seda juba praegu: agendid leiavad ja aitavad teostada täiustusi ettevõtte enda tootes, samal ajal kui tiim tegeleb muude prioriteetidega. „Arvan, et tiime üllatab, kui palju nad suudavad ära teha, kui tarkvara töötab nendega kõrvuti selle nimel, et toodet paremaks muuta.“