Amplitude përmirëson produktet në 1–2 ditë me OpenAI

Amplitude i ka ndihmuar gjithmonë ekipet të kuptojnë se si njerëzit i përdorin realisht produktet e tyre. Wave, agjenti i saj proaktiv për produktet, i ndihmon ekipet t’i kthejnë këto gjetje në përmirësime të vëna në përdorim. Sipas Amplitude, Wave mbështetet rreth 80% te modelet e OpenAI, përfshirë GPT‑6.1 Sol, GPT‑6 Luna dhe GPT‑Image‑2.5 Flare. Wave i kthen gjetjet rreth produktit në plane zbatimi që ekipet mund t’ua dërgojnë agjentëve të kodimit, përfshirë Codex, dhe më pas mat ndikimin.

Amplitude vlerëson se Wave mund t’i ndihmojë ekipet të vënë në përdorim përmirësime të produktit brenda 1–2 ditësh, në vend të afërsisht një muaji. Në vetë faqen kryesore të Amplitude, Wave ndihmoi në personalizimin e kartave të sugjerimeve, duke sjellë një rritje prej 160% të mesazheve të dërguara përmes tyre.

Wave është agjenti proaktiv i Amplitude për produktet. Ekipet i përcaktojnë një fushë të produktit, si dhe objektivat e treguesit që duan të përmirësojnë. Wave bashkon të dhënat e Amplitude, regjistrimet e seancave, komentet e klientëve dhe kodin për të identifikuar e renditur sipas përparësisë mundësitë për përmirësim, për të zhvilluar zgjidhje dhe për të bashkërenduar zbatimin me njerëzit dhe agjentët e kodimit. Më pas ndjek rezultatet dhe përdor mësimet e nxjerra për të orientuar ciklin e ardhshëm të përmirësimeve.

Për të mbështetur këtë rrjedhë pune, Amplitude përdor modele të ndryshme të OpenAI për detyra të ndryshme. GPT‑6.1 Sol mbështet menaxhuesin e mundësive dhe hulumtimet e thelluara të kodit e të dhënave. GPT‑6 Luna kryen detyra të shpeshta me kosto më të ulët, si skanimi i kodit dhe kontrollet e vogla të vlerësimit. GPT‑Image‑2.5 Flare gjeneron makete të produktit duke përdorur pamje ekrani nga regjistrimet e seancave si referenca vizuale.

Kur një mundësi është gati për zbatim, ekipet mund ta dërgojnë drejtpërdrejt nga Wave tek agjentët e kodimit, përfshirë Codex, bashkë me një plan teknik dhe kritere pranimi që udhëheqin zbatimin.

“Ideja e Wave është të keni një platformë të unifikuar me agjentë që shqyrtojnë sasi të mëdha regjistrimesh seancash, analizash dhe kodi për të gjetur mundësi për përmirësimin e produkteve”, shpjegon Jacob Newman, menaxher kryesor i produkteve me IA në Amplitude.

Amplitude e testoi Wave në faqen e vet kryesore, ku kartat me sugjerime të përgjithshme synonin t’i ndihmonin përdoruesit të nisnin një bisedë me një agjent IA. Wave zbuloi se njerëzit shpesh i anashkalonin ato: në një kampion prej 100 regjistrimesh seancash, 80 përdorues shkruan pyetjet e tyre dhe vetëm 12 zgjodhën një sugjerim.

Wave propozoi personalizimin e kartave duke përdorur grafikët dhe panelet e fundit, ose faqen nga e cila kishte ardhur përdoruesi. Ai e ilustroi ndryshimin dhe hartoi një plan teknik, ku përfshihej ruajtja e mundësisë për të shkruar lirisht dhe shfaqja e sugjerimeve të përgjithshme kur mungonte konteksti për personalizim. Pas një shqyrtimi të shkurtër, ekipi ia kaloi punën një agjenti kodimi dhe kreu një test A/B për ndryshimin.

Sipas rezultateve të eksperimentit të ndara nga Amplitude, pas një dite mesazhet e dërguara përmes kartave të sugjerimeve në faqen kryesore u rritën me 160% krahasuar me grupin e kontrollit. “Ky është një shembull i shkëlqyer se si ndryshime jo revolucionare, që thjesht lihen pas dore, mund të rrisin përdorimin e funksioneve në mënyra të papritura”, shpjegon Eric Carlson, inxhinier i lartë kryesor i IA-së në Amplitude.

Detyrat e Wave kanë kërkesa të ndryshme ndaj modeleve të tij. Një hulumtim i thelluar kërkon arsyetim të fuqishëm dhe përfundime të mbështetura mirë në prova. Një kontroll i vogël që përsëritet qindra herë duhet të jetë i shpejtë dhe me kosto të ulët. Amplitude vlerëson cilësinë, kohën e përgjigjes dhe koston për çdo detyrë, pastaj cakton modelet në përputhje me to.

Për hulumtuesin e mundësive të Wave, Amplitude vlerësoi nëse modelet i vërtetonin gjetjet me prova shtesë, shmangnin rezultatet pozitive të rreme, përfshinin komentet e vlerësuesit, rikuperoheshin nga dështimet e mjeteve dhe i mbanin pretendimet në përputhje me provat. GPT‑6.1 Sol mori gjithsej 4,06 nga 5 pikë, krahasuar me 3,62, 3,52 dhe 2,94 për tri modelet alternative. Ai kryesoi në të pesë kriteret e hulumtimit dhe pati kohën mediane më të shkurtër të hulumtimit, 54 minuta.

Në një vlerësim të veçantë të agjentit të shkencës së të dhënave të Wave, GPT‑6.1 Sol mori 67,5 nga 100 pikë, krahasuar me 69,3 për një tjetër model kryesues, me kosto mesatare të modelit prej 1,28 $ kundrejt 2,63 $ për ekzekutim. GPT‑6.1 Sol mori gjithashtu më shumë pikë për respektimin e specifikimeve të mjeteve, vlerësimin dhe pasigurinë, si dhe për mbështetjen në burime provash.

Për punë me vëllim të lartë, si skanimi i kodit dhe kryerja e kontrolleve të vogla të vlerësimit, Amplitude përdor GPT‑6 Luna për të mbajtur të ulëta kohën e përgjigjes dhe koston. Ndarja e punës mes agjentëve të specializuar i lejon ekipit ta rezervojë arsyetimin më të kushtueshëm për detyrat që kanë më shumë nevojë për të.

Për gjenerimin e skicave strukturore dhe maketeve, modeli i OpenAI për gjenerim imazhi mori 80,3 nga 100 pikë për skicat strukturore të zgjidhjeve, krahasuar me 63,9 për një tjetër model për gjenerim imazhi. Vlerësimi i Amplitude mbuloi cilësinë e komunikimit, pasqyrimin besnik të produktit, ndjekjen e udhëzimeve, lexueshmërinë e tekstit dhe ndërfaqes, si dhe koherencën vizuale në 15 mundësi përmirësimi.

Klientë nga industri të ndryshme tashmë po përdorin versionin beta të Wave për të identifikuar dhe vënë në përdorim përmirësime të produkteve. Wave analizon të dhënat e seancave dhe të analizave, pastaj harton rekomandime me një zgjidhje të propozuar, plan teknik dhe kritere pranimi.

Prej aty, ekipet mund të kontrollojnë nivelin e automatizimit. Shumica e ekipeve ua dërgojnë korrigjimet e gabimeve drejtpërdrejt agjentëve të kodimit, ndërsa funksionet e reja dhe nismat më të mëdha shqyrtohen nga njerëzit.

Për ndryshimet që arrijnë të vihen në përdorim, rruga nga zbulimi te zbatimi mund të jetë e shkurtër: nga eksperimentet, çelësat e funksioneve dhe udhëzuesit e aktivizuar nga klientët, një në katër u aktivizua po atë ditë që Wave identifikoi mundësinë, gjysma në më pak se katër ditë dhe dy në tre brenda një jave.

“Ambicia jonë me OpenAI është që produktet që përmirësohen vetë të bëhen mënyra se si kompanitë zhvillojnë softuer”, thotë Skates. Teksa modelet e OpenAI përmirësohen në arsyetim dhe kodim, ekipet do të mund t’u delegojnë agjentëve më shumë punë hulumtimi dhe zbatimi, duke bërë që produkte më të mira të mbërrijnë më shpejt te përdoruesit. Amplitude tashmë po e sheh këtë në praktikë: agjentët gjejnë dhe ndihmojnë të vihen në përdorim përmirësime në produktin e saj, ndërsa ekipi merret me përparësi të tjera. “Mendoj se ekipet do të befasohen nga sa shumë mund të arrijnë kur softueri i tyre punon përkrah tyre për ta bërë produktin më të mirë.”