Amplitude bætir vörur á 1–2 dögum með OpenAI

Amplitude hefur alltaf hjálpað teymum að sjá hvernig fólk notar vörur þeirra í raun. Wave, vörufulltrúi fyrirtækisins sem starfar að eigin frumkvæði, hjálpar teymum að breyta þessari innsýn í umbætur sem komast í notkun. Að sögn Amplitude byggist Wave að um 80% leyti á líkönum OpenAI, þar á meðal GPT‑6.1 Sol, GPT‑6 Luna og GPT‑Image‑2.5 Flare. Wave breytir innsýn í vörunotkun í framkvæmdaáætlanir sem teymi geta sent til forritunarfulltrúa, þar á meðal Codex, og mælir síðan áhrifin.

Amplitude áætlar að Wave geti hjálpað teymum að koma vörubótum í notkun á 1–2 dögum í stað um það bil mánaðar. Á eigin heimasíðu Amplitude hjálpaði Wave til við að sérsníða tillöguspjöld, sem leiddi til 160% fjölgunar skilaboða sem send voru í gegnum spjöldin.

Wave er vörufulltrúi Amplitude sem starfar að eigin frumkvæði. Teymi fela honum ákveðinn hluta vörunnar ásamt markmiðum og mælikvörðum sem þau vilja bæta. Wave sameinar gögn úr Amplitude, upptökur af notkunarlotum, endurgjöf viðskiptavina og kóða til að finna og forgangsraða tækifærum, þróa lausnir og samræma útfærslu með fólki og forritunarfulltrúum. Síðan fylgist hann með árangrinum og nýtir lærdóminn til að móta næstu umbætur.

Í þessu vinnuferli notar Amplitude mismunandi líkön OpenAI fyrir ólík verkefni. GPT‑6.1 Sol styður við tækifærastjórnun og ítarlegar rannsóknir á kóða og gögnum. GPT‑6 Luna sér um tíð verkefni sem kosta minna, svo sem að yfirfara kóða og framkvæma smærri matsprófanir. GPT‑Image‑2.5 Flare býr til útlitstillögur að vörum með skjáskot úr upptökum af notkunarlotum sem sjónræna fyrirmynd.

Þegar tækifæri er tilbúið til útfærslu geta teymi sent það beint úr Wave til forritunarfulltrúa, þar á meðal Codex, ásamt tækniáætlun og samþykkisviðmiðum sem leiðbeina við útfærsluna.

„Hugmyndin með Wave er að bjóða upp á sameiginlegan vettvang þar sem fulltrúar fara yfir gríðarlegt magn af upptökum af notkunarlotum, greiningargögnum og kóða til að finna tækifæri til að bæta vörur,“ útskýrir Jacob Newman, leiðandi vörustjóri Ai hjá Amplitude.

Amplitude prófaði Wave á eigin heimasíðu, þar sem almenn tillöguspjöld áttu að hjálpa notendum að hefja samtal við Ai-fulltrúa. Wave komst að því að fólk sleppti þeim oft: í úrtaki 100 upptaka af notkunarlotum slógu 80 notendur inn eigin spurningar og aðeins 12 völdu tillögu.

Wave lagði til að spjöldin yrðu sérsniðin út frá nýlegum gröfum, mælaborðum eða síðunni sem notandi kom af. Hann sýndi breytinguna myndrænt og útbjó tækniáætlun sem fól meðal annars í sér að áfram væri hægt að slá inn frjálsan texta og að almennar tillögur birtust þegar ekki lægju fyrir upplýsingar til að sérsníða þær. Eftir stutta yfirferð fól teymið forritunarfulltrúa verkið og gerði A/B-prófun á breytingunni.

Samkvæmt tilraunaniðurstöðunum sem Amplitude deildi fjölgaði skilaboðum sem send voru í gegnum tillöguspjöld heimasíðunnar um 160% miðað við samanburðarhóp eftir einn dag. „Þetta er frábært dæmi um hvernig atriði sem teljast ekki byltingarkennd og er því einfaldlega litið fram hjá geta aukið notkun eiginleika með óvæntum hætti,“ útskýrir Eric Carlson, yfirverkfræðingur í Ai hjá Amplitude.

Verkefni Wave gera ólíkar kröfur til líkananna. Ítarleg rannsókn krefst sterkra raka og vel studdra niðurstaðna. Lítil athugun sem er endurtekin hundruð sinnum þarf að vera fljótleg og ódýr. Amplitude metur gæði, svartíma og kostnað fyrir hvert verkefni og velur líkön í samræmi við það.

Fyrir tækifærarannsakanda Wave mat Amplitude hvort líkönin staðfestu niðurstöður með viðbótargögnum, forðuðust falskar jákvæðar niðurstöður, nýttu endurgjöf matsaðila, gætu haldið áfram eftir bilanir í verkfærum og héldu fullyrðingum í samræmi við gögn. GPT‑6.1 Sol fékk heildareinkunnina 4,06 af 5, samanborið við 3,62, 3,52 og 2,94 hjá þremur öðrum líkönum. Það var efst samkvæmt öllum fimm rannsóknarviðmiðunum og hafði stystan rannsóknartíma að miðgildi, 54 mínútur.

Í sérstöku mati á gagnavísindafulltrúa Wave fékk GPT‑6.1 Sol 67,5 af 100, samanborið við 69,3 hjá öðru leiðandi líkani. Meðalkostnaður líkansins á úthlutað verkefni var 1,28 USD á móti 2,63 USD. GPT‑6.1 Sol fékk einnig hærri einkunn fyrir að fylgja skilgreindum kröfum verkfæra, fyrir mat og meðhöndlun óvissu og fyrir rauveruleikabundin tengsl við gögn.

Fyrir umfangsmikla vinnslu, svo sem að yfirfara kóða og framkvæma smærri matsprófanir, notar Amplitude GPT‑6 Luna til að halda svartíma og kostnaði í lágmarki. Með því að skipta vinnunni milli sérhæfðra fulltrúa getur teymið látið dýrari beitingu raka nýtast í þeim verkefnum sem þurfa mest á henni að halda.

Við gerð grindarteikninga og útlitstillagna fékk líkan OpenAI fyrir myndun mynda 80,3 af 100 fyrir grindarteikningar af lausnum, samanborið við 63,9 hjá öðru líkani fyrir myndun mynda. Mat Amplitude náði til gæða framsetningar, samræmis við vöruna, fylgni við fyrirmæli, læsileika texta og notendaviðmóts og sjónræns samræmis í 15 tækifærum.

Viðskiptavinir úr ólíkum atvinnugreinum nota nú þegar beta-útgáfu Wave til að finna og innleiða vörubætur. Wave greinir gögn úr notkunarlotum og greiningarkerfum og setur síðan fram ráðleggingar ásamt tillögu að lagfæringu, tækniáætlun og samþykkisviðmiðum.

Þaðan geta teymin ákveðið hversu mikið er sjálfvirkt. Flest teymi senda villuleiðréttingar beint til forritunarfulltrúa en fólk yfirfer nýja eiginleika og stærri breytingar.

Þegar breytingar fara alla leið í notkun getur leiðin frá uppgötvun til framkvæmdar verið stutt: af tilraunum, eiginleikafánum og leiðbeiningum sem viðskiptavinir tóku í notkun fór fjórðungur í loftið sama dag og Wave benti á tækifærið, helmingur á innan við fjórum dögum og tveir þriðju innan viku.

„Markmið okkar með OpenAI er að vörur sem bæta sig sjálfar verði sú leið sem fyrirtæki nota við hugbúnaðarþróun,“ segir Skates. Eftir því sem líkön OpenAI verða betri í að beita rökum og forrita geta teymi falið fulltrúum meiri rannsóknar- og útfærsluvinnu, sem á endanum skilar betri vörum hraðar til notenda. Amplitude sér þetta nú þegar í verki: fulltrúar finna umbótatækifæri í eigin vöru fyrirtækisins og hjálpa til við að innleiða þau á meðan teymið sinnir öðrum forgangsverkefnum. „Ég held að teymi verði hissa á því hversu miklu þau geta áorkað þegar hugbúnaðurinn vinnur með þeim að því að bæta vöruna.“