Како Amplitude унапређује производ за 1–2 дана уз OpenAI

Amplitude одувек помаже тимовима да виде како људи заиста користе њихове производе. Његов проактивни агент за унапређење производа Wave помаже тимовима да те увиде претворе у побољшања доступна корисницима. Према наводима компаније Amplitude, Wave се у око 80% свог рада ослања на моделе компаније OpenAI, укључујући GPT‑6.1 Sol, GPT‑6 Luna и GPT‑Image‑2.5 Flare. Wave претвара увиде о производу у планове имплементације које тимови могу да проследе агентима за програмирање, укључујући Codex, а затим мери ефекте.

Amplitude процењује да уз Wave тимови могу да уведу побољшања производа за 1–2 дана, уместо за око месец дана. На почетној страници саме платформе Amplitude, Wave је помогао у персонализацији картица са предлозима, што је повећало број порука послатих путем картица за 160%.

Wave је проактивни агент компаније Amplitude за унапређење производа. Тимови му задају област производа, циљеве које желе да остваре и метрике које желе да побољшају. Wave обједињује податке са платформе Amplitude, снимке сесија, повратне информације клијената и код како би препознао и рангирао прилике за унапређење, развио решења и координисао имплементацију са људима и агентима за програмирање. Затим прати исходе и користи стечена сазнања за планирање наредног круга побољшања.

У позадини тог процеса, Amplitude користи различите моделе компаније OpenAI за различите задатке. GPT‑6.1 Sol подржава управљање приликама за унапређење и детаљно истраживање кода и података. GPT‑6 Luna обавља честе задатке уз ниже трошкове, попут прегледа кода и мањих евалуационих провера. GPT‑Image‑2.5 Flare генерише макете производа користећи снимке екрана из снимака сесија као визуелне референце.

Када је прилика за унапређење спремна за реализацију, тимови је могу послати директно из алата Wave агентима за програмирање, укључујући Codex, уз технички план и критеријуме прихватања који усмеравају имплементацију.

„Идеја алата Wave је да имате јединствену платформу са агентима који претражују огромне количине снимака сесија, аналитичких података и кода како би пронашли прилике за унапређење производа“, објашњава Џејкоб Њуман, водећи менаџер AI производа у компанији Amplitude.

Amplitude је тестирао Wave на сопственој почетној страници, где су картице са општим предлозима биле намењене да помогну корисницима да започну разговор са AI агентом. Wave је открио да их људи често заобилазе: у узорку од 100 снимака сесија, 80 корисника је укуцало сопствена питања, а само 12 је изабрало неки предлог.

Wave је предложио персонализацију картица на основу недавно коришћених графикона и контролних табли или странице са које је корисник дошао. Визуелно је приказао измену и израдио технички план који је предвидео да се задржи слободан унос текста и да се општи предлози приказују када контекст за персонализацију није доступан. Након кратког прегледа, тим је поверио посао агенту за програмирање и спровео A/B тест измене.

Према резултатима експеримента које је Amplitude објавио, број порука послатих путем картица са предлозима на почетној страници порастао је за 160% у односу на контролну групу после једног дана. „Ово је сјајан пример како ствари које нису револуционарне, па једноставно остану занемарене, могу на неочекиване начине да повећају коришћење функција“, објашњава Ерик Карлсон, виши водећи AI инжењер у компанији Amplitude.

Задаци које Wave обавља постављају различите захтеве пред његове моделе. Детаљно истраживање захтева снажно резоновање и добро поткрепљене закључке. Мала провера која се понавља стотинама пута мора бити брза и јефтина. Amplitude процењује квалитет, време одзива и трошак за сваки задатак, а затим на основу тога бира моделе.

За агента Opportunity Investigator у оквиру алата Wave, Amplitude је оцењивао да ли модели поткрепљују налазе, избегавају лажно позитивне резултате, уважавају повратне информације евалуатора, опорављају се након отказа алата и усклађују тврдње са доказима. GPT‑6.1 Sol је добио укупну оцену 4,06 од 5, у поређењу са оценама 3,62, 3,52 и 2,94 за три алтернативна модела. Био је најбољи по свих пет критеријума истраживања и имао је најкраћу медијану трајања истраживања — 54 минута.

У засебној евалуацији агента Data Science Agent у оквиру алата Wave, GPT‑6.1 Sol је добио 67,5 од 100 поена, у поређењу са 69,3 за други водећи модел, уз просечан трошак модела од 1,28 $ наспрам 2,63 $ по покретању. GPT‑6.1 Sol је такође добио више оцене за поштовање спецификација алата, процену и неизвесност, као и утемељење у доказима.

За задатке који се обављају у великом обиму, попут прегледа кода и мањих евалуационих провера, Amplitude користи GPT‑6 Luna како би време одзива и трошкови остали ниски. Подела посла међу специјализованим агентима омогућава тиму да скупље резоновање користи само за задатке којима је најпотребније.

При генерисању шематских приказа и макета, модел компаније OpenAI за генерисање слика добио је 80,3 од 100 поена за шематске приказе решења, у поређењу са 63,9 за други модел за генерисање слика. Евалуација компаније Amplitude обухватила је јасноћу преношења идеје, верност производу, поштовање упутстава, читљивост текста и корисничког интерфејса и визуелну доследност на 15 прилика за унапређење.

Клијенти из различитих делатности већ користе бета верзију алата Wave да открију и уведу побољшања производа. Wave анализира податке о сесијама и аналитичке податке, а затим припрема препоруке са предложеним решењем, техничким планом и критеријумима прихватања.

Тимови затим могу да одреде ниво аутоматизације. Већина тимова шаље исправке грешака директно агентима за програмирање, док нове функције и амбициозније подухвате прво прегледају људи.

Код измена које заиста уђу у примену, пут од открића до реализације може бити кратак: међу експериментима, заставицама функција и водичима које су клијенти покренули, сваки четврти је пуштен у рад истог дана када је Wave открио прилику за унапређење, половина за мање од четири дана, а два од три у року од недељу дана.

„У сарадњи са компанијом OpenAI желимо да производи који сами себе унапређују постану уобичајен начин на који компаније развијају софтвер“, каже Скејтс. Како модели компаније OpenAI буду напредовали у резоновању и програмирању, тимови ће моћи да поверавају агентима више истраживачких и имплементационих задатака, па ће бољи производи брже стизати до корисника. Amplitude то већ види у пракси: агенти проналазе и помажу да се уведу побољшања његовог производа док тим ради на другим приоритетима. „Мислим да ће тимови бити изненађени тиме колико могу да постигну када њихов софтвер ради заједно с њима на унапређењу производа.“