OpenAI सह Amplitude कडून 1–2 दिवसांत उत्पादनात सुधारणा
मुख्यतः OpenAI मॉडेल्सवर आधारित Amplitude चा Wave एजंट पुढाकार घेऊन उत्पादनात काय विकसित करावे हे शोधतो, कोडिंग एजंटच्या मदतीने बदल उपलब्ध करून देण्यास संघांना मदत करतो आणि परिणाम मोजतो.

160%
एका दिवसानंतर नियंत्रण गटाच्या तुलनेत एजंटशी होणाऱ्या संवादात वाढ
1–2 दिवस
Wave वापरून उत्पादनातील सुधारणा उपलब्ध करून देण्यासाठी लागणारा अंदाजित वेळ
51%
Amplitude च्या डेटा विज्ञान एजंट मूल्यमापनात GPT‑6.1 Sol चा प्रति कार्यप्रेषण सरासरी मॉडेल खर्च इतका कमी होता.
$1.34
Amplitude च्या संधी अन्वेषक मूल्यमापनात GPT‑6.1 Sol चा मॉडेल खर्च.
लोक प्रत्यक्षात उत्पादने कशी वापरतात, हे समजून घेण्यात Amplitude ने संघांना नेहमीच मदत केली आहे. उत्पादनासाठी पुढाकार घेऊन काम करणारा त्याचा Wave एजंट या निष्कर्षांचे प्रत्यक्ष उपलब्ध सुधारणांमध्ये रूपांतर करण्यास संघांना मदत करतो. Amplitude च्या मते, Wave चे कामकाज साधारण 80% OpenAI च्या मॉडेल्सवर चालते. यांत GPT‑6.1 Sol, GPT‑6 Luna आणि GPT‑Image‑2.5 Flare यांचा समावेश आहे. Wave उत्पादनाविषयीच्या निष्कर्षांवरून अंमलबजावणीच्या योजना तयार करतो. संघ या योजना Codex सह इतर कोडिंग एजंटकडे पाठवू शकतात. त्यानंतर Wave सुधारणांचा परिणाम मोजतो.
Amplitude च्या अंदाजानुसार, उत्पादनातील सुधारणा उपलब्ध करून देण्यासाठी पूर्वी साधारण महिना लागत होता, तर Wave च्या मदतीने संघ हे काम 1–2 दिवसांत करू शकतात. Amplitude च्या स्वतःच्या मुख्यपृष्ठावरील सूचना कार्डांचे वैयक्तिकीकरण करण्यात Wave ने मदत केली. यामुळे कार्डांद्वारे पाठवल्या जाणाऱ्या संदेशांमध्ये 160% वाढ झाली.
“AI ला सोपवण्याचा आपण कधी विचारही केला नव्हता, अशी उपयुक्त कामे आता ते स्वतः शोधू शकते. OpenAI ची मॉडेल्स एखाद्या समस्येचा तपास करू शकतात, कोड लिहून तो चालवू शकतात आणि मिळालेल्या निकालांवरून पुढे काय करून पाहायचे हे ठरवू शकतात.”
Wave हा Amplitude चा उत्पादनासाठी पुढाकार घेऊन काम करणारा एजंट आहे. संघ त्याला उत्पादनाचा एखादा भाग, तसेच त्यांना सुधारायची असलेली उद्दिष्टे आणि मापनसूचक देतात. Wave, Amplitude मधील डेटा, सत्रांचे पुनर्प्रसारण, ग्राहकांचा अभिप्राय आणि कोड एकत्र आणतो. त्यातून तो संधी शोधून त्यांचा प्राधान्यक्रम ठरवतो, उपाय विकसित करतो आणि लोक व कोडिंग एजंट यांच्यासोबत अंमलबजावणीचे समन्वयन करतो. त्यानंतर तो परिणामांचा मागोवा घेतो आणि त्यातून मिळालेल्या शिकवणीच्या आधारे पुढील सुधारणांची दिशा ठरवतो.
या कार्यप्रवाहात Amplitude वेगवेगळ्या कामांसाठी OpenAI ची वेगवेगळी मॉडेल्स वापरते. GPT‑6.1 Sol संधी व्यवस्थापकाला आणि कोड व डेटाच्या सखोल तपासाला सहाय्य करते. GPT‑6 Luna कोड तपासणे आणि मूल्यमापनाच्या छोट्या तपासण्या करणे यांसारखी वारंवार करावी लागणारी, कमी खर्चाची कामे हाताळते. GPT‑Image‑2.5 Flare सत्रांच्या पुनर्प्रसारणातील स्क्रीनशॉटचा दृश्य संदर्भ म्हणून वापर करून उत्पादनाचे दृश्य नमुने तयार करते.
एखाद्या संधीवर प्रत्यक्ष काम सुरू करण्याची तयारी झाल्यावर, संघ ती थेट Wave मधून Codex सह इतर कोडिंग एजंटकडे पाठवू शकतात. अंमलबजावणीला दिशा देण्यासाठी त्यासोबत तांत्रिक योजना आणि स्वीकृतीचे निकषही दिले जातात.

Amplitude मधील प्रमुख AI उत्पादन व्यवस्थापक जेकब न्यूमन सांगतात, “Wave मागची कल्पना अशी आहे की एकाच एकात्मिक मंचावरील एजंट प्रचंड प्रमाणातील सत्रांचे पुनर्प्रसारण, विश्लेषण आणि कोड बारकाईने तपासून उत्पादनांमध्ये सुधारणा करण्याच्या संधी शोधतात.”
Amplitude ने स्वतःच्या मुख्यपृष्ठावर Wave ची चाचणी केली. तिथे वापरकर्त्यांना AI एजंटशी संवाद सुरू करण्यास मदत व्हावी म्हणून सर्वसाधारण सूचना कार्डे दिली होती. Wave ला आढळले की लोक अनेकदा या कार्डांकडे दुर्लक्ष करत होते: सत्रांच्या 100 पुनर्प्रसारणांच्या नमुन्यात, 80 वापरकर्त्यांनी स्वतःचे प्रश्न टाइप केले आणि फक्त 12 जणांनी एखादी सूचना निवडली.
अलीकडील तक्ते, डॅशबोर्ड किंवा वापरकर्ता आधी ज्या पृष्ठावर होता त्याच्या आधारे कार्डांचे वैयक्तिकीकरण करण्याचा प्रस्ताव Wave ने दिला. त्याने हा बदल दृश्यरूपात दाखवला आणि तांत्रिक योजना तयार केली. त्यात वापरकर्त्यांना स्वतःचा मजकूर टाइप करण्याचा पर्याय कायम ठेवणे आणि वैयक्तिकीकरणासाठी आवश्यक संदर्भ नसल्यास सर्वसाधारण सूचना दाखवणे यांचा समावेश होता. थोडक्यात आढावा घेतल्यानंतर संघाने हे काम कोडिंग एजंटकडे सोपवले आणि बदलाची A/B चाचणी केली.

Amplitude ने सामायिक केलेल्या प्रयोगाच्या निकालांनुसार, एका दिवसानंतर मुख्यपृष्ठावरील सूचना कार्डांद्वारे पाठवलेल्या संदेशांमध्ये नियंत्रण गटाच्या तुलनेत 160% वाढ झाली. Amplitude मधील वरिष्ठ प्रमुख AI अभियंता एरिक कार्लसन सांगतात, “फारसे क्रांतिकारी नसल्याने दुर्लक्षित राहणाऱ्या गोष्टींमुळेही वैशिष्ट्यांच्या वापरात अनपेक्षितपणे वाढ होऊ शकते, याचे हे उत्तम उदाहरण आहे.”
Wave च्या वेगवेगळ्या कामांसाठी त्याच्या मॉडेल्सकडून वेगवेगळ्या क्षमता आवश्यक असतात. सखोल तपासासाठी सक्षम रीझनिंग आणि भक्कम आधार असलेले निष्कर्ष आवश्यक असतात. शेकडो वेळा करावी लागणारी छोटी तपासणी वेगवान आणि कमी खर्चाची असणे गरजेचे असते. Amplitude प्रत्येक कामासाठी गुणवत्ता, प्रतिसादासाठी लागणारा वेळ आणि खर्च यांचे मूल्यमापन करून त्यानुसार मॉडेल्सची नेमणूक करते.
“OpenAI ने आम्हाला सक्षम रीझनिंग मॉडेल्ससोबतच लहान, वेगवान मॉडेल्सही दिली. त्यामुळे संपूर्ण उत्पादनात गुणवत्ता, प्रतिसादासाठी लागणारा वेळ आणि अनुमानाचा खर्च यांचा समतोल साधता आला.”
Wave च्या संधी अन्वेषकासाठी Amplitude ने मॉडेल्सची या बाबींवर चाचणी केली: निष्कर्षांना पुष्टी देणारे पुरावे मिळवणे, चुकीचे सकारात्मक निष्कर्ष टाळणे, मूल्यमापकाचा अभिप्राय समाविष्ट करणे, साधनांमध्ये बिघाड झाल्यावर काम पुन्हा सुरू करणे आणि दावे पुराव्यांशी सुसंगत ठेवणे. GPT‑6.1 Sol ला एकूण 5 पैकी 4.06 गुण मिळाले, तर तीन पर्यायी मॉडेल्सना अनुक्रमे 3.62, 3.52 आणि 2.94 गुण मिळाले. तपासाच्या पाचही निकषांवर ते आघाडीवर होते. तपासासाठी लागणाऱ्या वेळेचा मध्यकही सर्वांत कमी, म्हणजे 54 मिनिटे होता.
Wave च्या डेटा विज्ञान एजंटच्या स्वतंत्र मूल्यमापनात GPT‑6.1 Sol ला 100 पैकी 67.5 गुण मिळाले, तर दुसऱ्या एका आघाडीच्या मॉडेलला 69.3 गुण मिळाले. मात्र, प्रति कार्यप्रेषण सरासरी मॉडेल खर्च अनुक्रमे $1.28 आणि $2.63 होता. साधनांच्या वापरासाठी ठरवलेल्या अटींचे पालन, अंदाज व अनिश्चितता आणि पुराव्यांवर आधारित ग्राउंडिंग या निकषांवरही GPT‑6.1 Sol ला अधिक गुण मिळाले.
कोड तपासणे आणि मूल्यमापनाच्या छोट्या तपासण्या करणे यांसारख्या मोठ्या प्रमाणावर कराव्या लागणाऱ्या कामांसाठी Amplitude, GPT‑6 Luna वापरते. यामुळे प्रतिसादासाठी लागणारा वेळ आणि खर्च कमी राहतो. विशेषज्ञ एजंटमध्ये काम विभागल्याने, अधिक खर्चाचे रीझनिंग ज्या कामांसाठी सर्वाधिक आवश्यक आहे, त्यांच्यासाठीच वापरणे संघाला शक्य होते.
प्राथमिक आराखडे आणि दृश्य नमुने तयार करण्याच्या चाचणीत, उपाय दर्शवणाऱ्या आराखड्यांसाठी OpenAI च्या इमेज जनरेशन मॉडेलला 100 पैकी 80.3 गुण मिळाले, तर दुसऱ्या इमेज जनरेशन मॉडेलला 63.9 गुण मिळाले. Amplitude च्या मूल्यमापनात 15 संधींसाठी मांडणीची गुणवत्ता, मूळ उत्पादनाशी साधर्म्य, सूचनांचे पालन, मजकूर व वापरकर्ता इंटरफेसची वाचनीयता आणि दृश्य सुसंगती तपासण्यात आली.
विविध उद्योगांतील ग्राहक उत्पादनातील सुधारणा शोधण्यासाठी आणि त्या उपलब्ध करून देण्यासाठी Wave ची बीटा आवृत्ती आधीच वापरत आहेत. Wave सत्रांमधील आणि विश्लेषणातील डेटा तपासतो. त्यानंतर प्रस्तावित उपाय, तांत्रिक योजना आणि स्वीकृतीच्या निकषांसह शिफारसी तयार करतो.
त्यानंतर किती स्वयंचलन करायचे हे संघ ठरवू शकतात. बहुतेक संघ दोष दुरुस्त करण्याची कामे थेट कोडिंग एजंटकडे पाठवतात, तर नवीन वैशिष्ट्यांचा आणि अधिक जोखमीच्या मोठ्या उपक्रमांचा मानवी आढावा घेतला जातो.
प्रत्यक्ष उपलब्ध करून दिल्या जाणाऱ्या बदलांसाठी, संधी शोधण्यापासून अंमलबजावणीपर्यंतचा वेळ कमी असू शकतो: ग्राहकांनी सुरू केलेले प्रयोग, फ्लॅग आणि मार्गदर्शिका यांपैकी चारपैकी एक, Wave ने संधी निदर्शनास आणली त्याच दिवशी कार्यान्वित झाला; निम्मे चार दिवसांपेक्षा कमी वेळात, तर तीनपैकी दोन एका आठवड्यात कार्यान्वित झाले.
दिलेल्या टप्प्यांमधील मूल्यांचा अंदाज घेऊन हा वक्र तयार केला आहे; तो केवळ उदाहरणादाखल असून स्वतंत्र निरीक्षणे दर्शवत नाही.
स्केट्स सांगतात, “OpenAI सोबत आमची महत्त्वाकांक्षा अशी आहे की कंपन्यांनी सॉफ्टवेअर तयार करतानाच ते स्वतःहून सुधारणारे उत्पादन म्हणून घडवावे.” OpenAI ची मॉडेल्स रीझनिंग आणि कोडिंगमध्ये अधिक सक्षम होत जातील, तसतसे संघ तपासाचे आणि अंमलबजावणीचे अधिक काम एजंटकडे सोपवू शकतील. परिणामी, अधिक चांगली उत्पादने वापरकर्त्यांपर्यंत अधिक वेगाने पोहोचतील. Amplitude ला हे आधीच अनुभवायला मिळत आहे. संघ इतर प्राधान्याच्या कामांवर लक्ष देत असताना एजंट कंपनीच्या स्वतःच्या उत्पादनात सुधारणा शोधतात आणि त्या उपलब्ध करून देण्यास मदत करतात: “उत्पादन अधिक चांगले करण्यासाठी सॉफ्टवेअरच आपल्या सोबतीने काम करू लागल्यावर आपण किती काही साध्य करू शकतो, हे पाहून संघांना आश्चर्य वाटेल, असे मला वाटते.”


