عرضهٔ بهبودهای Amplitude در ۱–۲ روز با OpenAI

Amplitude همواره به تیم‌ها کمک کرده است بفهمند مردم در عمل چگونه از محصولاتشان استفاده می‌کنند. Wave، عامل پیش‌دستانهٔ محصول این شرکت، به تیم‌ها کمک می‌کند این شناخت را به بهبودهایی تبدیل کنند که به دست کاربران می‌رسند. به گفتهٔ Amplitude، حدود ۸۰٪ از توان Wave از مدل‌های OpenAI، از جمله GPT‑6.1 Sol، GPT‑6 Luna و GPT‑Image‑2.5 Flare تأمین می‌شود. Wave یافته‌های مربوط به محصول را به برنامه‌های اجرایی تبدیل می‌کند که تیم‌ها می‌توانند به عامل‌های کدنویسی، از جمله Codex، بسپارند و سپس تأثیر آن‌ها را می‌سنجد.

Amplitude تخمین می‌زند که Wave می‌تواند به تیم‌ها کمک کند زمان عرضهٔ بهبودهای محصول را از حدود یک ماه به ۱–۲ روز کاهش دهند. در صفحهٔ اصلی خود Amplitude، کمک Wave به شخصی‌سازی کارت‌های پیشنهاد باعث افزایش ۱۶۰ درصدی پیام‌های ارسالی از طریق این کارت‌ها شد.

Wave عامل پیش‌دستانهٔ محصول Amplitude است. تیم‌ها بخشی از محصول و اهداف و شاخص‌هایی را که می‌خواهند بهبود دهند، به آن معرفی می‌کنند. Wave داده‌های Amplitude، بازپخش نشست‌ها، بازخورد مشتریان و کد را کنار هم می‌گذارد تا فرصت‌ها را شناسایی و اولویت‌بندی کند، راهکار بسازد و پیاده‌سازی را با افراد و عامل‌های کدنویسی هماهنگ کند. سپس نتایج را دنبال می‌کند و از آموخته‌های خود برای هدایت دور بعدی بهبودها بهره می‌گیرد.

در پشت این فرایند، Amplitude برای وظایف مختلف از مدل‌های متفاوت OpenAI استفاده می‌کند. GPT‑6.1 Sol از مدیر فرصت‌ها و بررسی‌های عمیق کد و داده پشتیبانی می‌کند. GPT‑6 Luna وظایف پرتکرار و کم‌هزینه‌تر، مانند مرور کد و اجرای ارزیابی‌های کوچک را بر عهده دارد. GPT‑Image‑2.5 Flare با استفاده از تصاویر گرفته‌شده از بازپخش نشست‌ها به‌عنوان مرجع بصری، ماکاپ‌های محصول را تولید می‌کند.

وقتی فرصتی آمادهٔ اجرا باشد، تیم‌ها می‌توانند آن را مستقیماً از Wave به عامل‌های کدنویسی، از جمله Codex، بفرستند؛ همراه با برنامهٔ فنی و معیارهای پذیرش که راهنمای پیاده‌سازی هستند.

جیکوب نیومن، مدیر ارشد محصول هوش مصنوعی در Amplitude، توضیح می‌دهد: «ایدهٔ Wave این است که پلتفرمی یکپارچه داشته باشید با عامل‌هایی که انبوهی از بازپخش نشست‌ها، داده‌های تحلیلی و کد را موشکافانه بررسی کنند تا فرصت‌های بهبود محصول را پیدا کنند.»

Amplitude، Wave را روی صفحهٔ اصلی خودش آزمایش کرد؛ جایی که قرار بود کارت‌های پیشنهاد عمومی به کاربران کمک کنند گفت‌وگو با یک عامل هوش مصنوعی را آغاز کنند. Wave متوجه شد که کاربران اغلب از این کارت‌ها می‌گذرند: در نمونه‌ای از ۱۰۰ بازپخش نشست، ۸۰ کاربر پرسش‌های خود را تایپ کردند و فقط ۱۲ نفر پیشنهادی را انتخاب کردند.

Wave پیشنهاد داد کارت‌ها با استفاده از نمودارها و داشبوردهای اخیر یا صفحه‌ای که کاربر از آن آمده بود، شخصی‌سازی شوند. این عامل نمایی از تغییر پیشنهادی ارائه کرد و برنامه‌ای فنی ساخت که حفظ امکان تایپ آزاد و نمایش پیشنهادهای عمومی در نبود اطلاعات لازم برای شخصی‌سازی را نیز در بر می‌گرفت. پس از یک بازبینی کوتاه، تیم کار را به یک عامل کدنویسی سپرد و تغییر را با آزمون A/B سنجید.

طبق گزارش نتایج آزمایش که Amplitude منتشر کرد، پس از یک روز تعداد پیام‌های ارسالی از طریق کارت‌های پیشنهاد صفحهٔ اصلی نسبت به گروه کنترل ۱۶۰٪ افزایش یافت. اریک کارلسون، مهندس ارشد هوش مصنوعی در Amplitude، توضیح می‌دهد: «این نمونهٔ خوبی است از اینکه کارهای نه‌چندان انقلابی که معمولاً نادیده گرفته می‌شوند، چطور می‌توانند استفاده از قابلیت‌ها را به شکلی غیرمنتظره افزایش دهند.»

وظایف مختلف Wave از مدل‌های آن قابلیت‌های متفاوتی می‌طلبند. یک بررسی عمیق به استدلال قوی و نتیجه‌گیری‌های مستند نیاز دارد. یک بررسی کوچک که صدها بار تکرار می‌شود، باید سریع و کم‌هزینه باشد. Amplitude کیفیت، زمان پاسخ و هزینه را برای هر کار ارزیابی می‌کند و بر همین اساس مدل مناسب را به آن اختصاص می‌دهد.

برای بررسی‌کنندهٔ فرصت‌های Wave، شرکت Amplitude ارزیابی کرد که آیا مدل‌ها یافته‌ها را با شواهد دیگر تأیید می‌کنند، از مثبت‌های کاذب پرهیز می‌کنند، بازخورد ارزیاب را اعمال می‌کنند، پس از خطای ابزار به کار ادامه می‌دهند و ادعاها را متناسب با شواهد نگه می‌دارند. GPT‑6.1 Sol در مجموع امتیاز ۴٫۰۶ از ۵ را کسب کرد؛ درحالی‌که امتیاز سه مدل جایگزین ۳٫۶۲، ۳٫۵۲ و ۲٫۹۴ بود. این مدل در هر پنج معیار بررسی پیشتاز بود و با میانهٔ زمان بررسیِ ۵۴ دقیقه، سریع‌ترین عملکرد را داشت.

در ارزیابی جداگانه‌ای از عامل علم دادهٔ Wave، مدل GPT‑6.1 Sol امتیاز ۶۷٫۵ از ۱۰۰ را کسب کرد، در مقابل ۶۹٫۳ برای یک مدل پیشروی دیگر؛ میانگین هزینهٔ مدل به‌ازای هر ارجاع کار نیز ۱٫۲۸ دلار در برابر ۲٫۶۳ دلار بود. GPT‑6.1 Sol در رعایت قرارداد ابزار، برآورد و عدم قطعیت، و زمین گیر سازی بر پایهٔ شواهد نیز امتیاز بالاتری گرفت.

Amplitude برای کارهای پرتعداد، مانند مرور کد و اجرای ارزیابی‌های کوچک، از GPT‑6 Luna استفاده می‌کند تا زمان پاسخ و هزینه را پایین نگه دارد. تقسیم کار میان عامل‌های متخصص به تیم امکان می‌دهد استدلال پرهزینه‌تر را برای کارهایی نگه دارد که بیشترین نیاز را به آن دارند.

در تولید وایرفریم و ماکاپ، مدل تولید تصویر OpenAI برای وایرفریم‌های راهکار امتیاز ۸۰٫۳ از ۱۰۰ را گرفت؛ در مقابل ۶۳٫۹ برای یک مدل تولید تصویر دیگر. ارزیابی Amplitude در ۱۵ فرصت، کیفیت انتقال مفهوم، وفاداری به محصول، رعایت دستورها، خوانایی متن و رابط کاربری و انسجام بصری را پوشش می‌داد.

مشتریان در صنایع مختلف هم‌اکنون از نسخهٔ بتای Wave برای شناسایی و عرضهٔ بهبودهای محصول استفاده می‌کنند. Wave داده‌های نشست‌ها و داده‌های تحلیلی را بررسی می‌کند و سپس توصیه‌هایی همراه با راهکار پیشنهادی، برنامهٔ فنی و معیارهای پذیرش ارائه می‌دهد.

از آن مرحله به بعد، تیم‌ها می‌توانند میزان خودکارسازی را کنترل کنند. بیشتر تیم‌ها رفع باگ‌ها را مستقیماً به عامل‌های کدنویسی می‌سپارند، اما قابلیت‌های جدید و طرح‌های بزرگ‌تر را انسان بازبینی می‌کند.

برای تغییراتی که به عرضه می‌رسند، مسیر کشف تا اجرا می‌تواند کوتاه باشد: از میان آزمایش‌ها، فلگ‌ها و راهنماهایی که مشتریان راه‌اندازی کردند، یک‌چهارم در همان روزی که Wave فرصت را شناسایی کرد فعال شدند، نیمی در کمتر از چهار روز و دوسوم ظرف یک هفته.

اسکیتس می‌گوید: «هدف بلندپروازانهٔ ما در همکاری با OpenAI این است که ساخت محصولاتی که خودشان را بهبود می‌دهند، به شیوهٔ معمول شرکت‌ها برای توسعهٔ نرم‌افزار تبدیل شود.» با بهتر شدن توانایی مدل‌های OpenAI در استدلال و کدنویسی، تیم‌ها می‌توانند بخش بیشتری از کار بررسی و پیاده‌سازی را به عامل‌ها بسپارند؛ در نهایت، محصولات بهتر سریع‌تر به دست کاربران خواهند رسید. Amplitude همین حالا هم این روند را می‌بیند: درحالی‌که تیم روی اولویت‌های دیگر کار می‌کند، عامل‌ها فرصت‌های بهبود محصول خود شرکت را می‌یابند و به اجرای آن‌ها کمک می‌کنند: «فکر می‌کنم تیم‌ها وقتی ببینند نرم‌افزارشان دوشادوش آن‌ها برای بهتر کردن محصول کار می‌کند، از حجم کاری که می‌توانند انجام دهند شگفت‌زده خواهند شد.»