Tre lezioni di Intercom per creare un vantaggio sostenibile in ambito IA

Quando GPT‑4 è stato lanciato nel 2022, Intercom⁠(si apre in una nuova finestra) non si è limitata a leggere i titoli dei giornali: era pronta a costruire. Nel giro di poche ore, l'azienda di software per il servizio clienti ha iniziato a sperimentare e solo quattro mesi dopo ha lanciato Fin, il suo agente IA che ora risolve milioni di domande dei clienti ogni mese.

Questo slancio iniziale non è stato un caso. Mentre gli LLM facevano un balzo in avanti, Intercom ha riconosciuto che l'IA avrebbe rimodellato l'esperienza del cliente. La dirigenza ha agito rapidamente, creando una task force interfunzionale, cancellando i progetti non legati all'IA e impegnando 100 milioni di dollari per riorganizzare l'azienda intorno all'IA.

Questa decisione ha dato il via a cambiamenti a livello aziendale: riorganizzazione dei team di prodotto, una nuova strategia di helpdesk orientata all'intelligenza artificiale e una piattaforma costruita per supportare Fin nella gestione di volumi elevati e domande complesse dei clienti.

Ecco tre lezioni tratte dal percorso di Intercom che ogni team, a prescindere dal punto di partenza, può mettere in pratica subito.

Intercom testa i modelli in anticipo, spesso, e impara a fondo dal loro lavoro.

Il team ha iniziato presto a sperimentare i modelli generativi e l'esperienza pratica li ha aiutati a individuare i limiti e le opportunità del modello. Quando GPT‑4 divenne disponibile all'inizio del 2023, erano pronti. Nel giro di quattro mesi hanno lanciato Fin e da allora non hanno mai rallentato.

"Siamo stati in grado di sfruttare GPT‑3.5 per avere conversazioni fluide con scorci di perfezione, ma non era ancora abbastanza affidabile per poter trattare con i nostri clienti", afferma Jordan Neill, SVP Engineering. "Poiché avevamo già svolto il lavoro, quando è arrivato GPT‑4 sapevamo che era pronto e abbiamo lanciato Fin".

Questa stessa competenza ha aiutato Intercom a progettare Fin Tasks, un sistema che automatizza flussi di lavoro complessi come i rimborsi e l'assistenza tecnica. Sebbene il team avesse inizialmente previsto uno stack basato sul recupero, le valutazioni hanno dimostrato che GPT‑4.1 era in grado di gestire il lavoro da solo, con un'elevata affidabilità e una minore latenza.

Oggi, GPT‑4.1 alimenta una parte crescente dell'utilizzo dell'IA di Intercom, compresa la logica chiave all'interno di Fin Tasks. Il team ha anche scoperto che l'aggiunta di prompting a catena di pensiero alle query non ragionate ha colmato i gap di prestazioni senza bisogno di pipeline RAG complete.

La conclusione di Intercom: più si conoscono i propri modelli, più velocemente ci si può adattare all'evoluzione dello stato dell'arte.

Per muoversi velocemente, è necessario misurare ciò che funziona e perché.

La capacità di Intercom di adottare rapidamente nuovi modelli, modalità e architetture si basa su un rigoroso processo di valutazione. Che venga utilizzato per Fin Voice, grazie all'API Realtime, o per Fin Tasks, grazie a GPT‑4.1, prima della distribuzione ogni nuovo modello OpenAI viene sottoposto a test strutturati offline e a prove A/B dal vivo per valutare la capacità di seguire le istruzioni, l'accuratezza delle chiamate dello strumento e la coerenza generale.

Ad esempio, il team confronta i modelli con le trascrizioni delle interazioni di assistenza reali, valutando la capacità di gestire istruzioni in più fasi come i rimborsi, di mantenere la voce del marchio Fin e di eseguire in modo affidabile le chiamate di funzione. I risultati informano poi i test A/B dal vivo che confrontano i tassi di risoluzione e la soddisfazione dei clienti tra modelli come GPT‑4 e GPT‑4.1.

Grazie a questo approccio, Intercom è stata in grado di migrare da GPT‑4 a GPT‑4.1 in pochi giorni. Dopo aver confermato i miglioramenti nella gestione delle istruzioni e nell'esecuzione delle funzioni, hanno implementato GPT‑4.1 in tutti i Fin Tasks e hanno riscontrato un immediato aumento delle prestazioni e della soddisfazione degli utenti.

"Quando GPT‑4.1 è stato rilasciato, abbiamo avuto risultati di valutazione entro 48 ore e un piano di rollout immediatamente dopo", afferma Jordan Neill, SVP Engineering di Intercom. "Abbiamo visto subito che GPT‑4.1 presentava un buon mix di intelligenza e latenza per le esigenze dei nostri client". 

Per Fin Voice, lo stesso processo di valutazione ha aiutato Intercom a convalidare nuovi snapshot di modelli vocali e a individuare i miglioramenti in termini di latenza, esecuzione delle funzioni e aderenza agli script: tutti elementi essenziali per fornire un'assistenza telefonica di qualità umana. 

Intercom ha ampliato le proprie valutazioni per catturare la dimensione extra che la voce porta alle interazioni. Fin Voice viene valutato sistematicamente in base a fattori quali la personalità, il tono, la gestione delle interruzioni e il rumore di fondo, per garantire esperienze di alta qualità ai clienti.

Intercom è stata costruita per il cambiamento fin dal primo giorno, progettando un'architettura abbastanza flessibile da evolversi insieme ai modelli da cui dipende.

Il sistema di Fin è modulare, in quanto supporta diverse modalità come chat, e-mail e voce, ciascuna con diversi compromessi in termini di latenza e complessità. L'architettura consente a Intercom di indirizzare le query al modello migliore per il lavoro e di scambiare i modelli senza dover riprogettare il sistema sottostante.

Questa flessibilità è intenzionale e in continua evoluzione. L'architettura di Fin è ora alla sua terza iterazione principale, e la prossima è già in fase di sviluppo. Man mano che i modelli migliorano, il team aggiunge complessità dove necessario per sbloccare nuove funzionalità e semplifica dove possibile.

Questa adattabilità si è rivelata fondamentale con Fin Tasks. Inizialmente, il team pensava di aver bisogno di un'architettura personalizzata basata sul recupero per supportare Fin Tasks, che consente a Fin di risolvere le complesse domande dei clienti e di eseguire processi in più fasi come l'emissione di rimborsi, la modifica dell'account o la risoluzione di problemi tecnici. 

Ma nei test, le capacità di GPT‑4.1 di seguire le istruzioni hanno superato le aspettative, garantendo la stessa affidabilità con una latenza e un costo inferiori.

"Onestamente, non credo che si parli abbastanza di GPT‑4.1", afferma Pratik Bothra, Principal Machine Learning Engineer di Intercom. "Siamo rimasti veramente sorpresi dal profilo di latenza e di costo. Ci permette di orientare la nostra architettura e di eliminare molte complessità".

Il team ha appena iniziato a lavorare. Grazie a modelli avanzati e a un'architettura modulare e indipendente dai modelli, Intercom si sta espandendo al di là dell'assistenza clienti per alimentare i flussi di lavoro in tutta l'azienda, garantendo risoluzioni più rapide e migliori esperienze per i clienti:

• Team di assistenza: risolvere la maggior parte delle query in entrata attraverso chat, e-mail, voce e altro con Fin AI Agent
• Team operativi: automatizzazione di flussi di lavoro complessi come rimborsi, modifiche dell'account e aggiornamenti degli abbonamenti con Fin Tasks
• Team di prodotto: utilizzando il server MCP di Intercom, strumenti di intelligenza artificiale come ChatGPT possono accedere alle conversazioni dei clienti, ai ticket e ai dati degli utenti, aiutando i team aziendali a individuare i bug, a definire le roadmap, a perfezionare la messaggistica e a prepararsi per le QBR. 

Intercom ha costruito una piattaforma IA scalabile rimanendo rigorosa nella valutazione, fondata sulle prestazioni e flessibile nella progettazione, ridefinendo l’assistenza e offrendo insegnamenti per qualsiasi azienda che costruisce con l'IA.