Cara Tolan membina AI mengutamakan suara dengan GPT‑5.1

Tolan⁠(dibuka dalam tetingkap baru) ialah rakan AI yang mengutamakan suara di mana orang ramai bercakap dengan watak animasi diperibadikan yang belajar daripada perbualan dari semasa ke semasa. 

Dibina oleh Portola, pasukan veteran dengan keluar terlebih dahulu, aplikasi ini direka untuk dialog terbuka yang berterusan dan bukannya prom dan balasan pantas. "Kami melihat kebangkitan ChatGPT dan tahu suara adalah sempadan seterusnya," kata Quinten Farmer, pengasas bersama dan CEO Portola. “Tetapi suara lebih sukar. "Anda bukan sekadar membalas prom yang ditaip; anda sedang mengadakan perbualan langsung yang berliku.”

Voice AI meningkatkan bar pada pengurusan kependaman dan konteks, tetapi ia juga membolehkan interaksi penerokaan yang lebih terbuka daripada teks. 

Dengan model asas menjadi lebih pantas, lebih murah dan lebih berkebolehan, pasukan menumpukan usaha mereka pada dua tuil utama: memori dan reka bentuk watak. Portola membina alam semesta yang dipacu watak, dibentuk oleh juruanimasi yang memenangi anugerah dan penulis fiksyen sains, menggunakan sistem pengurusan konteks masa nyata untuk memastikan personaliti dan memori konsisten semasa perbualan terungkap.

Pelancaran model GPT‑5.1 menandakan titik perubahan, memberikan peningkatan besar dalam kebolehhaluan dan kependaman yang menyatukan komponen tersebut, sekali gus membuka pengalaman suara yang lebih responsif dan menarik.

Seni bina Tolan dibentuk mengikut keperluan suara. Pengguna suara mengharapkan respons segera dan semula jadi, walaupun perbualan berubah secara tiba-tiba. Tolan perlu bertindak balas dengan cepat, menjejak topik yang berubah dan mengekalkan personaliti yang konsisten tanpa kelewatan atau perubahan nada.

Untuk kedengaran semula jadi, perbualan memerlukan kependaman yang hampir serta-merta. Memperkenalkan OpenAI GPT‑5.1 dan API Responses yang mengurangkan masa permulaan pertuturan lebih daripada 0.7 saat—cukup untuk meningkatkan aliran perbualan dengan ketara.

Sama kritikal ialah cara sistem mengendalikan konteks. Tidak seperti kebanyakan ejen yang menyimpan prom merentas berbilang giliran, Tolan membina semula tetingkap konteksnya dari awal setiap giliran. Setiap pembinaan semula konteks mengandungi ringkasan mesej terkini, kad persona, memori yang diperoleh melalui vektor, panduan nada dan isyarat aplikasi masa nyata. Seni bina ini membolehkan Tolan menyesuaikan secara masa nyata kepada perubahan topik yang mendadak, satu keperluan penting untuk interaksi berasaskan suara yang semula jadi.

"Kami menyedari dengan cepat bahawa prom yang dicache tidak memotongnya," kata Quinten. "Pengguna menukar subjek sepanjang masa. "Untuk kedengaran lancar, sistem perlu menyesuaikan di pertengahan aliran.”

Pendekatan pembinaan semula masa nyata ini adalah intensif secara teknikal dan menjadi asas kepada kejayaan Tolan.

Pengendalian konteks adalah penting, tetapi ia tidak mencukupi untuk memastikan perbualan kekal koheren dari semasa ke semasa. Untuk menyokong perbualan yang panjang dan bukan linear, Tolan membina sistem ingatan yang mengekalkan bukan sahaja fakta dan keutamaan, tetapi juga isyarat "suasana" emosi—petunjuk yang membantu mengemudi cara Tolan harus bertindak balas.

Memori dibenamkan menggunakan model OpenAI text-embedding-3-large dan disimpan dalam Turbopuffer, sebuah pangkalan data vektor berkelajuan tinggi yang membolehkan masa carian kurang daripada 50ms. Kelajuan ini penting untuk interaksi suara masa nyata. Setiap giliran, Tolan menggunakan mesej terkini pengguna dan soalan yang disintesis oleh sistem (contohnya, “Dengan siapakah pengguna berkahwin?”) untuk mencetuskan ingatan semula. Untuk memastikan kualiti memori kekal tinggi, Tolan menjalankan tugas pemampatan setiap malam yang membuang entri bernilai rendah atau lewah (cth. “pengguna sudah minum kopi hari ini” dan menyelesaikan percanggahan.

Personaliti juga diurus dengan teliti. Setiap Tolan disemai dengan perancah watak yang berbeza, dikarang oleh penulis fiksyen sains dalaman pasukan dan diperhalusi oleh penyelidik tingkah laku. Benih-benih ini memberikan Tolans konsistensi, tetapi juga fleksibiliti untuk menyesuaikan dari semasa ke semasa, berkembang seiring dengan pengguna. 

Sistem selari memantau nada emosi perbualan dan melaraskan penyampaian Tolan secara dinamik. Ini membolehkan Tolan beralih dengan lancar daripada suka bermain kepada berpijak pada realiti bergantung kepada petunjuk pengguna, tanpa kehilangan personaliti terasnya. 

Peralihan kepada GPT‑5.1 adalah satu titik perubahan. Tiba-tiba, arahan prom berlapis—perancah nada, suntikan memori, ciri-ciri watak—diikuti dengan lebih setia. Prom yang sebelum ini memerlukan penyelesaian sementara mula berfungsi seperti yang diharapkan. 

“Buat pertama kali, pakar dalaman kami merasakan model benar-benar mendengar,” kata Quinten. “Arahan kekal utuh sepanjang perbualan panjang, ciri-ciri persona dihormati dan kami melihat kurangnya penyimpangan.”

Perubahan tersebut menambah kepada personaliti yang lebih konsisten dan boleh dipercayai, yang seterusnya mencipta pengalaman pengguna yang lebih menarik. Pasukan Tolan melihat peningkatan yang jelas dan boleh diukur: kegagalan mengingati memori menurun sebanyak 30% (berdasarkan isyarat kekecewaan dalam produk) dan pengekalan pengguna pada hari berikutnya meningkat lebih daripada 20% selepas GPT‑5.1–dikuasakan personas mula disiarkan secara langsung.

Seiring dengan evolusi Tolan, beberapa prinsip muncul yang kini membimbing cara pasukan membina dan mengembangkan seni bina suaranya:

• Reka bentuk untuk ketidakstabilan perbualan: Perbualan suara berubah di tengah-tengah ayat. Sistem perlu menyesuaikan diri dengan cepat untuk kelihatan semula jadi.
• Anggap kependaman sebagai sebahagian daripada pengalaman produk: Respons bawah satu saat membentuk sama ada ejen suara kedengaran seperti perbualan atau mekanikal.
• Bina memori sebagai sistem pengambilan semula, bukan transkrip: Pemampatan berkualiti tinggi dan carian vektor yang pantas memberikan personaliti yang lebih konsisten berbanding tetingkap konteks yang terlalu besar.
• Bina semula konteks setiap giliran: Jangan lawan hanyutan dengan prom yang lebih besar. Menjana semula konteks setiap giliran memastikan ejen berasas semasa perbualan berliku.

Bersama-sama, pelajaran ini membentuk asas bagi fasa inovasi Tolan yang seterusnya dan menetapkan hala tuju masa depan AI suara.

Sejak dilancarkan pada Februari 2025, Tolan telah berkembang kepada lebih daripada 200,000 pengguna aktif bulanan. Penarafan 4.8 bintang dan lebih daripada 100,000 ulasan App Store menonjolkan betapa baiknya sistem kekal konsisten dalam perbualan yang panjang dan berubah-ubah. Seorang pengulas menyatakan, “Mereka mengingati perkara yang kami bincangkan dua hari lalu dan membawanya semula ke dalam perbualan yang kami adakan hari ini.”

Isyarat-isyarat ini memetakan secara langsung kepada seni bina asas: panggilan model kependaman rendah, pembinaan semula konteks giliran demi giliran, serta sistem memori dan persona yang modular. Bersama-sama, mereka membolehkan Tolan menjejaki perubahan topik, mengekalkan nada dan memastikan respons kekal berasas tanpa bergantung pada prom yang besar dan rapuh.

Memandang ke hadapan,  Tolan merancang untuk mendalamkan lagi pelaburannya dalam kebolehhaluan dan memperhalusi memori, dengan menumpukan usahanya pada pemampatan yang lebih ketat, logik pengambilan semula yang dipertingkatkan dan penalaan persona yang diperluas. Matlamat jangka panjang adalah untuk mengembangkan antara muka suara: bukan sahaja responsif, tetapi kesedaran konteks dan dinamik mengikut perbualan.

“Sempadan seterusnya,” kata Quinten, “ialah membina ejen suara yang bukan sahaja responsif, tetapi benar-benar multimodal, mampu mengintegrasikan suara, penglihatan dan konteks ke dalam satu sistem yang boleh dikawal.”