Kif bnejna sistema f’ħin reali għal IA bil-vuċi reattiva f’sitt xhur

Għall-IA bil-vuċi, li tkun taf meta titkellem huwa aktar diffiċli milli jidher. Il-bnedmin jgħaddu l-kelma lil xulxin mingħajr sforz fi frazzjoni ta’ sekonda, iżda s-sistemi preċedenti tal-IA bil-vuċi ma setgħux ilaħħqu ma’ dan ir-ritmu. L-arkitettura tagħhom ibbażata fuq id-dawriet kienet tiddependi fuq mudelli żgħar magħrufa bħala detetturi tad-dawriet, li kellhom kompitu xejn faċli: jaqtgħu kmieni wisq u jinterrompu lill-utent; jaqtgħu tard wisq u r-rispons jinħass kajman. Kien biss wara li d-detettur jieħu d-deċiżjoni tiegħu li l-LLM ferm akbar seta’ jibda jaħdem.

GPT‑Live⁠, is-sistema tal-vuċi tat-tielet ġenerazzjoni tagħna, ineħħi d-detettur tad-dawriet mir-rotta tal-awdjo. Il-mudell tal-vuċi tiegħu huwa full-duplex, jiġifieri jista’ jisma’ u jitkellem fl-istess ħin. Dan jelimina l-ħtieġa ta’ detettur separat u jagħmel il-konverżazzjoni aktar immedjata u naturali. Meta jkun meħtieġ raġunament aktar profond jew użu tal-għodod, GPT‑Live jista’ wkoll jikkonsulta l-mudelli avvanzati tagħna, bħal GPT‑5.5, mingħajr ma jinterrompi l-fluss tal-konverżazzjoni. Flimkien, dawn il-kapaċitajiet jagħtu lil GPT‑Live taħlita bla preċedent ta’ reattività fil-konverżazzjoni u Intelliġenza.

Biex nipprovdu din l-esperjenza fuq skala kbira kellna bżonn arkitettura ġdida tas-sistema, ottimizzata għal dewmien baxx. B’differenza mill-inferenza tipika ta’ talba u rispons, is-sistema tagħna tittrażmetti l-awdjo li jkun dieħel lejn il-mudell tal-vuċi u d-diskors ħiereġ lura lill-utent, filwaqt li timmaniġġja d-delega fuq rotta asinkronika separata. Tul dawn l-aħħar sitt xhur, ħdimna mill-ġdid l-inferenza tal-mudell, il-ġestjoni tal-kuntest u t-trasport tal-midja biex inżommu d-diskors għaddej bla xkiel minn tarf sa tarf.

L-arkitettura toħloq ukoll konfini ċar bejn ir-rotta ewlenija tal-vuċi u l-loġika tal-applikazzjoni. Dan jagħmilha faċli li tiġi personalizzata l-imġiba tal-applikazzjoni mingħajr ma tiġi affettwata r-reattività. Din il-bażi tħaddem firxa dejjem tikber ta’ kapaċitajiet f’ChatGPT Voice, inkluża l-kapaċità li għadha kif tnediet biex tikkontrolla l-kompjuter tiegħek u tikkoordina l-aġenti tiegħek fl-app tad-desktop ta’ ChatGPT.

F’din il-pubblikazzjoni, se nispjegaw għaliex is-sistemi preċedenti bbażati fuq id-dawriet ma setgħux jissodisfaw il-ħtiġijiet tagħna u kif fassalna s-sistema l-ġdida biex tkun reattiva f’kull saff. Se niddiskutu l-inferenza bi stat, il-ġestjoni dinamika tal-kuntest, id-delega asinkronika u l-ottimizzazzjoni fil-livell tal-protokoll, li kollha jaħdmu flimkien biex GPT‑Live jinħass tassew dirett.

Arkitetturi preċedenti tal-vuċi wirtu n-natura bbażata fuq id-dawriet tal-LLMs tat-test, iżda kull dawra kienet irrappreżentata bħala blokka distinta tal-awdjo minflok test. F’sistemi kaskata, il-konverżjoni tad-diskors għal test, l-LLM u l-konverżjoni tat-test għal diskors tħaddmu wieħed wara l-ieħor. Din is-sekwenza żiedet id-dewmien u injorat sinjali bħat-ton u r-ritmu.

Il-mudelli ta’ diskors b’diskors tejbu dan l-approċċ billi pproċessaw l-awdjo direttament. It-taħriġ tal-mudell biex jifhem u jiġġenera d-diskors b’mod nattiv ippermettielu jżomm dettalji li jintilfu fit-traskrizzjoni u jirrispondi aktar malajr. Iżda s-sistema kienet għadha tiddependi fuq id-detettur tad-dawriet biex jiddeċiedi meta setgħet tibda l-inferenza. Il-mudell immaniġġja aktar mill-interazzjoni, iżda l-interazzjoni baqgħet ibbażata fuq id-dawriet.

GPT‑Live jagħti lill-mudell tal-vuċi l-kontroll tal-konverżazzjoni: l-awdjo jidħol u joħroġ mill-mudell, filwaqt li raġunament aktar profond u l-użu tal-għodod iseħħu b’mod asinkroniku. Il-kompitu ewlieni tas-sistema huwa li ssostni ċiklu tal-midja mingħajr interruzzjoni. Xogħol ieħor, bħas-sejħa ta’ mudelli avvanzati u l-preservazzjoni tal-konverżazzjoni, isir barra mir-rotta diretta.

Mhux dejjem faċli li dan iċ-ċiklu tal-midja jibqa’ għaddej bla interruzzjoni. Kwalunkwe dewmien fit-trasport, fl-ipproċessar jew fl-inferenza jista’ jsir pawża jew difett li jinstema’. Sistema preċedenti bbażata fuq id-dawriet setgħet tittollera xi varjazzjoni fil-ħin meta tasal blokka tal-awdjo. Madankollu, sistema ta’ midja diretta trid twassal kull frame tal-awdjo fil-ħin.

Ix-xogħol preċedenti fuq ChatGPT Voice u r-Realtime API tana bażi importanti. Konna diġà bnejna mill-ġdid l-infrastruttura tal-vuċi tagħna⁠ biex nittrażmettu l-awdjo u l-vidjo direttament lejn u mis-sistemi tagħna b’dewmien aktar baxx u prevedibbli. GPT‑Live kompla jiżviluppa dan id-disinn, billi wassal il-midja bl-istreaming sal-mudell permezz ta’ sistema ġdida ta’ inferenza bi stat, mibnija għal konverżazzjoni kontinwa.

Madankollu, l-inferenza bl-istreaming kienet biss parti mis-soluzzjoni. Biex taħdem tajjeb fil-produzzjoni, kellna niżguraw ukoll twassil affidabbli tal-awdjo mill-klijent sas-saff tal-inferenza u nindirizzaw l-isfidi tal-ġestjoni tal-istat.

Deċiżjoni bikrija kienet li nisseparaw b’mod speċifiku l-fluss tal-midja mil-loġika tal-applikazzjoni u tan-negozju. L-awdjo jiċċaqlaq bejn il-klijent u l-mudell tal-vuċi fuq rotta veloċi ddedikata. Id-delega, l-użu tal-għodod u xogħol ieħor tal-applikazzjoni jsiru wara konfini RPC asinkroniku. Sejħa bil-mod lil għodda jew servizz backend tista’ ddewwem ir-riżultat tagħha stess, iżda ma tistax twaqqaf il-fluss tal-midja.

Din is-separazzjoni tagħti wkoll lis-sistema konfini ċar għall-personalizzazzjoni. L-applikazzjonijiet jistgħu jibdlu l-għodod, il-politiki u l-imġiba backend tagħhom mingħajr ma jaffettwaw il-frontend tal-midja responsabbli biex iżomm l-awdjo għaddej. Ir-rotta diretta tibqa’ żgħira, prevedibbli u ffukata fuq ix-xogħol li jrid isir f’ħin reali.

Ktibna l-frontend tal-midja u l-loġika tal-inferenza f’Go, u ssostitwejna implimentazzjoni preċedenti ta’ Python asyncio. Dan tejjeb b’mod sinifikanti l-fluwidità tat-twassil tal-frames, bil-p95 tas-sistema l-ġdida jaqbel mal-p50 tas-sistema preċedenti.

WebRTC jipprovdi l-bażi tat-trasport. Huwa mfassal għal midja b’dewmien baxx u jista’ jibqa’ jaħdem minkejja telf ta’ pakketti, devjazzjoni tal-arloġġ u bidliet fil-konnessjoni tal-klijent. Jekk il-pakketti jaslu tard, WebRTC jista’ jtawwal l-awdjo b’mod sottili biex jevita lakuni, imbagħad jaċċellera fil-qosor il-plejbek biex jerġa’ jilħaq il-ħin reali.

Billi nnaqqsu kemm jista’ jkun il-buffering u l-imblukkar fis-sistema kollha, nistgħu nipprovdu r-reattività ta’ inqas minn sekonda li n-nies jistennew minn konverżazzjoni.

L-inferenza bi stat għandha l-kompromessi operattivi tagħha. Sessjoni tal-vuċi tista’ tibqa’ attiva għal żmien twil, iżda l-kuntest tagħha jikber kontinwament u l-istanzi tal-mudell jinxtegħlu u jintfew skont id-domanda.

Biex nindirizzaw dan, bnejna mekkaniżmu ta’ trasferiment bla xkiel bejn l-istanzi tal-mudell. Meta tkun meħtieġa tranżizzjoni, nistgħu nħejju istanza sostituttiva tal-mudell maġenb dik eżistenti, nimlewha minn qabel bil-kuntest attwali tas-sessjoni, inħaddmu l-inferenza fuq it-tnejn b’mod parallel u naqilbu meta l-istanza l-ġdida tkun lesta għalkollox.

L-istess mekkaniżmu bażiku jappoġġa wkoll il-kompattazzjoni dinamika tal-kuntest. Hekk kif tkompli konverżazzjoni, il-kuntest akkumulat tagħha jista’ eventwalment jaqbeż il-limitu tal-kuntest tal-mudell. Il-kompattazzjoni tista’ tnaqqas id-daqs tal-kuntest biex jidħol fil-limitu, iżda l-operazzjoni tieħu ż-żmien. U billi tibdel il-kuntest preċedenti, tinvalida wkoll il-cache key-value (KV) tal-mudell, li jaħżen iċ-ċwievet u l-valuri tal-attenzjoni minn tokens ipproċessati qabel. Il-bini mill-ġdid ta’ dak l-istat jeħtieġ mili minn qabel ġdid, li jintroduċi dewmien addizzjonali.

Minflok, nittrattaw il-kompattazzjoni bħala tranżizzjoni ġestita oħra. Waqt li l-istanza oriġinali tal-mudell tkompli titkellem, is-sistema tikkumpatta l-kuntest u tħejji istanza sostituttiva tal-mudell bil-kuntest il-ġdid. Ladarba dik l-istanza tkun lesta, nistgħu naqilbu mingħajr ebda interruzzjoni tal-midja. Dan jippermetti lis-sistema tappoġġa sejħiet twal, b’kompattazzjoni kull meta tkun meħtieġa.

Ix-xogħol tqil jibqa’ barra mir-rotta diretta, għalhekk anki waqt trasferiment il-konverżazzjoni qatt ma titlef ir-ritmu.

Il-kapaċità ta’ GPT‑Live li jsejjaħ mudelli avvanzati eżistenti tagħtih saħħa kbira, billi effettivament tifred it-“taħdit” minn “ħsieb” aktar profond. Iżda biex din l-arkitettura b’żewġ mudelli tinħass bħala sistema waħda kellna nsolvu żewġ problemi relatati tal-inġinerija.

L-ewwel, ir-riżultati jridu jaslu lura malajr biżżejjed biex ikunu utli fl-iskambju li jkun għaddej, għalhekk kellna nnaqqsu d-dewmien tul ir-rotta kollha tad-delega, mid-direzzjoni u l-ipproċessar tal-prompt sal-inferenza u s-sejħiet tal-għodod. Fl-istess ħin, sistemi oħra fil-prodott għadhom jeħtieġu messaġġi distinti, għalhekk kellna nirrappreżentaw il-konverżazzjoni kontinwa f’forma li setgħu jifhmu.

Meta tintbagħat delega, nottimizzaw iż-żmien sakemm il-mudell avvanzat jipproduċi xi ħaġa utli għall-konverżazzjoni. Il-mudell tal-vuċi jista’ jżomm l-iskambju għaddej għal ftit waqt li mudell avvanzat jirraġuna jew juża għodod, iżda ma jistax jaħbi rispons li jdum wisq. Għalhekk qisna ċ-ċiklu kollu tad-delega—id-direzzjoni, l-ipproċessar tal-prompt, l-inferenza u s-sejħiet tal-għodod—bħala parti mill-baġit tar-reattività.

L-ewwel ottimizzazzjoni hi li jitħejjew il-mudell avvanzat u kwalunkwe għodda li jeħtieġ qabel tintalab id-delega. Meta tibda sessjoni tal-vuċi, is-server tal-applikazzjoni joħloq sessjoni tal-inferenza għall-mudell avvanzat u jimliha minn qabel bil-kuntest inizjali tal-konverżazzjoni, biex jiżgura li l-prompt ikun ġie pproċessat kompletament qabel l-ewwel talba delegata.

Imbagħad inżommu dik is-sessjoni tal-inferenza disponibbli tul il-konverżazzjoni bil-vuċi u nużaw affinità stabbli tas-sessjoni għal talbiet suċċessivi. Flimkien mal-caching tal-prompt, dawn it-tekniki jtejbu d-dewmien filwaqt li jibqa’ faċli li s-sistema tirkupra minn ħsara ta’ worker.

L-isforz tar-raġunament, il-limiti tal-output, l-iskemi tal-għodod u l-vjaġġi bir-ritorn bejn il-mudell u l-għodda jaffettwaw ukoll meta l-konverżazzjoni tirċievi riżultat utli, u aġġustajna dawn il-parametri biex niksbu risponsi aktar veloċi. Billi naqqasna x-xogħol meħtieġ fir-rotta tad-delega, ippermettejna lill-mudell tal-vuċi jinkorpora malajr ir-riżultati mill-mudelli avvanzati tagħna.

Għalkemm il-mudell tal-vuċi jaħdem fuq flussi kontinwi ta’ diskors, ħafna mis-sistemi ta’ madwaru għadhom jaħdmu b’dawriet tal-utent u tal-assistent, inklużi l-UI tal-konverżazzjoni ta’ ChatGPT u partijiet mill-infrastruttura tagħna tal-analitika u s-sikurezza. Għalhekk, is-server tal-applikazzjoni jifred il-konverżazzjoni sovrapposta u xi drabi ambigwa f’messaġġi distinti.

Hekk kif jasal l-awdjo, is-server juża traskrizzjonijiet parzjali u sinjali tal-ħin biex jiddeduċi min qed jitkellem u jibni kju ta’ messaġġi. L-aktar messaġġ ġdid jibqa’ provviżorju; it-test, il-ħin u l-attribuzzjoni tal-kelliem tiegħu kollha jistgħu jinbidlu hekk kif jasal aktar diskors. Ladarba kelliem ikun żamm il-kelma għal żmien twil biżżejjed biex l-attribuzzjoni tkun affidabbli, is-server jiffinalizza l-messaġġ korrispondenti.

Is-sovrappożizzjoni bejn il-kelliema tagħmel dan aktar ikkumplikat. A brief acknowledgement from the assistant while the user is talking (e.g. “mm hmm,” or “okay”) should not necessarily become its own message. Madankollu, intervent sostanzjali mill-assistent spiss għandu jsir messaġġ għalih. Bl-istess mod, nagħtu prijorità lill-koerenza fir-risponsi murija tal-assistent anki meta l-utent jitkellem fin-nofs.

Kull politika ta’ segmentazzjoni tagħmel kompromess bejn l-aġġornament u ċ-ċertezza. Il-finalizzazzjoni kmieni wisq tipproduċi storja frammentata u ordni instabbli; jekk tistenna wisq, jittardjaw it-traskrizzjonijiet u l-karatteristiċi li jiddependu minnhom. Għalhekk, is-sistema żżomm żewġ veduti relatati tal-konverżazzjoni: veduta spekulattiva tal-istat attwali u rekord awtorevoli ta’ dak li ntqal. Il-veduta tal-konverżazzjoni fl-UI tal-applikazzjoni tista’ timmaniġġja l-aġġornamenti, għalhekk tuża l-veduta spekulattiva. Iżda r-reġistrazzjoni fil-pipeline tal-analitika teħtieġ traskrizzjoni finali.

Dan jagħti lill-bqija ta’ ChatGPT veduta stabbli tal-iskambju mingħajr ma jimponi t-teħid tad-dawriet fuq ir-rotta diretta tal-vuċi.

Ir-reattività tibda malli l-utent jikklikkja l-buttuna. Bi GPT‑Live, is-sistema trid tistabbilixxi r-rotta tal-midja u tibda tgħaddi l-awdjo mill-mudell qabel ma tkun tista’ tibda l-konverżazzjoni. Dan ipoġġi kull parti tas-sekwenza tal-bidu fuq ir-rotta kritika.

Kif imsemmi hawn fuq, WebRTC jipprovdi bażi soda f’ħin reali, iżda l-bidu ta’ sessjoni WebRTC standard jeħtieġ għadd sorprendenti ta’ handshakes tal-protokoll u vjaġġi bir-ritorn fin-network. WebRTC ġie qabel l-enfasi fuq it-tnaqqis tal-vjaġġi bir-ritorn li sawret protokolli aktar tard bħal QUIC. B’riżultat ta’ dan, il-protokolli sottostanti tiegħu xi drabi jirrepetu x-xogħol meta jintużaw flimkien. Pereżempju, kull protokoll kien jinkludi l-mekkaniżmu tiegħu kontra d-DoS, anki meta ma kienx meħtieġ fil-kuntest tas-saff sħiħ ta’ WebRTC.

Analizzajna s-saff u żviluppajna l-WebRTC Abridged Roundtrip Protocol (WARP⁠(jinfetaħ f’tieqa ġdida)), li jnaqqas il-bidu tal-midja u d-data minn sitt vjaġġi bir-ritorn fin-network għal wieħed biss. WARP jikseb dan b’sett ta’ titjib fil-protokoll kompatibbli b’lura: jgħaddi l-handshake DTLS fuq ICE (SPED⁠(jinfetaħ f’tieqa ġdida)), juża l-handshake aktar veloċi ta’ DTLS 1.3⁠(jinfetaħ f’tieqa ġdida), jinnegozja minn qabel il-handshake SCTP (SNAP⁠(jinfetaħ f’tieqa ġdida)), u jinnegozja minn qabel il-kanali tad-data minflok juża DCEP⁠(jinfetaħ f’tieqa ġdida).

Fassalna WARP bħala sett ta’ speċifikazzjonijiet miftuħa, b’kollaborazzjoni ma’ membri tal-komunità WebRTC, biex l-ekosistema usa’ tkun tista’ tibbenefika minn dan ix-xogħol. Qed navvanzaw il-proposti permezz tal-grupp ta’ ħidma TSVWG tal-IETF, u l-appoġġ għal WARP diġà żdied kemm ma’ libwebrtc kif ukoll ma’ Pion, filwaqt li għaddej xogħol fuq implimentazzjonijiet oħra ta’ WebRTC.

Wara li ottimizzajna l-handshake tal-midja, baqa’ dewmien wieħed evidenti: l-iskambju tas-sinjalar użat biex jaqsam il-parametri SDP qabel WebRTC ikun jista’ jikkonnettja. Biex inneħħu dak l-iskambju mir-rotta kritika, żviluppajna dak li nsejħulu Instant Connect. Dan jinnegozja dawn il-parametri minn qabel mingħajr ma jirriżerva kapaċità tas-server u mingħajr ebda bidla fl-implimentazzjonijiet eżistenti ta’ WebRTC.

Instant Connect jaħdem maġenb il-fluss standard tas-sinjalar. Jekk il-parametri nnegozjati minn qabel ikunu validi, is-server jista’ joħloq is-sessjoni meta jasal l-ewwel pakkett tal-midja. Jekk ikunu skaduti jew invalidi, il-fluss tas-sinjalar ikun diġà beda, għalhekk il-klijent jista’ jaqleb għall-metodu alternattiv mingħajr dewmien addizzjonali.

Flimkien, Instant Connect u WARP inaqqsu drastikament iż-żmien mill-intenzjoni tal-utent sal-fluss dirett tal-midja. Bl-iskambju SDP barra mir-rotta kritika u WARP jikkonsolida l-handshake tat-trasport, il-klijent issa jista’ jibda sessjoni b’pakkett UDP wieħed. Is-server jista’ jirrispondi minnufih, u jħalli lill-bqija tas-sistema tibda tagħmel ix-xogħol li verament jinteressa lill-utent: tisma’ u tirrispondi.

Sistema tista’ tidher veloċi fuq il-karta, iżda xorta teħel quddiem traffiku reali tal-vuċi. Qabel ħallejna lil GPT‑Live jitkellem mal-utenti, għamilna test silenzjuż li dderieġa sehem żgħir u dejjem jikber ta’ sessjonijiet ta’ ChatGPT Voice fil-produzzjoni kemm lejn l-esperjenza eżistenti tal-modalità tal-vuċi avvanzata kif ukoll lejn is-sistema l-ġdida tagħna. Il-modalità tal-vuċi avvanzata kompliet taqdi lill-utenti bħas-soltu, filwaqt li r-rotta parallela wettqet l-inferenza f’modalità ta’ qari biss. B’hekk, is-sistema ġiet esposta għal klijenti, networks, tulijiet ta’ sessjoni u distribuzzjoni ġeografika reali mingħajr ma nbidel dak li semgħu l-utenti.

Waħda mill-ewwel tagħlimiet kienet li l-kapaċità ma setgħetx titqies biss bħala throughput tal-GPU. Is-sessjonijiet tal-vuċi jibqgħu miftuħa u jibagħtu frames kontinwament, għalhekk il-handlers tal-flussi fuq in-naħa tas-CPU, il-kjuwijiet u r-rotot tan-network iridu jespandu flimkien mal-inferenza. Taħt tagħbija reali, komponent ta’ appoġġ laħaq il-limitu tiegħu qabel milli bassru l-istimi tat-testijiet tat-tagħbija tagħna, u dan wassal biex it-talbiet għall-inferenza jakkumulaw u d-dewmien jiżdied. Bdilna l-mistoqsija dwar il-kapaċità minn “Kemm-il talba tista’ tipproċessa GPU?” għal “Kemm-il sessjoni simultanja tista’ ssostni s-sistema filwaqt li żżomm kull frame fil-ħin?”

It-test għamel ukoll il-ġeografija kwistjoni primarja. Id-direzzjoni ta’ sessjoni lejn kapaċità mbiegħda tista’ żżid id-dewmien f’diversi punti waqt il-bidu u l-istreaming. Bdejna nivvalidaw it-tnedijiet tal-mudell flimkien mal-kapaċità reġjonali u l-konfigurazzjoni tad-direzzjoni tat-traffiku, imbagħad nanalizzaw id-dewmien skont il-ġeografija tas-sors. Il-ġarr tal-inferenza eqreb lejn l-utenti għen, iżda saħħaħ ukoll it-tagħlima usa’: ir-reattività minn tarf sa tarf tiddependi minn kull servizz fir-rotta, mhux biss mis-server tal-mudell.

Ħsarat oħra dehru biss tul ċikli realistiċi tal-ħajja tas-sessjonijiet. Sessjonijiet twal kixfu pressjoni fuq il-memorja u l-persistenza. Il-konnessjonijiet mill-ġdid eżerċitaw il-kompattazzjoni u r-restawr tal-istat. Skonnessjonijiet ordinarji tal-klijenti kixfu kundizzjonijiet ta’ tiġrija fil-handshake tal-għeluq. Dawn il-problemi rari dehru f’testijiet qosra tat-tagħbija għax kienu jiddependu fuq iż-żmien, l-istat akkumulat u l-imġiba bejn il-konfini tas-servizzi.

Fl-aħħar nett, l-ittestjar fil-produzzjoni ġegħelna ntejbu l-osservabbiltà u l-kontrolli tat-tnedija. Sibna metriċi li ħalltu sorsi differenti ta’ dewmien, dashboards li l-aggregati tagħhom ħbew magni individwali mhux b’saħħithom, u diverġenza fil-konfigurazzjoni bejn is-sistemi ttestjati u dawk implimentati. B’reazzjoni għal dan, żidna telemetrija aktar dettaljata, validazzjoni ma’ konfigurazzjonijiet magħrufa li jaħdmu tajjeb, żidiet gradwali fi stadji u l-kapaċità li niżolaw jew niddiżattivaw rotot individwali malajr. It-test silenzjuż sar prova bikrija tat-tnedija, mhux biss ta’ kemm traffiku setgħet tilqa’ s-sistema, iżda wkoll ta’ kemm stajna nidentifikaw, nillimitaw u nirkupraw malajr minn ħsara.

Biex GPT‑Live jilħaq l-iskala ta’ ChatGPT kellna nibnu sistema kompletament ġdida madwar prinċipju fundamentali wieħed: il-vuċi trid tibqa’ għaddejja. L-inferenza bl-istreaming tibqa’ tipprovdi awdjo lill-mudell full-duplex. Rotta ddedikata għall-midja tiżgura twassil affidabbli tal-frames. Id-delega asinkronika tippermetti li ħsieb aktar profond isir b’mod parallel. Trasport ottimizzat iżomm l-esperjenza reattiva sat-triq kollha lejn l-utent.

L-arkitettura wara GPT‑Live diġà qed issir pjattaforma usa’ għall-interazzjoni f’ħin reali. Hija tħaddem ChatGPT Voice hekk kif dan jespandi mill-konverżazzjoni għall-koordinazzjoni bejn aġenti, u se tkun il-bażi tal-API GPT‑Live li jmiss. Maż-żmien, se tippermetti li l-esperjenzi bil-vuċi jestendu għal aktar apparati, apps u modalitajiet mingħajr ma jitilfu l-immedjatezza li tagħmel il-konverżazzjoni bil-vuċi tinħass diretta.

Jekk dawn huma t-tipi ta’ problemi tal-inġinerija li tixtieq issolvi, ejja aħdem magħna⁠.