Sreafaí oibre gníomhairí a bhrostú le WebSockets san API Responses

Nuair a iarrann tú ar Codex fabht a cheartú, déanann sé scanadh ar do bhunachar cód le haghaidh comhad ábhartha, léann sé iad chun comhthéacs a thógáil, déanann sé eagarthóireachtaí, agus ritheann sé tástálacha chun a fhíorú gur oibrigh an ceartúchán. Taobh thiar de na cásanna, ciallaíonn sé sin na mórán iarratas Responses API anonn is anall: cinneadh a dhéanamh faoi chéad ghníomh eile na samhla, uirlis a rith ar do ríomhaire, aschur na huirlise a sheoladh ar ais chuig an API, agus athdhéanamh.

Is féidir leis na hiarratais seo go léir carnadh suas ina nóiméid a chaitheann úsáideoirí ag fanacht go gcríochnóidh Codex tascanna casta. Ó thaobh foighne de, caitheann lúb ghníomhaire Codex formhór a ama i dtrí phríomhchéim: ag obair sna seirbhísí API (chun iarratais a bhailíochtú agus a phróiseáil), tátal na samhla, agus am ar thaobh an chliaint (uirlisí a rith agus comhthéacs na samhla a thógáil). Is é tátal an chéim ina ritheann an tsamhail ar GPUanna chun téacschomharthaí nua a ghiniúint. San am atá caite, ba é rith tátal LLM ar GPUanna an chuid ba mhoille den lúb ghníomhairí, mar sin bhí sé éasca forchostas seirbhíse API a cheilt. De réir mar a éiríonn tátal níos tapa, bíonn forchostas carnach API ó rolladh amach gníomhairí i bhfad níos suntasaí.

Sa phost seo, míneoimid conas a rinneamar lúba gníomhairí a úsáideann an API 40% níos tapúla ó cheann ceann go ceann, rud a ligeann d’úsáideoirí an léim i luas tátail a bhlaiseadh ó 65 go beagnach 1,000 téacschomhartha sa soicind. Chuireamar chuige seo trí thaisceadh, deireadh a chur le hopanna líonra neamhriachtanacha, ár gcruach sábháilteachta a fheabhsú chun saincheisteanna a bhratach go tapa, agus—an rud ba thábhachtaí—bealach a thógáil chun nasc seasmhach a chruthú leis an Responses API, in ionad sraith glaonna sioncrónacha API a dhéanamh.

San API Responses, rith samhlacha suaitheanta roimhe seo cosúil le GPT‑5 agus GPT‑5.2 ag thart ar 65 téacschomhartha sa soicind (TPS). Le haghaidh sheoladh GPT‑5.3‑Codex‑Spark, samhail thapa códaithe, ba é ár sprioc ord méide níos tapúla: os cionn 1,000 TPS, arna chumasú ag crua-earraí speisialaithe Cerebras atá optamaithe le haghaidh tátal LLM. Chun a chinntiú go bhféadfadh úsáideoirí fíorluas na samhla nua seo a bhlaiseadh, b’éigean dúinn forchostas API a laghdú.

Timpeall mhí na Samhna 2025, sheolamar sprint feidhmíochta ar an Responses API, agus chuireamar i bhfeidhm go leor optamuithe ar an bhfoighne chonair chriticiúil d’iarratas aonair:

• Téacschomharthaí rindreáilte agus cumraíocht na samhla a thaisceadh sa chuimhne chun téacschomharthú costasach agus glaonna líonra a scipeáil le haghaidh freagraí ilchasacha
• Foighne hop líonra a laghdú trí ghlaonna chuig seirbhísí idirmheánacha a dhíchur (mar shampla, réiteach próiseála íomhá) agus glaoch go díreach ar an tseirbhís tátail féin
• Ár gcruach sábháilteachta a fheabhsú ionas go bhféadfaimis aicmitheoirí áirithe a rith chun comhráite a bhratach níos tapúla

Leis na feabhsuithe seo, chonaiceamar feabhas gar do 45% ar an am go dtí an chéad téacschomhartha (TTFT)—a léiríonn cé chomh freagrúil is a mhothaíonn an API—ach ní raibh na feabhsuithe seo sách tapa fós do GPT‑5.3‑Codex‑Spark. Fiú leis na feabhsuithe seo, bhí forchostas an Responses API ró-mhór i gcoibhneas le luas na samhla—sé sin le rá, b’éigean d’úsáideoirí fanacht leis na CPUanna a ritheann ár n-API sula bhféadfaidís na GPUanna a fhreastalaíonn ar an tsamhail a úsáid.

Bhí an fhadhb níos doimhne struchtúrach: chaith muid le gach iarratas Codex mar aonán neamhspleách, ag próiseáil staid an chomhrá agus comhthéacs ath-inúsáidte eile i ngach iarratas leantach. Fiú nuair nár athraigh formhór an chomhrá, d’íocamar fós as obair a bhí ceangailte leis an stair iomlán. De réir mar a d’éirigh comhráite níos faide, d’éirigh an phróiseáil athchleachtach sin níos costasaí.

Chun an dearadh a theannadh, rinneamar athmhachnamh ar an bprótacal iompair: an bhféadfaimis nasc seasmhach a choinneáil agus staid a thaisceadh, seachas nasc nua a bhunú thar HTTP agus stair iomlán an chomhrá a sheoladh do gach iarratas leantach? Ba é an smaoineamh ná gan ach aon fhaisnéis nua a éilíonn bailíochtú agus próiseáil a sheoladh agus staid ath-inúsáidte a thaisceadh sa chuimhne fad saoil an naisc. Laghdódh sé seo an forchostas ó obair iomarcach.

Rinneamar machnamh ar chúpla cur chuige éagsúil, WebSockets agus sruthú déthreo gRPC san áireamh. Shocraíomar ar WebSockets mar, mar phrótacal simplí iompair teachtaireachtaí, ní bheadh ar úsáideoirí a gcruthanna ionchuir agus aschuir don Responses API a athrú. Bhí sé cairdiúil d’fhorbróirí agus d’oir sé dár n-ailtireacht reatha gan mórán cur isteach.

D’athraigh an chéad fhréamhshamhail WebSocket an méid a cheapamar a bhí indéanta maidir le foighne an Responses API. Chuir innealtóir ar fhoireann Codex a raibh saineolas domhain aige ar fud chruach an API fréamhshamhail le chéile trí ghníomhaire Codex a rith thar oíche.

Sa fhréamhshamhail sin, rinneadh samhaltú ar rolluithe amach gníomhairí mar Response aonair fadtréimhseach. Ag úsáid gnéithe asyncio, chuirfeadh an Responses API bac go haisioncrónach sa lúb samplála tar éis glao uirlise a shampláil, agus sheolfadh an Responses API imeacht response.done ar ais chuig an gcliant. Tar éis dóibh an glao uirlise a fhorghníomhú, sheolfadh cliaint imeacht response.append ar ais le toradh na huirlise, rud a bhainfeadh an bac den lúb samplála agus a ligfeadh don tsamhail leanúint ar aghaidh.

Is analach anseo é caitheamh leis an nglao uirlise áitiúil mar ghlao uirlise óstáilte. Nuair a ghlaonn an tsamhail ar chuardach gréasáin, cuireann an lúb tátail bac, glaonn sé ar sheirbhís chuardaigh ghréasáin, agus cuireann sé freagra na seirbhíse i gcomhthéacs na samhla. Inár ndearadh, rinneamar an rud céanna; ach in ionad glaoch ar sheirbhís chianda, sheolamar glao uirlise na samhla chuig an gcliant ar ais thar an WebSocket. Nuair a d’fhreagair an cliant, chuireamar freagra ghlao uirlise an chliaint isteach sa chomhthéacs agus leanamar orainn ag sampláil.

Bhí an dearadh seo thar a bheith éifeachtach mar chuir sé deireadh le hobair API athchleachtach thar rolladh amach gníomhairí. D’fhéadfaimis obair réamhtátail a dhéanamh uair amháin, sos a ghlacadh chun an uirlis a fhorghníomhú, agus obair iartátail a dhéanamh uair amháin ag an deireadh.

Ar an drochuair, tháinig sé seo ar chostas cruth API nach raibh chomh heolach agus a bhí níos casta. Theastaigh uainn go mbeadh forbróirí in ann tacaíocht WebSocket a chur isteach gan a gcomhtháthú API a athscríobh timpeall ar mhodh idirghníomhaíochta nua.

Don leagan a sheolamar, d’fhilleamar ar chruth eolach: lean ar aghaidh ag úsáid response.create leis an gcorp céanna, agus úsáid previous_response_id chun comhthéacs an chomhrá a leanúint ó staid an fhreagra roimhe sin.

Ar nasc WebSocket, coinníonn an freastalaí taisce scóip-nasctha sa chuimhne de staid freagartha roimhe seo. Nuair a chuimsíonn response.create leantach previous_response_id, faighimid an staid sin ón taisce in ionad an comhrá iomlán a atógáil ón tús.

Áirítear sa staid thaiscthe sin:

• An réad response roimhe seo
• Míreanna ionchuir agus aschuir roimhe sin
• Sainmhínithe uirlisí agus ainmspásanna
• Déantáin shamplála ath-inúsáidte, cosúil le téacschomharthaí a rindreáladh roimhe seo

Trí staid an fhreagra roimhe seo sa chuimhne a athúsáid, bhíomar in ann roinnt mór-optamuithe a chur i bhfeidhm:

• A chur ar chuid dár n-aicmitheoirí sábháilteachta agus de bhailíochtóirí iarratais nach bpróiseálann siad ach ionchur nua, ní an stair iomlán gach uair
• Taisce sa chuimhne de théacschomharthaí rindreáilte a choinneáil agus cur léi ionas gur féidir linn téacschomharthú neamhriachtanach a scipeáil
• Ár loighic rathúil réitigh/ródaithe samhla a athúsáid ar fud iarratas
• Obair iartátail neamhbhacach cosúil le billeáil a fhorluí le hiarratais ina dhiaidh sin

Ba é an sprioc dul chomh gar agus ab fhéidir don fhréamhshamhail íosfhorchostais ach le cruth API a thuig forbróirí cheana féin agus a raibh siad tógtha timpeall air.

Tar éis sprint dhá mhí ag tógáil mód WebSocket, sheolamar alfa le príomhghnólachtaí nuathionscanta gníomhairí códaithe ionas go bhféadfaidís é a chomhtháthú ina mbonneagar agus trácht a mhéadú go sábháilte. Thaitin sé go mór le húsáideoirí alfa, a thuairiscigh feabhsuithe suas le 40%⁠(osclaíonn i bhfuinneog nua) ina sreafaí oibre gníomhairí. I bhfianaise an aiseolais dhearfaigh alfa, bhíomar réidh le seoladh.

Bhí torthaí an tseolta láithreach. Chuir Codex tromlach a dtráchta Responses API ar mhód WebSocket go tapa, agus chonaic siad feabhsuithe suntasacha ar fhoighne. Do GPT‑5.3‑Codex‑Spark, shroicheamar ár sprioc 1,000 TPS agus chonaiceamar borrtha suas le 4,000 TPS, ag léiriú go bhféadfadh an Responses API coinneáil suas le tátal i bhfad níos tapa i bhfíorthrácht táirgthe. Tháinig an tionchar chun solais go tapa sa phobal forbróirí freisin:

• Chuir Codex tromlach a dtráchta ar WebSockets go tapa. Baineann úsáideoirí Codex atá ag rith na samhlacha is déanaí mar GPT‑5.3‑Codex⁠(osclaíonn i bhfuinneog nua), GPT‑5.4⁠(osclaíonn i bhfuinneog nua), agus níos faide i gcéin, tairbhe as luas méadaithe mód WebSocket.
• Rinne Vercel comhtháthú ar mhód WebSocket san AI SDK agus chonaic siad laghdú foighne de suas le 40%⁠(osclaíonn i bhfuinneog nua).
• Tá sreafaí oibre ilchomhaid Cline 39% níos tapúla⁠(osclaíonn i bhfuinneog nua).
• D’éirigh samhlacha OpenAI in Cursor suas le 30% níos tapúla⁠(osclaíonn i bhfuinneog nua).

Tá mód WebSocket ar cheann de na cumais nua is suntasaí san Responses API ó seoladh é i Márta 2025. Chuamar ó smaoineamh go rith i dtáirgeadh i gceann cúpla seachtain amháin trí dhlúthchomhoibriú idir foirne API agus Codex OpenAI. Ní hamháin go bhfeabhsaíonn sé foighne rollta amach gníomhairí go mór, ach tacaíonn sé freisin le riachtanas atá ag méadú do thógálaithe: de réir mar a éiríonn tátal samhla níos tapúla, caithfidh na seirbhísí agus na córais a thimpeallaíonn tátal luas a mhéadú freisin chun na gnóthachain seo a aistriú chuig úsáideoirí.