Mill-mudell għall-aġent: Ngħammru l-Responses API b’ambjent tal-kompjuter

Bħalissa ninsabu f’bidla mill-użu ta’ mudelli, li jeċċellaw f’ċerti kompiti, għall-użu ta’ aġenti kapaċi jimmaniġġjaw flussi tax-xogħol kumplessi. Billi tagħti prompts lill-mudelli, tista’ taċċessa biss intelliġenza mħarrġa. Madankollu, jekk tagħti lill-mudell ambjent tal-kompjuter tista’ tikseb firxa ħafna usa’ ta’ każijiet ta’ użu, bħal it-tħaddim ta’ servizzi, it-talba ta’ dejta minn APIs, jew il-ġenerazzjoni ta’ artifacts aktar utli bħal spreadsheets jew rapporti.

Jinqalgħu xi problemi prattiċi meta tipprova tibni aġenti: fejn tqiegħed fajls intermedji, kif tevita li twaħħal tabelli kbar f’prompt, kif tagħti lill-fluss tax-xogħol aċċess għan-network mingħajr ma toħloq problema ta’ sigurtà, u kif timmaniġġja timeouts u retries mingħajr ma tibni sistema tal-fluss tax-xogħol inti stess.

Minflok ma ħallejna lill-iżviluppaturi jibnu l-ambjenti ta’ eżekuzzjoni tagħhom stess, bnejna l-komponenti meħtieġa biex ngħammru l-Responses API⁠(jinfetaħ f’tieqa ġdida) b’ambjent tal-kompjuter biex iwettaq kompiti tad-dinja reali b’mod affidabbli.

Il-Responses API ta’ OpenAI, flimkien mal-għodda shell u workspace ta’ container ospitat, hija mfassla biex tindirizza dawn il-problemi prattiċi. Il-mudell jipproponi passi u kmandi; il-pjattaforma tħaddimhom f’ambjent iżolat b’filesystem għall-inputs u l-outputs, ħażna strutturata mhux obbligatorja (bħal SQLite), u aċċess ristrett għan-network. 

F’dan il-post, se nispjegaw kif bnejna ambjent tal-kompjuter għall-aġenti u naqsmu xi lezzjonijiet bikrin dwar kif tużah għal flussi tax-xogħol ta’ produzzjoni aktar veloċi, aktar ripetibbli u aktar siguri.

Fluss tax-xogħol tajjeb ta’ aġent jibda b’loop strett ta’ eżekuzzjoni: il-mudell jipproponi azzjoni bħall-qari ta’ fajls jew il-ġbir ta’ dejta b’API, il-pjattaforma tħaddimha, u r-riżultat jidħol fil-pass li jmiss. Se nibdew bl-għodda shell—l-aktar mod sempliċi biex tara dan il-loop fl-azzjoni—u mbagħad inkopru l-workspace tal-container, in-networking, skills li jistgħu jerġgħu jintużaw, u l-compaction tal-kuntest.

Biex tifhem l-għodda shell, l-ewwel huwa utli tifhem kif mudell tal-lingwa juża għodod b’mod ġenerali: biex jagħmel affarijiet bħal isejjaħ funzjoni jew jinteraġixxi ma’ kompjuter. Matul it-taħriġ, mudell jintwera eżempji ta’ kif jintużaw l-għodod u l-effetti li jirriżultaw, pass pass. Dan jgħin lill-mudell jitgħallem jiddeċiedi meta juża għodda u kif jużaha. Meta ngħidu “tuża għodda”, infissru li l-mudell fil-fatt jipproponi biss sejħa ta’ għodda. Huwa ma jistax jeżegwixxi s-sejħa waħdu.

L-għodda shell tagħmel lill-mudell ferm aktar qawwi: tinteraġixxi ma’ kompjuter permezz tal-linja tal-kmand biex twettaq firxa wiesgħa ta’ kompiti, mit-tiftix għal test sas-sottomissjoni ta’ talbiet API fuq il-kompjuter tiegħek. Mibnija fuq għodod Unix familjari, l-għodda shell tagħna tista’ tagħmel kull ħaġa li tistenna, b’utilitajiet bħal grep, curl, u awk disponibbli minnufih.

Meta mqabbla mal-interpretu tal-kodiċi eżistenti tagħna, li jeżegwixxi Python biss, l-għodda shell tippermetti firxa ħafna usa’ ta’ każijiet ta’ użu, bħal it-tħaddim ta’ programmi Go jew Java jew il-bidu ta’ server NodeJS. Din il-flessibbiltà tippermetti lill-mudell iwettaq kompiti aġentiċi kumplessi.

Waħdu, mudell jista’ biss jipproponi kmandi shell, imma kif jiġu eżegwiti dawn il-kmandi? Għandna bżonn orchestrator biex jieħu l-output tal-mudell, isejjaħ l-għodod, u jgħaddi t-tweġiba tal-għodda lura lill-mudell f’loop, sakemm il-kompitu jitlesta.

Il-Responses API huwa kif l-iżviluppaturi jinteraġixxu mal-mudelli ta’ OpenAI. Meta jintuża ma’ għodod personalizzati, il-Responses API jerġa’ jagħti l-kontroll lill-klijent, u l-klijent ikollu bżonn il-harness tiegħu stess biex iħaddem l-għodod. Madankollu, dan l-API jista’ wkoll jorkestra bejn il-mudell u għodod ospitati minnufih. 

Meta l-Responses API jirċievi prompt, jiġbor il-kuntest tal-mudell: il-prompt tal-utent, l-istat tal-konverżazzjoni preċedenti, u l-istruzzjonijiet tal-għodod. Biex taħdem l-eżekuzzjoni shell, il-prompt irid isemmi l-użu tal-għodda shell u l-mudell magħżul irid ikun imħarreġ biex jipproponi kmandi shell—il-mudelli GPT‑5.2 u ta’ wara huma mħarrġa għal dan. B’dan il-kuntest kollu, il-mudell imbagħad jiddeċiedi l-azzjoni li jmiss. Jekk jagħżel eżekuzzjoni shell, jirritorna kmand wieħed jew aktar tas-shell lis-servizz tal-Responses API. Is-servizz tal-API jibgħat dawn il-kmandi lir-runtime tal-container, jistrimja lura l-output tas-shell, u jitimgħu lill-mudell fil-kuntest tat-talba li jmiss. Il-mudell imbagħad jista’ jispezzjona r-riżultati, joħroġ kmandi ta’ segwitu, jew jipproduċi tweġiba finali. Il-Responses API jirrepeti dan il-loop sakemm il-mudell jirritorna tlestija mingħajr kmandi shell addizzjonali.

Meta l-Responses API jeżegwixxi kmand shell, iżomm konnessjoni ta’ streaming mas-servizz tal-container. Hekk kif jiġi prodott output, l-API jgħaddih lill-mudell kważi f’ħin reali sabiex il-mudell ikun jista’ jiddeċiedi jekk jistenniex aktar output, iħaddimx kmand ieħor, jew jgħaddix għal tweġiba finali.

Il-mudell jista’ jipproponi diversi kmandi shell f’pass wieħed, u l-Responses API jista’ jeżegwixxihom fl-istess ħin billi juża sessjonijiet separati tal-container. Kull sessjoni tistrimja output b’mod indipendenti, u l-API jimmultiplexja dawn l-istreams lura f’outputs strutturati tal-għodda bħala kuntest. Fi kliem ieħor, il-loop tal-aġent jista’ jipparallellizza x-xogħol, bħal tiftix ta’ fajls, ġbir ta’ dejta, u validazzjoni ta’ riżultati intermedji.

Meta l-kmand jinvolvi operazzjonijiet fuq fajls jew ipproċessar tad-dejta, l-output tas-shell jista’ jsir kbir ħafna u jikkonsma l-baġits tal-kuntest mingħajr ma jżid sinjali utli. Biex nikkontrollaw dan, il-mudell jispeċifika limitu tal-output għal kull kmand. Il-Responses API jinforza dak il-limitu u jirritorna riżultat limitat li jżomm kemm il-bidu kif ukoll it-tmiem tal-output, filwaqt li jimmarka l-kontenut imħolli barra. Pereżempju, tista’ tillimita l-output għal 1,000 karattru, bil-bidu u t-tmiem ippreservati:

test fil-bidu ... 1000 karattru maqtugħ ... test fit-tmiem

Flimkien, l-eżekuzzjoni konkorrenti u l-output limitat jagħmlu l-loop tal-aġent kemm veloċi kif ukoll effiċjenti fil-kuntest sabiex il-mudell ikun jista’ jkompli jagħmel raġunament fuq riżultati rilevanti minflok ma jinħakem minn logs mhux maħduma tat-terminal.

Problema potenzjali bil-loops tal-aġent hija li l-kompiti jistgħu jdumu ħafna. Kompiti li jdumu jimlew it-tieqa tal-kuntest, li hija importanti biex tipprovdi kuntest bejn turns u bejn aġenti. Immaġina aġent isejjaħ skill, jirċievi tweġiba, iżid sejħiet ta’ għodod u sommarji tar-raġunament—malajr timtela t-tieqa limitata tal-kuntest. Biex nevitaw li jintilef il-kuntest importanti hekk kif l-aġent ikompli jaħdem, neħtieġu mod kif inżommu d-dettalji ewlenin u nneħħu kull ħaġa żejda. Minflok ma nitolbu lill-iżviluppaturi jiddisinjaw u jżommu sistemi personalizzati ta’ sommarizzazzjoni jew ġarr tal-istat, żidna compaction nattiv fil-Responses API, iddisinjat biex jallinja ma’ kif iġib ruħu l-mudell u kif ġie mħarreġ.

L-aktar mudelli ġodda tagħna huma mħarrġa biex janalizzaw l-istat tal-konverżazzjoni preċedenti u jipproduċu oġġett ta’ compaction li jżomm l-istat ewlieni preċedenti f’rappreżentazzjoni kriptata effiċjenti fit-tokens. Wara l-compaction, it-tieqa tal-kuntest li jmiss tikkonsisti f’dan l-oġġett ta’ compaction u f’porzjonijiet ta’ valur għoli tat-tieqa preċedenti. Dan jippermetti lill-flussi tax-xogħol ikomplu b’mod koerenti bejn il-konfini tat-twieqi, anke f’sessjonijiet estiżi b’ħafna passi u mmexxija mill-għodod. Codex jiddependi fuq dan il-mekkaniżmu biex isostni kompiti ta’ kodifikazzjoni li jdumu u eżekuzzjoni iterattiva ta’ għodod mingħajr ma tonqos il-kwalità.

Il-compaction hija disponibbli jew integrata fis-server jew permezz ta’ punt ta' tmiem separat /compact. Il-compaction min-naħa tas-server tħallik tikkonfigura limitu, u s-sistema timmaniġġja l-ħin tal-compaction b’mod awtomatiku, u telimina l-ħtieġa għal loġika kumplessa min-naħa tal-klijent. Tippermetti tieqa effettiva ta’ kuntest tal-input kemxejn akbar biex tittollera qabżiet żgħar eżatt qabel il-compaction, sabiex talbiet qrib il-limitu xorta jkunu jistgħu jiġu pproċessati u kompattati minflok miċħuda. Hekk kif jevolvi t-taħriġ tal-mudell, is-soluzzjoni nattiva tal-compaction tevolvi miegħu għal kull rilaxx ta’ mudell ta’ OpenAI.

Codex għenna nibnu s-sistema tal-compaction filwaqt li serva bħala utent bikri tagħha. Meta istanza waħda ta’ Codex tiltaqa’ ma’ żball ta’ compaction, konna nqajmu istanza oħra biex tinvestiga. Ir-riżultat kien li Codex kiseb sistema nattiva u effettiva ta’ compaction sempliċement billi ħadem fuq il-problema. Din il-kapaċità ta’ Codex li jispezzjona u jirfina lilu nnifsu saret parti partikolarment interessanti mix-xogħol f’OpenAI. Ħafna għodod jeħtieġu biss li l-utent jitgħallem kif jużahom; Codex jitgħallem flimkien magħna.

Issa ejja nkopru l-istat u r-riżorsi. Il-container mhux biss post biex tħaddem kmandi iżda wkoll il-kuntest tax-xogħol għall-mudell. Ġewwa l-container, il-mudell jista’ jaqra fajls, jagħmel query f’databases, u jaċċessa sistemi esterni taħt kontrolli tal-politika tan-network.

L-ewwel parti tal-kuntest tal-container hija s-sistema tal-fajls għat-tlugħ, l-organizzazzjoni, u l-ġestjoni tar-riżorsi. Bnejna APIs ta’ container u fajls⁠(jinfetaħ f’tieqa ġdida) biex nagħtu lill-mudell mappa tad-dejta disponibbli u ngħinuh jagħżel operazzjonijiet immirati fuq fajls minflok iwettaq scans wesgħin u storbjużi.

Anti-pattern komuni huwa li tippakkja l-input kollu direttament fil-kuntest tal-prompt. Hekk kif jikbru l-inputs, timla żżejjed il-prompt u dan isir għali u diffiċli għall-mudell biex jinnaviga fih. Mudell aħjar huwa li tpoġġi r-riżorsi fis-sistema tal-fajls tal-container u tħalli lill-mudell jiddeċiedi x’jiftaħ, jparseja, jew jittrasforma bil-kmandi shell. Bħall-bnedmin, il-mudelli jaħdmu aħjar b’informazzjoni organizzata.

It-tieni parti tal-kuntest tal-container hija d-databases. F’ħafna każijiet, nissuġġerixxu li l-iżviluppaturi jaħżnu dejta strutturata f’databases bħal SQLite u jagħmlu query fuqhom. Minflok tikkopja spreadsheet sħiħ fil-prompt, pereżempju, tista’ tagħti lill-mudell deskrizzjoni tat-tabelli—liema kolonni jeżistu u x’ifissru—u tħallih jiġbed ir-ringieli li jeħtieġ.

Pereżempju, jekk tistaqsi, “Liema prodotti kellhom tnaqqis fil-bejgħ dan it-trimestru?” il-mudell jista’ jagħmel query fuq biss ir-ringieli rilevanti minflok jiskennja l-ispreadsheet kollu. Dan huwa aktar veloċi, irħas, u aktar skalabbli għal datasets akbar.

It-tielet parti tal-kuntest tal-container hija l-aċċess għan-network, parti essenzjali mill-piżijiet tax-xogħol tal-aġenti. Il-fluss tax-xogħol tal-aġent jista’ jkollu bżonn iġib dejta live, isejjaħ APIs esterni, jew jinstalla pakketti. Fl-istess ħin, li tagħti lill-containers aċċess bla restrizzjonijiet għall-internet jista’ jkun riskjuż: jista’ jesponi informazzjoni għal siti esterni, imiss b’mod mhux intenzjonat sistemi interni sensittivi jew ta’ partijiet terzi, jew jagħmel it-tnixxijiet ta’ kredenzjali u l-ħruġ ta’ dejta aktar diffiċli biex jiġu protetti kontrihom.

Biex nindirizzaw dan it-tħassib mingħajr ma nillimitaw l-utilità tal-aġenti, bnejna containers ospitati biex jużaw sidecar egress proxy. It-talbiet kollha tan-network li joħorġu jgħaddu minn saff ċentralizzat ta’ politika li jinforza allowlists u kontrolli tal-aċċess filwaqt li jżomm it-traffiku osservabbli. Għall-kredenzjali, nużaw injettar ta’ sigrieti fil-ħruġ marbut mad-dominju. Il-mudell u l-container jaraw biss placeholders, filwaqt li l-valuri sigrieti mhux maħduma jibqgħu barra mill-kuntest viżibbli għall-mudell u jiġu applikati biss għal destinazzjonijiet approvati. Dan inaqqas ir-riskju ta’ tnixxija filwaqt li xorta jippermetti sejħiet esterni awtentikati.

Il-kmandi shell huma qawwija, iżda ħafna kompiti jirrepetu l-istess mudelli b’diversi passi. L-aġenti jridu jerġgħu jiskopru l-fluss tax-xogħol kull darba—jerġgħu jippjanaw, joħorġu mill-ġdid il-kmandi, u jitgħallmu mill-ġdid il-konvenzjonijiet—u dan iwassal għal riżultati inkonsistenti u eżekuzzjoni moħlija. Skills tal-aġent⁠(jinfetaħ f’tieqa ġdida) jippakkjaw dawn il-mudelli f’blokki tal-bini li jistgħu jerġgħu jintużaw u jiġu kkombinati. B’mod konkret, skill hija bundle ta’ folder li tinkludi ‘SKILL.md⁠(jinfetaħ f’tieqa ġdida)’ (li fiha metadata u istruzzjonijiet) flimkien ma’ kwalunkwe riżorsa ta’ appoġġ, bħal speċifikazzjonijiet tal-API u assi tal-UI.

Din l-istruttura taqbel b’mod naturali mal-arkitettura tar-runtime li ddeskrivejna qabel. Il-container jipprovdi fajls persistenti u kuntest ta’ eżekuzzjoni, u l-għodda shell tipprovdi l-interface tal-eżekuzzjoni. Meta t-tnejn ikunu f’posthom, il-mudell jista’ jiskopri l-fajls tal-skill billi juża kmandi shell (`ls`, `cat`, eċċ.) meta jkollu bżonn, jinterpreta l-istruzzjonijiet, u jħaddem scripts tal-skill kollha fl-istess loop tal-aġent.

Aħna nipprovdu APIs⁠(jinfetaħ f’tieqa ġdida) biex timmaniġġja skills fil-pjattaforma ta’ OpenAI. L-iżviluppaturi jtellgħu u jaħżnu folders ta’ skills bħala bundles b’verżjonijiet, li aktar tard jistgħu jinkisbu permezz tal-ID tal-skill. Qabel ma jintbagħat il-prompt lill-mudell, il-Responses API jgħabbi l-skill u jinkludiha fil-kuntest tal-mudell. Din is-sekwenza hija deterministika:

1. Iġbor il-metadata tal-skill, inklużi l-isem u d-deskrizzjoni.
2. Iġbor il-bundle tal-skill, ikkupjah fil-container, u spacchjah.
3. Aġġorna l-kuntest tal-mudell bil-metadata tal-skill u l-passaġġ tal-container.

Meta jiddeċiedi jekk skill hijiex rilevanti, il-mudell jesplora l-istruzzjonijiet tagħha b’mod progressiv, u jeżegwixxi l-iskripts tagħha permezz ta’ kmandi shell fil-container.

Biex inqiegħdu l-biċċiet kollha flimkien: il-Responses API jipprovdi orkestrazzjoni, il-għodda shell tipprovdi azzjonijiet eżegwibbli, il-container ospitat jipprovdi kuntest persistenti tar-runtime, skills iżidu loġika ta’ fluss tax-xogħol li tista’ terġa’ tintuża, u l-compaction tippermetti lil aġent jaħdem għal żmien twil bil-kuntest li għandu bżonn.

B’dawn il-primitivi, prompt wieħed jista’ jespandi għal fluss tax-xogħol minn tarf sa tarf: skopri s-skill it-tajjeb, ġib id-dejta, biddilha fi stat strutturat lokali, agħmel query b’mod effiċjenti, u ġġenera artifacts dejjiema. 

Id-dijagramma t’hawn taħt turi kif taħdem din is-sistema biex toħloq spreadsheet minn dejta live.

Għal eżempju fid-dettall ta’ kif tgħaqqad l-għodda shell u l-ambjent tal-kompjuter għal flussi tax-xogħol minn tarf sa tarf, ara l-post tal-blog għall-iżviluppaturi⁠(jinfetaħ f’tieqa ġdida) u l-cookbook⁠(jinfetaħ f’tieqa ġdida) tagħna li jimxu miegħek pass pass fil-pakkettar ta’ skill u l-eżekuzzjoni tagħha permezz tal-Responses API.

Ninsabu eċċitati naraw x’jibnu l-iżviluppaturi b’dan is-sett ta’ primitivi. Il-mudelli tal-lingwa huma maħsuba biex jagħmlu aktar milli jiġġeneraw test, immaġnijiet u awdjo–se nkomplu nevolvu l-pjattaforma tagħna biex issir aktar kapaċi fit-trattament ta’ kompiti kumplessi tad-dinja reali fuq skala kbira.