Udhëzuesi i zhvilluesit për GPT‑5.6

Familja e modeleve të GPT‑5.6 bën që performanca e agjentëve të nivelit avangardë të jetë me kosto shumë më të përballueshme, ndërkohë që zgjeron kufijtë e asaj që mund të realizohet.

Në këtë udhëzues, ne tregojmë se si kompanitë e reja po përdorin zgjedhjen më inteligjente të modeleve dhe kontrollet e reja të API-së që ndihmojnë në vazhdimësinë e arsyetimit, orkestrimin e shumë agjentëve dhe thirrjen programatike të mjeteve për të krijuar agjentë më të aftë me më shumë shpejtësi me një kosto shumë më të ulët.

Që nga GPT‑5, çdo gjeneratë modelesh ka synuar të realizojë detyra më të gjata me më pak tokenë. GPT‑5.6 vazhdon në këtë drejtim: një performancë më e lartë e agjentëve, kosto më të ulëta, me ndryshime minimale në strukturën bazë.

Përmirësimet në lidhje me efikasitetin e kostos në nivelin më të lartë shoqërohen nga një saktësi më e lartë në një nivel më të ulët të përpjekjeve të arsyetimit. Për shembull, në Agents’ Last Exam, GPT‑5.6 Sol me arsyetim të nivelit "të ulët" e tejkaloi performancën e GPT‑5.5 me arsyetim të nivelit "të lartë" kur struktura u mbajt konstante. Ne kemi parë rezultate të ngjashme në testet e prodhimit, ku kompanitë e reja raportojnë përmirësime të konsiderueshme të kostove në një mori rrjedhash pune, duke reduktuar përpjekjet e arsyetimit nga vlerat e mëparshme të parazgjedhura.

Historikisht, përmirësimi duke kaluar te një model kryesor me nivelin më të lartë të disponueshëm të arsyetimit ka qenë opsioni më i mirë për rastet e përdorimit afatgjatë. Kjo ka ndodhur kryesisht sepse këto modele kanë qenë dukshëm më të afta se modelet e optimizuara për kostot në trajtimin e konteksteve më të gjata dhe thirrjen e mjeteve. Kjo ka ndryshuar me familjen 5.6: me më shumë kapacitet llogaritës gjatë testimit, Luna dhe Terra shpesh mund të arrijnë një performancë të ngjashme me GPT‑5.4 dhe 5.5 ndërkohë që kanë një kosto mjaft më të ulët.

Shiko për shembull detyrat në BrowseComp, një standard matës i bazuar te kërkimi që teston aftësinë e një modeli për të gjetur fakte pak të njohura. Tre muaj më parë, GPT‑5.5 (Extra High) arriti një rezultat prej 84,36% në këtë standard matës me një kosto totale prej 33,27 $. Në momentin e prezantimit, GPT‑5.6 Luna (Extra High) siguron thuajse të njëjtën performancë, me një rezultat prej 84,04% dhe kosto 1,33 $. Që atëherë, ne i kemi ulur edhe më tej çmimet. Lexo më shumë për uljet tona më të fundit të çmimeve.

Modelet më të vogla të familjes 5.6 janë shumë të përshtatshme për ngarkesa pune me volum të lartë, ndërveprime të ndjeshme ndaj vonesave dhe hapa të përsëritur në rrjedhat e punës së agjentëve. Për shembull, nëse drejton një kompani të re teknologjike ligjore që analizon shënime të shkruara me dorë para analizës nga agjentët, tani mund të përdorësh Terra ose Luna për nxjerrjen e të dhënave dhe të sigurosh kursime të konsiderueshme të kostove në vend që të përdorësh një model avangardë për të gjithë rastin e përdorimit.

Përveçse e bëmë GPT‑5.6 më efikas që në fillim, ne shtuam edhe elemente të reja bazë në Responses API për të mundësuar përfitime të mëtejshme. Ne e trajnuam GPT‑5.6 nga skaji në skaj me tri ndërhyrje plotësuese arkitekturore që bëjnë të mundur që agjentët të punojnë me më shumë efikasitet:

1. Ripërdor punën e kryer tashmë: duke lejuar përsëritjen e arsyetimit⁠(hapet në një dritare të re) gjatë ndërveprimeve të modelit dhe duke përdorur kompaktimin e integruar⁠(hapet në një dritare të re) për të ngjeshur bisedat e gjata, modeli mund të ruajë koherencën gjatë punës së tij në detyra më afatgjata, pa u ngatërruar ose pa pasur nevojën për të rindërtuar kontekstin e mëparshëm.

2. Zbërthimi paralel kur është e përshtatshme: përdorimi i orkestrimit të integruar me shumë agjentë⁠(hapet në një dritare të re) lejon koordinimin e disa agjentëve në rrjedha paralele pune për t'i përfunduar më shpejt detyrat komplekse.

3. Kaloje punën përcaktuese në kod: përdor thirrjen programatike të mjeteve⁠(hapet në një dritare të re) për të filtruar, përmbledhur dhe orkestruar rezultatet e mjeteve jashtë dritares së kontekstit të modelit, duke i rezervuar tokenët e modelit për gjykimin dhe duke ulur koston, vonesën dhe degradimin e kontekstit.

Kur përdoren së bashku, diferenca mund të jetë e jashtëzakonshme. Për shembull, në ARC-AGI-3, GPT‑5.6 Sol arriti 13,3% me strukturën standarde. Por pas aktivizimit të arsyetimit të ruajtur dhe kompaktimit, rezultati u rrit në 38,3%, duke përdorur rreth 6 herë më pak tokenë dalës. Pa ndryshime të modelit, por me thuajse trefishin e performancës. Mund të lexosh më shumë këtu për hulumtimin tonë mbi strukturën e ARC-AGI-3.

Rrjedhat e punës së agjentëve shpesh përfshijnë dy lloje punësh:

1. Detyra që kërkojnë gjykim

2. Punë që kërkon kryesisht zhvendosjen, filtrimin dhe kombinimin e të dhënave

Kur një agjent merr 100 dosje, ai i filtron sipas datës dhe identifikon transaksionet përkatëse, modeli nuk duhet të arsyetojë mbi çdo rezultat të ndërmjetëm në dritaren e vet të kontekstit. Thirrja programatike e mjeteve lejon që GPT‑5.6 të shkruajë në JavaScript për të orkestruar mjetet, për të ekzekutuar paralelisht thirrje të pavarura dhe për të përpunuar rezultatet e tyre jashtë dritares së kontekstit. Modeli përqendrohet tek ajo që kërkon inteligjencë: zbatimi i gjykimit.

Në detyrat komplekse që mund të kryhen paralelisht, shpërndarja e veprimeve dhe arsyetimit në disa rrjedha pune agjentësh mundëson përfundim më të shpejtë të detyrave dhe inteligjencë më të lartë. Në këto konfigurime, agjenti kryesor është përgjegjës për orkestrimin e nënagjentëve dhe delegimin e detyrave tek ata. Nënagjentët ndjekin objektivat e tyre paralelisht dhe në fund ia përcjellin rezultatet agjentit kryesor për përmbledhjen përfundimtare. Ekipet mund të fillojnë ta shfrytëzojnë funksionimin e integruar me shumë agjentë duke aktivizuar shumë agjentë⁠(hapet në një dritare të re) në Responses API. Kështu funksionon edhe cilësimi i aftësisë Ultra në ChatGPT.

Megjithëse GPT‑5.6 e përcakton mirë numrin e duhur të nënagjentëve dhe kohën kur duhen krijuar, sjellja me shumë agjentë mund të menaxhohet me shumë lehtësi. Udhëzimi i modelit se kur t'i thërrasë nënagjentët mund të rrisë mundësinë që agjentët të krijohen vetëm kur shpenzimi shtesë i tokenëve sjell një performancë më të mirë.

Në të gjithë familjen e modeleve, TTL-ja e ruajtjes së promptit në memorien specifike është zgjatur në të paktën 30 minuta dhe pikat e ndërprerjes tani mund të caktohen në mënyrë përcaktuese brenda dritares së kontekstit të një modeli. Kjo ka bërë të mundur që kompanitë e reja të përmirësojnë ndjeshëm normën e gjetjeve në memorien specifike.

Përveç caktimit të pikave të ndërprerjes, përdorimi i vazhdueshëm i një prompt_cache_key⁠(hapet në një dritare të re) të përshtatshëm rrit gjasat që kërkesat të mbërrijnë tek i njëjti motor inference që ka përpunuar më parë të njëjtën parashtesë, duke reduktuar kështu vonesën.

Ajo që bie në sy në këta shembuj është se sa shumë ka ndryshuar ekonomia e krijimit të agjentëve.

Rastet e përdorimit që dikur kërkonin një model avangardë në çdo hap, tani mund të arrijnë rezultate të krahasueshme ose më të mira me një kosto shumë herë më të ulët duke përdorur modele më të vogla, duke përshtatur përpjekjen e arsyetimit dhe duke bërë zgjedhje arkitekturore efikase.

Presim me padurim të shohim se çfarë do të ndërtoni!