GPT‑6.1 Solతో Asana ఖర్చు 76 రెట్లు తగ్గింది

Codexలో GPT‑6 Astraతో ప్రయోగాలు చేయించి, Asana తన బ్రౌజర్ ఏజెంట్ పనివిధానాన్ని మెరుగుపరిచింది. GPT‑6.1 Solపై ఇది 76 రెట్లు తక్కువ ఖర్చుతో, 5 రెట్లు వేగంగా పనిచేసింది.

Asana తాను కొనుగోలు చేసిన⁠(కొత్త విండోలో తెరుచుకుంటుంది) StackAI⁠(కొత్త విండోలో తెరుచుకుంటుంది) వేదిక ద్వారా వివిధ వ్యాపార అనువర్తనాల్లో పనులను స్వయంచాలకంగా చేయడంలో వినియోగదారులకు తోడ్పడుతుంది. StackAIతో వినియోగదారులు కోడ్ రాయకుండానే వెబ్‌సైట్లలో సంచరించే, ఫారాలను నింపే, సమాచారం సేకరించే పనివిధానాలను రూపొందించవచ్చు. Asana స్థాయిలో, ఈ పనివిధానాల్లోని చిన్న అసమర్థతలు కూడా కలిసికట్టుగా పెద్ద ప్రభావం చూపుతాయి.

Asanaలో StackAI ప్రధాన సాంకేతిక అధికారి, పీహెచ్‌డీ పట్టభద్రుడైన ఫ్రాంక్ హిడాల్గో, బ్రౌజర్ ఏజెంట్‌ను వేగంగా, తక్కువ ఖర్చుతో నడిపే ప్రయత్నం చేపట్టారు. ఏజెంట్‌ను పరిశీలించి, మెరుగుదలలను పరీక్షించి, ఫలితాలను పోల్చాలని Codexలోని GPT‑6 Astraను ఆయన ఆదేశించారు. తానే స్వయంగా చేస్తే ఒకటి నుంచి రెండు నెలలు పట్టేదని ఆయన అంచనా వేసిన పని దాదాపు వారంలో పూర్తయింది.

Asana 144 అమలుల అధ్యయనం⁠(కొత్త విండోలో తెరుచుకుంటుంది)లో GPT‑6.1 Solతో పాటు మరో మూడు అత్యాధునిక మోడళ్లను పరీక్షించారు. వాటిని ఇక్కడ మోడళ్లు A, B, Cగా పేర్కొన్నాం. GPT‑6.1 Solపై మెరుగుపరిచిన పనివిధానంలో ఒక్కో అమలుకు అంచనా మోడల్ ఖర్చు సగటున $0.47, సమయం సుమారు నాలుగు నిమిషాలు. మోడల్ B అసలు వినియోగ అమరికతో పోలిస్తే ఇది 76 రెట్లు తక్కువ ఖర్చు, 5 రెట్లు ఎక్కువ వేగం.

వేగంగా ముందుకెళ్లేందుకు, కోడ్ నిర్మాణాన్ని విశ్లేషించి, ఏజెంట్ ప్రతి మోడల్ అభ్యర్థనను ఎలా రూపొందిస్తుందో వివరించడానికి హిడాల్గో మొదట Codexలో GPT‑6 Astraను ఉపయోగించారు. ఏజెంట్ స్థిర సూచనలు, సాధనాల నిర్వచనాలను తాత్కాలిక నిల్వలో ఉంచుతోందని GPT‑6 Astra గుర్తించింది. కానీ సేకరించిన పేజీ పాఠ్యం, తెరచిత్రాల పెరుగుతున్న చరిత్రను అలా నిల్వ చేయకపోవడంతో, ప్రతి అభ్యర్థనలో ఆ చరిత్రను పూర్తి ధరతో మళ్లీ పంపుతోంది.

అలాగే, దాదాపు ప్రతి దశలోనూ ఏజెంట్ పాత తెరచిత్రాలను తొలగించి, పాఠ్యాన్ని కుదిస్తోంది. ప్రతి మార్పూ చరిత్రను మార్చేస్తోంది కాబట్టి, చరిత్రను తాత్కాలిక నిల్వలో ఉంచడం ఒక్కటే సరిపోయేది కాదు. ఆ వివరాలు కోల్పోతే, ఇప్పటికే చదివిన పేజీలను ఏజెంట్ మళ్లీ సందర్శించాల్సి రావచ్చు.

GPT‑6 Astra సూచించిన పరిష్కారాలను సమీక్షించి, హిడాల్గో పరీక్షించేందుకు మూడింటిని ఎంచుకున్నారు:

• ఏజెంట్ బ్రౌజింగ్ చరిత్రను కూడా తాత్కాలిక నిల్వలో ఉంచడం

• అది ఉంచుకోగల పాఠ్య పరిమాణాన్ని పెంచడం

• ప్రతి దశలో కాకుండా విడతలుగా తెరచిత్రాలను తొలగించడం

ఏ చరరాశులు ముఖ్యమో తెలుసుకునేందుకు GPT‑6 Astra ముందుగా చిన్న పరీక్షలు చేసింది. నియంత్రిత ప్రయోగాల కోసం కోడ్ రూపొందించబడకపోవడంతో, వేర్వేరు అమరికలతో అనేక పనివిధానాలను ఒకే ఫ్రంట్‌ఎండ్, బ్యాక్‌ఎండ్ ద్వారా సమాంతరంగా నడపగలిగేలా కోడ్‌ను రీఫ్యాక్టర్ చేసింది.

Astra పూర్తి అధ్యయనం చేసింది: చరిత్రకు 120,000, 480,000 అక్షరాల పరిమితులు; తాత్కాలిక నిల్వ, తెరచిత్రాలకు ఆరు విధానాలు. ప్రతి కలయికను నాలుగు మోడళ్లలో ఒక్కోదానిపై మూడేసి సార్లు పరీక్షించింది (దిగువ పట్టిక చూడండి). అత్యుత్తమంగా పనిచేసిన విధానంలో, తెరచిత్రాలు 20 వరకు చేరాక తాజాది మాత్రమే ఉంచి మిగతావి తొలగించారు. దీంతో తొలగింపుల మధ్య గత చరిత్ర ఎక్కువసేపు మారకుండా నిలిచింది. దీనికి అధిక చరిత్ర పరిమితిని జోడించడంతో మెరుగైన పనివిధానం ఏర్పడింది. ప్రతి అమరికలో ఒకే పని చేశారు: పబ్లిక్ డెమో కాటలాగ్‌లోని 32 పుస్తకాల్లో ఒక్కోదానికి ఆరు వివరాలను సేకరించడం. కొందరు Asana వినియోగదారులు StackAIలో చేసే పనులకు ఇది ప్రతినిధిగా ఎంచుకున్నారు.

GPT‑6 Astra పనివిధానాలను నడిపి, అభ్యర్థనలు, వినియోగ రికార్డులు, ఉత్పాదిత ఫలితాలను పరిశీలించింది. వేరే మోడల్ సెషన్లు ఈ పనిని సమీక్షించాయి. బృందం తర్వాత పూర్తి అధ్యయనాన్ని సమీక్షించేందుకు, ప్రతి సెషన్ అభ్యర్థనలు, డేటా జాడలు, ఫలితాలను Asana సాఫ్ట్‌వేర్ విడుదల వేదిక Command⁠(కొత్త విండోలో తెరుచుకుంటుంది)లో నమోదు చేశారు. Commandలోని నిర్ధారణలను పని అంశాలుగా, ఆపై కోడ్ విలీన అభ్యర్థనలుగా మార్చి, మార్పులను ప్రత్యక్ష వినియోగంలోకి తెచ్చారు.

మోడల్ Bలో మెరుగుదలలతో ఒక్కో అమలుకు అంచనా మోడల్ ఖర్చు కనీసం $36.21 నుంచి $1.24కు, అంటే 29 రెట్లు తగ్గింది. అసలు అమరికలో కొన్ని అమలులు పూర్తికాకుండానే దశల పరిమితిని చేరాయి. GPT‑6.1 Solపై మెరుగైన పనివిధానానికి ఖర్చు ఇంకా 2.6 రెట్లు తక్కువగా, $0.47గా ఉంది. మెరుగైన పనివిధానంలో ప్రతి అమలూ పనిని పూర్తి చేసి సరైన సమాధానం ఇచ్చింది.

GPT‑6.1 Solలోనే, అధిక చరిత్ర పరిమితితో కొత్త తాత్కాలిక నిల్వ, తెరచిత్ర విధానం వల్ల ఒక్కో అమలు ఖర్చు $1.97 నుంచి $0.47కు, అంటే 4 రెట్లు తగ్గింది. ప్రతి అభ్యర్థన ఖర్చు సుమారు 3 రెట్లు తగ్గింది. ఎందుకంటే ఇన్‌పుట్‌లో 89% తాత్కాలిక నిల్వ నుంచి వచ్చింది; దీని ధర, అలా నిల్వ చేయని ఇన్‌పుట్ ధరలో 5% మాత్రమే. అమలు వేగం కూడా పెరిగింది: మోడల్ B అసలు అమరికలో కనీసం 22.5 నిమిషాలు పట్టగా, GPT‑6.1 Sol మెరుగైన పనివిధానంలో సుమారు నాలుగు నిమిషాలే పట్టింది.

ఏజెంట్ అసలు సమాధానం ఇవ్వగలదా లేదా అన్నదానిపై కూడా చరిత్ర నిర్వహణ ప్రభావం చూపుతుందని పరిశోధన వెల్లడించింది. GPT‑6.1 Solకు బ్రౌజింగ్ చరిత్ర ఉంచుకునే పరిమితిని పెంచితే, సమాధానం ఇచ్చిన అమలుల సంఖ్య పెరిగింది. తక్కువ పరిమితిలో 18లో మూడు మాత్రమే సమాధానం ఇవ్వగా, అధిక పరిమితిలో మొత్తం 18 అమలులూ సరైన సమాధానం ఇచ్చాయి. నిర్వహణ ఖర్చులను భరించగల స్థాయిలో ఉంచుతూనే, వినియోగదారులకు వేగవంతమైన, మరింత సమర్థమైన మోడళ్లను అందించడమే దీని వ్యాపార విలువ అని హిడాల్గో భావిస్తున్నారు.

StackAIలో బ్రౌజర్ సంచారానికి చేసిన మార్పులను Asana విడుదల చేసింది. ఇలాంటి ప్రయోగాలను సులభంగా పునరావృతం చేసే సాధనాలను అభివృద్ధి చేస్తోంది. క్రమంగా ఈ పరీక్షలను వేదిక మూల్యాంకనాల్లో చేర్చాలని బృందం యోచిస్తోంది. దాంతో వినియోగదారులు, అంతర్గత బృందాలు తమ ఏజెంట్లను అమర్చేటప్పుడు ఖర్చు, అమలు సమయం, సమాధాన నాణ్యతను పోల్చవచ్చు.

ఇప్పుడు Asana ఉత్పత్తి ఫీచర్లను విడుదలకు ముందే పరీక్షించేందుకు Codexలో GPT‑6 Astraను వాడుతోంది. Astra వేదికలో సంచరించి, వేర్వేరు ఇన్‌పుట్‌లను ప్రయత్నించి, లోపాలను మానవ నాణ్యత సమీక్షకులకు నివేదిస్తుంది. అనేక క్లౌడ్ ఏజెంట్ సెషన్లు ఫీచర్లను సమాంతరంగా పరీక్షించే కొత్త సాఫ్ట్‌వేర్ అభివృద్ధి జీవచక్రానికి ఇది పునాది అని హిడాల్గో భావిస్తున్నారు.

పూర్తి అధ్యయనం Asana⁠(కొత్త విండోలో తెరుచుకుంటుంది) మరియు StackAI⁠(కొత్త విండోలో తెరుచుకుంటుంది) బ్లాగుల్లో అందుబాటులో ఉంది.