OpenAI యొక్క ఇన్-హౌస్ డేటా ఏజెంట్ లోపల

వ్యవస్థలు ఎలా నేర్చుకుంటాయో, ఉత్పత్తులు ఎలా అభివృద్ధి చెందుతాయో మరియు కంపెనీలు ఎలా ఎంపికలు చేసుకుంటాయో డేటా శక్తివంతం చేస్తుంది. కానీ త్వరగా, సరిగ్గా మరియు సరైన సందర్భంతో సమాధానాలు పొందడం తరచుగా ఉండాల్సిన దానికంటే కష్టం. OpenAI స్కేల్స్‌గా దీన్ని సులభతరం చేయడానికి, మేము మా స్వంత ప్లాట్‌ఫామ్‌పై అన్వేషించే మరియు కారణాలను వివరించే మా స్వంత బెస్పోక్ ఇన్-హౌస్ AI డేటా ఏజెంట్‌ను నిర్మించాము.

మా ఏజెంట్ అనేది OpenAI యొక్క డేటా, అనుమతులు మరియు వర్క్‌ఫ్లోల చుట్టూ ప్రత్యేకంగా రూపొందించబడిన కస్టమ్ అంతర్గత-మాత్రమే సాధనం (బాహ్య సమర్పణ కాదు). మా బృందాలలో రోజువారీ పనికి AI మద్దతు ఇవ్వగల నిజమైన, ప్రభావవంతమైన మార్గాల ఉపరితల ఉదాహరణలకు సహాయపడటానికి మేము దానిని ఎలా నిర్మించాము మరియు ఉపయోగించామో చూపిస్తున్నాము. మేము దీన్ని నిర్మించడానికి మరియు అమలు చేయడానికి ఉపయోగించిన OpenAI సాధనాలు (Codex, మా GPT‑5 ఫ్లాగ్‌షిప్ మోడల్, Evals API⁠(కొత్త విండోలో తెరుచుకుంటుంది) మరియు ఎంబెడ్డింగ్స్ API⁠(కొత్త విండోలో తెరుచుకుంటుంది)) మేము ప్రతిచోటా డెవలపర్‌లకు అందుబాటులో ఉంచే సాధనాలే.

మా డేటా ఏజెంట్ ఉద్యోగులను రోజుల్లో కాదు, నిమిషాల్లో ప్రశ్న నుండి అంతర్దృష్టికి వెళ్ళేలా చేస్తుంది. ఇది మా డేటా బృందం ద్వారానే కాకుండా అన్ని ఫంక్షన్లలో డేటా మరియు సూక్ష్మ విశ్లేషణను లాగడానికి బార్‌ను తగ్గిస్తుంది. నేడు, OpenAI లోని ఇంజనీరింగ్, డేటా సైన్స్, గో-టు-మార్కెట్, ఫైనాన్స్ మరియు పరిశోధన బృందాలు అధిక-ప్రభావ డేటా ప్రశ్నలకు సమాధానం ఇవ్వడానికి ఏజెంట్‌పై ఆధారపడతాయి. ఉదాహరణకు, సహజ భాష యొక్క సహజమైన ఆకృతి ద్వారా లాంచ్‌లను ఎలా మూల్యాంకనం చేయాలి మరియు వ్యాపార ఆరోగ్యాన్ని ఎలా అర్థం చేసుకోవాలి అనేదానికి సమాధానం ఇవ్వడానికి ఇది సహాయపడుతుంది. ఈ ఏజెంట్ Codex-ఆధారిత టేబుల్-స్థాయి జ్ఞానాన్ని ఉత్పత్తి మరియు సంస్థాగత సందర్భంతో మిళితం చేస్తాడు. దీని నిరంతరం నేర్చుకునే జ్ఞాపకశక్తి వ్యవస్థ అంటే ప్రతి మలుపుతోనూ ఇది మెరుగుపడుతుంది.

ఈ పోస్ట్‌లో, మనకు అనుకూలీకరించిన AI డేటా ఏజెంట్ ఎందుకు అవసరమో, దాని కోడ్-సుసంపన్నమైన డేటా సందర్భం మరియు స్వీయ-అభ్యాసాన్ని ఎందుకు ఉపయోగకరంగా చేస్తుంది మరియు ఆ మార్గంలో మనం నేర్చుకున్న పాఠాలను వివరిస్తాము.

OpenAI యొక్క డేటా ప్లాట్‌ఫామ్ ఇంజనీరింగ్, ఉత్పత్తి మరియు పరిశోధనలలో పనిచేస్తున్న 3.5k కంటే ఎక్కువ అంతర్గత వినియోగదారులకు సేవలు అందిస్తుంది, 70k డేటాసెట్‌లలో 600 పెటాబైట్‌లకు పైగా డేటాను విస్తరించి ఉంది. ఆ పరిమాణంలో, సరైన పట్టికను కనుగొనడం అనేది విశ్లేషణ చేయడంలో ఎక్కువ సమయం తీసుకునే భాగాలలో ఒకటి కావచ్చు.

ఒక అంతర్గత వినియోగదారు చెప్పినట్లుగా:

[[ఇండెంట్]]“మా దగ్గర చాలా సారూప్యమైన పట్టికలు ఉన్నాయి మరియు అవి ఎలా భిన్నంగా ఉన్నాయో మరియు దేనిని ఉపయోగించాలో తెలుసుకోవడానికి నేను టన్నుల కొద్దీ సమయాన్ని వెచ్చిస్తాను. కొన్నింటిలో లాగ్-అవుట్ చేసిన వినియోగదారులు ఉన్నారు, మరికొన్నింటిలో లాగ్-అవుట్ చేయరు. కొన్నింటికి అతివ్యాప్తి చెందుతున్న ఫీల్డ్‌లు ఉన్నాయి; ఏది ఏమిటో చెప్పడం కష్టం.”

సరైన పట్టికలను ఎంచుకున్నప్పటికీ, సరైన ఫలితాలను ఉత్పత్తి చేయడం సవాలుగా ఉంటుంది. పరివర్తనలు మరియు ఫిల్టర్‌లు సరిగ్గా వర్తింపజేయబడతాయని నిర్ధారించుకోవడానికి విశ్లేషకులు టేబుల్ డేటా మరియు టేబుల్ సంబంధాల గురించి తర్కించుకోవాలి. సాధారణ వైఫల్య మోడ్‌లు—చాలా నుండి చాలా వరకు జాయిన్‌లు, ఫిల్టర్ పుష్‌డౌన్ ఎర్రర్‌లు మరియు హ్యాండిల్ చేయని శూన్యాలు—ఫలితాలను నిశ్శబ్దంగా చెల్లనివిగా చేస్తాయి. OpenAI స్థాయిలో, విశ్లేషకులు SQL సెమాంటిక్స్ లేదా ప్రశ్న పనితీరును డీబగ్ చేయడానికి సమయం కేటాయించాల్సిన అవసరం లేదు: వారి దృష్టి కొలమానాలను నిర్వచించడం, అంచనాలను ధృవీకరించడం మరియు డేటా ఆధారిత నిర్ణయాలు తీసుకోవడంపై ఉండాలి.

మన ఏజెంట్ ఎవరు, అతను సందర్భాన్ని ఎలా క్యూరేట్ చేస్తాడు మరియు అతను ఎలా స్వీయ-మెరుగుదల సాధిస్తూ ఉంటాడో చూద్దాం.

మా ఏజెంట్ GPT‑5.2 ద్వారా ఆధారితమైనది మరియు OpenAI యొక్క డేటా ప్లాట్‌ఫారమ్‌పై తర్కించటానికి రూపొందించబడింది. ఇది ఉద్యోగులు ఇప్పటికే పనిచేస్తున్న ప్రతిచోటా అందుబాటులో ఉంటుంది: స్లాక్ ఏజెంట్‌గా, వెబ్ ఇంటర్‌ఫేస్ ద్వారా, IDEల లోపల, MCP ద్వారా Codex CLI⁠(కొత్త విండోలో తెరుచుకుంటుంది)లో మరియు MCP కనెక్టర్ ద్వారా నేరుగా OpenAI యొక్క అంతర్గత ChatGPT యాప్‌లో⁠(కొత్త విండోలో తెరుచుకుంటుంది).

వినియోగదారులు సంక్లిష్టమైన, ఓపెన్-ఎండ్ ప్రశ్నలను అడగవచ్చు, వీటికి సాధారణంగా బహుళ రౌండ్ల మాన్యువల్ అన్వేషణ అవసరం. ఈ ఉదాహరణ ప్రాంప్ట్‌ను తీసుకోండి, ఇది పరీక్ష డేటా సెట్‌ను ఉపయోగిస్తుంది: “NYC టాక్సీ ట్రిప్‌ల కోసం, ఏ పికప్-టు-డ్రాప్-ఆఫ్ జిప్ జతలు అత్యంత నమ్మదగనివి, సాధారణ మరియు చెత్త ప్రయాణ సమయాల మధ్య అతిపెద్ద అంతరం ఉంటుంది మరియు ఆ వైవిధ్యం ఎప్పుడు సంభవిస్తుంది?”

ఏజెంట్ ప్రశ్నను అర్థం చేసుకోవడం నుండి డేటాను అన్వేషించడం, ప్రశ్నలను అమలు చేయడం మరియు ఫలితాలను సంశ్లేషణ చేయడం వరకు విశ్లేషణను పూర్తి స్థాయిలో నిర్వహిస్తాడు.

ఏజెంట్ యొక్క సూపర్ పవర్స్‌లో ఒకటి అతను సమస్యల ద్వారా ఎలా కారణమవుతాడు అనేది. స్థిర స్క్రిప్ట్‌ను అనుసరించడానికి బదులుగా, ఏజెంట్ తన పురోగతిని తానే అంచనా వేసుకుంటాడు. ఇంటర్మీడియట్ ఫలితం తప్పుగా కనిపిస్తే (ఉదాహరణకు, తప్పు జాయిన్ లేదా ఫిల్టర్ కారణంగా దానికి సున్నా వరుసలు ఉంటే), ఏజెంట్ ఏమి తప్పు జరిగిందో పరిశోధించి, దాని విధానాన్ని సర్దుబాటు చేసి, మళ్ళీ ప్రయత్నిస్తాడు. ఈ ప్రక్రియ అంతటా, ఇది పూర్తి సందర్భాన్ని నిలుపుకుంటుంది మరియు దశల మధ్య అభ్యాసాలను ముందుకు తీసుకువెళుతుంది. ఈ క్లోజ్డ్-లూప్, స్వీయ-అభ్యాస ప్రక్రియ వినియోగదారు నుండి ఏజెంట్‌లోకి పునరుక్తిని మారుస్తుంది, మాన్యువల్ వర్క్‌ఫ్లోల కంటే వేగవంతమైన ఫలితాలను మరియు స్థిరంగా అధిక-నాణ్యత విశ్లేషణలను అనుమతిస్తుంది.

ఏజెంట్ పూర్తి విశ్లేషణ వర్క్‌ఫ్లోను కవర్ చేస్తాడు: డేటాను కనుగొనడం, SQLను అమలు చేయడం మరియు నోట్‌బుక్‌లు మరియు నివేదికలను ప్రచురించడం. ఇది అంతర్గత కంపెనీ జ్ఞానాన్ని అర్థం చేసుకుంటుంది, బాహ్య సమాచారం కోసం వెబ్ శోధన చేయగలదు మరియు నేర్చుకున్న వినియోగం మరియు జ్ఞాపకశక్తి ద్వారా కాలక్రమేణా మెరుగుపడుతుంది.

అధిక-నాణ్యత సమాధానాలు గొప్ప, ఖచ్చితమైన సందర్భంపై ఆధారపడి ఉంటాయి. సందర్భం లేకుండా, బలమైన మోడల్‌లు కూడా తప్పుడు ఫలితాలను ఇవ్వగలవు, ఉదాహరణకు వినియోగదారు గణనలను తప్పుగా అంచనా వేయడం లేదా అంతర్గత పరిభాషను తప్పుగా అర్థం చేసుకోవడం.

ఈ వైఫల్య విధానాలను నివారించడానికి, ఏజెంట్ OpenAI యొక్క డేటా మరియు సంస్థాగత పరిజ్ఞానంపై ఆధారపడిన బహుళ పొరల సందర్భం చుట్టూ నిర్మించబడింది.

• మెటాడేటా గ్రౌండింగ్: SQL రచనను తెలియజేయడానికి ఏజెంట్ స్కీమా మెటాడేటా (కాలమ్ పేర్లు మరియు డేటా రకాలు)పై ఆధారపడతాడు మరియు విభిన్న పట్టికలు ఎలా సంబంధం కలిగి ఉన్నాయో సందర్భాన్ని అందించడానికి టేబుల్ వంశాన్ని (ఉదా., అప్‌స్ట్రీమ్ మరియు డౌన్‌స్ట్రీమ్ టేబుల్ సంబంధాలు) ఉపయోగిస్తాడు.
• ప్రశ్న అనుమితి: చారిత్రక ప్రశ్నలను తీసుకోవడం వలన ఏజెంట్ తన సొంత ప్రశ్నలను ఎలా వ్రాయాలో మరియు ఏ పట్టికలు సాధారణంగా కలిసి ఉంటాయో అర్థం చేసుకోవడానికి సహాయపడుతుంది.

• డొమైన్ నిపుణులు అందించిన పట్టికలు మరియు నిలువు వరుసల యొక్క క్యూరేటెడ్ వివరణలు, స్కీమాలు లేదా గత ప్రశ్నల నుండి సులభంగా ఊహించలేని ఉద్దేశం, అర్థశాస్త్రం, వ్యాపార అర్థం మరియు తెలిసిన హెచ్చరికలను సంగ్రహించడం.

మెటాడేటా ఒక్కటే సరిపోదు. పట్టికలను నిజంగా వేరు చేయడానికి, అవి ఎలా సృష్టించబడ్డాయో మరియు అవి ఎక్కడ ఉద్భవించాయో మీరు అర్థం చేసుకోవాలి.

• పట్టిక యొక్క కోడ్-స్థాయి నిర్వచనాన్ని పొందడం ద్వారా, ఏజెంట్ డేటా వాస్తవానికి ఏమి కలిగి ఉందో లోతైన అవగాహనను ఏర్పరుస్తాడు. 
  • పట్టికలో ఏమి నిల్వ చేయబడుతుందో మరియు అది విశ్లేషణ ఈవెంట్ నుండి ఎలా పొందబడిందో అనే దానిపై సూక్ష్మ నైపుణ్యాలు అదనపు సమాచారాన్ని అందిస్తాయి. ఉదాహరణకు, ఇది విలువల ప్రత్యేకత, టేబుల్ డేటా ఎంత తరచుగా నవీకరించబడుతుందో, డేటా యొక్క పరిధి (ఉదా., టేబుల్ కొన్ని ఫీల్డ్‌లను మినహాయించినట్లయితే, అది ఈ స్థాయి గ్రాన్యులారిటీని కలిగి ఉంటుంది) మొదలైన వాటిపై సందర్భాన్ని ఇవ్వగలదు.
• ఇది స్పార్క్, పైథాన్ మరియు ఇతర డేటా సిస్టమ్‌లలో SQL దాటి పట్టిక ఎలా ఉపయోగించబడుతుందో చూపించడం ద్వారా మెరుగైన వినియోగ సందర్భాన్ని అందిస్తుంది.
• దీని అర్థం ఏజెంట్ సారూప్యంగా కనిపించే కానీ కీలకమైన మార్గాల్లో భిన్నంగా ఉండే పట్టికల మధ్య తేడాను గుర్తించగలడు. ఉదాహరణకు, ఒక టేబుల్‌లో ఫస్ట్-పార్టీ ChatGPT ట్రాఫిక్ మాత్రమే ఉందో లేదో అది చెప్పగలదు. ఈ సందర్భం కూడా స్వయంచాలకంగా రిఫ్రెష్ చేయబడుతుంది, కాబట్టి ఇది మాన్యువల్ నిర్వహణ లేకుండా తాజాగా ఉంటుంది.

• ఏజెంట్ స్లాక్, గూగుల్ డాక్స్ మరియు నోషన్‌లను యాక్సెస్ చేయగలడు, ఇవి లాంచ్‌లు, విశ్వసనీయత సంఘటనలు, అంతర్గత కోడ్‌నేమ్‌లు మరియు సాధనాలు మరియు కీలక మెట్రిక్‌ల కోసం కానానికల్ నిర్వచనాలు మరియు గణన తర్కం వంటి కీలకమైన కంపెనీ సందర్భాన్ని సంగ్రహిస్తాయి.
• ఈ పత్రాలు మెటాడేటా మరియు అనుమతులతో అంతర్గ్రహించబడతాయి, పొందుపరచబడతాయి మరియు నిల్వ చేయబడతాయి. ఒక రిట్రీవల్ సర్వీస్ రన్‌టైమ్‌లో యాక్సెస్ కంట్రోల్ మరియు కాషింగ్‌ను నిర్వహిస్తుంది, ఏజెంట్ ఈ సమాచారాన్ని సమర్థవంతంగా మరియు సురక్షితంగా లాగడానికి వీలు కల్పిస్తుంది.

• ఏజెంట్‌కు దిద్దుబాట్లు ఇచ్చినప్పుడు లేదా కొన్ని డేటా ప్రశ్నల గురించి సూక్ష్మ నైపుణ్యాలను కనుగొన్నప్పుడు, అది ఈ అభ్యాసాలను తదుపరి సారి సేవ్ చేయగలదు, తద్వారా దాని వినియోగదారులతో నిరంతరం మెరుగుపడటానికి వీలు కల్పిస్తుంది. 
  • ఫలితంగా, భవిష్యత్తు సమాధానాలు ఒకే సమస్యలను పదే పదే ఎదుర్కోవడం కంటే మరింత ఖచ్చితమైన బేస్‌లైన్ నుండి ప్రారంభమవుతాయి.
  • డేటా ఖచ్చితత్వానికి కీలకమైన కానీ ఇతర లేయర్‌ల నుండి మాత్రమే ఊహించడం కష్టతరమైన స్పష్టమైన దిద్దుబాట్లు, ఫిల్టర్‌లు మరియు పరిమితులను నిలుపుకోవడం మరియు తిరిగి ఉపయోగించడం మెమరీ లక్ష్యం. 
  • ఉదాహరణకు, ఒక సందర్భంలో, ఏజెంట్‌కు ఒక నిర్దిష్ట విశ్లేషణ ప్రయోగం కోసం ఎలా ఫిల్టర్ చేయాలో తెలియదు (ఇది ప్రయోగాత్మక గేట్‌లో నిర్వచించబడిన నిర్దిష్ట స్ట్రింగ్‌తో సరిపోలికపై ఆధారపడింది). సరిగ్గా ఫిల్టర్ చేయగలిగేలా చూసుకోవడానికి, అస్పష్టంగా సరిపోలికను స్ట్రింగ్ చేయడానికి ప్రయత్నించే బదులు, మెమరీ ఇక్కడ చాలా ముఖ్యమైనది.
• మీరు ఏజెంట్‌కి దిద్దుబాటు ఇచ్చినప్పుడు లేదా మీ సంభాషణ నుండి వారు ఏదైనా నేర్చుకున్నప్పుడు, ఆ జ్ఞాపకాన్ని తదుపరి సారి సేవ్ చేయమని అది మిమ్మల్ని ప్రాంప్ట్ చేస్తుంది.
  • జ్ఞాపకాలను వినియోగదారులు మాన్యువల్‌గా సృష్టించవచ్చు మరియు సవరించవచ్చు.
  • జ్ఞాపకాలు ప్రపంచ మరియు వ్యక్తిగత స్థాయిలో స్కోప్ చేయబడతాయి మరియు ఏజెంట్ యొక్క సాధనం వాటిని సవరించడాన్ని సులభతరం చేస్తుంది.

• పట్టికకు ముందస్తు సందర్భం లేనప్పుడు లేదా ఉన్న సమాచారం పాతదిగా ఉన్నప్పుడు, ఏజెంట్ పట్టికను నేరుగా తనిఖీ చేయడానికి మరియు ప్రశ్నించడానికి డేటా వేర్‌హౌస్‌కు ప్రత్యక్ష ప్రశ్నలను జారీ చేయవచ్చు. ఇది స్కీమాలను ధృవీకరించడానికి, డేటాను నిజ సమయంలో అర్థం చేసుకోవడానికి మరియు తదనుగుణంగా స్పందించడానికి అనుమతిస్తుంది.
• గిడ్డంగి వెలుపల ఉన్న విస్తృత డేటా సందర్భాన్ని పొందడానికి అవసరమైన విధంగా ఏజెంట్ ఇతర డేటా ప్లాట్‌ఫామ్ వ్యవస్థలతో (మెటాడేటా సర్వీస్, ఎయిర్‌ఫ్లో, స్పార్క్) కూడా మాట్లాడగలరు.

మేము పట్టిక వినియోగం, మానవ ఉల్లేఖనాలు మరియు ‌‌Codex-ఉత్పన్న సుసంపన్నతను ఒకే, సాధారణీకరించిన ప్రాతినిధ్యంగా సమగ్రపరిచే రోజువారీ ఆఫ్‌లైన్ పైప్‌లైన్‌ను నడుపుతాము. ఈ సుసంపన్నమైన సందర్భం OpenAI ఎంబెడ్డింగ్స్ APIని⁠(కొత్త విండోలో తెరుచుకుంటుంది) ఉపయోగించి ఎంబెడ్డింగ్‌లుగా మార్చబడుతుంది మరియు తిరిగి పొందడం కోసం నిల్వ చేయబడుతుంది. ప్రశ్న సమయంలో, ఏజెంట్ ముడి మెటాడేటా లేదా లాగ్‌లను స్కాన్ చేయడానికి బదులుగా రిట్రీవల్-ఆగ్మెంటెడ్ జనరేషన్⁠(కొత్త విండోలో తెరుచుకుంటుంది) (RAG) ద్వారా అత్యంత సంబంధిత ఎంబెడెడ్ సందర్భాన్ని మాత్రమే లాగుతుంది. ఇది పదివేల టేబుల్‌లలో కూడా టేబుల్ అవగాహనను వేగంగా మరియు స్కేలబుల్‌గా చేస్తుంది, అదే సమయంలో రన్‌టైమ్ జాప్యాన్ని ఊహించదగినదిగా మరియు తక్కువగా ఉంచుతుంది. అవసరమైన విధంగా మా డేటా వేర్‌హౌస్‌కు రన్‌టైమ్ ప్రశ్నలు ప్రత్యక్షంగా జారీ చేయబడతాయి.

ఈ పొరలు కలిసి, ఏజెంట్ యొక్క రిజనింగ్ OpenAI యొక్క డేటా, కోడ్ మరియు సంస్థాగత పరిజ్ఞానంపై ఆధారపడి ఉందని నిర్ధారిస్తాయి, లోపాలను నాటకీయంగా తగ్గిస్తాయి మరియు సమాధాన నాణ్యతను మెరుగుపరుస్తాయి.

సమస్య స్పష్టంగా ఉన్నప్పుడు వన్-షాట్ సమాధానాలు పనిచేస్తాయి, కానీ చాలా ప్రశ్నలు అలా ఉండవు. చాలా తరచుగా, సరైన ఫలితాన్ని చేరుకోవడానికి ముందుకు వెనుకకు శుద్ధీకరణ మరియు కొంత కోర్సు దిద్దుబాటు అవసరం.

మీరు తర్కించగల సహచరుడిలా ప్రవర్తించేలా ఏజెంట్ నిర్మించబడ్డాడు. ఇది సంభాషణాత్మకమైనది, ఎల్లప్పుడూ ఆన్‌లో ఉంటుంది మరియు శీఘ్ర సమాధానాలు మరియు పునరావృత అన్వేషణ రెండింటినీ నిర్వహిస్తుంది.

ఇది మలుపుల్లో పూర్తి సందర్భాన్ని తీసుకువెళుతుంది, కాబట్టి వినియోగదారులు ప్రతిదాన్ని తిరిగి చెప్పకుండానే తదుపరి ప్రశ్నలను అడగవచ్చు, వారి ఉద్దేశాన్ని సర్దుబాటు చేసుకోవచ్చు లేదా దిశను మార్చుకోవచ్చు. ఏజెంట్ తప్పుడు మార్గంలో వెళ్లడం ప్రారంభిస్తే, వినియోగదారులు విశ్లేషణ మధ్యలో అంతరాయం కలిగించి దానిని దారి మళ్లించవచ్చు, ముందుకు సాగడానికి బదులుగా వినే మానవ సహకారితో కలిసి పనిచేసినట్లే.

సూచనలు అస్పష్టంగా లేదా అసంపూర్ణంగా ఉన్నప్పుడు, ఏజెంట్ ముందుగానే స్పష్టమైన ప్రశ్నలను అడుగుతాడు. ప్రతిస్పందన అందించకపోతే, పురోగతి సాధించడానికి ఇది సరైన డిఫాల్ట్‌లను వర్తింపజేస్తుంది. ఉదాహరణకు, తేదీ పరిధి పేర్కొనకుండా వ్యాపార వృద్ధి గురించి వినియోగదారు అడిగితే, అది గత ఏడు లేదా 30 రోజులుగా భావించవచ్చు. ఈ ప్రియర్స్ సరైన ఫలితంపై కలుస్తూనే ప్రతిస్పందించేలా మరియు నిరోధించకుండా ఉండటానికి అనుమతిస్తాయి.

ఫలితంగా మీకు ఏమి కావాలో ఖచ్చితంగా తెలిసినప్పుడు (ఉదా., “ఈ టేబుల్ గురించి నాకు చెప్పండి”) మరియు మీరు అన్వేషిస్తున్నప్పుడు (ఉదా., “నేను ఇక్కడ తగ్గుదల చూస్తున్నాను, దీనిని కస్టమర్ రకం మరియు కాలపరిమితి ఆధారంగా మనం విభజించవచ్చా?”) రెండింటిలోనూ బాగా పనిచేసే ఏజెంట్ ఏర్పడుతుంది. 

విడుదల తర్వాత, వినియోగదారులు తరచుగా పునరావృతమయ్యే పని కోసం ఒకే విశ్లేషణలను అమలు చేస్తున్నారని మేము గమనించాము. దీన్ని వేగవంతం చేయడానికి, ఏజెంట్ యొక్క వర్క్‌ఫ్లోలు పునరావృత విశ్లేషణలను పునర్వినియోగ సూచన సెట్‌లుగా ప్యాకేజీ చేస్తాయి. ఉదాహరణలలో వారపు వ్యాపార నివేదికల కోసం వర్క్‌ఫ్లోలు మరియు పట్టిక ధ్రువీకరణలు ఉన్నాయి. సందర్భం మరియు ఉత్తమ పద్ధతులను ఒకసారి ఎన్‌కోడ్ చేయడం ద్వారా, వర్క్‌ఫ్లోలు పునరావృత విశ్లేషణలను క్రమబద్ధీకరిస్తాయి మరియు వినియోగదారులలో స్థిరమైన ఫలితాలను నిర్ధారిస్తాయి.

ఎల్లప్పుడూ ఆన్‌లో ఉండే, పరిణామం చెందుతున్న ఏజెంట్‌ను నిర్మించడం అంటే నాణ్యత ఎంత సులభంగా మెరుగుపడుతుందో అంతే సులభంగా కూడా తగ్గిపోతుంది. గట్టి ఫీడ్‌బ్యాక్ లూప్ లేకుండా, తిరోగమనాలు అనివార్యం మరియు కనిపించవు. నమ్మకాన్ని వమ్ము చేయకుండా సామర్థ్యాన్ని స్కేల్ చేయడానికి ఏకైక మార్గం క్రమబద్ధమైన మూల్యాంకనం.

ఈ విభాగంలో, ఏజెంట్ ప్రతిస్పందన నాణ్యతను కొలవడానికి మరియు రక్షించడానికి మేము OpenAI యొక్క Evals APIని⁠(కొత్త విండోలో తెరుచుకుంటుంది) ఎలా ఉపయోగించాలో చర్చిస్తాము.

దీని ఎవాల్స్ ప్రశ్న-జవాబు జతల క్యూరేటెడ్ సెట్‌లపై నిర్మించబడ్డాయి. ప్రతి ప్రశ్న మనం సరిగ్గా రాయడం గురించి చాలా శ్రద్ధ వహించే ముఖ్యమైన మెట్రిక్ లేదా విశ్లేషణాత్మక నమూనాను లక్ష్యంగా చేసుకుంటుంది, ఇది ఊహించిన ఫలితాన్ని ఉత్పత్తి చేసే మాన్యువల్‌గా రచించిన "గోల్డెన్" SQL ప్రశ్నతో జత చేయబడింది. ప్రతి eval కోసం, మేము సహజ భాషా ప్రశ్నను దాని క్వెరీ-జనరేషన్ ఎండ్ పాయింట్‌కి పంపుతాము, జనరేట్ చేయబడిన SQLను అమలు చేస్తాము మరియు అవుట్‌పుట్‌ను ఆశించిన SQL ఫలితంతో పోల్చాము.

మూల్యాంకనం సరళమైన స్ట్రింగ్ మ్యాచింగ్‌పై ఆధారపడి ఉండదు. ఉత్పత్తి చేయబడిన SQL సరైనదే అయినప్పటికీ వాక్యనిర్మాణపరంగా భిన్నంగా ఉండవచ్చు మరియు ఫలిత సెట్లలో సమాధానాన్ని గణనీయంగా ప్రభావితం చేయని అదనపు నిలువు వరుసలు ఉండవచ్చు. దీనిని లెక్కించడానికి, మేము SQL మరియు ఫలిత డేటా రెండింటినీ పోల్చి, ఈ సంకేతాలను OpenAI యొక్క Evals గ్రేడర్‌లోకి ఫీడ్ చేస్తాము. గ్రేడర్ వివరణతో పాటు తుది స్కోర్‌ను ఉత్పత్తి చేస్తాడు, ఇది సరైనది మరియు ఆమోదయోగ్యమైన వైవిధ్యం రెండింటినీ సంగ్రహిస్తుంది.

ఈ అంచనాలు ఉత్పత్తిలో కానరీలుగా తిరోగమనాలను గుర్తించడానికి అభివృద్ధి సమయంలో నిరంతరం నడిచే యూనిట్ పరీక్షల వంటివి; ఇది ఏజెంట్ సామర్థ్యాలు విస్తరిస్తున్న కొద్దీ సమస్యలను ముందుగానే పట్టుకోవడానికి మరియు నమ్మకంగా పునరావృతం చేయడానికి మాకు అనుమతిస్తుంది.

మా ఏజెంట్ OpenAI యొక్క ప్రస్తుత భద్రత మరియు యాక్సెస్-నియంత్రణ మోడల్‌లోకి నేరుగా ప్లగ్ చేస్తాడు. ఇది పూర్తిగా ఇంటర్‌ఫేస్ లేయర్‌గా పనిచేస్తుంది, OpenAI డేటాను నియంత్రించే అదే అనుమతులు మరియు గార్డ్‌రైల్‌లను వారసత్వంగా పొందుతుంది మరియు అమలు చేస్తుంది. 

ఏజెంట్ యొక్క అన్ని యాక్సెస్‌లు ఖచ్చితంగా పాస్-త్రూగా ఉంటాయి, అంటే వినియోగదారులు ఇప్పటికే యాక్సెస్ చేయడానికి అనుమతి ఉన్న పట్టికలను మాత్రమే ప్రశ్నించగలరు. యాక్సెస్ లేనప్పుడు, ఇది దీన్ని ఫ్లాగ్ చేస్తుంది లేదా వినియోగదారు ఉపయోగించడానికి అధికారం ఉన్న ప్రత్యామ్నాయ డేటాసెట్‌లకు తిరిగి వస్తుంది.

చివరగా, ఇది పారదర్శకత కోసం నిర్మించబడింది. ఏ వ్యవస్థ లాగే, ఇది కూడా తప్పులు చేయగలదు. ప్రతి సమాధానంతో పాటు ఊహలు మరియు అమలు దశలను సంగ్రహించడం ద్వారా ఇది దాని రిజనింగ్ ప్రక్రియను బహిర్గతం చేస్తుంది. ప్రశ్నలు అమలు చేయబడినప్పుడు, ఇది నేరుగా అంతర్లీన ఫలితాలకు లింక్ చేస్తుంది, వినియోగదారులు ముడి డేటాను తనిఖీ చేయడానికి మరియు విశ్లేషణ యొక్క ప్రతి దశను ధృవీకరించడానికి అనుమతిస్తుంది.

మా ఏజెంట్‌ను మొదటి నుండి నిర్మించడం వల్ల ఏజెంట్లు ఎలా ప్రవర్తిస్తారు, వారు ఎక్కడ ఇబ్బంది పడుతున్నారు మరియు స్థాయిలో వారిని నమ్మదగినదిగా చేసే దాని గురించి ఆచరణాత్మక పాఠాలు బయటపడ్డాయి.

ప్రారంభంలోనే, మేము మా పూర్తి టూల్ సెట్‌ను ఏజెంట్‌కు చూపించాము మరియు అతివ్యాప్తి చెందుతున్న కార్యాచరణతో త్వరగా సమస్యలను ఎదుర్కొన్నాము. ఈ రిడెండెన్సీ నిర్దిష్ట కస్టమ్ కేసులకు ఉపయోగకరంగా ఉంటుంది మరియు మాన్యువల్‌గా ఇన్వోక్ చేసేటప్పుడు మానవుడికి మరింత స్పష్టంగా కనిపిస్తుంది, ఇది ఏజెంట్లకు గందరగోళంగా ఉంటుంది. అస్పష్టతను తగ్గించడానికి మరియు విశ్వసనీయతను మెరుగుపరచడానికి, మేము కొన్ని టూల్ కాల్‌లను పరిమితం చేసి ఏకీకృతం చేసాము.

అధిక నిర్దేశిత ప్రాంప్టింగ్ అధోకరణ ఫలితాలను కూడా మేము కనుగొన్నాము. చాలా ప్రశ్నలు సాధారణ విశ్లేషణాత్మక ఆకారాన్ని పంచుకున్నప్పటికీ, వివరాలు చాలా మారుతూ ఉంటాయి, కఠినమైన సూచనలు తరచుగా ఏజెంట్‌ను తప్పుడు మార్గాల్లోకి నెట్టివేస్తాయి. ఉన్నత స్థాయి మార్గదర్శకత్వానికి మారడం ద్వారా మరియు తగిన అమలు మార్గాన్ని ఎంచుకోవడానికి GPT‑5 యొక్క రిజనింగ్‌పై ఆధారపడటం ద్వారా, ఏజెంట్ మరింత దృఢంగా మారి మెరుగైన ఫలితాలను అందించాడు.

స్కీమాలు మరియు ప్రశ్న చరిత్ర పట్టిక ఆకారం మరియు వినియోగాన్ని వివరిస్తాయి, కానీ దాని నిజమైన అర్థం దానిని ఉత్పత్తి చేసే కోడ్‌లో ఉంటుంది. పైప్‌లైన్ లాజిక్ SQL లేదా మెటాడేటాలో ఎప్పుడూ కనిపించని అంచనాలు, తాజాదనం హామీలు మరియు వ్యాపార ఉద్దేశాన్ని సంగ్రహిస్తుంది. Codex తో కోడ్‌బేస్‌ను క్రాల్ చేయడం ద్వారా, మా ఏజెంట్ డేటాసెట్‌లు వాస్తవానికి ఎలా నిర్మించబడ్డాయో అర్థం చేసుకుంటారు మరియు ప్రతి పట్టికలో వాస్తవానికి ఏమి ఉందో బాగా తర్కించగలరు. ఇది గిడ్డంగి సంకేతాల కంటే “ఇక్కడ ఏముంది” మరియు “నేను ఎప్పుడు ఉపయోగించగలను” అనే ప్రశ్నలకు చాలా ఖచ్చితంగా సమాధానం ఇవ్వగలదు. 

అస్పష్టమైన ప్రశ్నలను నిర్వహించే సామర్థ్యాన్ని పెంచడం, బలమైన ధ్రువీకరణలతో దాని విశ్వసనీయత మరియు ఖచ్చితత్వాన్ని మెరుగుపరచడం మరియు వర్క్‌ఫ్లోలలో మరింత లోతుగా సమగ్రపరచడం ద్వారా మా ఏజెంట్‌ను మెరుగుపరచడానికి మేము నిరంతరం కృషి చేస్తున్నాము. ఇది ఒక ప్రత్యేక సాధనంలా పనిచేయడానికి బదులుగా, ప్రజలు ఇప్పటికే ఎలా పని చేస్తున్నారో దానిలో సహజంగా కలిసిపోవాలని మేము విశ్వసిస్తున్నాము.

ఏజెంట్ తార్కికం, ధ్రువీకరణ మరియు స్వీయ-దిద్దుబాటులో అంతర్లీన మెరుగుదలల నుండి మా సాధనం ప్రయోజనం పొందుతూనే ఉంటుంది, మా బృందం లక్ష్యం అలాగే ఉంటుంది: OpenAI యొక్క డేటా పర్యావరణ వ్యవస్థ అంతటా వేగవంతమైన, విశ్వసనీయ డేటా విశ్లేషణను సజావుగా అందించడం.