Brenda agjentit të brendshëm të të dhënave të OpenAI

Të dhënat fuqizojnë mënyrën se si sistemet mësojnë, produktet zhvillohen dhe si kompanitë marrin vendime. Por të marrësh përgjigje shpejt, saktë dhe me kontekstin e duhur shpesh është më e vështirë sesa duhet. Për ta bërë këtë më të lehtë ndërsa OpenAI zgjerohet, ndërtuam agjentin tonë të personalizuar të të dhënave IA të brendshëm që eksploron dhe arsyeton mbi platformën tonë.

Agjenti ynë është një mjet i personalizuar vetëm për përdorim të brendshëm (jo një ofertë e jashtme), i ndërtuar posaçërisht rreth të dhënave, lejeve dhe cikleve të punës të OpenAI. Po tregojmë se si e ndërtuam dhe e përdorim për të ndihmuar në nxjerrjen në pah të shembujve të mënyrave reale dhe me ndikim se si IA mund të mbështesë punën e përditshme në ekipet tona. Mjetet e OpenAI që përdorëm për ta ndërtuar dhe ekzekutuar (Codex, modeli ynë kryesor GPT‑5, Evals API⁠(hapet në një dritare të re) dhe Embeddings API⁠(hapet në një dritare të re)) janë të njëjtat mjete që i vëmë në dispozicion të zhvilluesve kudo.

Agjenti ynë i të dhënave u lejon punonjësve të kalojnë nga pyetja te përfundimi për disa minuta, jo ditë. Kjo e bën më të lehtë tërheqjen e të dhënave dhe analizën e nuancuar në të gjitha funksionet, jo vetëm nga ekipi ynë i të dhënave. Sot, ekipet e inxhinierisë, shkencës së të dhënave, daljes në treg, financës dhe kërkimit në OpenAI mbështeten te agjenti për t'iu përgjigjur pyetjeve të të dhënave me ndikim të lartë. Për shembull, mund të ndihmojë të përgjigjesh se si të vlerësosh lançimet dhe të kuptosh shëndetin e biznesit, të gjitha përmes formatit intuitiv të gjuhës natyrore. Agjenti kombinon informacione të mundësuara nga Codex në nivel tabele me kontekstin e produktit dhe organizatës. Sistemi i tij i memories që mëson vazhdimisht do të thotë se ai gjithashtu përmirësohet me çdo rrotullim.

Në këtë postim, do të shpjegojmë pse na duhej një agjent i personalizuar i të dhënave IA, çfarë e bën kontekstin e tij të të dhënave të pasuruar me kod dhe vetë-mësimin kaq të dobishëm, dhe mësimet që mësuam gjatë rrugës.

Platforma e të dhënave e OpenAI u shërben më shumë se 3,5 mijë përdoruesve të brendshëm që punojnë në inxhinieri, produkte dhe kërkim, duke përfshirë mbi 600 petabajtë të dhënash në 70 mijë grupe të dhënash. Në atë madhësi, thjesht gjetja e tabelës së duhur mund të jetë një nga pjesët më të lodhshme dhe që kërkojnë më shumë kohë gjatë kryerjes së analizës.

Siç e shprehu një përdorues i brendshëm:

“Kemi shumë tabela që janë mjaft të ngjashme dhe kaloj shumë kohë duke u përpjekur të kuptoj se si ndryshojnë dhe cilën të përdor. Disa përfshijnë përdorues të çidentifikuar, disa nuk i përfshijnë. "Disa kanë fusha që mbivendosen; është e vështirë të dallosh se çfarë është çfarë.”

Edhe me tabelat e sakta të përzgjedhura, prodhimi i rezultateve të sakta mund të jetë sfidues. Analistët duhet të mendojnë për të dhënat e tabelës dhe marrëdhëniet e tabelës për të siguruar që transformimet dhe filtrat të aplikohen saktë. Mënyrat e zakonshme të dështimit—bashkime shumë-me-shumë, gabime në shtyrjen e filtrit dhe vlera nul të papërpunuara—mund të bëjnë që rezultatet të jenë të pavlefshme pa u vënë re. Në nivelin e OpenAI, analistët nuk duhet të humbasin kohë duke debuguar semantikën e SQL ose performancën e pyetjeve: fokusi i tyre duhet të jetë në përcaktimin e metrikave, vërtetimin e supozimeve dhe marrjen e vendimeve të bazuara në të dhëna.

Le të kalojmë nëpër atë se çfarë është agjenti ynë, si e kuron kontekstin dhe si vazhdon të përmirësohet vetë.

Agjenti ynë është i mundësuar nga GPT‑5.2 dhe është projektuar për të arsyetuar mbi platformën e të dhënave të OpenAI. Është i disponueshëm kudo ku punonjësit tashmë punojnë: si një agjent në Slack, përmes një ndërfaqeje në ueb, brenda IDE-ve, në Codex CLI përmes MCP⁠(hapet në një dritare të re), dhe drejtpërdrejt në aplikacionin e brendshëm ChatGPT të OpenAI përmes një lidhësi MCP⁠(hapet në një dritare të re).

Përdoruesit mund të bëjnë pyetje komplekse, të hapura, të cilat zakonisht do të kërkonin disa raunde eksplorimi manual. Merr këtë shembull kërkese, i cili përdor një grup të dhënash testimi: “Për udhëtimet me taksi në NYC, cilat çifte ZIP nga marrja te lënia janë më të pasigurta, me hendekun më të madh midis kohëve tipike dhe më të këqija të udhëtimit, dhe kur ndodh ajo ndryshueshmëri?”

Agjenti e trajton analizën nga fillimi në fund, nga kuptimi i pyetjes te eksplorimi i të dhënave, ekzekutimi i kërkesave dhe sintetizimi i gjetjeve.

Një nga superfuqitë e agjentit është mënyra se si arsyeton për problemet. Në vend që të ndjekë një skenar të fiksuar, agjenti vlerëson progresin e tij. Nëse një rezultat i ndërmjetëm duket i gabuar (p.sh., nëse ka zero rreshta për shkak të një bashkimi ose filtri të pasaktë), agjenti heton se çfarë shkoi keq, rregullon qasjen e tij dhe provon përsëri. Gjatë këtij procesi, ai ruan kontekstin e plotë dhe bart mësimet përpara ndërmjet hapave. Ky proces i mbyllur dhe me vetë-mësim zhvendos iteracionin nga përdoruesi te vetë agjenti, duke mundësuar rezultate më të shpejta dhe analiza me cilësi vazhdimisht më të lartë sesa flukset e punës manuale.

Agjenti mbulon të gjithë ciklin e punës së analitikës: zbulimin e të dhënave, ekzekutimin e SQL-së dhe publikimin e fletoreve dhe raporteve. Ai kupton njohuritë e brendshme të kompanisë, mund të kërkojë në internet për informacion të jashtëm dhe përmirësohet me kalimin e kohës përmes përdorimit të mësuar dhe memories.

Përgjigjet cilësore varen nga konteksti i pasur dhe i saktë. Pa kontekst, edhe modelet e forta mund të japin rezultate të gabuara, si për shembull të nënvlerësojnë ndjeshëm numrin e përdoruesve ose të keqinterpretojnë terminologjinë e brendshme.

Për të shmangur këto mënyra dështimi, agjenti është ndërtuar rreth shtresave të shumta të kontekstit që e bazojnë atë në të dhënat dhe njohuritë institucionale të OpenAI.

• Mbështetja në metadatat: Agjenti mbështetet në metadatat e skemës (emrat e kolonave dhe llojet e të dhënave) për të udhëhequr shkrimin e SQL dhe përdor lidhjet e tabelave (p.sh., marrëdhëniet e tabelave në rrjedhën e sipërme dhe të poshtme) për të ofruar kontekst mbi mënyrën se si lidhen tabela të ndryshme.
• Inferenca e kërkesave: Përthithja e kërkesave historike e ndihmon agjentin të kuptojë se si të shkruajë kërkesat e veta dhe cilat tabela zakonisht bashkohen.

• Përshkrime të kuruara të tabelave dhe kolonave të ofruara nga ekspertë të fushës, që përfshijnë synimin, semantikën, kuptimin e biznesit dhe paralajmërimet e njohura që nuk mund të nxirren lehtësisht nga skemat ose pyetjet e mëparshme.

Vetëm metadatat nuk janë të mjaftueshme. Për t’i dalluar vërtet tabelat, duhet të kuptosh se si janë krijuar dhe nga vijnë.

• Duke nxjerrë një përkufizim të nivelit të kodit për një tabelë, agjenti krijon një kuptim më të thellë të asaj që të dhënat përmbajnë në të vërtetë. 
  • Nuancat mbi atë që ruhet në tabelë dhe si nxirret nga një rast analitik japin informacion shtesë. Për shembull, mund të japë kontekst mbi unikalitetin e vlerave, sa shpesh përditësohen të dhënat e tabelës, shtrirjen e të dhënave (p.sh., nëse tabela përjashton fusha të caktuara, ka këtë nivel granulariteti), etj.
• Kjo ofron një kontekst të përmirësuar përdorimi duke treguar se si tabela përdoret përtej SQL në Spark, Python dhe sisteme të tjera të të dhënave.
• Kjo do të thotë se agjenti mund të dallojë midis tabelave që duken të ngjashme, por ndryshojnë në mënyra kritike. Për shembull, mund të tregojë nëse një tabelë përfshin vetëm trafikun e palës së parë të ChatGPT. Ky kontekst rifreskohet automatikisht, kështu që mbetet i përditësuar pa nevojën për mirëmbajtje manuale.

• Agjenti mund të ketë akses në Slack, Google Docs dhe Notion, të cilat kapin kontekstin kritik të kompanisë siç janë lançimet, incidentet e besueshmërisë, emrat e brendshëm të koduar dhe mjetet, si dhe përkufizimet kanonike dhe logjikën e llogaritjes për metrikat kyçe.
• Këto dokumente përfshihen, integrohen dhe ruhen me metadata dhe leje. Një shërbim rikuperimi menaxhon kontrollin e aksesit dhe ruajtjen në cache gjatë ekzekutimit, duke i mundësuar agjentit të tërheqë këtë informacion në mënyrë efikase dhe të sigurt.

• Kur agjent merr korrigjime ose zbulon nuanca rreth disa pyetjeve të të dhënave, ai mund t'i ruajë këto mësime për herën tjetër, duke i mundësuar të përmirësohet vazhdimisht me përdoruesit e tij. 
  • Si rezultat, përgjigjet e ardhshme fillojnë nga një bazë më e saktë, në vend që të përballen vazhdimisht me të njëjtat probleme.
  • Qëllimi i memories është të ruajë dhe të ripërdorë korrigjime, filtra dhe kufizime që nuk janë të dukshme, por që janë kritike për saktësinë e të dhënave dhe të vështira për t'u nxjerrë vetëm nga shtresat e tjera. 
  • Për shembull, në një rast, agjenti nuk dinte si të filtronte për një eksperiment të caktuar analitik (mbështetej në përputhjen me një varg specifik të përcaktuar në një portë eksperimentesh). Memoria ishte jashtëzakonisht e rëndësishme këtu për të siguruar që të mund të filtronte saktë, në vend që të përpiqej të përputhte vargje në mënyrë të paqartë.
• Kur i jep agjentit një korrigjim ose kur ai gjen një mësim nga biseda jote, do të të bëjë një kërkesë për ta ruajtur atë memorie për herën tjetër. 
  • Memoriet mund të krijohen dhe redaktohen manualisht nga përdoruesit.
  • Kujtimet janë të përcaktuara në nivel global dhe personal, dhe mjetet e agjentit e lehtësojnë redaktimin e tyre.

• Kur nuk ka kontekst të mëparshëm për një tabelë ose kur informacioni ekzistues është i vjetruar, agjenti mund të bëjë pyetje të drejtpërdrejta në depo të dhënash për të inspektuar dhe pyetur tabelën direkt. Kjo e lejon të vërtetojë skemat, të kuptojë të dhënat në kohë reale dhe të përgjigjet në përputhje me rrethanat.
• Agjenti është gjithashtu në gjendje të komunikojë me sisteme të tjera të Platformës së të dhënave (metadata service, Airflow, Spark) sipas nevojës për të marrë një kontekst më të gjerë të të dhënave që ekziston jashtë depos së të dhënave.

Ne ekzekutojmë çdo ditë një proces offline që mbledh përdorimin e tabelave, shënimet njerëzore dhe pasurimin e nxjerrë nga Codex në një përfaqësim të vetëm, të normalizuar. Ky kontekst i pasuruar më pas shndërrohet në integrime duke përdorur OpenAI embeddings API⁠(hapet në një dritare të re) dhe ruhet për marrje. Në kohën e kërkimit, agjenti nxjerr vetëm kontekstin e integruar më të rëndësishëm përmes gjenerimit me marrje të shtuar⁠(hapet në një dritare të re) (RAG) në vend që të skanojë metadatat e papërpunuara ose regjistrat. Kjo e bën kuptimin e tabelave të shpejtë dhe të shkallëzueshëm, edhe në dhjetëra mijëra tabela, duke mbajtur vonesën e ekzekutimit të parashikueshme dhe të ulët. Pyetjet e ekzekutimit në kohë reale dërgohen në magazinën tonë të të dhënave drejtpërdrejt sipas nevojës.

Së bashku, këto shtresa sigurojnë që arsyetimi i agjentit të jetë i bazuar në të dhënat, kodin dhe njohuritë institucionale të OpenAI, duke reduktuar ndjeshëm gabimet dhe duke përmirësuar cilësinë e përgjigjeve.

Përgjigjet me një shembull funksionojnë kur problemi është i qartë, por shumica e pyetjeve nuk janë të tilla. Më shpesh, për të arritur rezultatin e saktë, kërkohet rafinim i vazhdueshëm dhe disa korrigjime të drejtimit.

Agjenti është ndërtuar të sillet si një shok ekipi me të cilin mund të diskutosh. Është gjithmonë i hapur për biseda dhe trajton si përgjigje të shpejta ashtu edhe eksplorime të përsëritura.

Ai mbart kontekstin e plotë nëpër ndërveprime, kështu që përdoruesit mund të bëjnë pyetje vijuese, të rregullojnë qëllimin e tyre ose të ndryshojnë drejtim pa e përsëritur gjithçka. Nëse agjenti fillon të shkojë në drejtimin e gabuar, përdoruesit mund ta ndërpresin në mes të analizës dhe ta ridrejtojnë, njësoj si të punosh me një bashkëpunëtor njerëzor që dëgjon në vend që të vazhdojë pa u ndalur.

Kur udhëzimet janë të paqarta ose të paplota, agjenti bën në mënyrë proaktive pyetje sqaruese. Nëse nuk jepet asnjë përgjigje, zbatohen parazgjedhje të arsyeshme për të bërë përparim. Për shembull, nëse një përdorues pyet për rritjen e biznesit pa specifikuar një interval datash, mund të supozohet se i referohet shtatë ose 30 ditëve të fundit. Këta priorë e lejojnë të mbetet reagues dhe të mos bllokohet, ndërkohë që vazhdon të konvergojë drejt rezultatit të duhur.

Rezultati është një agjent që funksionon mirë si kur e di saktësisht çfarë dëshiron (p.sh., “Më trego për këtë tabelë”) ashtu edhe po aq mirë kur je duke eksploruar (p.sh., “Po shoh një rënie këtu, a mund ta ndajmë këtë sipas llojit të klientit dhe periudhës kohore?”). 

Pas implementimit, vumë re se përdoruesit shpesh kryenin të njëjtat analiza për punë rutinore dhe të përsëritura. Për ta përshpejtuar këtë, ciklet e punës të agjentit paketojnë analizat e përsëritura në sete udhëzimesh të ripërdorshme. Shembujt përfshijnë cikle pune për raporte javore të biznesit dhe verifikime të tabelave. Duke koduar një herë kontekstin dhe praktikat më të mira, rrjedhat e punës thjeshtojnë analizat e përsëritura dhe sigurojnë rezultate të qëndrueshme për të gjithë përdoruesit.

Ndërtimi i një agjenti gjithmonë aktiv dhe në zhvillim do të thotë që cilësia mund të ndryshojë po aq lehtë sa mund të përmirësohet. Pa një cikël të ngushtë të reagimeve, regresionet janë të pashmangshme dhe të padukshme. E vetmja mënyrë për të rritur aftësitë pa prishur besimin është përmes vlerësimit sistematik.

Në këtë seksion, do të diskutojmë se si përdorim OpenAI’s Evals API⁠(hapet në një dritare të re) për të matur dhe mbrojtur cilësinë e përgjigjeve të agjentit.

Vlerësimet e tij janë ndërtuar mbi grupe të kuruara të çifteve pyetje-përgjigje. Çdo pyetje synon një metrikë të rëndësishme ose një model analitik për të cilin na intereson shumë ta bëjmë siç duhet, e shoqëruar me një pyetje SQL “golden” të krijuar manualisht që prodhon rezultatin e pritur. Për çdo vlerësim, ne dërgojmë pyetjen në gjuhë natyrore te pika fundore e gjenerimit të pyetjeve, ekzekutojmë SQL-in e gjeneruar dhe krahasojmë daljen me rezultatin e pritur të SQL-së.

Vlerësimi nuk mbështetet në përputhje naive të vargjeve. SQL-ja e gjeneruar mund të ndryshojë në sintaksë, por të mbetet e saktë, dhe grupet e rezultateve mund të përfshijnë kolona shtesë që nuk ndikojnë materialisht në përgjigje. Për ta marrë parasysh këtë, ne krahasojmë si SQL-në ashtu edhe të dhënat që rezultojnë, dhe i dërgojmë këto sinjale në vlerësuesin e OpenAI Evals. Vlerësuesi jep një rezultat përfundimtar së bashku me një shpjegim, duke përfshirë si saktësinë ashtu edhe variacionin e pranueshëm.

Këto vlerësime janë si teste njësie që ekzekutohen vazhdimisht gjatë zhvillimit për të identifikuar regresione si paralajmërime në prodhim; kjo na lejon të kapim problemet herët dhe të përsërisim me besim ndërsa aftësitë e agjentit zgjerohen.

Agjenti ynë lidhet drejtpërdrejt me modelin ekzistues të sigurisë dhe kontrollit të aksesit të OpenAI. Ajo funksionon thjesht si një shtresë ndërfaqeje, duke trashëguar dhe zbatuar të njëjtat leje dhe mbrojtëse që rregullojnë të dhënat e OpenAI. 

E gjithë qasja e agjentit është rreptësisht kalim-përmes, që do të thotë se përdoruesit mund të bëjnë pyetje vetëm për tabelat për të cilat tashmë kanë leje qasjeje. Kur mungon aksesi, e shënon këtë ose kthehet te grupet alternative të të dhënave që përdoruesi është i autorizuar t'i përdorë.

Më në fund, është ndërtuar për të ofruar transparencë. Ashtu si çdo sistem, mund të bëjë gabime. Ai shpalos procesin e tij të arsyetimit duke përmbledhur supozimet dhe hapat e ekzekutimit pranë çdo përgjigjeje. Kur ekzekutohen pyetjet, ato lidhen drejtpërdrejt me rezultatet bazë, duke ju lejuar përdoruesve të inspektojnë të dhënat e papërpunuara dhe të verifikojnë çdo hap të analizës.

Ndërtimi i agjentit tonë nga e para nxori në pah mësime praktike mbi sjelljen e agjentëve, vështirësitë që hasin dhe çfarë i bën ata të besueshëm në shkallë të gjerë.

Në fillim, ia dhamë agjentit të gjithë grupin tonë të mjeteve dhe shpejt hasëm probleme me funksionalitete që mbivendosen. Ndërsa kjo tepricë mund të jetë e dobishme për raste të veçanta të personalizuara dhe është më e qartë për një njeri kur thirret manualisht, është e paqartë për agjentët. Për të reduktuar paqartësinë dhe për të përmirësuar besueshmërinë, ne kufizuam dhe konsoliduam disa thirrje të mjeteve.

Ne gjithashtu zbuluam se udhëzimet shumë të detajuara përkeqësuan rezultatet. Ndërsa shumë pyetje kanë një formë të përgjithshme analitike, detajet ndryshojnë aq sa udhëzimet e ngurta shpesh e çojnë agjentin në rrugë të gabuara. Duke kaluar te udhëzimet e nivelit më të lartë dhe duke u mbështetur në arsyetimin e GPT‑5 për të zgjedhur rrugën e duhur të ekzekutimit, agjenti u bë më i qëndrueshëm dhe prodhoi rezultate më të mira.

Skemat dhe historiku i pyetjeve përshkruajnë formën dhe përdorimin e një tabele, por kuptimi i saj i vërtetë qëndron në kodin që e krijon atë. Logjika e procesit kap supozimet, garancitë e freskisë dhe qëllimet e biznesit që nuk shfaqen kurrë në SQL ose metadata. Duke zvarritur bazën e kodit me Codex, agjenti ynë kupton se si ndërtohen në të vërtetë grupet e të dhënave dhe është në gjendje të arsyetojë më mirë për përmbajtjen e secilës tabelë. Mund t'i përgjigjet “çfarë ka këtu brenda” dhe “kur mund ta përdor” shumë më saktë sesa vetëm nga sinjalet e magazinës. 

Ne po punojmë vazhdimisht për të përmirësuar agjentin tonë duke rritur aftësinë e tij për të trajtuar pyetje të paqarta, duke përmirësuar besueshmërinë dhe saktësinë e tij me verifikime më të forta dhe duke e integruar më thellë në ciklet e punës. Ne besojmë se duhet të përzihet natyrshëm me mënyrën se si njerëzit tashmë punojnë, në vend që të funksionojë si një mjet i veçantë.

Ndërsa mjetet tona do të vazhdojnë të përfitojnë nga përmirësimet themelore në arsyetimin, validimin dhe vetëkorrigjimin e agjentit, misioni i ekipit tonë mbetet i pandryshuar: të ofrojmë pa ndërprerje analizë të shpejtë dhe të besueshme të të dhënave në të gjithë ekosistemin e të dhënave të OpenAI.