New embedding models and API updates

Waxaan sii daynaynaa noocyo cusub, waxaan dhimaynaa qiimaha GPT‑3.5 Turbo, waxaana soo bandhigaynaa habab cusub oo horumariyayaashu ku maamuli karaan furayaasha API una fahmi karaan isticmaalka API. Noocyada cusub waxaa ka mid ah:

• Laba nooc oo embedding cusub
• Nooc aragti-hore GPT‑4 Turbo oo la cusboonaysiiyay 
• Nooc GPT‑3.5 Turbo oo la cusboonaysiiyay
• Nooc moderation qoraal ah oo la cusboonaysiiyay

Si caadi ah, xogta loo diro OpenAI API looma adeegsan doono in lagu tababaro ama lagu hagaajiyo noocyada OpenAI.

Waxaan soo bandhigaynaa laba nooc oo embedding cusub: nooc yar oo aad u wax-ku-ool ah oo ah text-embedding-3-small, iyo nooc weyn oo ka awood badan oo ah text-embedding-3-large.

Embedding⁠ waa taxane tirooyin ah oo matala fikradaha ku jira nuxurka sida luqad dabiici ah ama koodh. Embeddings waxay u fududeeyaan noocyada machine learning iyo algorithmyada kale inay fahmaan xiriirka ka dhexeeya nuxurka ayna qabtaan hawlo sida isku-ururin ama soo-celin. Waxay awood siiyaan codsiyo sida soo-celinta aqoonta ee ChatGPT iyo Assistants API labadaba, iyo qalab badan oo horumariyayaal ah oo retrieval augmented generation (RAG) ah.

text-embedding-3-small waa noockeenna cusub ee embedding-ka aadka u wax-ku-oolka ah, wuxuuna bixiyaa horumar weyn marka loo eego kii ka horreeyay, nooca text-embedding-ada-002 ee la sii daayay Diseembar 2022⁠. 

Waxqabad xooggan. Marka la barbar dhigo text-embedding-ada-002 iyo text-embedding-3-small, dhibcaha celceliska ee halbeeg si caadi ah loogu isticmaalo soo-celinta luqado badan (MIRACL⁠(ku furmaa daaqad cusub)) waxay ka kordheen 31.4% ilaa 44.0%, halka dhibcaha celceliska ee halbeeg si caadi ah loogu isticmaalo hawlaha Ingiriisiga (MTEB⁠(ku furmaa daaqad cusub)) ay ka kordheen 61.0% ilaa 62.3%.

Qiimo la dhimay. text-embedding-3-small sidoo kale aad buu uga wax-ku-ool badan yahay noockeennii jiilkii hore ee text-embedding-ada-002. Sidaas darteed, qiimaha text-embedding-3-small waxaa loo dhimay 5X marka loo eego text-embedding-ada-002, laga bilaabo qiime 1k tokens kasta oo ah $0.0001 ilaa $0.00002.

Ma joojinayno text-embedding-ada-002, sidaas darteed inkastoo aan ku talinayno nooca cusub, macaamiishu way sii wadan karaan isticmaalka nooca jiilkii hore.

Nooc cusub oo weyn oo text embedding ah: text-embedding-3-large

text-embedding-3-large waa noockeenna cusub ee jiilka xiga ee embedding weyn, wuxuuna sameeyaa embeddings gaaraya ilaa 3072 dimensions.

Waxqabad xooggan. text-embedding-3-large waa noockeenna cusub ee ugu waxqabadka fiican. Marka la barbar dhigo text-embedding-ada-002 iyo text-embedding-3-large: MIRACL, dhibcaha celcelisku waxay ka kordheen 31.4% ilaa 54.9%, halka MTEB, dhibcaha celcelisku ay ka kordheen 61.0% ilaa 64.6%.

text-embedding-3-large waxaa lagu qiimayn doonaa $0.00013 / 1k tokens.

Waxaad wax badan ka baran kartaa sida loo isticmaalo noocyada embedding cusub ee ku jira hagahayaga Embeddings⁠(ku furmaa daaqad cusub).

Isticmaalka embeddings waaweyn, tusaale ahaan in lagu kaydiyo vector store si dib loo soo ceshado, guud ahaan wuxuu ku kacaa kharash badan wuxuuna isticmaalaa xisaabin, xusuus iyo kaydin ka badan isticmaalka embeddings yaryar.

Labadeenna nooc ee embedding cusub waxaa lagu tababaray farsamo^A u oggolaanaysa horumariyayaasha inay isu dheellitiraan waxqabadka iyo kharashka isticmaalka embeddings. Gaar ahaan, horumariyayaashu way gaabin karaan embeddings-ka (taas oo ah inay ka saaraan tirooyin ka mid ah dhammaadka taxanaha) iyada oo embedding-ku aanu lumin sifooyinkiisa matalidda fikradda, iyagoo gudbinaya halbeegga API ee dimensions. Tusaale ahaan, halbeegga MTEB, embedding-ka text-embedding-3-large waxaa loo gaabin karaa cabbir 256 ah iyadoo wali uu ka waxqabad sarreeyo embedding aan la gaabin ee text-embedding-ada-002 oo leh cabbir 1536 ah.

Tani waxay suuragelinaysaa isticmaal aad u dabacsan. Tusaale ahaan, marka la isticmaalayo kayd xog vector ah oo taageera oo keliya embeddings dhererkoodu yahay ilaa 1024 dimensions, horumariyayaashu hadda weli way isticmaali karaan noockeenna embedding-ka ugu fiican text-embedding-3-large oo waxay u cayimi karaan qiime 1024 ah halbeegga API ee dimensions, taas oo embedding-ka ka gaabin doonta 3072 dimensions, iyadoo waxoogaa saxnaan ah lagu beddelanayo cabbirka vector-ka oo yar.

Toddobaadka soo socda waxaan soo bandhigaynaa nooc cusub oo GPT‑3.5 Turbo ah, gpt-3.5-turbo-0125, waxaana markii saddexaad sanadkii tegay hoos u dhigaynaa qiimaha GPT‑3.5 Turbo si aan uga caawinno macaamiisheena inay balaariyaan. Qiimaha gelinta ee nooca cusub waxaa loo dhimay 50% ilaa $0.0005 /1K tokens, qiimaha soo saarkana waxaa loo dhimay 25% ilaa $0.0015 /1K tokens. Noocani sidoo kale wuxuu yeelan doonaa horumarinno kala duwan oo ay ku jiraan saxnaan sare marka looga jawaabayo qaabab la codsaday iyo hagaajin loogu sameeyay cilad⁠(ku furmaa daaqad cusub) sababtay dhibaato encoding qoraal ah oo ku saabsan function calls ee luqadaha aan Ingiriisiga ahayn.

Macaamiisha isticmaalaya naanaysta nooca aan la pin-gareyn ee gpt-3.5-turbo si toos ah ayaa looga dallacsiin doonaa gpt-3.5-turbo-0613 ilaa gpt-3.5-turbo-0125 laba toddobaad ka dib marka noocan la soo saaro.

In ka badan 70% codsiyada macaamiisha GPT‑4 API ayaa u wareegay GPT‑4 Turbo tan iyo markii la sii daayay, maadaama horumariyayaashu ka faa’iidaysanayaan xadka aqoonta ee la cusboonaysiiyay, daaqadaha macnaha guud ee waaweyn ee 128k, iyo qiimayaasha hoose. 

Maanta, waxaan sii daynaynaa nooc aragti-hore GPT‑4 Turbo oo la cusboonaysiiyay, gpt-4-0125-preview. Noocani wuxuu si ka dhammaystiran uga qabtaa hawlaha sida samaynta koodhka marka loo eego noocii hore ee aragti-hore, waxaana loogu talagalay inuu yareeyo xaaladaha “caajiska” ah ee noocku aanu hawsha dhammaystirin. Nooca cusub sidoo kale waxa ku jira hagaajinta ciladda saamaysay samaynta UTF-8 ee luqadaha aan Ingiriisiga ahayn.

Kuwa doonaya in si toos ah loogu dallacsiiyo noocyada cusub ee aragti-hore GPT‑4 Turbo, waxaan sidoo kale soo bandhigaynaa naanays magac-nooc cusub oo ah gpt-4-turbo-preview, kaas oo mar walba tilmaami doona noockeennii ugu dambeeyay ee aragti-hore GPT‑4 Turbo. 

Waxaan qorshaynaynaa inaan bilaha soo socda si guud u helsiinno GPT‑4 Turbo with vision.

Moderation API-ga bilaashka ah wuxuu u oggolaanayaa horumariyayaasha inay aqoonsadaan qoraal suuragal ahaan waxyeello leh. Iyada oo qayb ka ah shaqadayada badbaado ee socota, waxaan sii daynaynaa text-moderation-007, oo ah noockeenna moderation ee ugu adkaysiga badan ilaa maanta. Naanaysyada text-moderation-latest iyo text-moderation-stable waa la cusboonaysiiyay si ay ugu tilmaamaan noocan. Waxaad wax badan ka baran kartaa sida loo dhiso nidaamyo AI ammaan ah adigoo adeegsanaya hagaha hababka ugu wanaagsan ee badbaadada⁠(ku furmaa daaqad cusub).

Waxaan soo bandhigaynaa laba horumarin oo madal ah si horumariyayaashu u helaan aragti dheeraad ah oo ku saabsan isticmaalkooda iyo xakameyn dheeraad ah oo ku saabsan furayaasha API.

Marka hore, horumariyayaashu hadda waxay u qaybin karaan oggolaanshooyinka furayaasha API bogga API keys page⁠(ku furmaa daaqad cusub). Tusaale ahaan, fure waxaa loo qoondeyn karaa marin akhris-keliya ah si uu u shaqaysiiyo dashboard raadraac gudaha ah, ama waxaa lagu xaddidi karaa inuu galo oo keliya bar-dhammaadyo gaar ah.

Marka labaad, dashboard-ka isticmaalka iyo shaqada dhoofinta isticmaalka hadda waxay muujiyaan cabbirro heerka furaha API ah ka dib marka la shido raadraaca⁠(ku furmaa daaqad cusub). Tani waxay fududaynaysaa in la arko isticmaalka heer feature, koox, badeecad, ama mashruuc, iyadoo si fudud loo haysto furayaal API oo kala gooni ah mid kasta.

Bilaha soo socda, waxaan qorshaynaynaa inaan sii wanaajino awoodda horumariyayaashu u leeyihiin inay arkaan isticmaalka API-gooda ayna maamulaan furayaasha API, gaar ahaan ururrada waaweyn.

Si aad ula socoto wararkii ugu dambeeyay ee API-yada OpenAI, nagala soco X barta @OpenAIDevs⁠(ku furmaa daaqad cusub).