New embedding models and API updates

Qed noħorġu mudelli ġodda, innaqqsu l-prezzijiet għal GPT‑3.5 Turbo, u nintroduċu modi ġodda biex l-iżviluppaturi jimmaniġġjaw iċ-ċwievet tal-API u jifhmu l-użu tal-API. Il-mudelli l-ġodda jinkludu:

• Żewġ mudelli ġodda ta’ embedding
• Mudell preview aġġornat ta’ GPT‑4 Turbo 
• Mudell aġġornat ta’ GPT‑3.5 Turbo
• Mudell aġġornat ta’ moderazzjoni tat-test

B’mod awtomatiku, data mibgħuta lill-API ta’ OpenAI mhux se tintuża biex jitħarrġu jew jitjiebu l-mudelli ta’ OpenAI.

Qed nintroduċu żewġ mudelli ġodda ta’ embedding: mudell iżgħar u effiċjenti ħafna text-embedding-3-small, u mudell akbar u aktar b’saħħtu text-embedding-3-large.

Embedding⁠ hija sekwenza ta’ numri li tirrappreżenta l-kunċetti fi ħdan kontenut bħal lingwa naturali jew kodiċi. Embeddings jagħmluha faċli għal mudelli ta’ machine learning u algoritmi oħra biex jifhmu r-relazzjonijiet bejn il-kontenut u jwettqu kompiti bħall-clustering jew retrieval. Huma jħaddmu applikazzjonijiet bħall-irkupru tal-għarfien kemm f’ChatGPT kif ukoll fl-Assistants API, u ħafna għodod għall-iżviluppaturi ta’ retrieval augmented generation (RAG).

text-embedding-3-small huwa l-mudell il-ġdid tagħna ta’ embedding effiċjenti ħafna u jipprovdi titjib sinifikanti fuq il-predeċessur tiegħu, il-mudell text-embedding-ada-002 maħruġ f’Diċembru 2022⁠. 

Prestazzjoni aktar b’saħħitha. Meta tqabbel text-embedding-ada-002 ma’ text-embedding-3-small, il-punteġġ medju fuq benchmark użat komunement għall-irkupru multilingwi (MIRACL⁠(jinfetaħ f’tieqa ġdida)) żdied minn 31.4% għal 44.0%, filwaqt li l-punteġġ medju fuq benchmark użat komunement għal kompiti bl-Ingliż (MTEB⁠(jinfetaħ f’tieqa ġdida)) żdied minn 61.0% għal 62.3%.

Prezz imnaqqas. text-embedding-3-small huwa wkoll sostanzjalment aktar effiċjenti mill-mudell tal-ġenerazzjoni preċedenti tagħna text-embedding-ada-002. Għalhekk il-prezz għal text-embedding-3-small tnaqqas b’5X meta mqabbel ma’ text-embedding-ada-002, minn prezz ta’ $0.0001 għal kull 1k tokens għal $0.00002.

M’aħniex qed inneħħu text-embedding-ada-002, għalhekk filwaqt li nirrakkomandaw il-mudell aktar ġdid, il-klijenti huma mistiedna jkomplu jużaw il-mudell tal-ġenerazzjoni preċedenti.

Mudell ġdid kbir ta’ text embedding: text-embedding-3-large

text-embedding-3-large huwa l-mudell il-ġdid tagħna akbar tal-ġenerazzjoni li jmiss ta’ embedding u joħloq embeddings b’sa 3072 dimensions.

Prestazzjoni aktar b’saħħitha. text-embedding-3-large huwa l-mudell il-ġdid tagħna bl-aħjar prestazzjoni. Meta tqabbel text-embedding-ada-002 ma’ text-embedding-3-large: fuq MIRACL, il-punteġġ medju żdied minn 31.4% għal 54.9%, filwaqt li fuq MTEB, il-punteġġ medju żdied minn 61.0% għal 64.6%.

text-embedding-3-large se jkun ipprezzat għal $0.00013 / 1k tokens.

Tista’ titgħallem aktar dwar kif tuża l-mudelli l-ġodda ta’ embedding fil-gwida tagħna dwar Embeddings⁠(jinfetaħ f’tieqa ġdida).

L-użu ta’ embeddings akbar, pereżempju billi taħżinhom f’vector store għall-irkupru, ġeneralment jiswa aktar u jikkonsma aktar compute, memorja u ħażna milli l-użu ta’ embeddings iżgħar.

Iż-żewġ mudelli ġodda tagħna ta’ embedding ġew imħarrġa b’teknika^A li tippermetti lill-iżviluppaturi jagħmlu trade-off bejn il-prestazzjoni u l-ispiża tal-użu tal-embeddings. B’mod speċifiku, l-iżviluppaturi jistgħu jqassru l-embeddings (jiġifieri jneħħu xi numri mit-tarf tas-sekwenza) mingħajr ma l-embedding jitlef il-proprjetajiet tiegħu li jirrappreżentaw kunċetti billi jgħaddu l-parametru tal-API dimensions. Pereżempju, fuq il-benchmark MTEB, embedding text-embedding-3-large jista’ jitqassar għal daqs ta’ 256 filwaqt li xorta jaqbeż embedding mhux imqassar text-embedding-ada-002 b’daqs ta’ 1536.

Dan jippermetti użu flessibbli ħafna. Pereżempju, meta tuża vector data store li jappoġġja biss embeddings sa 1024 dimensions fit-tul, l-iżviluppaturi issa xorta jistgħu jużaw l-aħjar mudell tagħna ta’ embedding text-embedding-3-large u jispeċifikaw valur ta’ 1024 għall-parametru tal-API dimensions, li jqassar l-embedding minn 3072 dimensions, b’trade-off ta’ xi preċiżjoni bi skambju għal daqs iżgħar tal-vector.

Il-ġimgħa d-dieħla qed nintroduċu mudell ġdid GPT‑3.5 Turbo, gpt-3.5-turbo-0125, u għat-tielet darba matul l-aħħar sena, se nkunu qed innaqqsu l-prezzijiet fuq GPT‑3.5 Turbo biex ngħinu lill-klijenti tagħna jeskalaw. Il-prezzijiet tal-input għall-mudell il-ġdid huma mnaqqsa b’50% għal $0.0005 /1K tokens u l-prezzijiet tal-output huma mnaqqsa b’25% għal $0.0015 /1K tokens. Dan il-mudell se jkollu wkoll diversi titjibiet inklużi preċiżjoni ogħla meta jwieġeb fil-formati mitluba u soluzzjoni għal bug⁠(jinfetaħ f’tieqa ġdida) li kkawża kwistjoni ta’ encoding tat-test għal sejħiet ta’ funzjonijiet f’lingwi mhux bl-Ingliż.

Klijenti li jużaw l-alias tal-mudell mhux ippinjat gpt-3.5-turbo se jiġu aġġornati awtomatikament minn gpt-3.5-turbo-0613 għal gpt-3.5-turbo-0125 ġimagħtejn wara li jitnieda dan il-mudell.

Aktar minn 70% tat-talbiet minn klijenti tal-API ta’ GPT‑4 għaddew għal GPT‑4 Turbo minn mindu tnieda, hekk kif l-iżviluppaturi qed jieħdu vantaġġ mill-limitu ta’ għarfien aġġornat tiegħu, twieqi ta’ kuntest akbar ta’ 128k, u prezzijiet aktar baxxi. 

Illum, qed noħorġu preview aġġornat tal-mudell GPT‑4 Turbo, gpt-4-0125-preview. Dan il-mudell itemm kompiti bħall-ġenerazzjoni tal-kodiċi b’mod aktar sħiħ mill-mudell preview preċedenti u huwa maħsub biex inaqqas każijiet ta’ “għażż” fejn il-mudell ma jlestix kompitu. Il-mudell il-ġdid jinkludi wkoll is-soluzzjoni għall-bug li kien qed jaffettwa ġenerazzjonijiet UTF-8 mhux bl-Ingliż.

Għal dawk li jridu jiġu aġġornati awtomatikament għal verżjonijiet ġodda preview ta’ GPT‑4 Turbo, qed nintroduċu wkoll alias ġdid tal-isem tal-mudell gpt-4-turbo-preview, li dejjem se jindika l-aħħar mudell preview tagħna ta’ GPT‑4 Turbo. 

Nippjanaw li nniedu GPT‑4 Turbo bil-viżjoni f’disponibbiltà ġenerali fix-xhur li ġejjin.

L-API tal-Moderation bla ħlas tippermetti lill-iżviluppaturi jidentifikaw test potenzjalment ta’ ħsara. Bħala parti mix-xogħol kontinwu tagħna fuq is-sikurezza, qed noħorġu text-moderation-007, l-aktar mudell robust ta’ moderazzjoni tagħna sal-lum. L-aliases text-moderation-latest u text-moderation-stable ġew aġġornati biex jindikaw lejh. Tista’ titgħallem aktar dwar kif tibni sistemi ta’ AI sikuri permezz tal-gwida tal-aħjar prattiki tas-sikurezza⁠(jinfetaħ f’tieqa ġdida) tagħna.

Qed inniedu żewġ titjibiet fil-pjattaforma biex nagħtu lill-iżviluppaturi kemm aktar viżibilità fl-użu tagħhom kif ukoll kontroll fuq iċ-ċwievet tal-API.

L-ewwel, l-iżviluppaturi issa jistgħu jassenjaw permessi liċ-ċwievet tal-API mill-paġna taċ-ċwievet tal-API⁠(jinfetaħ f’tieqa ġdida). Pereżempju, ċavetta tista’ tingħata aċċess ta’ qari biss biex tħaddem dashboard intern ta’ traċċar, jew tiġi ristretta biex taċċessa biss ċerti endpoints.

It-tieni, id-dashboard tal-użu u l-funzjoni tal-esportazzjoni tal-użu issa jesponu metriċi fil-livell ta’ ċavetta tal-API wara li tixgħel it-traċċar⁠(jinfetaħ f’tieqa ġdida). Dan jagħmilha sempliċi biex tara l-użu għal kull funzjonalità, tim, prodott, jew proġett, sempliċement billi jkollok ċwievet tal-API separati għal kull wieħed.

Fix-xhur li ġejjin, nippjanaw li ntejbu aktar il-kapaċità għall-iżviluppaturi biex jaraw l-użu tal-API tagħhom u jimmaniġġjaw iċ-ċwievet tal-API, speċjalment f’organizzazzjonijiet akbar.

Għall-aħħar aġġornamenti dwar l-APIs ta’ OpenAI, segwina fuq X fuq @OpenAIDevs⁠(jinfetaħ f’tieqa ġdida).