Introducing more enterprise-grade features for API customers

Naħdmu ma’ ħafna intrapriżi bħal Klarna⁠, Morgan Stanley⁠, Oscar⁠, Salesforce⁠, u Wix⁠ biex ngħinuhom jibnu soluzzjonijiet tal-IA mill-bidu u jqassmu l-IA b’mod sigur fl-organizzazzjonijiet u l-prodotti tagħhom. Qed napprofondixxu l-appoġġ tagħna għall-intrapriżi b’karatteristiċi ġodda li huma utli kemm għal negozji kbar kif ukoll għal kwalunkwe żviluppatur li qed jikber malajr fuq il-pjattaforma tagħna.

Introduċejna Private Link, mod ġdid biex il-klijenti jkunu jistgħu jiżguraw komunikazzjoni diretta bejn Azure u OpenAI filwaqt li jimminimizzaw l-esponiment għall-internet miftuħ. Ħriġna wkoll Awtentikazzjoni b’Diversi Fatturi⁠(jinfetaħ f’tieqa ġdida) (MFA) nattiva biex ngħinu niżguraw konformità mar-rekwiżiti dejjem jiżdiedu tal-kontroll tal-aċċess. Dawn huma żidiet ġodda mal-istack eżistenti tagħna ta’ karatteristiċi tas-sigurtà għall-intrapriżi⁠(jinfetaħ f’tieqa ġdida) inkluża ċ-ċertifikazzjoni SOC 2 Tip II, single sign-on (SSO), encryption tad-dejta waqt il-ħażna bl-użu ta’ AES-256 u waqt it-trażmissjoni bl-użu ta’ TLS 1.2, u kontrolli tal-aċċess ibbażati fuq ir-rwoli. Noffru wkoll Ftehimiet ta’ Assoċjat tan-Negozju⁠(jinfetaħ f’tieqa ġdida) għal kumpaniji tal-kura tas-saħħa li jeħtieġu konformità mal-HIPAA u l-ebda żamma tad-dejta għall-klijenti tal-API b’każ ta’ użu li jikkwalifika.

Bil-karatteristika l-ġdida tagħna Projects⁠(jinfetaħ f’tieqa ġdida), l-organizzazzjonijiet se jkollhom kontroll u superviżjoni aktar granulari fuq proġetti individwali f’OpenAI. Dan jinkludi l-abbiltà li jiġu delimitati rwoli u ċwievet tal-API għal proġetti speċifiċi, jiġi ristrett/permess liema mudelli jkunu disponibbli, u jiġu stabbiliti limiti bbażati fuq l-użu u r-rata biex jingħata aċċess u jiġu evitati spejjeż żejda mhux mistennija. Is-sidien tal-proġetti se jkollhom ukoll il-kapaċità li joħolqu ċwievet tal-API ta’ service account, li jagħtu aċċess għall-proġetti mingħajr ma jkunu marbuta ma’ utent individwali.

Introduċejna diversi aġġornamenti għall-Assistants API għal retrieval aktar preċiż, flessibbiltà akbar dwar l-imġiba tal-mudell u l-għodod użati biex jitlestew il-kompiti, u kontroll aħjar fuq l-ispejjeż. Dawn il-karatteristiċi jinkludu:

• Retrieval imtejjeb b’‘file_search’ li jista’ jassorbi sa 10,000 fajl għal kull assistant—żieda ta’ 500 darba mil-limitu preċedenti ta’ 20 fajl. L-għodda hija aktar veloċi, tappoġġa queries paralleli permezz ta’ tfittxijiet multi-threaded, u għandha reranking u query rewriting imtejba.
• Appoġġ għal streaming għal tweġibiet f’ħin reali u konversazzjonali—waħda mit-talbiet ewlenin mill-iżviluppaturi u l-intrapriżi.
  Oġġetti ġodda ‘vector_store’ fl-API sabiex il-fajls ikunu jistgħu jiżdiedu ma’ vector store u awtomatikament jiġu pparsati, maqsumin f’biċċiet, u embedded bi tħejjija għal file search. Il-vector stores jistgħu jintużaw bejn assistants u threads, u dan jissimplifika l-ġestjoni tal-fajls u l-kontijiet.
• Kontroll fuq in-numru massimu ta’ tokens użati għal kull run, flimkien ma’ limiti fuq messaġġi preċedenti u reċenti użati f’kull run, sabiex tkun tista’ timmaniġġja l-ispejjeż tal-użu tat-token.
  Parametru ġdid ‘tool_choice’ biex tintgħażel għodda speċifika (bħal ‘file_search’, ‘code_interpreter’, jew ‘function’) f’run partikolari.
• Appoġġ għal mudelli GPT‑3.5 Turbo fine-tuned fl-API (biex nibdew, se nappoġġaw fine-tunes ta’ ‘gpt-3.5-turbo-0125’).

Biex ngħinu lill-organizzazzjonijiet jkabbru l-użu tal-IA tagħhom mingħajr ma jestendu żżejjed il-baġits tagħhom, żidna żewġ modi ġodda biex jitnaqqsu l-ispejjeż fuq xogħlijiet konsistenti u asincroni:

• Użu bi skont fuq throughput kommess: Klijenti b’livell sostnut ta’ użu ta’ tokens kull minuta (TPM) fuq GPT‑4 jew GPT‑4 Turbo jistgħu jitolbu aċċess għal throughput ipprovdut biex jiksbu skontijiet li jvarjaw bejn 10–50% skont id-daqs tal-impenn.
• Spejjeż imnaqqsa fuq xogħlijiet asincroni: Il-klijenti jistgħu jużaw il-Batch API⁠(jinfetaħ f’tieqa ġdida) il-ġdida tagħnabiex iħaddmu xogħlijiet mhux urġenti b’mod asincronu. It-talbiet tal-Batch API għandhom prezz imnaqqas b’50% mill-prezzijiet kondiviżi, joffru limiti tar-rata ħafna ogħla, u jirritornaw ir-riżultati fi żmien 24 siegħa. Dan huwa ideali għal każijiet ta’ użu bħall-evalwazzjoni tal-mudell, klassifikazzjoni offline, sommarizzazzjoni, u ġenerazzjoni tad-dejta sintetika.

Qed nippjanaw li nkomplu nżidu karatteristiċi ġodda ffukati fuq sigurtà ta’ livell intrapriża, kontrolli amministrattivi, u ġestjoni tal-ispejjeż. Għal aktar informazzjoni dwar dawn it-tnedijiet, żur id-dokumentazzjoni tal-API⁠(jinfetaħ f’tieqa ġdida) tagħna jew ikkuntattja lit-tim tagħna⁠ biex tiddiskuti soluzzjonijiet personalizzati għall-intrapriża tiegħek.