Introducing more enterprise-grade features for API customers
Бид Klarna, Morgan Stanley, Oscar, Salesforce, Wix зэрэг олон байгууллагатай хамтран тэдэнд AI шийдлүүдийг эхнээс нь бүтээж, байгууллага болон бүтээгдэхүүнүүддээ AI-г аюулгүй нэвтрүүлэхэд нь тусалдаг. Бид томоохон бизнесүүдэд төдийгүй манай платформ дээр хурдацтай өсөн тэлж буй аливаа хөгжүүлэгчдэд хэрэгтэй шинэ боломжуудаар байгууллагуудад үзүүлэх дэмжлэгээ гүнзгийрүүлж байна.
Бид Private Link-ийг танилцууллаа. Энэ нь хэрэглэгчдэд Azure болон OpenAI хооронд нээлттэй интернетэд өртөх эрсдэлийг багасган шууд харилцаа холбоог хангах шинэ арга юм. Мөн бид өсөн нэмэгдэж буй хандалтын хяналтын шаардлагад нийцлийг хангахад туслах зорилгоор суурилуулсан Олон хүчин зүйлийн баталгаажуулалт(шинэ цонхонд нээгдэнэ) (MFA)-ыг гаргасан. Эдгээр нь SOC 2 Type II сертификат, single sign-on (SSO), амарч буй өгөгдлийг AES-256-аар, дамжуулж буй өгөгдлийг TLS 1.2-оор шифрлэх, мөн үүрэгт суурилсан хандалтын хяналт зэрэг одоо байгаа байгууллагын түвшний аюулгүй байдлын боломжууд(шинэ цонхонд нээгдэнэ)-ын маань шинэ нэмэлтүүд юм. Мөн HIPAA нийцэл шаарддаг эрүүл мэндийн салбарын компаниудад Business Associate Agreements(шинэ цонхонд нээгдэнэ), харин шаардлага хангасан хэрэглээний тохиолдол бүхий API хэрэглэгчдэд тэг өгөгдөл хадгалалт бодлогыг санал болгодог.
Манай шинэ Projects(шинэ цонхонд нээгдэнэ) боломжийн тусламжтайгаар байгууллагууд OpenAI дахь тус тусын төслүүд дээр илүү нарийвчилсан хяналт, харагдацтай болно. Үүнд тодорхой төслүүдэд үүрэг болон API key-үүдийг хамааруулах, аль загваруудыг ашиглахыг хязгаарлах/зөвшөөрөх, мөн хандалт олгож гэнэтийн хэтрэлтээс сэргийлэхийн тулд хэрэглээ болон rate-д суурилсан хязгаар тогтоох боломж багтана. Төслийн эзэмшигчид мөн хувь хэрэглэгчтэй холбогдоогүйгээр төслүүдэд хандалт олгодог service account API key-үүдийг үүсгэх боломжтой болно.
Бид илүү нарийвчлалтай retrieval, загварын үйлдэл болон даалгавар биелүүлэхэд ашиглах хэрэгслүүдийн уян хатан байдал, мөн зардлыг илүү сайн хянах боломжийг бүрдүүлэхийн тулд Assistants API-д хэд хэдэн шинэчлэлт орууллаа. Эдгээр боломжууд нь:
- 20 файлын өмнөх хязгаараас 500 дахин өсгөж, assistant бүрт 10,000 хүртэл файл шингээж чаддаг ‘file_search’-аар retrieval-ийг сайжруулсан. Энэ хэрэгсэл нь илүү хурдан, multi-threaded search-аар зэрэгцээ query-г дэмждэг, мөн reranking болон query rewriting нь сайжирсан.
- Бодит цагийн, харилцан ярианы хариунд зориулсан streaming дэмжлэг—хөгжүүлэгчид болон байгууллагуудаас ирсэн хамгийн их хүсэлтийн нэг.
API дахь шинэ ‘vector_store’ объектууд нь файлуудыг vector store-д нэмээд file search-д бэлтгэн автоматаар parse хийж, chunk болгон хувааж, embedding үүсгэх боломжтой. Vector store-уудыг assistants болон threads даяар ашиглаж болох тул файл удирдлага болон төлбөр тооцоог хялбаршуулна. - Нэг run тутамд ашиглах токенын дээд тоо, мөн run бүрт ашиглах өмнөх болон сүүлийн зурвасуудын хязгаарыг удирдах боломжтой тул та токен хэрэглээний зардлыг хянах боломжтой.
Тодорхой run дээр ‘file_search’, ‘code_interpreter’, эсвэл ‘function’ зэрэг тодорхой хэрэгсэл сонгох шинэ ‘tool_choice’ параметр. - API дахь fine-tuned GPT‑3.5 Turbo загваруудын дэмжлэг (эхний ээлжид бид ‘gpt-3.5-turbo-0125’-ийн fine-tune-уудыг дэмжинэ).
Байгууллагуудад AI хэрэглээгээ төсвөө хэтрүүлэхгүйгээр өргөжүүлэхэд туслахын тулд бид тогтмол болон асинхрон ажлын ачааллын зардлыг бууруулах хоёр шинэ аргыг нэмлээ:
- Амласан нэвтрүүлэх чадамжийн хөнгөлөлттэй хэрэглээ: GPT‑4 эсвэл GPT‑4 Turbo дээр минутанд токен (TPM) ашиглалтын тогтвортой түвшинтэй хэрэглэгчид provisioned throughput-д хандах эрх хүсэж, амлалтын хэмжээнээс хамааран 10–50%-ийн хөнгөлөлт авах боломжтой.
- Асинхрон ажлын ачааллын буурсан зардал: Хэрэглэгчид манай шинэ Batch API(шинэ цонхонд нээгдэнэ)-г ашиглан яаралтай бус ажлын ачааллыг асинхрон байдлаар ажиллуулж болно. Batch API хүсэлтийн үнэ нь хуваалцсан үнийн дүнгээс 50% хямд, илүү өндөр rate limit-үүдтэй бөгөөд 24 цагийн дотор үр дүнг буцаадаг. Энэ нь загварын үнэлгээ, офлайн ангилал, хураангуйлал, синтетик өгөгдөл боловсруулалт зэрэг хэрэглээний тохиолдлуудад нэн тохиромжтой.
Бид байгууллагын түвшний аюулгүй байдал, удирдлагын хяналт, зардлын удирдлагад төвлөрсөн шинэ боломжуудыг үргэлжлүүлэн нэмэхээр төлөвлөж байна. Эдгээр шинэчлэлийн талаар дэлгэрэнгүй мэдээлэл авахыг хүсвэл манай API баримтжуулалт(шинэ цонхонд нээгдэнэ)-ыг үзэх эсвэл танай байгууллагад тохирсон шийдлүүдийн талаар ярилцахын тулд манай багтай холбогдоно уу.
