Introducing more enterprise-grade features for API customers
Сарађујемо са многим предузећима као што су Klarna, Morgan Stanley, Oscar, Salesforce и Wix, како бисмо им помогли да изграде AI решења од нуле и безбедно примене AI у својим организацијама и производима. Продубљујемо подршку за предузећа новим функцијама које су корисне и за велике компаније и за све програмере који брзо расту на нашој платформи.
Увели смо Private Link, нови начин да клијенти обезбеде директну комуникацију између Azure-а и OpenAI-а уз минимално излагање отвореном интернету. Такође смо увели изворну потврду идентитета у више корака(отвара се у новом прозору) (MFA) како бисмо помогли у испуњавању све строжих захтева за контролу приступа. Ово су нови додаци нашем постојећем скупу безбедносних функција за предузећа(отвара се у новом прозору), укључујући SOC 2 Type II сертификат, једнократно пријављивање (SSO), шифровање података у стању мировања помоћу AES-256 и у преносу помоћу TLS 1.2, као и контроле приступа засноване на улогама. Нудимо и уговоре о пословном партнерству(отвара се у новом прозору) за здравствене компаније којима је потребна усклађеност са HIPAA и политика незадржавања података за API клијенте са одговарајућим случајем употребе.
Уз нашу нову функцију Projects(отвара се у новом прозору), организације ће имати детаљнију контролу и надзор над појединачним пројектима у OpenAI-ју. То укључује могућност ограничавања улога и API кључева на одређене пројекте, ограничавања/дозвољавања који модели ће бити доступни и постављања ограничења заснованих на коришћењу и стопи како би се одобрио приступ и избегли неочекивани прекорачења. Власници пројеката ће такође имати могућност да креирају API кључеве сервисног налога, који омогућавају приступ пројектима без везивања за појединачног корисника.
Увели смо неколико ажурирања за Assistants API ради прецизнијег претраживања, веће флексибилности у понашању модела и алатима који се користе за извршавање задатака, као и боље контроле над трошковима. Ове функције обухватају:
- Побољшано претраживање помоћу „file_search“, који може да унесе до 10.000 датотека по асистенту — што је повећање од 500 пута у односу на претходно ограничење од 20 датотека. Алат је бржи, подржава паралелне упите кроз вишенитне претраге и има побољшано поновно рангирање и преписивање упита.
- Подршку за стриминг за одговоре у реалном времену, у разговорном облику — један од најчешћих захтева програмера и предузећа.
Нови објекти „vector_store“ у API-ју тако да датотеке могу да се додају у vector store и аутоматски рашчлане, поделе на делове и уграде као припрема за претрагу датотека. Vector store може да се користи у више асистената и нити, што поједностављује управљање датотекама и наплату. - Контролу над максималним бројем токена који се користе по покретању, као и ограничења претходних и недавних порука које се користе у сваком покретању, тако да можете да управљате трошковима коришћења токена.
Нови параметар „tool_choice“ за избор одређеног алата (као што су „file_search“, „code_interpreter“ или „function“) у конкретном покретању. - Подршку за фино подешене GPT‑3.5 Turbo моделе у API-ју (за почетак ћемо подржавати fine-tunes за „gpt-3.5-turbo-0125“).
Да бисмо помогли организацијама да прошире употребу AI-а без прекомерног оптерећења буџета, додали смо два нова начина за смањење трошкова код доследних и асинхроних радних оптерећења:
- Умањена цена за резервисану пропусну моћ: Клијенти са стабилним нивоом коришћења токена у минути (TPM) на GPT‑4 или GPT‑4 Turbo могу да затраже приступ резервисаној пропусној моћи како би добили попусте од 10–50%, у зависности од величине обавезе.
- Нижи трошкови за асинхрона радна оптерећења: Клијенти могу да користе наш нови Batch API(отвара се у новом прозору)за асинхроно покретање неодложних радних оптерећења. Захтеви ка Batch API-ју се наплаћују са 50% попуста у односу на дељене цене, нуде знатно више лимите брзине и враћају резултате у року од 24 сата. Ово је идеално за случајеве употребе као што су евалуација модела, офлајн класификација, сажимање и генерисање синтетичких података.
Планирамо да наставимо са додавањем нових функција усмерених на безбедност на нивоу предузећа, административне контроле и управљање трошковима. За више информација о овим новинама посетите нашу API документацију(отвара се у новом прозору) или контактирајте наш тим да разговарате о прилагођеним решењима за своје предузеће.
