Introducing more enterprise-grade features for API customers

Біз Klarna⁠, Morgan Stanley⁠, Oscar⁠, Salesforce⁠ және Wix⁠ сияқты көптеген кәсіпорындармен олардың ЖИ шешімдерін нөлден бастап құруына және ұйымдары мен өнімдеріне ЖИ-ді қауіпсіз енгізуіне көмектесу үшін жұмыс істейміз. Ірі бизнеске де, платформамызда жылдам ауқымдалып жатқан кез келген әзірлеушіге де пайдалы жаңа мүмкіндіктермен кәсіпорындарға көрсететін қолдауымызды кеңейтіп жатырмыз.

Біз Private Link-ті енгіздік, бұл — тұтынушыларға Azure мен OpenAI арасында ашық интернетке шығуды барынша азайта отырып, тікелей байланысты қамтамасыз етуге мүмкіндік беретін жаңа тәсіл. Сондай-ақ қолжеткізуді басқаруға қойылатын күшейіп келе жатқан талаптарға сәйкестікті қамтамасыз етуге көмектесу үшін жергілікті көпфакторлы аутентификацияны⁠(жаңа терезеде ашылады) (МФА) шығардық. Бұлар SOC 2 Type II сертификатын, SSO (бірыңғай кіру), тыныш күйдегі деректерді AES-256 арқылы және тасымалдау кезіндегі деректерді TLS 1.2 арқылы шифрлауды, сондай-ақ рөлге негізделген қолжеткізуді басқаруды қамтитын қолданыстағы кәсіпорын деңгейіндегі қауіпсіздік мүмкіндіктері⁠(жаңа терезеде ашылады) жиынтығына қосылған жаңа толықтырулар. Сондай-ақ HIPAA талаптарына сәйкестік қажет денсаулық сақтау компаниялары үшін Business Associate Agreements⁠(жаңа терезеде ашылады) және API тұтынушыларының лайықты пайдалану жағдайлары үшін деректерді мүлде сақтамау саясатын ұсынамыз.

Біздің жаңа Projects⁠(жаңа терезеде ашылады) мүмкіндігіміз арқылы ұйымдар OpenAI ішіндегі жеке жобаларды неғұрлым егжей-тегжейлі басқарып, қадағалай алады. Бұған рөлдер мен API кілттерін нақты жобалар аясында шектеу, қандай модельдерге рұқсат берілетінін не шектелетінін белгілеу және қолжеткізуді беру мен күтпеген артық шығындарды болдырмау үшін қолдану мен жылдамдыққа негізделген шектерді орнату кіреді. Жоба иелерінде сондай-ақ жеке пайдаланушыға байланыстырылмай, жобаларға қолжеткізу беретін қызметтік тіркелгі API кілттерін жасау мүмкіндігі болады.

Біз дәлірек іздеп табуға, модель мінез-құлқы мен тапсырмаларды орындауда қолданылатын құралдарға икемдірек басқаруға және шығындарды жақсырақ бақылауға арналған бірнеше жаңартуды Assistants API-ге енгіздік. Бұл мүмкіндіктерге мыналар кіреді:

• Алдыңғы 20 файлдық шектеумен салыстырғанда 500 есе көп — бір ассистентке 10 000 файлға дейін жүктей алатын ‘file_search’ арқылы жақсартылған іздеп табу. Құрал жылдамырақ жұмыс істейді, көп ағынды іздеу арқылы параллель сұраныстарды қолдайды және reranking пен query rewriting мүмкіндіктері жақсартылған.
• Нақты уақыттағы, сөйлесу стиліндегі жауаптар үшін стриминг қолдауы — бұл әзірлеушілер мен кәсіпорындардың ең жиі сұраған мүмкіндіктерінің бірі.
  API-дегі жаңа ‘vector_store’ нысандары файлдарды векторлық сақтау орнына қосуға және оларды file search-ке дайындау үшін автоматты түрде талдауға, бөліктерге бөлуге және ендіруге мүмкіндік береді. Векторлық сақтау орындарын ассистенттер мен тредтер арасында қолдануға болады, бұл файлдарды басқару мен есеп айырысуды жеңілдетеді.
• Токен қолдану шығындарын басқару үшін бір іске қосуда пайдаланылатын токендердің ең көп санына бақылау, сондай-ақ әр іске қосуда пайдаланылатын алдыңғы және соңғы хабарламаларға шектеулер.
  Белгілі бір іске қосуда нақты құралды (‘file_search’, ‘code_interpreter’ немесе ‘function’ сияқты) таңдау үшін жаңа ‘tool_choice’ параметрі.
• API-де fine-tuned GPT‑3.5 Turbo модельдерін қолдау (алдымен ‘gpt-3.5-turbo-0125’ үшін fine-tune нұсқаларын қолдаймыз).

Ұйымдарға ЖИ қолдануын бюджеттерін шамадан тыс асырмай ауқымдауға көмектесу үшін, біз тұрақты және асинхронды жүктемелердегі шығындарды азайтудың екі жаңа тәсілін қостық:

• Резервтелген өткізу қабілетіне жеңілдетілген баға: GPT‑4 немесе GPT‑4 Turbo үшін минутына токендер (TPM) тұтынуы тұрақты деңгейде болатын тұтынушылар міндеттеме көлеміне қарай 10–50% аралығындағы жеңілдіктер алу үшін резервтелген өткізу қабілетіне қолжеткізуге сұраныс жібере алады.
• Асинхронды жүктемелерге төмендетілген шығындар: Тұтынушылар біздің жаңа Batch API⁠(жаңа терезеде ашылады)мүмкіндігін шұғыл емес жүктемелерді асинхронды түрде орындау үшін пайдалана алады. Batch API сұраныстары ортақ бағадан 50% арзан, әлдеқайда жоғары жылдамдық шектерін ұсынады және нәтижелерді 24 сағат ішінде қайтарады. Бұл модельді бағалау, офлайн жіктеу, жинақтау және синтетикалық дерек жасау сияқты пайдалану жағдайлары үшін өте қолайлы.

Біз кәсіпорын деңгейіндегі қауіпсіздікке, әкімшілік басқару тетіктеріне және шығындарды басқаруға бағытталған жаңа мүмкіндіктерді қосуды жалғастыруды жоспарлап отырмыз. Бұл іске қосылымдар туралы толығырақ ақпарат алу үшін API құжаттамамызға⁠(жаңа терезеде ашылады) кіріңіз немесе кәсіпорныңызға арналған теңшелген шешімдерді талқылау үшін біздің командамызға хабарласыңыз⁠.