GPT‑3.5 Turbo және Whisper үшін API-лерді таныстыру

2024 жылғы 24 сәуірдегі жаңарту: ChatGPT API атауы енді қолданылмайды. Бұл блогтағы ChatGPT API туралы ескертулер GPT‑3.5 Turbo API-іне қатысты.

ChatGPT және Whisper модельдері енді біздің API-де қолжетімді, бұл әзірлеушілерге озық тілдік (тек чат емес!) және сөйлеуді мәтінге айналдыру мүмкіндіктеріне қол жеткізу береді. Жүйе ауқымындағы бірқатар оңтайландырулар арқылы желтоқсаннан бері ChatGPT шығынын 90%-ға қысқарттық; енді осы үнемді API пайдаланушыларына ұсынып отырмыз. Әзірлеушілер енді ашық кодты Whisper large-v2 моделін API-де әлдеқайда жылдам әрі үнемді нәтижелермен пайдалана алады. GPT‑3.5 API пайдаланушылары модельдің үздіксіз жақсаруларын және модельдерді тереңірек басқару үшін бөлінген қуатты таңдау мүмкіндігін күте алады. Сондай-ақ әзірлеушілеріміздің пікірлерін мұқият тыңдап, олардың қажеттіліктеріне жақсырақ сай болу үшін API қызмет көрсету шарттарын жетілдірдік.

Snap Inc⁠(жаңа терезеде ашылады)., Snapchat жасаушысы, осы аптада Snapchat+ үшін My AI қызметін таныстырды. Бұл эксперименттік мүмкіндік GPT‑3.5 API-де жұмыс істейді. My AI Snapchat пайдаланушыларына ұсынымдар беретін, тіпті достарына бірнеше секунд ішінде хайку да жаза алатын, қолжетімді жерде тұратын достық әрі бапталатын чатбот ұсынады. Қарым-қатынас пен хабар алмасу күнделікті әдетке айналған Snapchat-тың ай сайынғы 750 миллион пайдаланушысы бар:

Quizlet⁠(жаңа терезеде ашылады) — 60 миллионнан астам студент оқу, жаттығу және үйреніп жатқанын меңгеру үшін пайдаланатын жаһандық оқу платформасы. Quizlet соңғы үш жыл бойы OpenAI-пен жұмыс істеп, GPT‑3‑ті бірнеше қолдану жағдайында, соның ішінде сөздік қорды үйрену мен сынақ тестілерінде пайдаланды. GPT‑3.5 API іске қосылуымен Quizlet Q-Chat-ты ұсынуда — бұл қызықты чат тәжірибесі арқылы берілетін тиісті оқу материалдарына негізделген бейімделгіш сұрақтармен студенттерді тартатын толық бейімделетін AI тәлімгері:

Instacart⁠(жаңа терезеде ашылады) тұтынушыларға тағам туралы сұрап, шабыт беретін, сатып алуға болатын жауаптар алуына мүмкіндік беру үшін Instacart қолданбасын кеңейтіп жатыр. Бұл ChatGPT‑ті Instacart-тың өз AI-імен және олардың 75 000-нан астам серіктес дүкен орындарындағы өнім деректерімен бірге қолданып, тұтынушыларға «Керемет балық такосын қалай жасаймын?» немесе «Балаларыма пайдалы түскі ас қандай?» сияқты ашық сауда мақсаттарына идеялар табуға көмектеседі. Instacart осы жылдың соңында «Ask Instacart» қызметін іске қосуды жоспарлап отыр:

Shop⁠(жаңа терезеде ашылады), Shopify-дың тұтынушылық қолданбасын, өзіне ұнайтын өнімдер мен брендтерді табу және олармен әрекеттесу үшін 100 миллион сатып алушы пайдаланады. GPT‑3.5 API Shop-тың жаңа сауда көмекшісін іске қосу үшін қолданылады. Сатып алушылар өнімдерді іздегенде, сауда көмекшісі олардың сұраулары негізінде жекелендірілген ұсыныстар береді. Shop-тың жаңа AI-негізіндегі сауда көмекшісі миллиондаған өнімді сканерлеу арқылы сатып алушылар іздеген нәрсені тез табуға немесе оларға жаңа нәрсе ашуға көмектесу арқылы қолданба ішіндегі сауданы оңайлатады:

Speak⁠(жаңа терезеде ашылады) — ауызекі еркіндікке жетудің ең жақсы жолын құруға бағытталған AI-негізіндегі тіл үйрену қолданбасы. Бұл — Оңтүстік Кореядағы ең жылдам өсіп жатқан ағылшын тілі қолданбасы, әрі олар жаңа AI сөйлеу серігі өнімін іске қосу және оны бүкіл әлемге жылдам жеткізу үшін Whisper API-ін қазірдің өзінде пайдаланып жатыр. Whisper-дің кез келген деңгейдегі тіл үйренушілерге арналған адам деңгейіндегі дәлдігі шын мәнінде ашық әңгімелесу тәжірибесін және аса дәл кері байланысты ашады:

Модель: Бүгін шығарып отырған ChatGPT модельдер тобы, gpt-3.5-turbo, ChatGPT өнімінде қолданылатын дәл сол модель. Оның бағасы 1k токенге $0.002, бұл біздің қолданыстағы GPT‑3.5 модельдерінен 10 есе арзан. Сондай-ақ бұл чаттан тыс көптеген қолдану жағдайлары үшін ең жақсы модельіміз — алғашқы тестілеушілердің text-davinci-003 моделінен gpt-3.5-turbo моделіне көмексөздеріне аз ғана түзету енгізіп көшкенін көрдік.

API: Дәстүрлі түрде GPT модельдері құрылымдалмаған мәтінді тұтынады, ол модельге «токендер» тізбегі ретінде ұсынылады. Ал ChatGPT модельдері оның орнына метадеректермен бірге хабарламалар тізбегін тұтынады. (Қызыққандар үшін: ішкі жағынан енгізу әлі де модель тұтынуы үшін «токендер» тізбегі ретінде көрсетіледі; модель пайдаланатын бастапқы пішім Chat Markup Language⁠(жаңа терезеде ашылады) («ChatML») деп аталатын жаңа пішім.)

ChatGPT модельдерімізбен өзара әрекеттесу үшін жаңа соңғы нүкте жасадық:

GPT‑3.5 API туралы көбірек білу үшін Chat нұсқаулығымызға кіріңіз⁠(жаңа терезеде ашылады).

Біз ChatGPT модельдерімізді үнемі жетілдіріп келеміз және осы жақсартуларды әзірлеушілерге де қолжетімді еткіміз келеді. gpt-3.5-turbo моделін пайдаланатын әзірлеушілер әрдайым біз ұсынатын тұрақты модельді алады, сонымен бірге нақты модель нұсқасын таңдау икемділігі сақталады. Мысалы, бүгін біз gpt-3.5-turbo-0301 нұсқасын шығарып жатырмыз, оған кемінде 1 маусымға дейін қолдау көрсетіледі, ал сәуірде gpt-3.5-turbo моделін жаңа тұрақты шығарылымға жаңартамыз. модельдер беті⁠(жаңа терезеде ашылады) ауысу туралы жаңартуларды береді.

Енді нақты модель нұсқасы мен жүйе өнімділігін тереңірек басқарғысы келетін пайдаланушылар үшін бөлінген инстанстарды да ұсынамыз. Әдепкі бойынша сұраулар басқа пайдаланушылармен ортақ есептеу инфрақұрылымында орындалады, олар әр сұрау үшін төлейді. Біздің API Azure-де жұмыс істейді, ал бөлінген инстанстармен әзірлеушілер сұрауларына қызмет көрсетуге резервтелген есептеу инфрақұрылымын бөлу үшін уақыт кезеңі бойынша төлейді.

Әзірлеушілер инстанс жүктемесін толық басқара алады (жоғары жүктеме өткізу қабілетін арттырады, бірақ әр сұрауды баяулатады), ұзағырақ контекст шектеулері сияқты мүмкіндіктерді қоса алады және модель снимогын бекіте алады.

Бөлінген инстанстар күніне шамамен 450M токеннен артық жұмыс істейтін әзірлеушілер үшін экономикалық тұрғыдан тиімді болуы мүмкін. Бұған қоса, ол әзірлеуші жүктемесін аппараттық өнімділікке тікелей оңтайландыруға мүмкіндік береді, бұл ортақ инфрақұрылыммен салыстырғанда шығындарды едәуір азайтуы мүмкін. Бөлінген инстанс бойынша сұрақтар үшін бізбен хабарласыңыз⁠.

Whisper⁠ — 2022 жылғы қыркүйекте ашық кодпен ұсынған сөйлеуді мәтінге айналдыру моделі — әзірлеушілер қауымынан зор қолдауға ие болды, бірақ оны іске қосу да қиын болуы мүмкін. Енді large-v2 моделін API арқылы қолжетімді еттік, бұл минутына $0.006 бағамен ыңғайлы, сұраныс бойынша қолжетімділік береді. Оған қоса, жоғары оңтайландырылған қызмет көрсету стегіміз басқа сервистермен салыстырғанда жылдамырақ өнімділікті қамтамасыз етеді.

Whisper API біздің transcriptions (бастапқы тілде транскрипциялайды) немесе translations (ағылшын тіліне транскрипциялайды) соңғы нүктелері арқылы қолжетімді және әртүрлі форматтарды қабылдайды (m4a, mp3, mp4, mpeg, mpga, wav, webm):

Whisper API туралы көбірек білу үшін Speech to Text нұсқаулығымызға кіріңіз⁠(жаңа терезеде ашылады).

Соңғы алты айда оларға қалай жақсырақ қызмет көрсете алатынымызды түсіну үшін API клиенттерімізден кері байланыс жинадық. Біз мынадай нақты өзгерістер жасадық:

• API арқылы жіберілген деректер енді ұйым арнайы келісім бермейінше қызметті жақсарту үшін (соның ішінде модельді оқыту үшін) пайдаланылмайды
• API пайдаланушылары үшін әдепкі 30 күндік сақтау саясатын енгізу, сондай-ақ пайдаланушы қажеттіліктеріне қарай қатаңырақ сақтау нұсқаларын ұсыну.
• Іске қосу алдындағы шолуды алып тастау (бұл автоматтандырылған мониторингті жақсарту арқылы мүмкін болды)
• Әзірлеуші құжаттамасын жақсарту
• Біздің Қызмет көрсету шарттары мен пайдалану саясаттарын⁠(жаңа терезеде ашылады), соның ішінде деректерге иелік етуге қатысты тармақтарды оңайлату: пайдаланушылар модельдердің енгізуі мен шығысына иелік етеді.

Соңғы екі айда біздің қолжетімділік деңгейіміз өзіміздің де, пайдаланушыларымыздың да күткеніне сай болмады. Біздің инженерлік командамыз үшін ендігі ең жоғары басымдық — өндірістік қолдану жағдайларының тұрақтылығы; AI бүкіл адамзатқа пайда әкелуін қамтамасыз ету сенімді қызмет провайдері болуды талап ететінін білеміз. Алдағы айларда қолжетімділікті жақсартуымыз үшін бізді жауапты ұстаңыз!

Біз AI баршаға керемет мүмкіндіктер мен экономикалық қуат бере алады деп сенеміз, әрі оған жетудің ең жақсы жолы — баршаға соның негізінде құруға мүмкіндік беру. Бүгін жариялаған өзгерістеріміз баршаға пайдалы болатын көптеген қолданбаға жол ашады деп үміттенеміз. ChatGPT & Whisper негізіндегі келесі буын қолданбаларын құра бастаңыз.