Ngenalake API kanggo GPT‑3.5 Turbo lan Whisper

Pembaruan tanggal 24 April 2024: Jeneng API ChatGPT wis ora digunakake maneh. Sebutan API ChatGPT ing blog iki ngrujuk menyang API GPT‑3.5 Turbo.

Model ChatGPT lan Whisper saiki kasedhiya ing API kita, menehi pangembang akses menyang kemampuan basa paling maju (ora mung chat!) lan wicara-dadi-teks. Liwat serangkaian optimalisasi ing saindenging sistem, kita wis nggayuh pengurangan biaya 90% kanggo ChatGPT wiwit Desember; saiki penghematan iki kita terusake marang pangguna API. Pangembang saiki bisa nggunakake model open-source Whisper large-v2 kita ing API kanthi asil sing luwih cepet lan luwih hemat biaya. Pangguna API GPT‑3.5 bisa ngarepake perbaikan model terus-terusan lan opsi milih kapasitas khusus kanggo kontrol sing luwih jero atas model. Kita uga wis nyemak kanthi temen umpan balik saka para pangembang lan nyaring syarat layanan API kita supaya luwih cocog karo kabutuhane.

Snap Inc⁠(mbukak ing jendhela anyar)., kreator Snapchat, ngenalake My AI kanggo Snapchat+ minggu iki. Fitur eksperimen iki mlaku ing API GPT‑3.5. My AI menehi Snapchatters chatbot sing ramah lan bisa disesuaikan ing pucuk driji sing menehi rekomendasi, lan malah bisa nulis haiku kanggo kanca mung sajrone sawetara detik. Snapchat, papan komunikasi lan olahpesen dadi prilaku saben dina, nduweni 750 yuta Snapchatters saben wulan:

Quizlet⁠(mbukak ing jendhela anyar) yaiku platform sinau global kanthi luwih saka 60 yuta siswa sing nggunakake kanggo sinau, latihan, lan nguwasani apa wae sing lagi disinaoni. Quizlet wis makarya bareng OpenAI sajrone telung taun pungkasan, nggunakke GPT‑3 ing pirang-pirang kasus panggunaan, kalebu sinau kosakata lan tes latihan. Kanthi peluncuran API GPT‑3.5, Quizlet ngenalake Q-Chat, tutor AI adaptif kanthi lengkap sing melu siswa nganggo pitakon adaptif adhedhasar materi sinau sing relevan liwat pengalaman obrolan sing nyenengake:

Instacart⁠(mbukak ing jendhela anyar) lagi ningkatake aplikasi Instacart supaya pelanggan bisa takon babagan panganan lan entuk jawaban inspiratif sing bisa langsung dituku. Iki nggunakake ChatGPT bebarengan karo AI dhewe lan data produk Instacart saka luwih saka 75.000 lokasi toko mitra ritèl kanggo mbantu pelanggan nemokake gagasan kanggo tujuan belanja terbuka, kayata “Kepiye carane nggawe taco iwak sing enak?” utawa “Apa nedha awan sehat kanggo anak-anakku?” Instacart ngrancang ngluncurake “Ask Instacart” ing pungkasan taun iki:

Shop⁠(mbukak ing jendhela anyar), aplikasi konsumen Shopify, digunakake dening 100 yuta pembeli kanggo nemokake lan sesambungan karo produk lan merek sing disenengi. API GPT‑3.5 digunakake kanggo nggerakake asisten belanja anyar saka Shop. Nalika pembeli nggoleki produk, asisten belanja menehi rekomendasi pribadi adhedhasar panyuwunane. Asisten belanja anyar Shop sing didhukung AI bakal nyederhanakake belanja ing aplikasi kanthi mindhai jutaan produk kanggo cepet nemokake apa sing digoleki para panuku—utawa mbantu dheweke nemokake sing anyar:

Speak⁠(mbukak ing jendhela anyar) yaiku aplikasi sinau basa nganggo AI sing fokus mbangun dalan paling apik menyang kelancaran ngomong. Dheweke dadi aplikasi basa Inggris sing paling cepet tuwuh ing Korea Selatan, lan saiki wis nggunakake API Whisper kanggo nggerakake produk pendamping ngomong AI anyar, lan cepet nggawa menyang saindenging donya. Akurasi Whisper sing setara manungsa kanggo pelajar basa saka saben tingkat mbukak praktik obrolan sing bener-bener terbuka lan umpan balik sing akurat banget:

Model: Kulawarga model ChatGPT sing dirilis dina iki, gpt-3.5-turbo, yaiku model sing padha digunakake ing produk ChatGPT. Regane $0.002 saben 1k token, yaiku 10x luwih murah tinimbang model GPT‑3.5 sing wis ana. Iki uga model paling apik kanggo akeh kasus panggunaan non-chat—kita wis ndeleng para penguji awal pindhah saka text-davinci-003 menyang gpt-3.5-turbo mung kanthi sethithik pangaturan ing prompt.

API: Biasane, model GPT nggunakake teks ora terstruktur, sing diwenehake menyang model minangka runtutan “token.” Model ChatGPT malah nggunakake runtutan pesen bebarengan karo metadata. (Kanggo sing penasaran: ing njero sistem, input isih dirender menyang model minangka runtutan “token” supaya digunakake model; format mentah sing digunakake model yaiku format anyar sing diarani Chat Markup Language⁠(mbukak ing jendhela anyar) (“ChatML”).)

Kita wis nggawe titik pungkasan anyar kanggo sesambungan karo model ChatGPT kita:

Kanggo sinau luwih lanjut babagan API GPT‑3.5, bukak pandhuan Chat kita⁠(mbukak ing jendhela anyar).

Kita terus ningkatake model ChatGPT kita, lan pengin nggawe peningkatan iki uga kasedhiya kanggo pangembang. Pangembang sing nggunakake model gpt-3.5-turbo bakal tansah entuk model stabil sing disaranake, nanging isih nduweni keluwesan kanggo milih versi model tartamtu. Contone, dina iki kita ngrilis gpt-3.5-turbo-0301, sing bakal didhukung paling ora nganti 1 Juni, lan kita bakal nganyari gpt-3.5-turbo menyang rilis stabil anyar ing April. Kaca model⁠(mbukak ing jendhela anyar) bakal nyedhiyakake pembaruan perpindahan.

Saiki kita uga nawakake instans khusus kanggo pangguna sing pengin kontrol luwih jero marang versi model tartamtu lan kinerja sistem. Kanthi gawan, panyuwunan dijalanke ing infrastruktur komputasi sing dienggo bareng pangguna liyane, sing mbayar saben panyuwunan. API kita mlaku ing Azure, lan kanthi instans khusus, pangembang bakal mbayar adhedhasar periode wektu kanggo alokasi infrastruktur komputasi sing dicadhangake kanggo nglayani panyuwunan.

Pangembang entuk kontrol penuh marang beban instans (beban luwih dhuwur ningkatake kapasitas pangolahan nanging nggawe saben panyuwunan luwih alon), opsi ngaktifake fitur kayata wates konteks luwih dawa, lan kemampuan ngancing snapshot model.

Instans khusus bisa migunani kanthi ekonomi kanggo pangembang sing nglakokake luwih saka ~450M token saben dina. Kajaba iku, iki ngidini optimalisasi langsung beban kerja pangembang marang kinerja hardware, sing bisa nyuda biaya kanthi drastis dibandhingake infrastruktur bersama. Kanggo pitakon babagan instans khusus, hubungi kita⁠.

Whisper⁠, model wicara-dadi-teks sing kita open-source ing September 2022, wis nampa pujian gedhe saka komunitas pangembang nanging uga bisa angel dijalanke. Saiki kita wis nyedhiyakake model large-v2 liwat API kita, sing menehi akses on-demand sing trep kanthi rega $0.006 / menit. Kajaba iku, stack serving kita sing dioptimalake banget njamin kinerja luwih cepet dibandhingake layanan liyane.

API Whisper kasedhiya liwat titik pungkasan transcriptions (transkripsi ing basa sumber) utawa translations (transkripsi dadi basa Inggris), lan nampa maneka format (m4a, mp3, mp4, mpeg, mpga, wav, webm):

Kanggo sinau luwih lanjut babagan API Whisper, bukak pandhuan Speech to Text kita⁠(mbukak ing jendhela anyar).

Sajrone nem sasi kepungkur, kita wis nglumpukake umpan balik saka pelanggan API kanggo mangerteni kepiye carane kita bisa luwih apik nglayani dheweke. Kita wis nggawe owah-owahan nyata, kayata:

• Data sing dikirim liwat API ora digunakake maneh kanggo peningkatan layanan (kalebu latihan model) kajaba organisasi milih melu
• Nerapake kebijakan retensi data standar 30 dina kanggo pangguna API, kanthi opsi retensi sing luwih ketat gumantung kabutuhan pangguna.
• Ngilangi tinjauan pra-peluncuran kita (dibukak kanthi ningkatake pemantauan otomatis kita)
• Ningkatake dokumentasi pangembang
• Nyederhanakake Katentuan Layanan lan Kebijakan Panggunaan⁠(mbukak ing jendhela anyar) kita, kalebu katentuan babagan kepemilikan data: pangguna nduweni input lan output model.

Sajrone rong sasi kepungkur uptime kita durung nyukupi pangarepan kita dhewe uga pangarepane pangguna. Prioritas utama tim engineering saiki yaiku stabilitas kasus panggunaan produksi—kita ngerti manawa njamin AI migunani kanggo kabeh manungsa mbutuhake dadi panyedhiya layanan sing bisa dipercaya. Tulung tagih kita supaya uptime saya apik ing wulan-wulan sing bakal teka!

Kita percaya yen AI bisa menehi kesempatan luar biasa lan pemberdayaan ekonomi kanggo saben wong, lan cara paling apik kanggo nggayuh iku yaiku ngidini saben wong mbangun nganggo iki. Kita ngarep-arep manawa owah-owahan sing diumumake dina iki bakal ngasilake akeh aplikasi sing bisa menehi manfaat kanggo kabeh wong. Miwiti mbangun aplikasi generasi sabanjure sing didhukung ChatGPT & Whisper.