Nintroduċu APIs għal GPT‑3.5 Turbo u Whisper

Aġġornament tal-24 ta’ April, 2024: L-isem ChatGPT API tneħħa. Kull referenza għall-ChatGPT API f’dan il-blog tirreferi għall-API ta’ GPT‑3.5 Turbo.

Il-mudelli ChatGPT u Whisper issa huma disponibbli fuq l-API tagħna, u jagħtu lill-iżviluppaturi aċċess għal kapaċitajiet avvanzati ħafna tal-lingwa (mhux biss chat!) u speech-to-text. Permezz ta’ sensiela ta’ ottimizzazzjonijiet fis-sistema kollha, ksibna tnaqqis ta’ 90% fl-ispejjeż għal ChatGPT minn Diċembru; issa qed ngħaddu dan l-iffrankar lill-utenti tal-API. L-iżviluppaturi issa jistgħu jużaw il-mudell open-source tagħna Whisper large-v2 fl-API b’riżultati ħafna aktar veloċi u kosteffettivi. L-utenti tal-API ta’ GPT‑3.5 jistgħu jistennew titjib kontinwu fil-mudell u l-għażla li jagħżlu kapaċità ddedikata għal kontroll aktar profond fuq il-mudelli. Smajna wkoll bir-reqqa l-feedback mill-iżviluppaturi tagħna u rfinajna t-termini tas-servizz tal-API tagħna biex jaqdu aħjar il-ħtiġijiet tagħhom.

Snap Inc⁠(jinfetaħ f’tieqa ġdida)., il-kreatur ta’ Snapchat, introduċiet My AI għal Snapchat+ din il-ġimgħa. Il-funzjoni sperimentali qed taħdem fuq l-API ta’ GPT‑3.5. My AI toffri lis-Snapchatters chatbot amikevoli u personalizzabbli fuq ponot subgħajhom li joffri rakkomandazzjonijiet, u jista’ saħansitra jikteb haiku għall-ħbieb fi ftit sekondi. Snapchat, fejn il-komunikazzjoni u l-messaġġi huma mġiba ta’ kuljum, għandha 750 miljun Snapchatters fix-xahar:

Quizlet⁠(jinfetaħ f’tieqa ġdida) hija pjattaforma globali tat-tagħlim b’aktar minn 60 miljun student jużawha biex jistudjaw, jipprattikaw u jegħlbu dak kollu li qed jitgħallmu. Quizlet ħadmet ma’ OpenAI għall-aħħar tliet snin, billi użat GPT‑3 f’diversi każijiet ta’ użu, inkluż it-tagħlim tal-vokabularju u testijiet ta’ prattika. Bit-tnedija tal-API ta’ GPT‑3.5, Quizlet qed tintroduċi Q-Chat, tutur tal-IA kompletament adattiv li jinvolvi lill-istudenti b’mistoqsijiet adattivi bbażati fuq materjal ta’ studju rilevanti mogħti permezz ta’ esperjenza ta’ chat divertenti:

Instacart⁠(jinfetaħ f’tieqa ġdida) qed ttejjeb l-app Instacart biex tippermetti lill-klijenti jistaqsu dwar l-ikel u jiksbu tweġibiet ta’ ispirazzjoni li jistgħu jinxtraw. Dan juża ChatGPT flimkien mal-IA ta’ Instacart stess u d-data tal-prodotti tagħha mill-75,000+ post tal-ħwienet tal-imsieħba bl-imnut tagħhom biex jgħin lill-klijenti jiskopru ideat għal għanijiet ta’ xiri miftuħin, bħal “Kif nagħmel fish tacos mill-aqwa?” jew “X’inhu ikla ta’ nofsinhar b’saħħitha għal uliedi?” Instacart qed tippjana li tniedi “Ask Instacart” aktar tard din is-sena:

Shop⁠(jinfetaħ f’tieqa ġdida), l-app għall-konsumaturi ta’ Shopify, tintuża minn 100 miljun xerrej biex isibu u jinteraġixxu mal-prodotti u l-marki li jħobbu. L-API ta’ GPT‑3.5 tintuża biex tħaddem l-assistent il-ġdid tax-xiri ta’ Shop. Meta x-xerrejja jfittxu prodotti, l-assistent tax-xiri jagħmel rakkomandazzjonijiet personalizzati bbażati fuq it-talbiet tagħhom. L-assistent il-ġdid tax-xiri ta’ Shop imħaddem bl-IA se jissimplifika x-xiri fl-app billi jiskannja miljuni ta’ prodotti biex malajr isib dak li qed ifittxu x-xerrejja—jew jgħinhom jiskopru xi ħaġa ġdida:

Speak⁠(jinfetaħ f’tieqa ġdida) hija app għat-tagħlim tal-lingwi mħaddma bl-IA ffukata fuq il-bini tal-aħjar triq lejn il-ħeffa fit-taħdit. Hija l-app tal-Ingliż li qed tikber l-aktar malajr fil-Korea t’Isfel, u diġà qed tuża l-Whisper API biex tħaddem prodott ġdid ta’ sieħeb tat-taħdit bl-IA, u twasslu malajr lill-bqija tad-dinja. L-eżattezza ta’ Whisper fil-livell tal-bniedem għal studenti tal-lingwa ta’ kull livell tiftaħ prattika konversazzjonali tassew miftuħa u feedback preċiż ħafna:

Mudell: Il-familja ta’ mudelli ChatGPT li qed noħorġu llum, gpt-3.5-turbo, hija l-istess mudell użat fil-prodott ChatGPT. Il-prezz tiegħu huwa $0.002 għal kull 1k tokens, li huwa 10x orħos mill-mudelli GPT‑3.5 eżistenti tagħna. Huwa wkoll l-aħjar mudell tagħna għal ħafna każijiet ta’ użu li mhumiex chat—rajna testers bikrija jemigraw minn text-davinci-003 għal gpt-3.5-turbo b’ammont żgħir biss ta’ aġġustament meħtieġ fil-prompts tagħhom.

API: Tradizzjonalment, il-mudelli GPT jikkunsmaw test mhux strutturat, li jiġi rappreżentat lill-mudell bħala sekwenza ta’ “tokens.” Il-mudelli ChatGPT minflok jikkunsmaw sekwenza ta’ messaġġi flimkien ma’ metadata. (Għal min hu kurjuż: fil-fond, l-input xorta jiġi rrendut lill-mudell bħala sekwenza ta’ “tokens” biex il-mudell jikkonsmah; il-format mhux maħdum użat mill-mudell huwa format ġdid imsejjaħ Chat Markup Language⁠(jinfetaħ f’tieqa ġdida) (“ChatML”).)

Ħloqna endpoint ġdid biex ninteraġixxu mal-mudelli ChatGPT tagħna:

Biex titgħallem aktar dwar l-API ta’ GPT‑3.5, żur il-gwida tagħna Chat⁠(jinfetaħ f’tieqa ġdida).

Aħna kontinwament qed intejbu l-mudelli ChatGPT tagħna, u rridu nagħmlu dan it-titjib disponibbli wkoll għall-iżviluppaturi. L-iżviluppaturi li jużaw il-mudell gpt-3.5-turbo dejjem se jiksbu l-mudell stabbli rakkomandat tagħna, filwaqt li xorta jkollhom il-flessibbiltà li jagħżlu verżjoni speċifika tal-mudell. Pereżempju, illum qed noħorġu gpt-3.5-turbo-0301, li se jkun appoġġjat sa mill-inqas l-1 ta’ Ġunju, u se naġġornaw gpt-3.5-turbo għal rilaxx stabbli ġdid f’April. Il-paġna tal-mudelli⁠(jinfetaħ f’tieqa ġdida) se tipprovdi aġġornamenti dwar il-bidla.

Issa qed noffru wkoll istanzi ddedikati għal utenti li jridu kontroll aktar profond fuq il-verżjoni speċifika tal-mudell u l-prestazzjoni tas-sistema. B’mod awtomatiku, it-talbiet jitħaddmu fuq infrastruttura tal-komputazzjoni maqsuma ma’ utenti oħra, li jħallsu għal kull talba. L-API tagħna taħdem fuq Azure, u b’istanzi ddedikati, l-iżviluppaturi jħallsu skont perjodu ta’ żmien għal allokazzjoni ta’ infrastruttura tal-komputazzjoni rriżervata biex taqdi t-talbiet tagħhom.

L-iżviluppaturi jiksbu kontroll sħiħ fuq it-tagħbija tal-istanza (tagħbija ogħla ttejjeb it-throughput iżda tagħmel kull talba aktar bil-mod), l-għażla li jippermettu karatteristiċi bħal limiti ta’ kuntest itwal, u l-kapaċità li jippinnjaw l-istampa tal-mudell.

Istanzi ddedikati jistgħu jagħmlu sens ekonomikament għal żviluppaturi li jaqbżu madwar 450M tokens kuljum. Barra minn hekk, dan jippermetti l-ottimizzazzjoni diretta tat-tagħbija tax-xogħol ta’ żviluppatur kontra l-prestazzjoni tal-ħardwer, li tista’ tnaqqas l-ispejjeż b’mod drastiku meta mqabbla ma’ infrastruttura maqsuma. Għal mistoqsijiet dwar istanzi ddedikati, ikkuntattjana⁠.

Whisper⁠, il-mudell speech-to-text li għamilna open-source f’Settembru 2022, irċieva tifħir kbir mill-komunità tal-iżviluppaturi iżda jista’ wkoll ikun diffiċli biex jitħaddem. Issa għamilna l-mudell large-v2 disponibbli permezz tal-API tagħna, li jagħti aċċess konvenjenti fuq talba bi prezz ta’ $0.006 / minuta. Barra minn hekk, l-istack tas-servizz ottimizzat ħafna tagħna jiżgura prestazzjoni aktar mgħaġġla meta mqabbel ma’ servizzi oħra.

Whisper API huwa disponibbli permezz tal-endpoints tagħna transcriptions (jittraskrivi fil-lingwa tas-sors) jew translations (jittraskrivi għall-Ingliż), u jaċċetta varjetà ta’ formati (m4a, mp3, mp4, mpeg, mpga, wav, webm):

Biex titgħallem aktar dwar Whisper API, żur il-gwida tagħna Speech to Text⁠(jinfetaħ f’tieqa ġdida).

Matul l-aħħar sitt xhur, ilna niġbru feedback mill-klijenti tal-API tagħna biex nifhmu kif nistgħu naqduhom aħjar. Għamilna bidliet konkreti, bħal:

• Id-data sottomessa permezz tal-API m’għadhiex tintuża għal titjib tas-servizz (inkluż it-taħriġ tal-mudell) sakemm l-organizzazzjoni ma tagħżilx li tipparteċipa
• Implimentazzjoni ta’ politika taż-żamma tad-data awtomatika ta’ 30 jum għall-utenti tal-API, b’għażliet għal żamma aktar stretta skont il-ħtiġijiet tal-utent.
• Tneħħija tar-reviżjoni tagħna qabel it-tnedija (mifruxa billi tejjibna l-monitoraġġ awtomatizzat tagħna)
• Titjib fid-dokumentazzjoni għall-iżviluppaturi
• Semplifikazzjoni tal-Termini tas-Servizz u l-Politiki tal-Użu⁠(jinfetaħ f’tieqa ġdida) tagħna, inklużi termini dwar is-sjieda tad-data: l-utenti huma sidien tal-input u l-output tal-mudelli.

Għall-aħħar xahrejn, l-uptime tagħna ma laħaqx l-aspettattivi tagħna stess u lanqas dawk tal-utenti tagħna. L-ogħla prijorità tat-tim tal-inġinerija tagħna issa hija l-istabbiltà tal-każijiet ta’ użu fil-produzzjoni—nafu li biex niżguraw li l-IA tibbenefika lill-umanità kollha jeħtieġ li nkunu fornitur ta’ servizz affidabbli. Żommuna responsabbli għal uptime aħjar fix-xhur li ġejjin!

Nemmnu li l-IA tista’ tipprovdi opportunitajiet inkredibbli u setgħa ekonomika lil kulħadd, u li l-aħjar mod biex niksbu dan huwa li nħallu lil kulħadd jibni biha. Nittamaw li l-bidliet li ħabbarna llum iwasslu għal ħafna applikazzjonijiet li kulħadd jista’ jibbenefika minnhom. Ibda tibni apps tal-ġenerazzjoni li jmiss imħaddma minn ChatGPT & Whisper.