Predstavljamo API-je za GPT‑3.5 Turbo i Whisper

Ažuriranje od 24. aprila 2024: Naziv ChatGPT API je ukinut. Pominjanja ChatGPT API-ja na ovom blogu odnose se na GPT‑3.5 Turbo API.

Modeli ChatGPT i Whisper sada su dostupni u našem API-ju, dajući programerima pristup najsavremenijim mogućnostima jezika (ne samo ćaskanja!) i pretvaranja govora u tekst. Kroz niz optimizacija na nivou celog sistema, postigli smo smanjenje troškova za ChatGPT od 90% od decembra; sada te uštede prenosimo na korisnike API-ja. Programeri sada mogu da koriste naš open-source Whisper large-v2 model u API-ju sa mnogo bržim i isplativijim rezultatima. Korisnici GPT‑3.5 API-ja mogu da očekuju kontinuirana poboljšanja modela i opciju izbora namenskog kapaciteta za dublju kontrolu nad modelima. Takođe smo pažljivo slušali povratne informacije naših programera i doradili naše uslove korišćenja API-ja kako bismo bolje zadovoljili njihove potrebe.

Snap Inc⁠(отвара се у новом прозору)., tvorac Snapchat-a, ove nedelje je predstavio My AI za Snapchat+. Eksperimentalna funkcija radi na GPT‑3.5 API-ju. My AI nudi korisnicima Snapchat-a prijateljski, prilagodljiv chatbot nadohvat ruke koji daje preporuke, a može čak i da napiše haiku za prijatelje za nekoliko sekundi. Snapchat, gde su komunikacija i razmena poruka svakodnevna navika, ima 750 miliona mesečnih korisnika Snapchat-a:

Quizlet⁠(отвара се у новом прозору) je globalna platforma za učenje sa više od 60 miliona učenika koji je koriste za učenje, vežbanje i savladavanje onoga što uče. Quizlet sarađuje sa OpenAI poslednje tri godine, koristeći GPT‑3 u više slučajeva upotrebe, uključujući učenje vokabulara i testove za vežbu. Sa lansiranjem GPT‑3.5 API-ja, Quizlet predstavlja Q-Chat, potpuno prilagodljivog AI tutora koji uključuje učenike adaptivnim pitanjima zasnovanim na relevantnim materijalima za učenje, isporučenim kroz zabavno chat iskustvo:

Instacart⁠(отвара се у новом прозору) unapređuje aplikaciju Instacart kako bi omogućio korisnicima da postavljaju pitanja o hrani i dobijaju inspirativne odgovore koji se mogu kupiti. Ovo koristi ChatGPT uz sopstveni AI Instacart-a i podatke o proizvodima iz više od 75.000 partnerskih maloprodajnih lokacija kako bi pomoglo korisnicima da otkriju ideje za otvorene ciljeve kupovine, kao što su „Kako da napravim sjajne riblje takose?“ ili „Šta je zdrav ručak za moju decu?“ Instacart planira da pokrene „Ask Instacart“ kasnije ove godine:

Shop⁠(отвара се у новом прозору), Shopify-jeva aplikacija za potrošače, koristi 100 miliona kupaca da pronađu i povežu se sa proizvodima i brendovima koje vole. GPT‑3.5 API se koristi za pokretanje novog Shop pomoćnika za kupovinu. Kada kupci traže proizvode, pomoćnik za kupovinu daje personalizovane preporuke na osnovu njihovih zahteva. Novi Shop pomoćnik za kupovinu pokretan AI-jem pojednostaviće kupovinu unutar aplikacije skeniranjem miliona proizvoda kako bi brzo pronašao ono što kupci traže — ili im pomogao da otkriju nešto novo:

Speak⁠(отвара се у новом прозору) je aplikacija za učenje jezika pokretana AI-jem, usmerena na izgradnju najboljeg puta do tečnog govora. To je najbrže rastuća aplikacija za engleski u Južnoj Koreji i već koristi Whisper API za pokretanje novog AI proizvoda za govornog saputnika, kao i za njegovo brzo širenje na ostatak sveta. Whisper-ova preciznost na ljudskom nivou za učenike jezika svih nivoa omogućava istinsku otvorenu konverzacijsku vežbu i veoma precizne povratne informacije:

Model: Porodica ChatGPT modela koju danas objavljujemo, gpt-3.5-turbo, isti je model koji se koristi u proizvodu ChatGPT. Cena mu je 0,002 USD za 1k tokena, što je 10x jeftinije od naših postojećih GPT‑3.5 modela. To je takođe naš najbolji model za mnoge slučajeve upotrebe van ćaskanja — videli smo da rani testeri prelaze sa text-davinci-003 na gpt-3.5-turbo uz samo malu količinu prilagođavanja njihovih instrukcija.

API: Tradicionalno, GPT modeli koriste nestrukturiran tekst, koji je modelu predstavljen kao niz „tokena“. ChatGPT modeli umesto toga koriste niz poruka zajedno sa metapodacima. (Za radoznale: ispod haube, ulaz se i dalje prikazuje modelu kao niz „tokena“ koje model koristi; sirovi format koji model koristi je novi format nazvan Chat Markup Language⁠(отвара се у новом прозору) („ChatML“).)

Napravili smo novu krajnju tačku za interakciju sa našim ChatGPT modelima:

Da biste saznali više o GPT‑3.5 API-ju, posetite naš vodič za ćaskanje⁠(отвара се у новом прозору).

Stalno unapređujemo naše ChatGPT modele i želimo da ta poboljšanja budu dostupna i programerima. Programeri koji koriste model gpt-3.5-turbo uvek će dobijati naš preporučeni stabilni model, a i dalje će imati fleksibilnost da izaberu određenu verziju modela. Na primer, danas objavljujemo gpt-3.5-turbo-0301, koji će biti podržan najmanje do 1. juna, a u aprilu ćemo ažurirati gpt-3.5-turbo na novo stabilno izdanje. Stranica modela⁠(отвара се у новом прозору) pružaće novosti o prelasku.

Sada nudimo i namenske instance za korisnike koji žele dublju kontrolu nad određenom verzijom modela i performansama sistema. Podrazumevano se zahtevi izvršavaju na računarskoj infrastrukturi koja se deli sa drugim korisnicima, koji plaćaju po zahtevu. Naš API radi na Azure-u, a sa namenskim instancama programeri će plaćati po vremenskom periodu za dodelu računarske infrastrukture rezervisane za obradu njihovih zahteva.

Programeri dobijaju potpunu kontrolu nad opterećenjem instance (veće opterećenje poboljšava propusnu moć, ali svaki zahtev čini sporijim), opciju da omoguće funkcije kao što su duža ograničenja konteksta i mogućnost da zakače snimak modela.

Namenske instance mogu imati ekonomskog smisla za programere koji obrađuju više od ~450M tokena dnevno. Pored toga, omogućavaju direktnu optimizaciju radnog opterećenja programera u odnosu na performanse hardvera, što može dramatično smanjiti troškove u poređenju sa deljenom infrastrukturom. Za upite o namenskim instancama, kontaktirajte nas⁠.

Whisper⁠, model za pretvaranje govora u tekst koji smo otvorili kao open-source u septembru 2022, dobio je ogromne pohvale od zajednice programera, ali može biti i težak za pokretanje. Sada smo veliki-v2 model učinili dostupnim preko našeg API-ja, koji pruža praktičan pristup na zahtev po ceni od 0,006 USD po minutu. Pored toga, naš visoko optimizovan servisni stek obezbeđuje brže performanse u poređenju sa drugim uslugama.

Whisper API je dostupan preko naših krajnjih tačaka transcriptions (transkribuje na izvornom jeziku) ili translations (transkribuje na engleski), i prihvata različite formate (m4a, mp3, mp4, mpeg, mpga, wav, webm):

Da biste saznali više o Whisper API-ju, posetite naš vodič za Speech to Text⁠(отвара се у новом прозору).

U proteklih šest meseci prikupljali smo povratne informacije naših API klijenata kako bismo razumeli kako možemo bolje da ih podržimo. Napravili smo konkretne promene, kao što su:

• Podaci poslati preko API-ja više se ne koriste za unapređenje usluge (uključujući obuku modela), osim ako se organizacija ne prijavi za to
• Uvođenje podrazumevane 30-dnevne politike čuvanja podataka za API korisnike, sa opcijama za strože čuvanje u zavisnosti od potreba korisnika.
• Uklanjanje našeg pregleda pre lansiranja (omogućeno unapređenjem našeg automatizovanog nadzora)
• Unapređenje dokumentacije za programere
• Pojednostavljivanje naših Uslova korišćenja i politika upotrebe⁠(отвара се у новом прозору), uključujući odredbe o vlasništvu nad podacima: korisnici poseduju ulaz i izlaz modela.

Tokom protekla dva meseca naša dostupnost nije ispunila ni naša očekivanja ni očekivanja naših korisnika. Glavni prioritet našeg inženjerskog tima sada je stabilnost produkcionih slučajeva upotrebe — znamo da obezbeđivanje koristi od AI-ja za celo čovečanstvo zahteva da budemo pouzdan pružalac usluga. Smatrajte nas odgovornim za poboljšanu dostupnost u narednim mesecima!

Verujemo da AI može svima da pruži neverovatne prilike i ekonomsko osnaživanje, a najbolji način da se to postigne jeste da se svima omogući da grade uz njega. Nadamo se da će promene koje smo danas najavili dovesti do brojnih aplikacija od kojih svi mogu imati koristi. Počnite da pravite aplikacije sledeće generacije koje pokreću ChatGPT i Whisper.