Presentem les API de GPT‑3.5 Turbo i Whisper

Actualització del 24 d’abril de 2024: El nom ChatGPT API s’ha deixat d’utilitzar. Les mencions de ChatGPT API en aquest blog fan referència a l’API de GPT‑3.5 Turbo.

Els models ChatGPT i Whisper ja estan disponibles a la nostra API, cosa que dona als desenvolupadors accés a capacitats capdavanteres de llenguatge (no només xat!) i de veu a text. Mitjançant una sèrie d’optimitzacions a escala de sistema, hem aconseguit una reducció del 90 % del cost de ChatGPT des del desembre; ara traslladem aquest estalvi als usuaris de l’API. Ara els desenvolupadors poden fer servir el nostre model Whisper large-v2 de codi obert a l’API amb resultats molt més ràpids i rendibles. Els usuaris de l’API de GPT‑3.5 poden esperar millores contínues del model i l’opció d’escollir capacitat dedicada per tenir un control més profund sobre els models. També hem escoltat atentament els comentaris dels nostres desenvolupadors i hem refinat les nostres condicions de servei de l’API per adaptar-nos millor a les seves necessitats.

Snap Inc⁠(s'obre en una finestra nova)., la creadora de Snapchat, ha presentat My AI per a Snapchat+ aquesta setmana. Aquesta funcionalitat experimental funciona amb l’API de GPT‑3.5. My AI ofereix als usuaris de Snapchat un chatbot amable i personalitzable al seu abast que ofereix recomanacions, i fins i tot pot escriure un haiku per als amics en segons. Snapchat, on la comunicació i la missatgeria són un hàbit diari, té 750 milions d’usuaris mensuals:

Quizlet⁠(s'obre en una finestra nova) és una plataforma global d’aprenentatge amb més de 60 milions d’estudiants que la fan servir per estudiar, practicar i dominar allò que estan aprenent. Quizlet ha treballat amb OpenAI durant els últims tres anys, aprofitant GPT‑3 en múltiples casos d’ús, com ara l’aprenentatge de vocabulari i les proves pràctiques. Amb el llançament de l’API de GPT‑3.5, Quizlet presenta Q-Chat, un tutor d’IA totalment adaptatiu que implica els estudiants amb preguntes adaptatives basades en materials d’estudi rellevants oferts mitjançant una experiència de xat divertida:

Instacart⁠(s'obre en una finestra nova) està ampliant l’app d’Instacart per permetre als clients preguntar sobre aliments i obtenir respostes inspiradores que es poden comprar. Això fa servir ChatGPT juntament amb la pròpia IA d’Instacart i dades de producte de les més de 75.000 ubicacions de botigues dels seus socis minoristes per ajudar els clients a descobrir idees per a objectius de compra oberts, com ara «Com puc fer uns bons tacos de peix?» o «Quin és un dinar saludable per als meus fills?». Instacart preveu llançar «Ask Instacart» més endavant aquest any:

Shop⁠(s'obre en una finestra nova), l’app per a consumidors de Shopify, la fan servir 100 milions de compradors per trobar i interactuar amb els productes i les marques que els agraden. L’API de GPT‑3.5 es fa servir per impulsar el nou assistent de compres de Shop. Quan els compradors cerquen productes, l’assistent de compres fa recomanacions personalitzades basades en les seves sol·licituds. El nou assistent de compres impulsat per IA de Shop agilitzarà les compres dins de l’app escanejant milions de productes per trobar ràpidament allò que els compradors busquen, o bé ajudar-los a descobrir alguna cosa nova:

Speak⁠(s'obre en una finestra nova) és una app d’aprenentatge d’idiomes impulsada per IA centrada a construir el millor camí cap a la fluïdesa oral. És l’app d’anglès que creix més ràpidament a Corea del Sud, i ja fa servir l’API de Whisper per impulsar un nou producte de company de conversa amb IA i portar-lo ràpidament a la resta del món. La precisió de Whisper, al nivell humà, per a estudiants d’idiomes de qualsevol nivell permet una pràctica conversacional realment oberta i comentaris molt precisos:

Model: La família de models ChatGPT que publiquem avui, gpt-3.5-turbo, és el mateix model que s’utilitza al producte ChatGPT. Té un preu de 0,002 $ per cada 1k segments, cosa que el fa 10 vegades més barat que els nostres models GPT‑3.5 existents. També és el nostre millor model per a molts casos d’ús que no són de xat: hem vist primers provadors migrar de text-davinci-003 a gpt-3.5-turbo amb només una petita quantitat d’ajust necessària a les seves indicacions.

API: Tradicionalment, els models GPT consumeixen text no estructurat, que es representa al model com una seqüència de «segments». En canvi, els models de ChatGPT consumeixen una seqüència de missatges juntament amb metadades. (Per als curiosos: internament, l’entrada encara es representa al model com una seqüència de «segments» perquè el model els processi; el format en brut que utilitza el model és un nou format anomenat Chat Markup Language⁠(s'obre en una finestra nova) («ChatML»).)

Hem creat un nou punt final per interactuar amb els nostres models ChatGPT:

Per obtenir més informació sobre l’API de GPT‑3.5, visiteu la nostra guia de xat⁠(s'obre en una finestra nova).

Millorem constantment els nostres models ChatGPT i volem posar aquestes millores també a disposició dels desenvolupadors. Els desenvolupadors que facin servir el model gpt-3.5-turbo sempre obtindran el nostre model estable recomanat, tot mantenint la flexibilitat d’optar per una versió específica del model. Per exemple, avui publiquem gpt-3.5-turbo-0301, que tindrà suport com a mínim fins a l’1 de juny, i actualitzarem gpt-3.5-turbo a una nova versió estable a l’abril. La pàgina de models⁠(s'obre en una finestra nova) proporcionarà actualitzacions sobre el canvi.

Ara també oferim instàncies dedicades per als usuaris que volen un control més profund sobre la versió específica del model i el rendiment del sistema. Per defecte, les sol·licituds s’executen en una infraestructura de càlcul compartida amb altres usuaris, que paguen per sol·licitud. La nostra API funciona a Azure i, amb les instàncies dedicades, els desenvolupadors pagaran per període de temps per una assignació d’infraestructura de càlcul reservada per atendre les seves sol·licituds.

Els desenvolupadors obtenen control total sobre la càrrega de la instància (una càrrega més alta millora el rendiment però fa que cada sol·licitud sigui més lenta), l’opció d’habilitar funcionalitats com ara límits de context més llargs i la capacitat de fixar la instantània del model.

Les instàncies dedicades poden tenir sentit econòmic per als desenvolupadors que superen aproximadament els 450 M segments al dia. A més, permet optimitzar directament la càrrega de treball d’un desenvolupador respecte del rendiment del maquinari, cosa que pot reduir dràsticament els costos en relació amb la infraestructura compartida. Per a consultes sobre instàncies dedicades, contacteu amb nosaltres⁠.

Whisper⁠, el model de veu a text que vam publicar com a codi obert el setembre de 2022, ha rebut grans elogis de la comunitat de desenvolupadors, però també pot ser difícil d’executar. Ara hem posat el model large-v2 a disposició a través de la nostra API, que ofereix un accés pràctic sota demanda a un preu de 0,006 $ / minut. A més, la nostra infraestructura de servei altament optimitzada garanteix un rendiment més ràpid en comparació amb altres serveis.

L’API de Whisper està disponible a través dels punts finals transcriptions (transcriu en la llengua d’origen) o translations (transcriu a l’anglès), i accepta diversos formats (m4a, mp3, mp4, mpeg, mpga, wav, webm):

Per obtenir més informació sobre l’API de Whisper, visiteu la nostra guia de veu a text⁠(s'obre en una finestra nova).

Durant els últims sis mesos, hem anat recopilant comentaris dels nostres clients de l’API per entendre com podem donar-los un millor servei. Hem fet canvis concrets, com ara:

• Les dades enviades a través de l’API ja no es fan servir per millorar el servei (inclòs l’entrenament del model), llevat que l’organització hi doni el seu consentiment
• Implementació d’una política de preservació de dades predeterminada de 30 dies per als usuaris de l’API, amb opcions de preservació més estrictes segons les necessitats dels usuaris.
• Eliminació de la nostra revisió prèvia al llançament (possible gràcies a la millora del nostre monitoratge automatitzat)
• Millora de la documentació per a desenvolupadors
• Simplificació de les nostres Condicions del servei i polítiques d’ús⁠(s'obre en una finestra nova), inclosos els termes sobre la propietat de les dades: els usuaris són propietaris de l’entrada i la sortida dels models.

Durant els dos últims mesos, la nostra disponibilitat no ha estat a l’altura ni de les nostres pròpies expectatives ni de les dels nostres usuaris. La màxima prioritat del nostre equip d’enginyeria ara és l’estabilitat dels casos d’ús de producció: sabem que garantir que la IA beneficiï tota la humanitat requereix ser un proveïdor de serveis fiable. Exigiu-nos responsabilitats per millorar la disponibilitat durant els propers mesos!

Creiem que la IA pot oferir oportunitats increïbles i empoderament econòmic a tothom, i que la millor manera d’aconseguir-ho és permetre que tothom pugui construir-hi. Esperem que els canvis que hem anunciat avui donin lloc a nombroses aplicacions de les quals tothom es pugui beneficiar. Comenceu a crear apps de nova generació impulsades per ChatGPT i Whisper.