GPT‑3.5 Turbo ба Whisper API-уудыг танилцуулж байна

2024 оны 4-р сарын 24-ний шинэчлэлт: ChatGPT API нэрийг зогсоосон. Энэ блог дахь ChatGPT API-ийн дурдлагууд нь GPT‑3.5 Turbo API-ийг хэлж байна.

ChatGPT болон Whisper загварууд одоо манай API дээр ашиглах боломжтой болж, хөгжүүлэгчдэд хамгийн сүүлийн үеийн хэлний (зөвхөн чат биш!) болон яриаг текст болгох чадамжид хандах эрх олгож байна. Систем даяарх хэд хэдэн оновчлолын ачаар бид 12-р сараас хойш ChatGPT‑ийн зардлыг 90% бууруулсан; одоо бид тэр хэмнэлтийг API хэрэглэгчдэд дамжуулж байна. Хөгжүүлэгчид одоо манай нээлттэй эхтэй Whisper large-v2 загварыг API дээр илүү хурдан бөгөөд зардал багатай үр дүнтэй ашиглах боломжтой. GPT‑3.5 API хэрэглэгчид загварын тасралтгүй сайжруулалт болон загварууд дээр илүү гүн хяналт хийхийн тулд тусгай зориулалтын багтаамж сонгох боломжийг хүлээж болно. Мөн бид хөгжүүлэгчдийнхээ санал хүсэлтийг анхааралтай сонсож, API үйлчилгээний нөхцлөө тэдний хэрэгцээнд илүү нийцүүлэхээр сайжруулсан.

Snap Inc⁠(шинэ цонхонд нээгдэнэ)., Snapchat-ийг бүтээгч компани энэ долоо хоногт Snapchat+ дээрх My AI-г танилцууллаа. Энэ туршилтын боломж GPT‑3.5 API дээр ажиллаж байна. My AI нь Snapchat хэрэглэгчдэд зөвлөмж өгдөг, тэр ч байтугай найзууддаа зориулж хэдхэн секундын дотор хайку хүртэл бичиж чаддаг, найрсаг бөгөөд өөрчлөн тохируулах боломжтой чатботыг шууд гарын дор санал болгодог. Харилцаа холбоо, мессеж бичилт нь өдөр тутмын зан үйл болсон Snapchat нь сард 750 сая хэрэглэгчтэй:

Quizlet⁠(шинэ цонхонд нээгдэнэ) нь дэлхий даяар 60 саяас олон сурагчийн суралцах, дадлага хийх, сурч буй зүйлээ эзэмшихэд ашигладаг сургалтын платформ юм. Quizlet сүүлийн гурван жилийн турш OpenAI-тай хамтран ажиллаж, GPT‑3‑ыг үгсийн сан сурах, дадлагын шалгалт зэрэг олон хэрэглээнд ашиглаж ирсэн. GPT‑3.5 API нэвтэрснээр Quizlet нь Q-Chat-ийг танилцуулж байна. Энэ нь холбогдох сургалтын материалад тулгуурласан дасан зохицох асуултуудаар сурагчдыг хөгжилтэй чат туршлагаар татан оролцуулдаг бүрэн дасан зохицдог AI багш юм:

Instacart⁠(шинэ цонхонд нээгдэнэ) нь хэрэглэгчдэд хоолны талаар асууж, санаа өгөх бөгөөд шууд худалдан авч болох хариулт авах боломж олгохын тулд Instacart апп-аа өргөтгөж байна. Энэ нь ChatGPT‑ийг Instacart-ийн өөрийн AI болон 75,000+ жижиглэнгийн түнш дэлгүүрийн байршлын бүтээгдэхүүний өгөгдөлтэй хамт ашиглан “Би яаж гоё загасны тако хийх вэ?” эсвэл “Хүүхдүүдэд маань ямар эрүүл өдрийн хоол тохирох вэ?” зэрэг нээлттэй худалдан авалтын зорилгод зориулсан санааг хэрэглэгчдэд олоход тусалдаг. Instacart энэ оны сүүлээр “Ask Instacart”-ийг гаргахаар төлөвлөж байна:

Shop⁠(шинэ цонхонд нээгдэнэ), Shopify-ийн хэрэглэгчийн аппыг 100 сая худалдан авагч дуртай бүтээгдэхүүн, брэндээ олох болон харилцахад ашигладаг. GPT‑3.5 API нь Shop-ийн шинэ худалдааны туслахыг ажиллуулахад ашиглагдаж байна. Худалдан авагчид бүтээгдэхүүн хайх үед худалдааны туслах нь тэдний хүсэлтэд тулгуурлан хувьчилсан зөвлөмж өгдөг. Shop-ийн шинэ AI-д суурилсан худалдааны туслах нь сая сая бүтээгдэхүүнийг шалгаж, худалдан авагчдын хайж буй зүйлийг хурдан олох эсвэл тэдэнд шинэ зүйл нээж өгөх замаар апп доторх худалдан авалтыг хялбаршуулах болно:

Speak⁠(шинэ цонхонд нээгдэнэ) нь ярианы чөлөөтэй чадварыг бий болгох хамгийн сайн замд төвлөрсөн AI-д суурилсан хэл сурах апп юм. Тэд Өмнөд Солонгосын хамгийн хурдан өсөж буй англи хэлний апп бөгөөд Whisper API-ийг ашиглан шинэ AI ярианы хамтрагч бүтээгдэхүүнээ ажиллуулж, үүнийг дэлхийн бусад хэсэгт хурдан хүргэж байна. Whisper-ийн хүний түвшний нарийвчлал нь бүх түвшний хэл суралцагчдад жинхэнэ нээлттэй ярианы дадлага болон маш нарийн санал хүсэлтийг нээж өгч байна:

Загвар: Бидний өнөөдөр гаргаж буй ChatGPT загварын бүлэг болох gpt-3.5-turbo нь ChatGPT бүтээгдэхүүнд ашиглагддагтай ижил загвар юм. Үнэ нь 1k токен тутамд $0.002 бөгөөд энэ нь манай одоогийн GPT‑3.5 загваруудаас 10 дахин хямд. Мөн энэ нь чат бус олон хэрэглээнд зориулсан манай хамгийн сайн загвар бөгөөд эхний туршигчид text-davinci-003-оос gpt-3.5-turbo руу өгөгдөлдөө маш багахан тохируулга хийгээд шилжсэнийг бид харсан.

API: Уламжлалт байдлаар GPT загварууд бүтэцгүй текстийг хэрэглэдэг бөгөөд энэ нь загварт “токен”-уудын дараалал хэлбэрээр төлөөлөгддөг. Харин ChatGPT загварууд нь мета өгөгдлийн хамт мессежүүдийн дарааллыг хэрэглэдэг. (Сонирхож буй хүмүүст: дотоод түвшинд оролт нь загварын хэрэглэх “токен”-уудын дараалал хэлбэрээр мөн л дүрслэгддэг; загварын ашигладаг түүхий формат нь Chat Markup Language⁠(шинэ цонхонд нээгдэнэ) (“ChatML”) хэмээх шинэ формат юм.)

Бид ChatGPT загваруудтай харилцах шинэ эцсийн цэгийг бүтээсэн:

GPT‑3.5 API-ийн талаар илүү ихийг мэдэхийг хүсвэл манай Chat гарын авлагыг үзнэ үү⁠(шинэ цонхонд нээгдэнэ).

Бид ChatGPT загваруудаа тасралтгүй сайжруулж байгаа бөгөөд эдгээр сайжруулалтыг хөгжүүлэгчдэд мөн хүргэхийг хүсэж байна. gpt-3.5-turbo загварыг ашигладаг хөгжүүлэгчид үргэлж бидний санал болгож буй тогтвортой загварыг авах бөгөөд үүний зэрэгцээ тодорхой загварын хувилбарыг сонгох уян хатан байдлаа хадгална. Жишээ нь, өнөөдөр бид gpt-3.5-turbo-0301-ийг гаргаж байгаа бөгөөд энэ нь дор хаяж 6-р сарын 1 хүртэл дэмжигдэнэ, мөн бид gpt-3.5-turbo-г 4-р сард шинэ тогтвортой хувилбарт шинэчилнэ. загваруудын хуудас⁠(шинэ цонхонд нээгдэнэ) нь шилжилтийн шинэчлэлтүүдийг өгөх болно.

Одоо бид загварын тодорхой хувилбар болон системийн гүйцэтгэл дээр илүү гүн хяналт хүсдэг хэрэглэгчдэд зориулж тусгай зориулалтын instance-уудыг мөн санал болгож байна. Анхдагчаар хүсэлтүүд нь бусад хэрэглэгчидтэй хуваалцдаг тооцооллын дэд бүтэц дээр ажилладаг бөгөөд тэд хүсэлт бүрээр төлбөр төлдөг. Манай API Azure дээр ажилладаг бөгөөд тусгай зориулалтын instance-тай үед хөгжүүлэгчид өөрсдийн хүсэлтэд үйлчлэхээр нөөцөлсөн тооцооллын дэд бүтцийн хуваарилалтад хугацаагаар төлбөр төлнө.

Хөгжүүлэгчид instance-ийн ачааллыг бүрэн хянах (их ачаалал нь нэвтрүүлэх чадамжийг сайжруулдаг ч хүсэлт бүрийг удаашруулдаг), урт контекстийн хязгаар зэрэг боломжуудыг идэвхжүүлэх сонголт, мөн загварын snapshot-ийг тогтоон барих чадварыг авна.

Тусгай зориулалтын instance-ууд нь өдөрт ~450M токеноос дээш ажиллуулдаг хөгжүүлэгчдэд эдийн засгийн хувьд утга учиртай байж болно. Нэмж хэлэхэд, энэ нь хөгжүүлэгчийн ажлын ачааллыг техник хангамжийн гүйцэтгэлтэй шууд оновчлох боломж олгож, хуваалцсан дэд бүтэцтэй харьцуулахад зардлыг эрс бууруулж чадна. Тусгай зориулалтын instance-ийн талаар лавлах бол бидэнтэй холбогдоно уу⁠.

Whisper⁠ нь бидний 2022 оны 9-р сард нээлттэй эх болгосон яриаг текст болгодог загвар бөгөөд хөгжүүлэгчдийн нийгэмлэгээс асар их сайшаал хүртсэн ч ажиллуулахад бас хэцүү байж болно. Одоо бид large-v2 загварыг API-аараа дамжуулан ашиглах боломжтой болгосон бөгөөд энэ нь хүссэн үедээ хандах тухтай боломжийг минут тутамд $0.006 үнээр олгож байна. Нэмж дурдахад, бидний өндөр оновчлогдсон үйлчилгээний стек нь бусад үйлчилгээнүүдтэй харьцуулахад илүү хурдан гүйцэтгэлийг хангана.

Whisper API нь манай transcriptions (эх хэл дээр хөрвүүлэн бичих) эсвэл translations (англи руу хөрвүүлэн бичих) эцсийн цэгүүдээр ашиглагдах боломжтой бөгөөд олон төрлийн форматыг хүлээн авна (m4a, mp3, mp4, mpeg, mpga, wav, webm):

Whisper API-ийн талаар илүү ихийг мэдэхийг хүсвэл манай Speech to Text гарын авлагыг үзнэ үү⁠(шинэ цонхонд нээгдэнэ).

Сүүлийн зургаан сарын хугацаанд бид API хэрэглэгчдээсээ тэдэнд хэрхэн илүү сайн үйлчлэхээ ойлгохын тулд санал хүсэлт цуглуулж ирсэн. Бид дараах мэт бодит өөрчлөлтүүдийг хийсэн:

• API-аар илгээсэн өгөгдлийг байгууллага зөвшөөрөөгүй бол үйлчилгээний сайжруулалтанд (үүнд загварын сургалт орно) ашиглахаа больсон
• API хэрэглэгчдэд анхдагч 30 хоногийн хадгалалтын бодлого хэрэгжүүлж, хэрэглэгчийн хэрэгцээнээс шалтгаалан илүү хатуу хадгалалтын сонголтуудыг санал болгосон.
• Урьдчилсан нээлтийн шалгалтыг цуцалсан (манай автомат хяналтыг сайжруулснаар боломжтой болсон)
• Хөгжүүлэгчийн баримтжуулалтыг сайжруулсан
• Өгөгдлийн өмчлөлийн нөхцөлийг багтаан манай Үйлчилгээний нөхцөл болон Хэрэглээний бодлого⁠(шинэ цонхонд нээгдэнэ)-ыг хялбарчилсан: хэрэглэгчид загваруудын оролт, гаралтыг эзэмшинэ.

Сүүлийн хоёр сарын хугацаанд манай uptime нь өөрсдийн болон хэрэглэгчдийнхээ хүлээлтэд хүрээгүй. Манай инженерийн багийн хамгийн тэргүүний зорилт одоо үйлдвэрлэлийн хэрэглээний тогтвортой байдал болсон—AI нь бүх хүн төрөлхтөнд үр өгөөжөө өгөхийн тулд найдвартай үйлчилгээ үзүүлэгч байх шаардлагатайг бид мэднэ. Ирэх саруудад uptime-аа сайжруулахын төлөө биднийг хариуцлагатай байлгаарай!

AI нь хүн бүрт гайхалтай боломж, эдийн засгийн чадавх олгож чадна гэж бид үздэг бөгөөд үүнд хүрэх хамгийн сайн арга бол хүн бүрт үүнийг ашиглан бүтээх боломж олгох явдал юм. Өнөөдөр зарласан өөрчлөлтүүд маань хүн бүрт ашиг тусаа өгөх олон тооны хэрэглээг бий болгоно гэж найдаж байна. ChatGPT & Whisper-ээр ажилладаг дараагийн үеийн апп-уудыг бүтээж эхлээрэй.