અમે APIમાં ત્રણ ઓડિયો મોડલ્સ રજૂ કરી રહ્યા છીએ, જે ડેવલપર્સ માટે વૉઇસ એપ્સની નવી શ્રેણીને અનલૉક કરે છે. આ મોડલ્સ સાથે, ડેવલપર્સ એવા વૉઇસ અનુભવ બનાવી શકે છે જે વધુ સ્વાભાવિક લાગે, વધુ બુદ્ધિશાળી રીતે પ્રતિસાદ આપે અને રિયલ ટાઇમમાં પગલાં લે:

• GPT‑Realtime‑2, GPT‑5‑ક્લાસ રિઝનિંગ ધરાવતું અમારું પહેલું વૉઇસ મોડલ, જે વધુ મુશ્કેલ વિનંતીઓ સંભાળી શકે છે અને વાતચીતને સ્વાભાવિક રીતે આગળ લઈ જઈ શકે છે.
• GPT‑Realtime‑Translate, નવું લાઇવ અનુવાદ મોડલ, જે 70+ ઇનપુટ ભાષાઓમાંથી 13 આઉટપુટ ભાષાઓમાં સ્પીચનું અનુવાદ કરે છે અને બોલનારની ગતિ સાથે ચાલે છે.
• GPT‑Realtime‑Whisper, નવું સ્ટ્રીમિંગ સ્પીચ-ટુ-ટેક્સ્ટ મોડલ, જે બોલનાર બોલે ત્યારે જ લાઇવ ટ્રાન્સક્રિપ્શન કરે છે.

વૉઇસ લોકો માટે સોફ્ટવેર વાપરવાની સૌથી સ્વાભાવિક રીતોમાંની એક બની રહી છે. તે કોઈને ડ્રાઇવિંગ કરતી વખતે મદદ માંગવા, એરપોર્ટમાં ચાલતા ચાલતા મુસાફરી યોજના બદલવા, પોતાની પસંદગીની ભાષામાં સપોર્ટ મેળવવા અથવા ટાઇપ કરવા અટક્યા વગર કાર્ય પૂર્ણ કરવા દે છે.

પરંતુ ઉપયોગી વૉઇસ પ્રોડક્ટ્સ બનાવવા માટે માત્ર ઝડપી ટર્ન-ટેકિંગ અથવા સ્વાભાવિક લાગતો અવાજ પૂરતો નથી. વૉઇસ એજન્ટે વ્યક્તિનો અર્થ સમજવો, સંદર્ભ યાદ રાખવો, વિનંતી બદલાય ત્યારે પુનઃસ્થાપિત થવું, વાતચીત ચાલુ રહે ત્યારે ટૂલ્સનો ઉપયોગ કરવો અને ક્ષણને અનુરૂપ રીતે પ્રતિસાદ આપવો જરૂરી છે.

એકસાથે, અમે લોન્ચ કરી રહ્યા છીએ તે મોડલ્સ રિયલટાઇમ ઓડિયોને સરળ કોલ-એન્ડ-રિસ્પોન્સથી આગળ ધપાવીને એવા વૉઇસ ઇન્ટરફેસ તરફ લઈ જાય છે જે વાસ્તવમાં કામ કરી શકે: સાંભળવું, રિઝનિંગ કરવું, અનુવાદ કરવું, ટ્રાન્સક્રાઇબ કરવું અને વાતચીત આગળ વધે તેમ પગલાં લેવું.

જેમ વૉઇસ સોફ્ટવેર વાપરવાની વધુ સ્વાભાવિક રીત બની રહી છે, તેમ અમે ડેવલપર્સને વૉઇસ AIમાં ત્રણ ઉદ્ભવતા પેટર્ન્સ પર નિર્માણ કરતાં જોઈ રહ્યા છીએ:

• વૉઇસ-ટુ-એક્શન, જેમાં લોકો પોતાની જરૂરિયાત વર્ણવી શકે છે અને સિસ્ટમ વિનંતી પર રિઝનિંગ કરીને, ટૂલ્સનો ઉપયોગ કરીને અને કાર્ય પૂર્ણ કરીને જવાબ આપી શકે છે. ઉદાહરણ તરીકે, Zillow એવો સહાયક બનાવી રહ્યું છે જે આવી વિનંતીઓ સાંભળી, રિઝનિંગ કરી અને પગલાં લઈ શકે: “મને મારા BuyAbilityની અંદર આવતાં ઘર શોધી આપો, વ્યસ્ત રસ્તાઓથી બચો અને શનિવારે ટૂર શેડ્યૂલ કરો.”
• સિસ્ટમ્સ-ટુ-વૉઇસ, જેમાં સોફ્ટવેર સંદર્ભને જીવંત બોલી માર્ગદર્શનામાં બદલી શકે છે. ઉદાહરણ તરીકે, કોઈ ટ્રાવેલ એપ મુસાફરને પહેલેથી કહી શકે: “તમારી આવતી ફ્લાઇટ મોડે છે, પરંતુ તમે હજી પણ તમારો કનેક્શન પકડી શકો છો. મેં નવો ગેટ શોધ્યો છે, ટર્મિનલમાંથી સૌથી ઝડપી માર્ગ નકશામાં દર્શાવ્યો છે અને તમારું બેગ હજી પણ ટ્રાન્સફર થવાનું છે.”
• વૉઇસ-ટુ-વૉઇસ, જેમાં AI ભાષાઓ, કાર્યો અથવા બદલાતા સંદર્ભોમાં જીવંત વાતચીત ચાલુ રાખવામાં મદદ કરી શકે છે. ઉદાહરણ તરીકે, Deutsche Telekom એવા વૉઇસ સપોર્ટ અનુભવ બનાવી રહ્યું છે જેમાં ગ્રાહકો પોતાની માટે સૌથી અનુકૂળ ભાષામાં બોલી શકે, જ્યારે મોડલ વાતચીતનો રિયલ ટાઇમમાં અનુવાદ કરે છે.

આ પેટર્ન્સ સાથે મળીને પણ કામ કરી શકે છે. Priceline એવા ભવિષ્ય તરફ કામ કરી રહ્યું છે જેમાં મુસાફરો આખી મુસાફરી વૉઇસ દ્વારા મેનેજ કરી શકે: વાતચીત દ્વારા ફ્લાઇટ અને હોટેલ શોધવી, ફ્લાઇટ મોડે થવા પછી હોટેલ રિઝર્વેશનમાં ફેરફાર જેવી બાબતો સંભાળવી અથવા TSA રાહ સમય અંગે રિયલ ટાઇમ અપડેટ્સ મેળવવી, અને મુસાફરો સ્થળે પહોંચ્યા પછી વાતચીતનું અનુવાદ કરવું.

GPT‑Realtime‑2 જીવંત વૉઇસ ઇન્ટરએક્શન્સ માટે બનાવાયું છે, જેમાં મોડલ વિનંતી પર રિઝનિંગ કરતી વખતે, ટૂલ્સ કોલ કરતી વખતે, સુધારાઓ અથવા વિક્ષેપો સંભાળતી વખતે અને ક્ષણને અનુરૂપ પ્રતિસાદ આપતી વખતે વાતચીતને આગળ ધપાવતું રહે છે.

• પ્રિએમ્બલ્સ: ડેવલપર્સ મુખ્ય પ્રતિસાદ પહેલાં ટૂંકા વાક્યાંશો સક્ષમ કરી શકે છે, જેમ કે “મને તે તપાસવા દો” અથવા “હું આ તપાસું ત્યાં સુધી એક ક્ષણ,” જેથી વપરાશકર્તાને ખબર પડે કે એજન્ટ વિનંતી પર કામ કરી રહ્યો છે.
• સમાંતર ટૂલ કોલ્સ અને ટૂલ પારદર્શિતા: મોડલ એક સાથે અનેક ટૂલ્સ કોલ કરી શકે છે અને “તમારું કેલેન્ડર તપાસી રહ્યો છું” અથવા “હમણાં તે જોઈ રહ્યો છું” જેવા વાક્યોથી તે ક્રિયાઓને સંભળાવી શકે છે, જેથી એજન્ટ્સ કાર્ય પૂર્ણ કરતી વખતે પ્રતિસાદક્ષમ રહી શકે.
• વધુ મજબૂત પુનઃપ્રાપ્તિ વર્તન: મોડલ “હમણાં મને તેમાં મુશ્કેલી આવી રહી છે” જેવી વાત કહીને વધુ સૌમ્ય રીતે પુનઃસ્થાપિત થઈ શકે છે, મૌન નિષ્ફળતા અથવા વાતચીત તોડી નાખવાને બદલે.
• એજન્ટિક વર્કફ્લો માટે લાંબો સંદર્ભ: અમે 32Kમાંથી 128K સુધી કન્ટેક્સ્ટ વિન્ડો વધારી રહ્યા છીએ, જેથી લાંબા, વધુ સુસંગત સેશન્સ અને વધુ જટિલ કાર્યપ્રવાહોને સપોર્ટ મળી શકે.
• વધુ મજબૂત ડોમેન સમજ: મોડલ વિશિષ્ટ શબ્દાવલી, યોગ્ય નામો, હેલ્થકેર ટર્મ્સ અને પ્રોડક્શન સેટિંગ્સમાં મહત્વ ધરાવતા અન્ય શબ્દોને વધુ સારી રીતે જાળવી રાખે છે.
• વધુ નિયંત્રિત કરી શકાય તેવી ટોન અને રજૂઆત: મોડલ પોતાના ટોનને વધુ સારી રીતે સમાયોજિત કરી શકે છે—સમस्या ઉકેલતી વખતે શાંત રીતે બોલવું, વપરાશકર્તા નિરાશ હોય ત્યારે સહાનુભૂતિપૂર્વક બોલવું, અથવા સફળ કામગીરીની પુષ્ટિ કરતી વખતે ઉત્સાહી બનવું.
• સમાયોજિત કરી શકાય એવો રિઝનિંગ પ્રયત્ન: ડેવલપર્સ હવે minimal, low, medium, high, and xhigh રિઝનિંગ સ્તરોમાંથી પસંદ કરી શકે છે, જેમાં low ડિફૉલ્ટ છે, જેથી સરળ ઇન્ટરએક્શન માટે ઓછી લેટન્સી અને જટિલ વિનંતીઓ માટે વધુ વિચારપૂર્વકનું રિઝનિંગ વચ્ચે સંતુલન રહી શકે.

આ સુધારા ઓડિયો મૂલ્યાંકનમાં દેખાય છે, જે પ્રોડક્શન વૉઇસ એજન્ટ્સ સાથે નજીકથી મેળ ખાય છે: GPT‑Realtime‑2 (high) ઓડિયો ઇન્ટેલિજન્સ માટે Big Bench Audio પર GPT‑Realtime‑1.5 કરતાં 15.2% વધુ સ્કોર કરે છે. GPT‑Realtime‑2 (xhigh) Audio MultiChallenge પર સૂચના પાલન માટે 13.8% વધુ સ્કોર કરે છે, GPT‑Realtime‑1.5 કરતાં સુધારો દર્શાવે છે અને જીવંત વાતચીતમાં વધુ મજબૂત રિઝનિંગ, કન્ટેક્સ્ટ મેનેજમેન્ટ અને નિયંત્રણ બતાવે છે.

GPT‑Realtime‑2ની વિશેષતા વિવિધ પ્રકારના ઉપયોગ કિસ્સાઓમાં જોવા મળે છે:

પ્રારંભિક પરીક્ષણ દરમિયાન, વ્યવસાયોએ GPT‑Realtime‑2 નો ઉપયોગ કરીને એવા વૉઇસ એજન્ટ્સ બનાવ્યા કે જે ગ્રાહકો અને કર્મચારીઓને સ્વાભાવિક વાતચીત દ્વારા કામ પૂર્ણ કરવામાં મદદ કરે છે:

GPT‑Realtime‑Translate ડેવલપર્સને એવા જીવંત બહુભાષી વૉઇસ અનુભવ બનાવવામાં મદદ કરે છે જેમાં દરેક વ્યક્તિ પોતાની પસંદગીની ભાષામાં બોલી શકે અને વાતચીતનો રિયલ ટાઇમમાં અનુવાદ સાંભળી શકે તેમજ રિયલ ટાઇમ ટ્રાન્સક્રિપ્શન્સ વાંચી શકે. તે 70 કરતાં વધુ ઇનપુટ ભાષાઓ અને 13 આઉટપુટ ભાષાઓને સપોર્ટ કરે છે, જેથી તે ગ્રાહક સહાય, સરહદપાર વેચાણ, શિક્ષણ, ઇવેન્ટ્સ, મીડિયા અને વૈશ્વિક પ્રેક્ષકોને સેવા આપતા ક્રિએટર પ્લેટફોર્મ્સ માટે ઉપયોગી બને છે.

ડેવલપર્સ માટે, લાઇવ અનુવાદમાં અર્થ જાળવી રાખવો અને સાથે સાથે બોલનારની ગતિ સાથે ચાલવું જરૂરી છે, ભલે લોકો સ્વાભાવિક રીતે બોલે, સંદર્ભ બદલે અથવા પ્રાદેશિક ઉચ્ચારણ અને ડોમેન-વિશિષ્ટ ભાષાનો ઉપયોગ કરે. ઉદાહરણ તરીકે, Deutsche Telekom બહુભાષી વૉઇસ ઇન્ટરએક્શન્સ માટે આ મોડલનું પરીક્ષણ કરી રહ્યું છે, જ્યાં ઓછી લેટન્સી અને વધુ મજબૂત પ્રવાહિતા ભાષાઓ વચ્ચેની વાતચીતને વધુ સ્વાભાવિક બનાવી શકે છે.

આ વિડિયોમાં, Vimeo બતાવે છે કે GPT‑Realtime‑Translate પ્રોડક્ટ શિક્ષણ વિડિયોને ચાલતી વખતે જ લાઇવ અનુવાદ કેવી રીતે કરી શકે છે, જેથી વૈશ્વિક ગ્રાહકો અલગથી તૈયાર કરાયેલા સંસ્કરણની રાહ જોયા વગર પોતાની પસંદગીની ભાષામાં અપડેટ્સ સાંભળી શકે.

GPT‑Realtime‑Whisper ઓછી લેટન્સી માટે બનાવાયેલું નવું સ્ટ્રીમિંગ ટ્રાન્સક્રિપ્શન મોડલ છે. તે લોકો બોલે ત્યારે ઓડિયોનું ટ્રાન્સક્રિપ્શન કરે છે, જેથી જીવંત પ્રોડક્ટ્સ વધુ ઝડપી, વધુ પ્રતિસાદક્ષમ અને વધુ સ્વાભાવિક લાગે—ક્ષણમાં દેખાતા કૅપ્શન્સથી લઈને વાતચીત સાથે ચાલતી મીટિંગ નોંધો સુધી.

આ મોડલ જીવંત ભાષણને બનતું હોય ત્યારે જ વ્યવસાયિક વર્કફ્લોઝમાં ઉપયોગી બનાવે છે. ટીમો મીટિંગ્સ, વર્ગખંડો, પ્રસારણો અને ઇવેન્ટ્સ માટે કૅપ્શન્સ ચલાવી શકે છે; વાતચીત ચાલુ હોય ત્યારે જ નોંધો અને સારાંશો બનાવી શકે છે; સતત વપરાશકર્તાઓને સમજવાની જરૂર હોય એવા વૉઇસ એજન્ટ્સ બનાવી શકે છે; અને ગ્રાહક સહાય, હેલ્થકેર, વેચાણ, ભરતી અને અન્ય ઊંચા વોલ્યુમની બોલી આધારિત ઇન્ટરએક્શન્સ માટે વધુ ઝડપી ફૉલો-અપ વર્કફ્લોઝ બનાવી શકે છે.

Realtime API દુરુપયોગ રોકવામાં મદદ કરવા માટે સુરક્ષા ઉપાયો અને ઘટાડાના અનેક સ્તરો સમાવે છે. અમે Realtime API સેશન્સ પર સક્રિય ક્લાસિફાયર્સનો ઉપયોગ કરીએ છીએ, એટલે કે કેટલીક વાતચીતો અમારી હાનિકારક સામગ્રી માર્ગદર્શિકાનો ભંગ કરતી જણાય તો રોકી શકાય છે. ડેવલપર્સ Agents SDK⁠.⁠(નવી વિન્ડોમાં ખૂલે છે) નો ઉપયોગ કરીને પોતાની વધારાની સુરક્ષા ગાર્ડરેલ્સ પણ સરળતાથી ઉમેરી શકે છે.

અમારી usage policies⁠⁠ સ્પામ, છેતરપિંડી અથવા અન્ય હાનિકારક હેતુઓ માટે અમારી સેવાઓમાંથી મળતા આઉટપુટનો પુનઃઉપયોગ અથવા વિતરણ કરવા પર પ્રતિબંધ મૂકે છે. ડેવલપર્સે અંતિમ વપરાશકર્તાઓને એ પણ સ્પષ્ટ કરવું પડશે કે તેઓ AI સાથે ક્રિયા કરી રહ્યા છે, જો સંદર્ભથી એ પહેલેથી સ્પષ્ટ ન હોય.

Realtime API EU આધારિત એપ્લિકેશન્સ માટે EU Data Residency⁠⁠(નવી વિન્ડોમાં ખૂલે છે) ને સંપૂર્ણ સપોર્ટ કરે છે અને અમારી enterprise privacy commitments⁠⁠ હેઠળ આવરી લેવામાં આવે છે.

GPT‑Realtime‑2, GPT‑Realtime‑Translate અને GPT‑Realtime‑Whisper Realtime APIમાં ઉપલબ્ધ છે. GPT‑Realtime‑2 ની કિંમત $32 / 1M ઓડિયો ઇનપુટ ટોકન ($0.40 કૅશ્ડ ઇનપુટ ટોકન માટે) અને $64 / 1M ઓડિયો આઉટપુટ ટોકન છે. GPT‑Realtime‑Translate ની કિંમત પ્રતિ મિનિટ $0.034 છે. GPT‑Realtime‑Whisper ની કિંમત પ્રતિ મિનિટ $0.017 છે.

તમે નવા રિયલટાઇમ વૉઇસ મોડલ્સને Playground⁠(નવી વિન્ડોમાં ખૂલે છે) માં પરીક્ષણ કરી શકો છો.

બિલ્ડિંગ શરૂ કરવા માટે, હાલની એપમાં GPT‑Realtime‑2 ઉમેરવા અથવા નવી શરૂ કરવા માટે આ પ્રોમ્પ્ટ Codex માં ખોલો⁠. જો તમારી પાસે હજી Codex ન હોય, તો પહેલા Codex એપ⁠ ડાઉનલોડ કરો.