ChatGPT હવે જોઈ, સાંભળી અને બોલી શકે છે

અમે ChatGPTમાં નવી voice અને image capabilities રજૂ કરવાનું શરૂ કરી રહ્યા છીએ. તે તમને voice conversation કરવા અથવા તમે જેની વાત કરો છો તે ChatGPTને બતાવવા દેીને વધુ સહજ પ્રકારનું નવું interface આપે છે.

Voice અને image તમને તમારા જીવનમાં ChatGPT વાપરવાના વધુ રસ્તા આપે છે. મુસાફરી દરમિયાન કોઈ landmarkનો ફોટો લો અને તેમાં શું રસપ્રદ છે તે વિશે live conversation કરો. ઘરે હો ત્યારે, તમારા fridge અને pantryના ફોટા લઈ જાણો કે જમવામાં શું બનાવવું છે અને પગલું-દર-પગલું recipe માટે આગળના પ્રશ્નો પૂછો. જમ્યા પછી, ગણિતનો પ્રશ્ન ફોટો લઈને, પ્રશ્ન સેટને ગોળ કરી, અને તે તમને બન્નેને hints શેર કરે તેવી રીતે તમારા બાળકને મદદ કરો.

અમે આગામી બે અઠવાડિયામાં ChatGPTમાં Plus અને Enterprise વપરાશકર્તાઓ માટે voice અને images રજૂ કરી રહ્યા છીએ. Voice iOS અને Android પર આવી રહ્યું છે, તમારા settingsમાં opt-in સાથે, અને images બધા platforms પર ઉપલબ્ધ રહેશે.

હવે તમે તમારા સહાયક સાથે અવાજ દ્વારા આગળ-પાછળની વાતચીત કરી શકો છો. રસ્તામાં તેની સાથે વાત કરો, તમારા પરિવાર માટે સૂતાં પહેલાંની વાર્તા માગો, અથવા જમણની ટેબલ પરનો કોઈ વાદવિવાદ સેટલ કરો.

વૉઇસ સાથે શરૂ કરવા માટે, મોબાઇલ એપમાં Settings → New Features પર જાઓ અને voice conversations માટે opt in કરો. પછી, હોમ સ્ક્રીનની ઉપર જમણી બાજુ આવેલ હેડફોન બટન પર ટૅપ કરો અને પાંચ અલગ અવાજોમાંથી તમારી પસંદનો અવાજ પસંદ કરો.

નવી voice capability નવા text-to-speech મોડલ દ્વારા સંચાલિત છે, જે માત્ર ટેક્સ્ટ અને થોડાં સેકન્ડના sample speech પરથી માનવી જેવા ઑડિયો બનાવી શકે છે. અમે દરેક અવાજ બનાવવા માટે વ્યાવસાયિક voice actors સાથે કામ કર્યું છે. અમે Whisper, અમારી open-source speech recognition system, નો ઉપયોગ પણ કરીએ છીએ જેથી તમારા બોલેલા શબ્દોને ટેક્સ્ટમાં લખી શકાય.

હવે તમે ChatGPTને એક અથવા વધુ છબીઓ બતાવી શકો છો. તમારું grill શા માટે શરૂ થતું નથી તે શોધો, ભોજનની યોજના બનાવવા તમારા fridgeની વસ્તુઓ જુઓ, અથવા કામ સંબંધિત ડેટા માટે જટિલ graphનું વિશ્લેષણ કરો. છબીના કોઈ ચોક્કસ ભાગ પર ધ્યાન કેન્દ્રિત કરવા માટે, તમે અમારી મોબાઇલ એપમાં drawing tool નો ઉપયોગ કરી શકો છો.

શરૂઆત કરવા માટે, છબી કૅપ્ચર કરવા અથવા પસંદ કરવા photo button પર ટૅપ કરો. જો તમે iOS અથવા Android પર હો, તો પહેલા plus button પર ટૅપ કરો. તમે ઘણી છબીઓ વિશે પણ ચર્ચા કરી શકો છો અથવા તમારા સહાયકને માર્ગદર્શન આપવા માટે અમારા drawing tool નો ઉપયોગ કરી શકો છો.

Image understanding multimodal GPT‑3.5 અને GPT‑4 દ્વારા સંચાલિત છે. આ મોડલ ફોટોગ્રાફ્સ, screenshots અને ટેક્સ્ટ તથા છબીઓ ધરાવતા દસ્તાવેજો સહિત વિવિધ પ્રકારની છબીઓ પર તેમની language রিজনিং કુશળતાઓ લાગુ કરે છે.

OpenAIનું લક્ષ્ય સુરક્ષિત અને લાભદાયક AGI બનાવવાનું છે. અમારો વિશ્વાસ છે કે અમારા સાધનો ધીમે ધીમે ઉપલબ્ધ કરવાથી અમે સમય સાથે સુધારાઓ કરી શકીએ છીએ અને જોખમ ઘટાડવાના ઉપાયો વધુ સચોટ બનાવી શકીએ છીએ, સાથે જ ભવિષ્યમાં વધુ શક્તિશાળી સિસ્ટમો માટે સૌને તૈયાર પણ કરી શકીએ છીએ. વૉઇસ અને વિઝન ધરાવતા અદ્યતન મોડલ સાથે આ રણનીતિ વધુ મહત્વપૂર્ણ બને છે.

નવી વૉઇસ ટેક્નોલોજી—જે ફક્ત થોડા સેકન્ડના વાસ્તવિક અવાજ પરથી વાસ્તવિક લાગતા કૃત્રિમ અવાજો બનાવી શકે છે—ઘણી સર્જનાત્મક અને ઍક્સેસિબિલિટી-કેન્દ્રિત એપ્લિકેશન્સ માટે નવા દરવાજા ખોલે છે. જોકે, આ ક્ષમતાઓ નવા જોખમો પણ લાવે છે, જેમ કે દુર્ભાવનાપૂર્ણ વ્યક્તિઓ જાહેર હસ્તીઓનું સોંગ કરી શકે અથવા ઠગાઈ કરી શકે.

આથી જ અમે આ ટેક્નોલોજીનો ઉપયોગ એક નિશ્ચિત ઉપયોગ માટે કરી રહ્યા છીએ—વૉઇસ ચેટ. વૉઇસ ચેટ એવા voice actors સાથે બનાવવામાં આવી હતી જેમની સાથે અમે સીધું કામ કર્યું છે. અમે અન્ય લોકો સાથે પણ સમાન રીતે સહકાર કરી રહ્યા છીએ. ઉદાહરણ તરીકે, Spotify તેમની Voice Translation⁠(નવી વિન્ડોમાં ખૂલે છે) સુવિધાના પાઇલટ માટે આ ટેક્નોલોજીની શક્તિનો ઉપયોગ કરી રહ્યું છે, જે podcasters ને તેમના પોતાના અવાજમાં podcasts ને વધારાની ભાષાઓમાં અનુવાદ કરીને તેમની વાર્તાઓની પહોંચ વધારવામાં મદદ કરે છે.

વિઝન આધારિત મોડલ નવી પડકારો પણ રજૂ કરે છે, જેમાં લોકો વિશેની hallucinations થી લઈને ઉચ્ચ-જોખમી ક્ષેત્રોમાં છબીઓની મોડલ દ્વારા કરાતી વ્યાખ્યાઓ પર નિર્ભરતા સુધીનો સમાવેશ થાય છે. વ્યાપક રજૂઆત પહેલાં, અમે extremism અને scientific proficiency જેવા ક્ષેત્રોમાં જોખમો માટે red teamers અને વિવિધ alpha testers સાથે મોડલનું પરીક્ષણ કર્યું હતું. અમારા સંશોધને જવાબદાર ઉપયોગ માટે કેટલીક મુખ્ય વિગતો પર સહમતિ સ્થાપિત કરવામાં મદદ કરી.

બીજા ChatGPT features જેવી જ રીતે, visionનો હેતુ તમારા દૈનિક જીવનમાં તમને મદદ કરવાનો છે. જ્યારે તે તમે જે જુઓ છો તે જોઈ શકે, ત્યારે તે આ કામ શ્રેષ્ઠ રીતે કરે છે.

આ અભિગમ Be My Eyes સાથેના અમારા કામથી સીધો પ્રેરિત થયો છે, જે અંધ અને ઓછી દ્રષ્ટિ ધરાવતા લોકો માટેની મફત મોબાઇલ એપ છે, જેથી ઉપયોગો અને મર્યાદાઓ સમજાય. વપરાશકર્તાઓએ અમને કહ્યું છે કે તેમને એવી છબીઓ વિશે સામાન્ય વાતચીત કરવી ઉપયોગી લાગે છે જેણે પૃષ્ઠભૂમિમાં લોકો ધરાવતા હોય, જેમ કે જ્યારે તમે તમારા remote control settings સમજવાનો પ્રયાસ કરતા હો ત્યારે ટીવી પર કોઈ દેખાતું હોય.

અમે ટેકનિકલ પગલાં પણ લીધાં છે જેથી ChatGPTની લોકો વિશે વિશ્લેષણ કરવાની અને સીધી ટિપ્પણીઓ કરવાની ક્ષમતા નોંધપાત્ર રીતે મર્યાદિત થાય, કારણ કે ChatGPT હંમેશા ચોક્કસ નથી હોતું અને આ સિસ્ટમોએ વ્યક્તિગત ગોપનીયતાનો માન રાખવો જોઈએ.

વાસ્તવિક ઉપયોગ અને પ્રતિસાદ અમને આ સુરક્ષા ઉપાયો વધુ સારા બનાવવા મદદ કરશે, સાથે સાધન ઉપયોગી પણ રહેશે.

વપરાશકર્તાઓ વિશેષ વિષયો માટે ChatGPT પર આધાર રાખી શકે છે, ઉદાહરણ તરીકે સંશોધન જેવા ક્ષેત્રોમાં. અમે મોડલની મર્યાદાઓ વિશે પારદર્શક છીએ અને યોગ્ય ચકાસણી વિના વધુ જોખમી ઉપયોગોને નિરોત્સાહિત કરીએ છીએ. વધુમાં, મોડલ અંગ્રેજી ટેક્સ્ટનું લિપ્યંતરણ કરવામાં કુશળ છે પરંતુ કેટલીક અન્ય ભાષાઓમાં, ખાસ કરીને non-roman લિપિ ધરાવતી ભાષાઓમાં, નબળું પ્રદર્શન કરે છે. અમે અમારા બિન-અંગ્રેજી વપરાશકર્તાઓને આ હેતુ માટે ChatGPT નો ઉપયોગ ન કરવાની સલાહ આપીએ છીએ.

સુરક્ષા અંગેના અમારા અભિગમ અને Be My Eyes સાથેના અમારા કામ વિશે વધુ તમે ઇમેજ ઇનપુટ માટેના સિસ્ટમ કાર્ડ⁠ માં વાંચી શકો છો.

Plus અને Enterprise વપરાશકર્તાઓને આગામી બે અઠવાડિયામાં voice અને imagesનો અનુભવ મળશે. અમે જલ્દી જ developers સહિત અન્ય વપરાશકર્તા જૂથો માટે પણ આ ક્ષમતાઓ રજૂ કરવા ઉત્સાહિત છીએ.