இன்று, உருவாக்குபவர்கள் மற்றும் நிறுவனங்கள் நம்பகமான, உற்பத்திக்குத் தயாரான குரல் ஏஜெண்டுகளை உருவாக்க உதவும் புதிய அம்சங்களுடன், Realtime API-ஐ நாங்கள் பொதுவாகக் கிடைக்கச் செய்கிறோம். இந்த API இப்போது தொலைதூர MCP சர்வுகள், பட உள்ளீடுகள் மற்றும் செஷன் இனிஷியேஷன் புரோட்டோகால் (SIP) மூலமான தொலைபேசி அழைப்பு ஆகியவற்றை ஆதரிக்கிறது. இதன் மூலம் குரல் ஏஜெண்டுகள் கூடுதல் கருவிகள் மற்றும் சூழலை அணுகி மேலும் திறமையானதாக மாறுகின்றன.
நாங்கள் இதுவரை இல்லாத மேம்பட்ட பேச்சு-க்கு-பேச்சு மாதிரியான —gpt-realtime-ஐயும் வெளியிட்டு வருகிறோம். புதிய மாதிரி ஆனது சிக்கலான வழிமுறைகளைப் பின்பற்றுதல், கருவிகளைத் துல்லியமாகப் பயன்படுத்துதல் மற்றும் மேலும் இயல்பாகவும் வெளிப்படையாகவும் ஒலிக்கும் பேச்சினை உருவாக்குதல் ஆகியவற்றில் முன்னேற்றங்களைக் காட்டுகிறது. இது சிஸ்டம் செய்திகள் மற்றும் உருவாக்குபவர் தூண்டுதல்களை— அவை ஆதரவு அழைப்பில் உள்ள மறுப்பு ஸ்கிரிப்ட்களை வார்த்தைக்கு வார்த்தை வாசிப்பதாக இருந்தாலும், ஆல்ஃபாநியூமெரிக் எண்களைத் திரும்பச் சொல்வதாக இருந்தாலும், அல்லது ஒரு வாக்கியத்தின் நடுவில் மொழிகளைச் சீராக மாற்றுவதாக இருந்தாலும் சிறப்பாகப் புரிந்துகொள்ளும் திறனைக் கொண்டுள்ளது. இன்று முதல் Realtime API-இல் பிரத்தியேகமாகக் கிடைக்கும் Cedar மற்றும் Marin ஆகிய இரண்டு புதிய குரல்களையும் நாங்கள் வெளியிட்டு வருகிறோம்.
கடந்த அக்டோபரில் நாங்கள் முதல் முறையாக Realtime API-ஐ பொது பீட்டாவில் அறிமுகப்படுத்தியதிலிருந்து, ஆயிரக்கணக்கான உருவாக்குபவர்கள் இந்த API-ஐப் பயன்படுத்தி உருவாக்கியுள்ளனர். அவர்கள் இன்று நாங்கள் வெளியிடும் மேம்பாடுகளை வடிவமைக்கவும் உதவினர்—உற்பத்தித் திறனில் குரல் ஏஜெண்டுகளை வெற்றிகரமாகப் பயன்படுத்தும் வகையில், நம்பகத்தன்மை, குறைந்த தாமதம் மற்றும் உயர் தரம் ஆகியவற்றிற்காக இவை மேம்படுத்தப்பட்டுள்ளன. பேச்சு-க்கு-எழுத்து மற்றும் எழுத்து-க்கு-பேச்சு போன்றவற்றுக்காக பல மாதிரிகளை ஒன்றாக இணைக்கும் பாரம்பரிய சங்கிலி அமைப்புகளைப் போலல்லாமல், Realtime API ஆனது ஒரே ஒரு மாதிரி மற்றும் API மூலம் நேரடியாக ஆடியோவைச் செயலாக்கி உருவாக்குகிறது. இது தாமதத்தைக் குறைக்கிறது, பேச்சின் நுணுக்கத்தைப் பாதுகாக்கிறது, மேலும் மிகவும் இயல்பான, வெளிப்படையான பதில்களை உருவாக்குகிறது.
"OpenAI-இன் Realtime API-இல் உள்ள புதிய பேச்சு-க்கு-பேச்சு மாதிரி வலுவான காரண காரியங்களை அறிதல் மற்றும் அதிக இயற்கையான பேச்சைக் காட்டுகிறது—இது வாழ்க்கை முறைத் தேவைகளின்படி பட்டியலைக் குறுக்குவது அல்லது எங்கள் BuyAbility மதிப்பெண் போன்ற கருவிகளைக் கொண்டு மலிவு விலை விவாதங்களை வழிநடத்துவது போன்ற சிக்கலான, பல-படி கோரிக்கைகளைக் கையாள அனுமதிக்கிறது. இது ஜில்லோவில் ஒரு வீட்டினைத் தேடுவதையோ அல்லது நிதியுதவி விருப்பங்களை ஆராய்வதையோ ஒரு நண்பருடன் உரையாடுவது போல இயற்கையாக உணர வைக்கும், மேலும் வீடு வாங்குவது, விற்பது மற்றும் வாடகைக்கு விடுவது போன்ற முடிவுகளை எளிதாக்க உதவும்."
– ஜோஷ் வெயிஸ்பெர்க், ஜில்லோ நிறுவனத்தின் AI தலைவர்
புதிய பேச்சு-க்கு-பேச்சு மாதிரியானா—gpt-realtime—என்பது எங்களின் மிகவும் மேம்பட்ட, உற்பத்திக்குத் தயாரான குரல் மாடல் ஆகும். வாடிக்கையாளர் ஆதரவு, தனிப்பட்ட உதவி மற்றும் கல்வி போன்ற நிஜ உலகப் பணிகளில் சிறப்பாகச் செயல்பட உருவாக்குபவர்கள் —குரல் ஏஜெண்டுகளை உருவாக்கும் மற்றும் பயன்படுத்துவதற்கேற்ப மாதிரியை சீரமைக்க வாடிக்கையாளர்களுடன் நெருக்கமாகச் சேர்ந்து நாங்கள் மாதிரிக்குப் பயிற்சி அளித்தோம். புதிய மாதிரி ஆனது ஒலித் தரம், நுண்ணறிவு, வழிமுறைகளைப் பின்பற்றுதல் மற்றும் செயல்பாட்டு அழைப்பு ஆகியவற்றில் மேம்பாடுகளைக் காட்டுகிறது.
நிஜ உலகில் குரல் ஏஜெண்டுகளைப் பயன்படுத்துவதற்கு, இயற்கையாக ஒலிக்கும் உரையாடல் மிகவும் முக்கியமானது. இன்பமான அனுபவத்தை உருவாக்கவும், பயனர்களுடன் தொடர்ந்து உரையாடலை ஊக்குவிக்கவும், மாதிரிகள் மனிதனைப் போன்ற ஏற்ற இறக்கம், உணர்ச்சி மற்றும் வேகத்துடன் பேச வேண்டியது அவசியம். ”விரைவாகவும் தொழில்முறையாகவும் பேசுங்கள்" அல்லது "பிரெஞ்சு உச்சரிப்பில் உணர்ச்சிப்பூர்வமாகப் பேசுங்கள்" போன்ற நுணுக்கமான வழிமுறைகளைப் பின்பற்றக்கூடிய, மேலும் இயல்பாக ஒலிக்கும் உயர்-தரமான பேச்சினை உருவாக்க gpt-realtime -க்கு நாங்கள் பயிற்சி அளித்துள்ளோம்.
மிகவும் இயல்பாக ஒலிக்கும் பேச்சில் குறிப்பிடத்தக்க மேம்பாடுகளுடன், Marin) மற்றும் Cedar ஆகிய இரண்டு புதிய குரல்களை நாங்கள் API-இல் வெளியிட்டு வருகிறோம். இந்த மேம்பாடுகளின் பலனைப் பெறும் வகையில், எங்களின் ஏற்கனவே உள்ள எட்டு குரல்களையும் நாங்கள் புதுப்பித்து வருகிறோம்.
gpt-realtime ஆனது உயர்ந்த நுண்ணறிவைக் காட்டுகிறது, மேலும் இயல்பான ஒலியை அதிக துல்லியத்துடன் புரிந்துகொள்ளும் திறன் கொண்டது. இந்த மாதிரி, சொற்கள் அல்லாத குறிப்புகளையும் (சிரிப்பைப் போல), வாக்கியத்தின் நடுவில் மொழிகளை மாற்றும் திறனையும், தொனியை மாற்றியமைக்கும் திறனையும் ("விரைவான மற்றும் தொழில்முறை" Vs. "கனிவான மற்றும் உணர்ச்சிப்பூர்வமான" தொனி) உள்வாங்குகிறது. உள் மதிப்பீடுகளின்படி, இந்த மாதிரி ஸ்பானிஷ், சீன, ஜப்பானிய மற்றும் பிரெஞ்சு உட்படப் பிற மொழிகளில் ஆல்ஃபாநியூமெரிக் வரிசைகளைக் (தொலைபேசி எண்கள், VIN-கள் போன்றவை) கண்டறிவதில் அதிக துல்லியமான செயல்திறனைக் காட்டுகிறது. பகுத்தறிவு திறன்களை அளவிடும் பிக் பெஞ்ச் ஆடியோ மதிப்பீட்டில், gpt-realtime ஆனது 82.8% துல்லிய மதிப்பெண் பெறுகிறது—இது 2024 டிசம்பரில் இருந்த எங்கள் முந்தைய மாடல் பெற்ற 65.6% மதிப்பெண்ணை விட அதிகமாகும்.
பிக் பெஞ்ச் ஆடியோ(புதிய சாளரத்தில் திறக்கும்) பெஞ்ச்மார்க் என்பது ஆடியோ உள்ளீட்டை ஆதரிக்கும் மொழி மாடல்களின் காரண காரியங்களை அறியும் திறன்களை மதிப்பிடுவதற்கான ஒரு மதிப்பீட்டுத் தரவுத் தொகுப்பாகும். இந்தத் தரவுத்தொகுப்பு, —மேம்பட்ட காரண காரியங்களை அறியும் திறனை கடுமையாகச் சோதிப்பதற்காகத் தேர்ந்தெடுக்கப்பட்ட—பிக் பெஞ்ச் ஹார்டில் இருந்து கேள்விகளை ஆடியோ களத்திற்கு ஏற்ப மாற்றியமைக்கிறது.
பேச்சு-க்கு-பேச்சு பயன்பாட்டை உருவாக்கும்போது, உருவாக்குபவர்கள் மாதிரி எவ்வாறு பேச வேண்டும், ஒரு குறிப்பிட்ட சூழ்நிலையில் என்ன சொல்ல வேண்டும், மற்றும் என்ன செய்ய வேண்டும் அல்லது செய்யக் கூடாது என்பது உள்ளிட்ட வழிமுறைகளை மாதிரிக்கு வழங்குகிறார்கள். இந்த வழிமுறைகளைப் பின்பற்றுவதில் உள்ள கட்டுப்பாடு மீது நாங்கள் எங்கள் மேம்பாடுகளை மையப்படுத்தியுள்ளோம். இதன் மூலம் சிறிய வழிகாட்டுதல்கள் கூட மாதிரிக்கு அதிக சிக்னலைக் கொண்டு செல்கின்றன. வழிமுறைகளைப் பின்பற்றுவதில் உள்ள துல்லியத்தை அளவிடும் மல்டிசேலஞ்ச் ஆடியோ பெஞ்ச்மார்க்கில், gpt-realtime ஆனது 30.5% மதிப்பெண் பெறுகிறது. இது 2024 டிசம்பரில் வெளியான எங்கள் முந்தைய மாடல் பெற்ற 20.6% மதிப்பெண்ணை விட மிகப் பெரிய முன்னேற்றம்.
LLM-கள் மனிதர்களுடனான பல-திருப்ப உரையாடல்களை எவ்வளவு சிறப்பாகக் கையாளுகின்றன என்பதை MultiChallenge(புதிய சாளரத்தில் திறக்கும்) மதிப்பீடு செய்கிறது. தற்போதைய எல்லை மாதிரிகள் போராடும் நான்கு வகையிலான யதார்த்தமான சவால்களில் இது கவனம் செலுத்துகிறது. இந்தச் சவால்கள் மாடல்கள் ஒரே நேரத்தில், வழிமுறைகளைப் பின்பற்றுதல், சூழல் மேலாண்மை மற்றும் சூழலுக்குள் காரண காரியங்களை அறிதல் ஆகியவற்றை இணைக்க வேண்டும். இந்த மதிப்பீட்டின் ஆடியோப் பதிப்பை உருவாக்க, சோதனை கேள்விகளின் ஆடியோவுக்கு ஏற்ற துணைத் தொகுப்பை உரை-க்கு-பேச்சாக மாற்றினோம்.
பேச்சு-க்கு-பேச்சு மாதிரியைக் கொண்டு ஒரு திறமையான குரல் ஏஜென்ட்டை உருவாக்க, உற்பத்தித் திறனில் அது பயனுள்ளதாக இருக்க, சரியான நேரத்தில் சரியான கருவிகளை அழைக்கும் திறன் மாடலுக்கு இருக்க வேண்டும். மூன்று அம்சங்களில் செயல்பாட்டு அழைப்பை நாங்கள் மேம்படுத்தியுள்ளோம்: பொருத்தமான செயல்பாடுகளை அழைப்பது, சரியான நேரத்தில் செயல்பாடுகளை அழைப்பது மற்றும் பொருத்தமான ஆர்கியுமெண்ட்டுகளுடன் செயல்பாடுகளை அழைப்பது (இதன் விளைவாக அதிக துல்லியம் கிடைக்கிறது). செயல்பாட்டு அழைப்புச் செயல்திறனை அளவிடும் காம்ப்ளெக்ஸ் ஃபங்க்ஷன் பெஞ்ச் ஆடியோ மதிப்பீட்டில், gpt-realtime ஆனது 66.5% மதிப்பெண் பெறுகிறது, அதே சமயம் டிசம்பர் 2024 இல் இருந்து எங்களின் முந்தைய மாடல் 49.7% மதிப்பெண் பெற்றது.
ஒத்திசைவற்ற செயல்பாட்டு அழைப்பிலும்(புதிய சாளரத்தில் திறக்கும்) நாங்கள் மேம்பாடுகளைச் செய்துள்ளோம். நீண்ட நேரம் எடுக்கும் செயல்பாட்டு அழைப்புகள் இனி ஒரு அமர்வின் ஓட்டத்தைத் தடுக்காது—முடிவுகளுக்காகக் காத்திருக்கும்போது கூட, மாதிரியால் ஒரு சீரான உரையாடலைத் தொடர முடியும். இந்த அம்சம் gpt-realtime-இல் இயல்பாகவே கிடைக்கிறது, எனவே டெவலப்பர்கள் தங்கள் குறியீட்டைப் புதுப்பிக்கத் தேவையில்லை.
சவாலான செயல்பாட்டு அழைப்புப் பணிகளை மாதிரிகள் எவ்வளவு சிறப்பாகக் கையாளுகின்றன என்பதை ComplexFuncBench(புதிய சாளரத்தில் திறக்கும்) அளவிடுகிறது. பல-படி அழைப்புகள், கட்டுப்பாடுகள் அல்லது மறைமுக அளவுருக்கள் பற்றித் தீர்மானித்தல், மற்றும் மிக நீண்ட உள்ளீடுகளைக் கையாளுதல் போன்ற பல்வேறு சூழ்நிலைகளில் செயல்திறனை இது மதிப்பிடுகிறது. எங்கள் மாதிரிக்கான இந்த மதிப்பீட்டை உருவாக்க, அசல் உரை தூண்டல்களை பேச்சாக மாற்றினோம்.
தொலைதூர MCP சர்வரின் URL-ஐ அமர்வு கட்டமைப்பில் சேர்ப்பதன் மூலம், Realtime API அமர்வில் MCP ஆதரவை நீங்கள் செயல்படுத்தலாம். இணைக்கப்பட்டவுடன், API உங்களுக்காகக் கருவி அழைப்புகளை தானாகவே கையாள்கிறது. எனவே, ஒருங்கிணைப்புகளை கைமுறையாகச் செய்ய வேண்டிய அவசியம் இல்லை.
இந்த அமைப்பு உங்கள் ஏஜென்ட்டை புதிய திறன்களுடன் நீட்டிக்க எளிதாக்குகிறது—அமர்வை ஒரு வேறுபட்ட MCP சர்வருக்குச் சுட்டிக்காட்டினால் போதும், அந்தக் கருவிகள் உடனடியாகக் கிடைக்கத் தொடங்கும். Realtime API-உடன் MCP-ஐ எவ்வாறு கட்டமைப்பது என்பதைப் பற்றி மேலும் அறிய, இந்த வழிகாட்டியைப்(புதிய சாளரத்தில் திறக்கும்) பாருங்கள்.
gpt-realtime-இல் இப்போது பட உள்ளீடுகள் ஆதரிக்கப்படுவதால், ரியல்டைம் API அமர்வில் ஆடியோ அல்லது உரையுடன் படங்களையும், புகைப்படங்களையும், ஸ்கிரீன்ஷாட்களையும் நீங்கள் சேர்க்க முடியும். இப்போது, பயனர்கள் உண்மையில் என்ன பார்க்கிறார்கள் என்பதன் அடிப்படையில் மாதிரியால் உரையாடலை உருவாக்க முடியும். இதன் மூலம் பயனர்கள் "நீங்கள் என்ன பார்க்கிறீர்கள்?" அல்லது "இந்த ஸ்கிரீன்ஷாட்டில் உள்ள உரையைப் படியுங்கள்" போன்ற கேள்விகளைக் கேட்க முடியும்.
ஒரு இமேஜை லைவ் வீடியோ ஸ்ட்ரீம் போல கருதாமல், சிஸ்டம் அதை உரையாடலுக்குள் ஒரு பிக்சரைச் சேர்த்தது போல நடத்துகிறது. எந்த இமேஜ்களை மாடலுடன் பகிர வேண்டும், எப்போது பகிர வேண்டும் என்பதைக் உங்கள் ஆப் தீர்மானிக்க முடியும். இந்த வழியில், மாதிரி என்ன பார்க்கிறது மற்றும் எப்போது பதிலளிக்கிறது என்பதன் கட்டுப்பாடு உங்களிடமே இருக்கும்.
பட உள்ளீட்டைப் பயன்படுத்தத் தொடங்க, எங்கள் ஆவணங்களைப்(புதிய சாளரத்தில் திறக்கும்) பாருங்கள்.
Realtime API ஐ ஒருங்கிணைக்க எளிதாகவும், உற்பத்திப் பயன்பாட்டிற்கு மேலும் நெகிழ்வுத்தன்மையுடனும் இருக்க, வேறு சில அம்சங்களையும் நாங்கள் சேர்த்துள்ளோம்.
- அமர்வு துவக்க நெறிமுறை (SIP) ஆதரவு: Realtime API-இல் நேரடி ஆதரவுடன், உங்கள் செயலிகளை பொது தொலைபேசி நெட்வொர்க், PBX அமைப்புகள், மேசைத் தொலைபேசிகள் மற்றும் பிற SIP இறுதிப்புள்ளிகளுடன் இணைக்கவும். ஆவணங்களில் அதைப் பற்றிப் படியுங்கள்.(புதிய சாளரத்தில் திறக்கும்)
- மீண்டும் பயன்படுத்தக்கூடிய தூண்டுதல்கள்: உருவாக்குபவர் செய்திகள், கருவிகள், மாறிகள் மற்றும் உதாரண பயனர்/உதவியாளர் செய்திகளைக் கொண்ட தூண்டல்களை இப்போது நீங்கள் சேமித்து, Responses API-ஐப் போலவே, Realtime API அமர்வுகள் முழுவதும் மீண்டும் பயன்படுத்தலாம். ஆவணங்களில் மேலும் அறிக.(புதிய சாளரத்தில் திறக்கும்)
Realtime API ஆனது முறைகேட்டைத் தடுக்க உதவும் பல அடுக்கு பாதுகாப்பு மற்றும் குறைப்பு நடவடிக்கைகளை உள்ளடக்கியுள்ளது. எங்கள் பாதுகாப்பு அணுகுமுறை மற்றும் சிஸ்டம் கார்டு விவரங்களைப் பற்றி பீட்டா அறிவிப்பு வலைப்பதிவில் நீங்கள் மேலும் அறிந்துகொள்ளலாம். நாங்கள் Realtime API அமர்வுகளின் மீது செயல்படும் வகைப்படுத்துபவர்களைப் பயன்படுத்துகிறோம். அதாவது, சில உரையாடல்கள் எங்கள் தீங்கு விளைவிக்கும் உள்ளடக்க வழிகாட்டுதல்களை மீறுவதாகக் கண்டறியப்பட்டால் அவை நிறுத்தப்படலாம். உருவாக்குபவர்கள் ஏஜன்ட் SDK(புதிய சாளரத்தில் திறக்கும்) ஐப் பயன்படுத்தி தங்கள் சொந்த கூடுதல் பாதுகாப்பு காவல்களையும் எளிதாகச் சேர்க்கலாம்.
எங்களின் பயன்பாட்டுக் கொள்கைகள் எங்கள் சேவைகளில் இருந்து வரும் வெளியீடுகளை ஸ்பேம், ஏமாற்றுதல் அல்லது பிற தீங்கு விளைவிக்கும் நோக்கங்களுக்காக மறுபயன்பாடு செய்வதையோ அல்லது விநியோகம் செய்வதையோ தடை செய்கின்றன. இறுதிப் பயனர்கள் AI உடன் உரையாடும்போது, சூழலில் இருந்து அது ஏற்கனவே தெளிவாகத் தெரியவில்லை என்றால், உருவாக்குபவர்கள் அதைப் பயனர்களுக்குத் தெளிவாகத் தெரியப்படுத்த வேண்டும். Realtime API ஆனது, தீங்கிழைக்கும் நபர்கள் மற்றவர்களைப் போல் ஆள்மாறாட்டம் செய்வதைத் தடுக்க உதவ, முன் அமைக்கப்பட்ட குரல்களைப் பயன்படுத்துகிறது..
Realtime API ஆனது ஐரோப்பிய யூனியனை (EU) அடிப்படையாகக் கொண்ட பயன்பாடுகளுக்கான EU தரவு வசிப்பிடத்தை(புதிய சாளரத்தில் திறக்கும்) முழுமையாக ஆதரிக்கிறது, மேலும் இது எங்கள் நிறுவன தனியுரிமை உறுதிமொழிகளின் கீழ் உள்ளது.
பொதுவாகக் கிடைக்கக்கூடிய Realtime API மற்றும் புதிய gpt-realtime மாடல் ஆகியவை இன்று முதல் அனைத்து டெவலப்பர்களுக்கும் கிடைக்கின்றன. gpt-realtime மாதிரிக்கான விலைகள் gpt-4o-realtime-preview -ஐ விட 20% குறைக்கப்பட்டுள்ளன—அது 1 மில்லியன் ஆடியோ உள்ளீட்டு டோக்கன்களுக்கு $32 ($0.40 என்பது காச்சிங் செய்யப்பட்ட உள்ளீட்டு டோக்கன்களுக்கு) மற்றும் 1 மில்லியன் ஆடியோ வெளியீட்டு டோக்கன்களுக்கு $64 ஆகும் (விரிவான விலையைப்(புதிய சாளரத்தில் திறக்கும்) பார்க்கவும்). உரையாடல் சூழலுக்கான நுணுக்கமான கட்டுப்பாட்டையும் நாங்கள் சேர்த்துள்ளோம். இது உருவாக்குபவர்கள் அறிவார்ந்த டோக்கன் வரம்புகளை அமைக்கவும், ஒரே நேரத்தில் பல திருப்பங்களைக் குறைக்கவும் அனுமதிக்கிறது. இதன் மூலம் நீண்ட அமர்வுகளுக்கான செலவு கணிசமாகக் குறைகிறது.
தொடங்க, எங்கள் Realtime API ஆவணங்களைப்(புதிய சாளரத்தில் திறக்கும்) பார்வையிடவும், Playground(புதிய சாளரத்தில் திறக்கும்)-இல் புதிய மாடலைச் சோதிக்கவும், மேலும் எங்கள் Realtime API(புதிய சாளரத்தில் திறக்கும்) தூண்டுதல் வழிகாட்டியைப் பார்க்கவும்.
