पेश है फ़ाइन-ट्यूनिंग API में सुधार और हमारे कस्टम मॉडल प्रोग्राम का विस्‍तार

8 मई, 2026 का अपडेट: OpenAI फ़ाइन-ट्यूनिंग प्लेटफ़ॉर्म को चरणबद्ध तरीके से बंद कर रहा है. यह प्लेटफ़ॉर्म अब नए उपयोगकर्ताओं के लिए उपलब्ध नहीं है, लेकिन फ़ाइन-ट्यूनिंग प्लेटफ़ॉर्म के मौजूदा उपयोगकर्ता आने वाले महीनों तक ट्रेनिंग जॉब्स बना सकेंगे. सभी फ़ाइन-ट्यून किए गए मॉडल इन्फ़रेंस के लिए तब तक उपलब्ध रहेंगे, जब तक उनके बेस मॉडल डिप्रिकेट⁠(एक नई विंडो में खुलेगा) नहीं हो जाते. पूरी टाइमलाइन यहाँ⁠(एक नई विंडो में खुलेगा) है.

ऐसी कई तकनीकें⁠(एक नई विंडो में खुलेगा) हैं जिनका उपयोग डेवलपर लेटेंसी कम करने, सटीकता बढ़ाने और लागत कम करने के प्रयास में मॉडल की प्रदर्शन क्षमता बढ़ाने के लिए कर सकते हैं. चाहे वह रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) के साथ मॉडल की जानकारी बढ़ाना हो, फ़ाइन-ट्यूनिंग से मॉडल के व्यवहार को अनुकूलित करना हो, या नए डोमेन-विशिष्ट ज्ञान के साथ कस्टम-प्रशिक्षित मॉडल बनाना हो, हमने अपने ग्राहकों के AI कार्यान्वयन को समर्थन देने के लिए कई विकल्प विकसित किए हैं. आज, हम डेवलपर्स को API के साथ फ़ाइन-ट्यूनिंग पर अधिक नियंत्रण देने के लिए नए फीचर्स पेश कर रहे हैं और कस्टम मॉडल बनाने के लिए AI विशेषज्ञों और शोधकर्ताओं की हमारी टीम के साथ काम करने के और भी तरीके पेश कर रहे हैं.

हमने अगस्‍त 2023 में GPT‑3.5 के लिए सेल्फ़-सर्व फ़ाइन-ट्यूनिंग API⁠(एक नई विंडो में खुलेगा) पेश किया. तब से, हज़ारों ऑर्गेनाइज़ेशन ने हमारे API के इस्तेमाल से लाखों मॉडलों को ट्रेन कर लिया है. फ़ाइन-ट्यूनिंग से मॉडल को कंटेंट को गहराई से समझने और किसी ख़ास टास्क के लिए मॉडल की मौजूदा जानकारी और क्षमताओं को बढ़ाने में मदद मिल सकती है. हमारा फ़ाइन-ट्यूनिंग API बहुत बड़ी गिनती में उदाहरणों का भी सपोर्ट करता है, जो ख़र्चे और लेटेंसी को कम करते हुए बेहतरीन क्वालिटी वाले नतीजे हासिल करने के लिए सिंगल प्रॉम्प्ट में सेट हो सकते हैं. फ़ाइन-ट्यूनिंग के कुछ आम यूज़ केस में किसी ख़ास प्रोग्रामिंग लैंग्वेज में बेहतर कोड जनरेट करने के लिए मॉडल को ट्रेन करना, किसी ख़ास फ़ॉर्मेट में टेक्ट को समराइज़ करना, या यूज़र के बिहेवियर के आधार पर पर्सनलाइज़ कंटेंट तैयार करना शामिल है.

उदाहरण के लिए, Indeed⁠(एक नई विंडो में खुलेगा), एक ग्‍लोबल जॉब मैचिंग और हायरिंग का प्लैटफ़ॉर्म है, जो अपने हायरिंग प्रोसेस को आसान बनाना चाहता है. इसके लिए, Indeed ने एक फ़ीचर पेश किया, जो जॉब चाहने वालों को पर्सनलाइज़ सुझाव भेजता है, उनकी स्किल, अनुभव और प्रेफ़रेंसेस के आधार पर रेलेवेंट जॉब दिखाता है. उन्‍होंने बेहतर क्वालिटी और ज्‍़यादा एक्‍यूरेट जानकारी जनरेट करने के लिए GPT‑3.5 Turbo को फ़ाइन-ट्यून किया. नतीजे में, Indeed प्रॉम्प्ट में टोकन की गिनती को 80% तक कम करके ख़र्चे और लेटेंसी में सुधार कर पाया. इससे हर महीने जॉब चाहने वालों को भेजे जाने वाले मैसेज की उनकी गिनती बढ़कर अंदाज़न 20 मिलियन तक पहुंच गई, जो पहले एक मिलियन से भी कम थी.

आज, हम डेवलपर को उनकी फ़ाइन-ट्यूनिंग जॉब पर और भी ज़्यादा कंट्रोल देने के लिए नए फ़ीचर⁠(एक नई विंडो में खुलेगा) पेश कर रहे हैं, इनमें शामिल हैं:

• एपक-आधारित चेकपॉइंट बनाना: हर ट्रेनिंग एपक के दौरान ऑटोमैटिकली पूरी तरह फ़ाइन-ट्यून किया हुआ मॉडल चेकपॉइंट बनाएं, जो बार-बार ट्रेनिंग की ज़रूरत में कमी लाता है, ख़ासकर ओवरफ़ि‍टिंग के मामलों में
• कंपैरेि‍टिव Playground: मॉडल की क्वालिटी और परफ़ॉर्मेंस की तुलना करने के लिए एक नया साइड-बाय-साइड Playground UI, जो कई मॉडलों के आउटपुट का इंसानी मूल्यांकन या सिंगल प्रॉम्प्ट के आधार पर स्नैपशॉट को फ़ाइन-ट्यून करने देता है
• थर्ड-पार्टी इंटिग्रेशन: थर्ड-पार्टी प्‍लैैैैैटफ़ॉर्म (इस सप्‍ताह वेट्स और बायसिस⁠(एक नई विंडो में खुलेगा) से शुरू) के साथ इंटिग्रेशन में सपोर्ट करता है, ताकि डेवलपर अपने अंबार में से ब्‍यौरे वाले फ़ाइन-ट्यूनिंग डेटा को शेयर कर पाएं
• कॉम्प्रिहेंसिव वैलिडेशन मेट्रिक्‍स: सैंपल बैच की जगह पूरे के पूरे वैलिडेशन डेटासेट पर नुक़सान और एक्यूरेसी जैसे मेट्रिक्स को कंप्यूट करने की क्षमता, जो मॉडल क्वा‍लिटी पर बेहतर जानकारी देती है
• हाइपरपैरा‍मीटर कॉन्फ़िगरेशन: डैशबोर्ड⁠(एक नई विंडो में खुलेगा) से उपलब्ध हाइपरपैरामीटर को कॉन्फ़िगर करने की क्षमता (सिर्फ़ API या SDK के ज़रिए नहीं)
• फ़ाइन-ट्यूनिंग डैशबोर्ड इंप्रूवमेंट: इसमें हाइपरपैरामीटर को कॉन्फ़िगर करने, ज़्यादा ब्यौरेवार मेट्रिक्स देखने और पिछले कॉन्फ़िगरेशन वाले जॉब को फिर से चलाने की क्षमता शामिल है

पिछले नवंबर में DevDay में, हमने कस्टम मॉडल प्रोग्राम पेश⁠ किया था, जिसे OpenAI रिसर्चर के एक डेडिकेटिड ग्रुप के साथ पार्टनरशिप में एक ख़ास डोमेन के लिए मॉडल को ट्रेन और ऑप्टिमाइज़ करने के लिए डिज़ाइन किया गया था. तब से, हमने दर्जनों कस्टमर से मिलकर उनकी कस्टम मॉडल ज़रूरतों का अंदाज़ा और आगे ज़्यादा से ज़्यादा परफ़ॉर्मेंस देने के लिए अपने प्रोग्राम को विकसित किया.

आज, हम कस्टम मॉडल प्रोग्राम के एक हिस्से के तौर पर अपनी असिस्टेड फ़ाइन-ट्यूनिंग को सबसे सामने पेश कर रहे हैं. असिस्‍टेड फ़ाइन-ट्यूनिंग हमारी कई टेक्निे‍कल टीम की एक साझा कोशिश है, जिसका मक़सद फ़ाइन-ट्यूनिंग API से आगे बढ़कर तकनीकों का लाभ उठाना है, जैसे कि बड़े पैमाने पर अतिरिक्त हाइपरपैरामीटर और अलग-अलग पैरामीटर एफ़ि‍शिएंट फ़ाइन-ट्यूनिंग (PEFT) मैथड. यह उन ऑर्गेनाइज़ेशन की ख़ासतौर पर मदद करेगी, जिन्हें अपने यूज़ केस या टास्का के लिए मॉडल की परफ़ॉर्मेंस को ज़्यादा से ज़्यादा करने के लिए एफ़ि‍शिएंट ट्रेनिंग डेटा पाइपलाइन, मूल्यांकन सिस्टम और बेस्‍पॉक पैमानों और तरीक़ों को सेट करने के लिए सपोर्ट चाहिए.

उदाहरण के लिए, साउथ कोरिया में 30 मिलियन से ज़्यादा सब्सक्राइबर को सेवा देने वाली टेलीकम्‍यूनिकेशन ऑपरेटर कंपनी SK Telecom⁠(एक नई विंडो में खुलेगा), कस्टमर सेवा पर अपना मुख्य फ़ोकस बनाए रखते हुए टेलीकम्‍यूनिकेशन डोमेन में एक्सपर्ट बनने के लिए एक मॉडल कस्टमाइज़ करना चाहती थी. उन्होंने कोरियाई भाषा में टेलीकॉम-संबंधी बातचीत में GPT‑4 की परफ़ॉर्मेंस को फ़ाइन-ट्यून करने के लिए OpenAI के साथ काम किया. कई सप्ताह तक लगातार काम करने के बाद, SKT और OpenAI ने टेलीकॉम कस्टमर सेवा के टास्क में परफ़ॉर्मेंस से जुड़े बहुत ही अहम सुधार किए – बातचीत सारांश की क्वालिटी में 35% का इज़ाफ़ा, इंटेंट पहचान वाली इक्यूरेसी में 33% का इज़ाफ़ा, और GPT‑4 के साथ फाइन-ट्यून्ड मॉडल की तुलना करने पर संतुष्टि स्कोर में 3.6 से 4.5 (5 में से) का इज़ाफ़ा.

कुछ मामलों में, ऑर्गेनाइज़ेशन को किसी ख़ास मक़सद के लिए मॉडल को शुरू से ही ट्रेन करने की ज़रूरत पड़ती है, जो उनके बिज़नेस, इंडस्ट्री या डोमेन को समझता हो. पूरी तरह कस्टम-ट्रेंड मॉडल बिल्कुल नई मिड-ट्रेनिंग और पोस्ट-ट्रेनिंग तकनीकों का इस्तेमाल करके मॉडल ट्रेनिंग प्रोसेस के मुख्य स्टेप्स में बदलाव करके, किसी ख़ास डोमेन से नई जानकारी से भर जाते हैं. जो ऑर्गेनाइज़ेशन पूरी तरह कस्टम-ट्रेंड मॉडल से क़ामयाबी पाते हैं, उनके पास अक्सर ही बहुत ज़्यादा मात्रा में मालिकाने वाला डेटा होता है – मिलियन उदाहरण या बिलियन टोकन – जिसका इस्तेमाल वे मॉडल को बहुत ही ज़्यादा ख़ास यूज़ केस के लिए नई जानकारी या पेचीदा, अनोखा बिहेवियर सिखाने के लिए करते हैं.

उदाहरण के लिए, वकीलों के लिए AI-नेटिव लीगल टूल Harvey⁠(एक नई विंडो में खुलेगा) ने केस लॉ के लिए एक बड़ा-सा कस्टम-ट्रेंड लैंग्वेज मॉडल बनाने⁠ के लिए OpenAI के साथ पार्टनरशिप की है. वैसे इनके बुनियादी मॉडल रीज़निंग में काफ़ी अच्छे थे, लेकिन उनमें क़ानूनी मामलों की हिस्टरी और अन्य क़ानूनी चीज़ों के लिए ज़रूरी जानकारी की बड़े पैमाने पर कमी थी. प्रॉम्प्ट इंजीनियरिंग, RAG और फ़ाइन-ट्यूनिंग को टेस्ट करने के बाद, Harvey ने हमारी टीम के साथ मिलकर मॉडल में ज़रूरी कॉन्टेक्स्ट की और ज़्यादा बारिकियों को जोड़ने के लिए काम किया – जो 10 बिलियन टोकन के बराबर डेटा जितना है. हमारी टीम ने मॉडल ट्रेनिंग प्रोसेस के हर स्टेप में बदलाव किए, किसी ख़ास डोमेन की मिड-ट्रेनिंग से लेकर पोस्ट्-ट्रेनिंग पोसेस को कस्टमाइज़ करने और एक्सपर्ट वकीलों के फ़ीडबैक शामिल करने तक. नतीजे में मॉडल ने तथ्यों से जुड़े रिस्पांस में 83% का इज़ाफ़ा हासिल किया और वकीलों ने GPT‑4 की तुलना में 97% बार कस्टमाइज़ मॉडल के आउटपुट को तरजीह दी.

हमारा मानना है कि भविष्य में, ज़्यादातर ऑर्गेनाइज़ेशन अपनी इंडस्ट्री, बिज़नेस या यूज़ केस के लिए कस्‍टमाइज़ मॉडल डेवलप करेंगी. कस्टम मॉडल बनाने के लिए उपलब्ध कई तकनीकों के साथ, छोटे-बड़े सभी तरह के ऑर्गेनाइज़ेशन अपने AI इम्प्लिमेंटेशन से ज़्यादा असरदार, ख़ास प्रभाव हासिल करने के लिए पर्सनलाइज़ मॉडल डेवलप कर सकते हैं. मुख्य चीज़ यह है कि मॉडल की बेहतरीन परफ़ॉर्मेंस तक पहुंचने के लिए यूज़ केस साफ़-साफ़ बताया जाए, मूल्यांकन सिस्टम को डिज़ाइन किया जाए और अमल में लाया जाए, सही तकनीकों को चुना जाए, और समय के साथ दोहराव के लिए तैयार रहा जाए.

OpenAI के साथ, ज़्यादातर ऑर्गेनाइज़ेशन सेल्फ़-सर्व फ़ाइन-ट्यूनिंग API के साथ तेज़ी से कारगर नतीजे देख सकती हैं. किसी भी ऑर्गेनाइज़ेशन को अपने मॉडल को ज़्यादा बारीकी से फ़ाइन-ट्यून करने या मॉडल में नए, ख़ास डोमेन वाली जानकारी को समा लेने की ज़रूरत पड़ती है, इसमें हमारे कस्टम मॉडल प्रोग्राम मदद कर सकते हैं.

मॉडल की फ़ाइन-ट्यूनिंग शुरू करने के लिए हमारे फ़ाइन-ट्यूनिंग API⁠(एक नई विंडो में खुलेगा) डॉक्‍यूमेंट पर विज़िट करें.