ਮੁੱਖ ਸਮੱਗਰੀ 'ਤੇ ਜਾਓ
OpenAI

4 ਅਪ੍ਰੈਲ 2024

ਉਤਪਾਦ

Introducing improvements to the fine-tuning API and expanding our custom models program

Introducing Improvements > Cover Image
ਲੋਡ ਹੋ ਰਿਹਾ ਹੈ…

8 ਮਈ, 2026 ਦੀ ਅਪਡੇਟ: OpenAI ਆਪਣਾ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਪਲੇਟਫਾਰਮ ਹੌਲੀ-ਹੌਲੀ ਬੰਦ ਕਰ ਰਿਹਾ ਹੈ। ਇਹ ਪਲੇਟਫਾਰਮ ਹੁਣ ਨਵੇਂ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਉਪਲਬਧ ਨਹੀਂ ਹੈ, ਪਰ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਪਲੇਟਫਾਰਮ ਦੇ ਮੌਜੂਦਾ ਉਪਭੋਗਤਾ ਆਉਣ ਵਾਲੇ ਮਹੀਨਿਆਂ ਤੱਕ ਟ੍ਰੇਨਿੰਗ ਜੌਬਸ ਬਣਾਉਣ ਦੇ ਯੋਗ ਹੋਣਗੇ। ਸਾਰੇ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਗਏ ਮਾਡਲ ਉਦੋਂ ਤੱਕ ਵਰਤੋਂ ਲਈ ਉਪਲਬਧ ਰਹਿਣਗੇ ਜਦੋਂ ਤੱਕ ਉਹਨਾਂ ਦੇ ਬੇਸ ਮਾਡਲ ਪੁਰਾਣੇ/ਅਪ੍ਰਚਲਿਤ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਨਹੀਂ ਹੋ ਜਾਂਦੇ। ਇਸ ਦੀ ਪੂਰੀ ਸਮਾਂ-ਸੀਮਾ ਇੱਥੇ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਦਿੱਤੀ ਗਈ ਹੈ।


ਅਜਿਹੀਆਂ ਕਈ ਤਰ੍ਹਾਂ ਦੀਆਂ ਤਕਨੀਕਾਂ(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਹਨ ਜਿਨ੍ਹਾਂ ਦੀ ਵਰਤੋਂ ਡਿਵੈਲਪਰ ਲੇਟੈਂਸੀ ਘਟਾਉਣ, ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਅਤੇ ਲਾਗਤਾਂ ਨੂੰ ਘੱਟ ਕਰਨ ਦੇ ਉਦੇਸ਼ ਨਾਲ ਮਾਡਲ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਵਧਾਉਣ ਲਈ ਕਰ ਸਕਦੇ ਹਨ। ਚਾਹੇ ਰੀਟ੍ਰੀਵਲ-ਔਗਮੈਂਟਿਡ ਜਨਰੇਸ਼ਨ (RAG) ਰਾਹੀਂ ਮਾਡਲ ਦੇ ਗਿਆਨ ਦਾ ਵਿਸਤਾਰ ਕਰਨਾ ਹੋਵੇ, ਫਾਈਨ-ਟਿਊਨਿੰਗ ਰਾਹੀਂ ਮਾਡਲ ਦੇ ਵਿਵਹਾਰ ਨੂੰ ਕਸਟਮਾਈਜ਼ ਕਰਨਾ ਹੋਵੇ, ਜਾਂ ਨਵੇਂ ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਗਿਆਨ ਨਾਲ ਇੱਕ ਕਸਟਮ-ਟ੍ਰੇਂਡ ਮਾਡਲ ਤਿਆਰ ਕਰਨਾ ਹੋਵੇ, ਅਸੀਂ ਆਪਣੇ ਗਾਹਕਾਂ ਦੇ AI ਲਾਗੂਕਰਨ ਵਿੱਚ ਸਹਾਇਤਾ ਲਈ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਵਿਕਲਪ ਵਿਕਸਿਤ ਕੀਤੇ ਹਨ। ਅੱਜ, ਅਸੀਂ API ਰਾਹੀਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ 'ਤੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਵਧੇਰੇ ਕੰਟਰੋਲ ਦੇਣ ਲਈ ਨਵੇਂ ਫੀਚਰ ਲਾਂਚ ਕਰ ਰਹੇ ਹਾਂ ਅਤੇ ਕਸਟਮ ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਸਾਡੇ AI ਮਾਹਿਰਾਂ ਅਤੇ ਖੋਜਕਰਤਾਵਾਂ ਦੀ ਟੀਮ ਨਾਲ ਮਿਲ ਕੇ ਕੰਮ ਕਰਨ ਦੇ ਹੋਰ ਤਰੀਕੇ ਪੇਸ਼ ਕਰ ਰਹੇ ਹਾਂ।

ਫਾਈਨ-ਟਿਊਨਿੰਗ API ਦੀਆਂ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ

We launched the self-serve fine-tuning API(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) for GPT‑3.5 in August 2023. Since then, thousands of organizations have trained hundreds of thousands of models using our API. Fine-tuning can help models deeply understand content and augment a model’s existing knowledge and capabilities for a specific task. Our fine-tuning API also supports a larger volume of examples than can fit in a single prompt to achieve higher quality results while reducing cost and latency. Some of the common use cases of fine-tuning include training a model to generate better code in a particular programming language, to summarize text in a specific format, or to craft personalized content based on user behavior.

For example, Indeed(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), a global job matching and hiring platform, wants to simplify the hiring process. As part of this, Indeed launched a feature that sends personalized recommendations to job seekers, highlighting relevant jobs based on their skills, experience, and preferences. They fine-tuned GPT‑3.5 Turbo to generate higher quality and more accurate explanations. As a result, Indeed was able to improve cost and latency by reducing the number of tokens in prompt by 80%. This let them scale from less than one million messages to job seekers per month to roughly 20 million.

Today, we’re introducing new features(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) to give developers even more control over their fine-tuning jobs, including:

  • Epoch-based Checkpoint Creation: Automatically produce one full fine-tuned model checkpoint during each training epoch, which reduces the need for subsequent retraining, especially in the cases of overfitting
  • Comparative Playground: A new side-by-side Playground UI for comparing model quality and performance, allowing human evaluation of the outputs of multiple models or fine-tune snapshots against a single prompt
  • Third-party Integration: Support for integrations with third-party platforms (starting with Weights and Biases(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) this week) to let developers share detailed fine-tuning data to the rest of their stack
  • Comprehensive Validation Metrics: The ability to compute metrics like loss and accuracy over the entire validation dataset instead of a sampled batch, providing better insight on model quality
  • Hyperparameter Configuration: The ability to configure available hyperparameters from the Dashboard(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) (rather than only through the API or SDK)
  • Fine-Tuning Dashboard Improvements: Including the ability to configure hyperparameters, view more detailed training metrics, and rerun jobs from previous configurations
fine-tuning-in-api

ਸਾਡੇ Custom Models Program ਦਾ ਵਿਸਥਾਰ

ਸਹਾਇਤਾ ਪ੍ਰਾਪਤ ਫਾਈਨ-ਟਿਊਨਿੰਗ

ਪਿਛਲੇ ਨਵੰਬਰ DevDay 'ਤੇ, ਅਸੀਂ ਐਲਾਨ ਕੀਤਾ ਸੀ ਕਿ ਇੱਕ Custom Model ਪ੍ਰੋਗਰਾਮ ਖ਼ਾਸ ਡੋਮੇਨ ਲਈ ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਅਤੇ ਅਨੁਕੂਲਿਤ ਕਰਨ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ, ਜੋ OpenAI ਖੋਜਕਰਤਾਵਾਂ ਦੇ ਇੱਕ ਸਮਰਪਿਤ ਸਮੂਹ ਨਾਲ ਭਾਈਚਾਰੇ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ. ਉਸ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਦਰਜਨਾਂ ਗਾਹਕਾਂ ਨਾਲ ਉਨ੍ਹਾਂ ਦੀਆਂ ਕਸਟਮ ਮਾਡਲ ਲੋੜਾਂ ਦਾ ਅੰਕਲਨ ਕਰਨ ਲਈ ਮਿਲੇ ਹਾਂ ਅਤੇ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਹੋਰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਲਈ ਆਪਣੇ ਪ੍ਰੋਗਰਾਮ ਨੂੰ ਵਿਕਸਿਤ ਕੀਤਾ ਹੈ.

ਅੱਜ, ਅਸੀਂ Custom Model ਪ੍ਰੋਗਰਾਮ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਆਪਣੀ assisted fine-tuning ਪੇਸ਼ਕਸ਼ ਦਾ ਔਪਚਾਰਿਕ ਐਲਾਨ ਕਰ ਰਹੇ ਹਾਂ. Assisted fine-tuning ਸਾਡੀਆਂ ਤਕਨੀਕੀ ਟੀਮਾਂ ਨਾਲ ਮਿਲ ਕੇ ਕੀਤਾ ਜਾਣ ਵਾਲਾ ਸਹਿਕਾਰੀ ਯਤਨ ਹੈ, ਜਿਸ ਵਿੱਚ fine-tuning API ਤੋਂ ਅੱਗੇ ਦੀਆਂ ਤਕਨੀਕਾਂ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਜਿਵੇਂ ਵਾਧੂ hyperparameters ਅਤੇ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਵੱਖ-ਵੱਖ parameter efficient fine-tuning (PEFT) ਵਿਧੀਆਂ. ਇਹ ਖ਼ਾਸ ਤੌਰ 'ਤੇ ਉਹਨਾਂ ਸੰਗਠਨਾਂ ਲਈ ਮਦਦਗਾਰ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ ਪਾਈਪਲਾਈਨਾਂ, ਮੁਲਾਂਕਣ ਪ੍ਰਣਾਲੀਆਂ, ਅਤੇ ਆਪਣੇ ਵਰਤੋਂ ਕੇਸ ਜਾਂ ਕੰਮ ਲਈ ਮਾਡਲ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਵਾਸਤੇ ਵਿਸ਼ੇਸ਼ ਪੈਰਾਮੀਟਰਾਂ ਅਤੇ ਤਰੀਕਿਆਂ ਨੂੰ ਸੈਟਅੱਪ ਕਰਨ ਵਿੱਚ ਸਹਾਇਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ.

ਉਦਾਹਰਨ ਲਈ, ਦੱਖਣੀ ਕੋਰੀਆ ਵਿੱਚ 30 ਮਿਲੀਅਨ ਤੋਂ ਵੱਧ ਸਬਸਕ੍ਰਾਈਬਰਾਂ ਨੂੰ ਸੇਵਾ ਦੇਣ ਵਾਲਾ ਟੈਲੀਕਮਿਊਨੀਕੇਸ਼ਨ Operator SK Telecom(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਇੱਕ ਮਾਡਲ ਨੂੰ ਟੈਲੀਕਮਿਊਨੀਕੇਸ਼ਨ ਡੋਮੇਨ ਦਾ ਮਾਹਿਰ ਬਣਾਉਣਾ ਚਾਹੁੰਦਾ ਸੀ, ਜਿਸਦਾ ਸ਼ੁਰੂਆਤੀ ਧਿਆਨ ਗਾਹਕ ਸੇਵਾ 'ਤੇ ਸੀ. ਉਨ੍ਹਾਂ ਨੇ OpenAI ਨਾਲ ਮਿਲ ਕੇ ਕੋਰੀਆਈ ਭਾਸ਼ਾ ਵਿੱਚ ਟੈਲੀਕਾਮ-ਸਬੰਧਤ ਗੱਲਬਾਤਾਂ ਵਿੱਚ ਇਸਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਸੁਧਾਰਣ ਲਈ GPT‑4 ਨੂੰ ਫਾਈਨ-ਟਿਊਨ ਕੀਤਾ. ਕਈ ਹਫ਼ਤਿਆਂ ਦੌਰਾਨ, SKT ਅਤੇ OpenAI ਨੇ ਟੈਲੀਕਾਮ ਗਾਹਕ ਸੇਵਾ ਕੰਮਾਂ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਕਾਰਗੁਜ਼ਾਰੀ ਸੁਧਾਰ ਹਾਸਲ ਕੀਤਾ—ਗੱਲਬਾਤ ਸੰਖੇਪ ਗੁਣਵੱਤਾ ਵਿੱਚ 35% ਵਾਧਾ, intent recognition accuracy ਵਿੱਚ 33% ਵਾਧਾ, ਅਤੇ satisfaction scores ਵਿੱਚ 3.6 ਤੋਂ 4.5 (5 ਵਿੱਚੋਂ) ਤੱਕ ਵਾਧਾ, ਜਦੋਂ ਫਾਈਨ-ਟਿਊਨਡ ਮਾਡਲ ਦੀ GPT‑4 ਨਾਲ ਤੁਲਨਾ ਕੀਤੀ ਗਈ.

ਕਸਟਮ-ਟ੍ਰੇਨਡ ਮਾਡਲ

In some cases, organizations need to train a purpose-built model from scratch that understands their business, industry, or domain. Fully custom-trained models imbue new knowledge from a specific domain by modifying key steps of the model training process using novel mid-training and post-training techniques. Organizations that see success with a fully custom-trained model often have large quantities of proprietary data—millions of examples or billions of tokens—that they want to use to teach the model new knowledge or complex, unique behaviors for highly specific use cases.

For example, Harvey(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ), an AI-native legal tool for attorneys, partnered with OpenAI to create a custom-trained large language model for case law. While foundation models were strong at reasoning, they lacked the extensive knowledge of legal case history and other knowledge required for legal work. After testing out prompt engineering, RAG, and fine-tuning, Harvey worked with our team to add the depth of context needed to the model—the equivalent of 10 billion tokens worth of data. Our team modified every step of the model training process, from domain-specific mid-training to customizing post-training processes and incorporating expert attorney feedback. The resulting model achieved an 83% increase in factual responses and attorneys preferred the customized model’s outputs 97% of the time over GPT‑4.

Index > Introducing Improvements > Media Item > Gif 2

ਮਾਡਲ ਕਸਟਮਾਈਜ਼ੇਸ਼ਨ ਲਈ ਅਗਲਾ ਕਦਮ

ਸਾਨੂੰ ਵਿਸ਼ਵਾਸ ਹੈ ਕਿ ਭਵਿੱਖ ਵਿੱਚ ਬਹੁਤ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਸੰਗਠਨ ਆਪਣੇ ਉਦਯੋਗ, ਕਾਰੋਬਾਰ ਜਾਂ ਵਰਤੋਂ ਕੇਸ ਲਈ ਨਿੱਜੀਕਰਤ ਕਸਟਮ ਮਾਡਲ ਵਿਕਸਿਤ ਕਰਨਗੇ. ਕਸਟਮ ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਉਪਲਬਧ ਵੱਖ-ਵੱਖ ਤਕਨੀਕਾਂ ਨਾਲ, ਹਰ ਆਕਾਰ ਦੇ ਸੰਗਠਨ ਆਪਣੀਆਂ AI ਇੰਪਲੀਮੈਂਟੇਸ਼ਨਾਂ ਤੋਂ ਹੋਰ ਅਰਥਪੂਰਨ ਅਤੇ ਖ਼ਾਸ ਪ੍ਰਭਾਵ ਹਾਸਲ ਕਰਨ ਲਈ ਨਿੱਜੀਕਰਤ ਮਾਡਲ ਵਿਕਸਿਤ ਕਰ ਸਕਦੇ ਹਨ. ਮੁੱਖ ਗੱਲ ਇਹ ਹੈ ਕਿ ਵਰਤੋਂ ਕੇਸ ਦੀ ਹੱਦ ਸਪਸ਼ਟ ਹੋਵੇ, ਮੁਲਾਂਕਣ ਪ੍ਰਣਾਲੀਆਂ ਡਿਜ਼ਾਈਨ ਅਤੇ ਲਾਗੂ ਕੀਤੀਆਂ ਜਾਣ, ਸਹੀ ਤਕਨੀਕਾਂ ਚੁਣੀਆਂ ਜਾਣ, ਅਤੇ ਸਮੇਂ ਨਾਲ ਦੁਹਰਾਈ ਲਈ ਤਿਆਰ ਰਹਿਆ ਜਾਵੇ ਤਾਂ ਜੋ ਮਾਡਲ ਸਰਵੋਤਮ ਕਾਰਗੁਜ਼ਾਰੀ ਤੱਕ ਪਹੁੰਚੇ.

OpenAI ਨਾਲ, ਜ਼ਿਆਦਾਤਰ ਸੰਗਠਨ self-serve fine-tuning API ਨਾਲ ਜਲਦੀ ਹੀ ਮਹੱਤਵਪੂਰਨ ਨਤੀਜੇ ਵੇਖ ਸਕਦੇ ਹਨ. ਜਿਹੜੇ ਸੰਗਠਨਾਂ ਨੂੰ ਆਪਣੇ ਮਾਡਲਾਂ ਨੂੰ ਹੋਰ ਡੂੰਘਾਈ ਨਾਲ ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਜਾਂ ਮਾਡਲ ਵਿੱਚ ਨਵਾਂ ਡੋਮੇਨ-ਖ਼ਾਸ ਗਿਆਨ ਸ਼ਾਮਲ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਉਨ੍ਹਾਂ ਲਈ ਸਾਡੇ Custom Model ਪ੍ਰੋਗਰਾਮ ਮਦਦ ਕਰ ਸਕਦੇ ਹਨ.

ਸਾਡੇ ਮਾਡਲਾਂ ਦੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਸਾਡੀਆਂ fine-tuning API(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) docs ਵੇਖੋ.