Presentazione dei miglioramenti all’API: ottimizzazione e ampliamento del programma di modelli personalizzati

Aggiornamento del 08/05/2026: OpenAI sta dismettendo gradualmente la piattaforma di fine-tuning. La piattaforma non è più accessibile ai nuovi utenti, ma gli utenti esistenti della piattaforma di fine-tuning potranno creare processi di addestramento nei prossimi mesi. Tutti i modelli ottimizzati rimarranno disponibili per l'inferenza fino a quando i rispettivi modelli di base non saranno deprecati⁠(si apre in una nuova finestra). La timeline completa è disponibile qui⁠(si apre in una nuova finestra).

Esiste una varietà di tecniche⁠(si apre in una nuova finestra) che gli sviluppatori possono utilizzare per migliorare le prestazioni del modello, ridurre la latenza, aumentare l’accuratezza e abbassare i costi. Abbiamo sviluppato una serie di opzioni per supportare le implementazioni di IA dei nostri clienti, che includono l’estensione della conoscenza del modello con la retrieval-augmented generation (RAG), la personalizzazione del comportamento del modello con l’ottimizzazione e la creazione di un modello addestrato su misura con nuove conoscenze specifiche del dominio. Oggi lanciamo nuove funzioni per offrire agli sviluppatori un maggiore controllo sull’ottimizzazione con l’API e introduciamo ulteriori modalità per collaborare con il nostro team di esperti e ricercatori di IA per creare modelli personalizzati.

Abbiamo lanciato l’API di ottimizzazione⁠(si apre in una nuova finestra) self-service per GPT‑3.5 nell’agosto 2023. Da allora, migliaia di organizzazioni hanno addestrato centinaia di migliaia di modelli utilizzando la nostra API. L’ottimizzazione può aiutare un modello a comprendere a fondo i contenuti e ad aumentare le conoscenze e le capacità di cui è dotato per un compito specifico. La nostra API di ottimizzazione supporta anche un volume di esempi superiore a quello che può essere inserito in un singolo prompt, per ottenere risultati di qualità superiore riducendo al contempo i costi e la latenza. Alcuni dei casi d’uso più comuni dell’ottimizzazione includono l’addestramento di un modello per generare un codice migliore in un particolare linguaggio di programmazione, per riassumere il testo in un formato specifico o per creare contenuti personalizzati in base al comportamento dell’utente.

Ad esempio, Indeed⁠(si apre in una nuova finestra), una piattaforma globale di ricerca e selezione del personale, vuole semplificare il processo di assunzione. Indeed ha quindi lanciato una funzione che invia suggerimenti personalizzati alle persone in cerca di lavoro, evidenziando le offerte rilevanti in base alle loro competenze, esperienze e preferenze. Hanno ottimizzato GPT‑3.5 Turbo per generare spiegazioni di qualità superiore e più accurate. Di conseguenza, Indeed è riuscita a migliorare i costi e la latenza riducendo dell’80% il numero di token in prompt. Questo ha permesso di passare da meno di un milione di messaggi al mese alle persone in cerca di lavoro a circa 20 milioni.

Oggi stiamo introducendo nuove funzionalità⁠(si apre in una nuova finestra) per dare agli sviluppatori un controllo ancora maggiore sui loro lavori di ottimizzazione, tra cui:

• Creazione checkpoint basati su epoch: Creazione automatica di un checkpoint del modello completo e ottimizzato durante ogni epoch di addestramento, riducendo così la necessità di un successivo riaddestramento, soprattutto nei casi di overfitting.
• Playground comparativo: Una nuova interfaccia utente Playground affiancata per confrontare la qualità e le prestazioni dei modelli, consentendo la valutazione umana dei risultati di più modelli o l’ottimizzazione di istantanee rispetto a un singolo prompt.
• Integrazione di terze parti: Supporto per le integrazioni con piattaforme di terze parti (a partire da Weights and Biases⁠(si apre in una nuova finestra) questa settimana) per consentire agli sviluppatori di condividere informazioni dettagliate di ottimizzazione con il resto del loro stack.
• Metriche di valutazione complete: La possibilità di calcolare metriche come la perdita e l’accuratezza sull’intero set di dati di convalida invece che su un lotto campionato, fornisce una migliore comprensione della qualità del modello.
• Configurazione dell’iperparametro: La possibilità di configurare gli iperparametri disponibili dalla Dashboard⁠(si apre in una nuova finestra) (anziché solo attraverso l’API o l’SDK).
• Miglioramenti della dashboard: Compresa la possibilità di configurare gli iperparametri, visualizzare metriche di addestramento più dettagliate e rieseguire lavori da configurazioni precedenti.

Al DevDay dello scorso novembre, abbiamo annunciato⁠ un programma Custom Model progettato per addestrare e ottimizzare i modelli per un dominio specifico, in collaborazione con un gruppo dedicato di ricercatori OpenAI. Da allora, abbiamo incontrato decine di clienti per valutare le loro esigenze di modelli personalizzati e abbiamo sviluppato il nostro programma per massimizzare ulteriormente le prestazioni.

Oggi presentiamo ufficialmente la nostra offerta di ottimizzazione assistita nell’ambito del programma Custom Model. L’ottimizzazione assistita è una collaborazione con i nostri team tecnici per sfruttare tecniche che vanno oltre l’API di ottimizzazione, come iperparametri aggiuntivi e vari metodi di ottimizzazione efficiente dei parametri (PEFT) su scala più ampia. È particolarmente utile per le organizzazioni che hanno bisogno di supporto per impostare pipeline di dati di addestramento efficienti, sistemi di valutazione e parametri e metodi personalizzati per massimizzare le prestazioni del modello per il loro caso d’uso o attività.

Ad esempio, SK Telecom⁠(si apre in una nuova finestra), un operatore di telecomunicazioni che serve oltre 30 milioni di abbonati nella Corea del Sud, voleva personalizzare un modello per diventare un esperto nel settore delle telecomunicazioni, con un focus iniziale sul servizio clienti. Hanno collaborato con OpenAI per ottimizzare GPT‑4 e migliorarne le prestazioni nelle conversazioni in lingua coreana relative alle telecomunicazioni. Nel corso di diverse settimane, SKT e OpenAI hanno prodotto un miglioramento significativo delle prestazioni nelle attività di assistenza clienti nel settore delle telecomunicazioni: un aumento del 35% nella qualità della sintesi delle conversazioni, un aumento del 33% nella precisione del riconoscimento degli intenti e un aumento dei punteggi di soddisfazione da 3,6 a 4,5 (su 5) confrontando il modello perfezionato con GPT‑4.

In alcuni casi, le organizzazioni hanno bisogno di formare da zero un modello specifico che comprenda la loro attività, il loro settore o il loro dominio. I modelli completamente addestrati e personalizzati introducono nuove conoscenze da un dominio specifico modificando i passaggi chiave del processo di addestramento del modello mediante nuove tecniche di addestramento intermedio e post-addestramento. Le organizzazioni che hanno successo con un modello completamente addestrato e personalizzato dispongono spesso di grandi quantità di dati proprietari (milioni di esempi o miliardi di token) che desiderano utilizzare per insegnare al modello nuove conoscenze o comportamenti complessi e unici per casi d’uso altamente specifici.

Ad esempio, Harvey⁠(si apre in una nuova finestra), uno strumento legale nativo dell’intelligenza artificiale per avvocati, ha collaborato con OpenAI per creare un modello linguistico di grandi dimensioni addestrato e personalizzato per la giurisprudenza⁠. Sebbene i modelli fondativi fossero solidi dal punto di vista del ragionamento, mancavano di una conoscenza approfondita della storia dei casi giuridici e di altre nozioni specifiche per l’ambito legale. Dopo aver testato l’ingegneria del prompt, RAG e l’ottimizzazione, Harvey ha collaborato con il nostro team per aggiungere la profondità di contesto necessaria al modello, l’equivalente di 10 miliardi di token di dati. Il nostro team ha modificato ogni fase del processo di addestramento del modello, dall’addestramento intermedio specifico per un determinato dominio alla personalizzazione dei processi post-addestramento, fino all’integrazione del feedback degli avvocati esperti. Il modello risultante ha ottenuto un aumento dell’83% nelle risposte fattuali e gli avvocati hanno preferito gli output del modello personalizzato nel 97% dei casi rispetto a GPT‑4.

Riteniamo che in futuro la maggior parte delle organizzazioni svilupperà modelli personalizzati in base al proprio settore, alla propria attività o al caso d’uso. Grazie alle diverse tecniche disponibili per creare un modello personalizzato, le organizzazioni di tutte le dimensioni possono sviluppare modelli personalizzati per ottenere un impatto più significativo e specifico dalle loro implementazioni di intelligenza artificiale. La chiave è definire chiaramente l’ambito del caso d'uso, progettare e implementare sistemi di valutazione, scegliere le tecniche giuste ed essere pronti a ripetere l’operazione nel tempo affinché il modello raggiunga prestazioni ottimali.

Con OpenAI, la maggior parte delle organizzazioni può ottenere rapidamente risultati significativi grazie all’API di ottimizzazione self-service. I nostri programmi Custom Model possono essere d’aiuto a tutte le organizzazioni che hanno bisogno di ottimizzare ulteriormente i propri modelli o di arricchirli con nuove informazioni specifiche di un determinato dominio.

Per iniziare a ottimizzare i modelli, consulta la documentazione API di ottimizzazione⁠(si apre in una nuova finestra).