Βελτιωμένη προσωρινή αποθήκευση προτροπών για το GPT‑6
Υψηλότερα ποσοστά επιτυχιών και νέα εργαλεία, ώστε οι πράκτορες μεγάλης διάρκειας να λειτουργούν γρηγορότερα και με χαμηλότερο κόστος.
Το GPT‑6 επιτρέπει σε πράκτορες μεγάλης διάρκειας να εργάζονται επί ώρες σε σύνθετες εργασίες, από την αναδόμηση βάσεων κώδικα έως τη δημιουργία άρτια τεκμηριωμένων εγγράφων και παρουσιάσεων. Οι εφαρμογές πίσω από αυτούς τους πράκτορες υποβάλλουν μια σειρά αιτημάτων API που βασίζονται το ένα στο άλλο, συχνά μεταφέροντας τις ίδιες οδηγίες, τους ορισμούς εργαλείων και το περιεχόμενο από προηγούμενους γύρους. Η OpenAI αποθηκεύει προσωρινά αυτό το κοινόχρηστο περιεχόμενο, ώστε να επαναχρησιμοποιούνται οι υπολογισμοί μεταξύ αιτημάτων, μειώνοντας τους χρόνους απόκρισης και προσφέροντας στους προγραμματιστές εκπτώσεις έως 90% στα αποθηκευμένα token εισόδου.
Με την οικογένεια GPT‑6, κυκλοφορήσαμε ένα βελτιωμένο σύστημα προσωρινής αποθήκευσης προτροπών, το οποίο προσφέρει από προεπιλογή υψηλότερα ποσοστά επιτυχιών της κρυφής μνήμης. Πλέον προσφέρουμε εκπτώσεις κρυφής μνήμης για επιλέξιμα κοινόχρηστα προθέματα που επαναχρησιμοποιούνται εντός 30 λεπτών. Παρουσιάζουμε επίσης νέα εργαλεία που βοηθούν τους προγραμματιστές να παρακολουθούν την απόδοση της κρυφής μνήμης, να διαγιγνώσκουν αστοχίες και να επιλέγουν ποιο μέρος μιας προτροπής θα αποθηκεύεται προσωρινά.
Ο νέος Πίνακας ελέγχου προσωρινής αποθήκευσης προτροπών(ανοίγει σε νέο παράθυρο) δείχνει ποιο μέρος της εισόδου της εφαρμογής σας εξυπηρετείται από την κρυφή μνήμη. Παρακολουθήστε τα ποσοστά επιτυχιών με την πάροδο του χρόνου και χρησιμοποιήστε το γράφημα σύνθεσης εισόδου για να συγκρίνετε αποθηκευμένα και μη αποθηκευμένα token. Αυτές οι προβολές σάς βοηθούν να εντοπίζετε μειώσεις στις επιτυχίες της κρυφής μνήμης και να αξιολογείτε πώς οι αλλαγές στην εφαρμογή σας επηρεάζουν την απόδοσή της.
Όταν παρατηρείτε μια απροσδόκητη αστοχία της κρυφής μνήμης, χρησιμοποιήστε το εργαλείο διαγνωστικών προσωρινής αποθήκευσης προτροπών(ανοίγει σε νέο παράθυρο) για να κατανοήσετε τι συνέβη. Συγκρίνετε ένα αίτημα με μια πρόσφατη απόκριση, για να εντοπίσετε αλλαγές στο μοντέλο, στα εργαλεία, στις ρυθμίσεις ή στην είσοδο που απέτρεψαν την επαναχρησιμοποίηση. Ο εκτιμώμενος αριθμός των token που επηρεάζονται σας βοηθά να αξιολογήσετε το μέγεθος του αντίκτυπου και να αποφασίσετε πώς θα βελτιστοποιήσετε την ενσωμάτωσή σας, ώστε να μεγιστοποιήσετε τα ποσοστά επιτυχιών της κρυφής μνήμης.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Επιλέξτε τι θα αποθηκεύεται προσωρινά. Τα ρητά σημεία διακοπής της κρυφής μνήμης σάς επιτρέπουν να επιλέγετε ποια προθέματα προτροπών θα επαναχρησιμοποιούνται. Ο ανανεωμένος οδηγός προσωρινής αποθήκευσης προτροπών(ανοίγει σε νέο παράθυρο) εξηγεί πώς να τα χρησιμοποιείτε, για πόσο διάστημα τα αποθηκευμένα προθέματα παραμένουν επιλέξιμα και πώς οι αλλαγές στα εργαλεία και στις εισόδους επηρεάζουν την επαναχρησιμοποίηση.
Προσαρμόστε την ένταση της συλλογιστικής χωρίς να διακόψετε την κρυφή μνήμη. Στα μοντέλα GPT‑6, μπορείτε πλέον να αλλάζετε την ένταση της συλλογιστικής(ανοίγει σε νέο παράθυρο) μεταξύ αποκρίσεων χωρίς να διακόπτετε την κρυφή μνήμη. Αυξήστε την ένταση για μια δυσκολότερη εργασία ή μειώστε την για μια συνηθισμένη συνέχεια, προσθέτοντας ένα configuration_update και αφήνοντας αμετάβλητη την ένταση συλλογιστικής σε επίπεδο αιτήματος. Έτσι μπορείτε να προσαρμόζετε πόση συλλογιστική απαιτεί μια εργασία, διατηρώντας παράλληλα επαναχρησιμοποιήσιμο το περιεχόμενο.
Διατηρήστε την κρυφή μνήμη καθώς αλλάζουν τα εργαλεία και οι οδηγίες. Καθώς αλλάζουν οι ανάγκες χρήσης εργαλείων του πράκτορά σας, διατηρήστε σταθερούς τους ορισμούς, τα σχήματα και τη σειρά των εργαλείων, ώστε να παραμένει επαναχρησιμοποιήσιμο το προηγούμενο περιεχόμενο. Χρησιμοποιήστε το allowed_tools ώστε να μπορούν να κληθούν μόνο τα σχετικά εργαλεία ή ορίστε το tool_choice σε none όταν δεν χρειάζονται εργαλεία, αντί να αφαιρείτε τους ορισμούς. Χρησιμοποιήστε νέα μηνύματα προγραμματιστή για να προσθέτετε νέες οδηγίες προς το τέλος του περιεχομένου, παρακάμπτοντας τις παλαιότερες. Δείτε τις οδηγίες μας για τη διαχείριση αλλαγών στα εργαλεία(ανοίγει σε νέο παράθυρο).
Προθερμάνετε την κρυφή μνήμη για να μειώσετε την καθυστέρηση. Η προθέρμανση(ανοίγει σε νέο παράθυρο) προετοιμάζει εκ των προτέρων γνωστό περιεχόμενο, ώστε το μοντέλο να μπορεί να αρχίσει να αποκρίνεται νωρίτερα όταν φτάσει ένα αίτημα. Για παράδειγμα, μια εφαρμογή μπορεί να προθερμάνει κοινόχρηστες οδηγίες, ορισμούς εργαλείων ή υλικό αναφοράς κατά την εκκίνηση, προτού ο χρήστης υποβάλει την πρώτη του ερώτηση. Έτσι, η επεξεργασία δεν επιβαρύνει τον χρόνο αναμονής του χρήστη.
Αυτά τα προαιρετικά στοιχεία ελέγχου αξιοποιούν την προεπιλεγμένη απόδοση της μηχανής και σας βοηθούν να προσαρμόσετε την προσωρινή αποθήκευση στον φόρτο εργασίας σας.
Παρακολουθήστε τα ποσοστά επιτυχιών της κρυφής μνήμης στον Πίνακα ελέγχου προσωρινής αποθήκευσης προτροπών(ανοίγει σε νέο παράθυρο).
Διερευνήστε τις απροσδόκητες αστοχίες με το εργαλείο διαγνωστικών(ανοίγει σε νέο παράθυρο).
Ακολουθήστε τον οδηγό προσωρινής αποθήκευσης προτροπών(ανοίγει σε νέο παράθυρο) για να βελτιώσετε τη διαμόρφωσή σας ή χρησιμοποιήστε το Codex(ανοίγει σε νέο παράθυρο) για να ελέγξετε τον κώδικά σας, να εφαρμόσετε βελτιώσεις και να μετρήσετε τα αποτελέσματα.
