Το Stateful Runtime Environment για Πράκτορες στο Amazon Bedrock είναι εδώ
Οι πράκτορες ΤΝ διακρίνονται στη συλλογιστική. Το πιο δύσκολο κομμάτι είναι το επιχειρησιακό: η αξιόπιστη εκτέλεση πολυβηματικής εργασίας σε βάθος χρόνου, σε πραγματικά εργαλεία και πραγματικά συστήματα, με τους κατάλληλους ελέγχους.
Σήμερα, το κάνουμε αυτό πιο απλό για τους πελάτες μέσω συνεργασίας με την Amazon για την παροχή του νέου Stateful Runtime Environment, το οποίο εκτελείται εγγενώς στο Amazon Bedrock. Οι πελάτες της AWS θα έχουν πρόσβαση στο Runtime Environment, βασισμένο σε μοντέλα της OpenAI, βελτιστοποιημένο για την υποδομή της AWS και προσαρμοσμένο για ροές εργασίας με πράκτορες, με την κατάσταση, την αξιοπιστία και τη διακυβέρνηση που απαιτούνται για παραγωγική χρήση.
Πολλά πρωτότυπα πρακτόρων που βασίζονται σε stateless API καλύπτουν απλά σενάρια χρήσης: μία προτροπή, μία απάντηση, ίσως μία κλήση εργαλείου. Η παραγωγική χρήση είναι διαφορετική. Οι πραγματικές ροές εργασίας εκτυλίσσονται σε πολλά βήματα, απαιτούν θεματικό πλαίσιο από προηγούμενες ενέργειες, εξαρτώνται από πολλαπλά αποτελέσματα εργαλείων, εγκρίσεις και κατάσταση συστήματος, και χρειάζονται αξιόπιστους μηχανισμούς ελέγχου σε ασφαλή περιβάλλοντα.
Τα stateless API απαιτούν την κατασκευή ενός υποστηρικτικού επιπέδου ενορχήστρωσης για τους πράκτορες. Το βάρος πέφτει στις ομάδες ανάπτυξης να καθορίσουν πώς αποθηκεύεται η κατάσταση, πώς καλούνται τα εργαλεία, πώς διαχειρίζονται τα σφάλματα και πώς επανεκκινούν με ασφάλεια οι μακροχρόνιες εργασίες.
Το Stateful Runtime Environment έχει σχεδιαστεί από κοινού ώστε να μειώσει αυτό το φορτίο. Εκτελείται εντός του περιβάλλοντος AWS σας και είναι βελτιστοποιημένο για συνεργασία με τις υπηρεσίες της AWS. Πλέον, αντί να συνδέετε χειροκίνητα αποσυνδεδεμένα αιτήματα για να λειτουργήσει κάτι, οι πράκτορές σας εκτελούν αυτόματα σύνθετα βήματα με «ενεργό θεματικό πλαίσιο» που μεταφέρει μνήμη/ιστορικό, κατάσταση εργαλείων και ροών εργασίας, χρήση περιβάλλοντος και όρια ταυτότητας/δικαιωμάτων.
Πλέον είναι πιο εύκολο από ποτέ να υλοποιήσετε λύσεις όπως υποστήριξη πελατών σε πολλαπλά συστήματα, ροές εργασίας λειτουργιών πωλήσεων, εσωτερικό αυτοματισμό IT και χρηματοοικονομικές διαδικασίες με εγκρίσεις και ελέγχους.
Όταν το runtime αναλαμβάνει την επίμονη ενορχήστρωση και τη διαχείριση κατάστασης σε όλα τα βήματα, οι ομάδες μπορούν να επικεντρωθούν στη ροή εργασίας και στη λογική της επιχείρησης αντί για τη δημιουργία υποστηρικτικής δομής.
Οι stateful εργασίες έχουν σχεδιαστεί ώστε να εκτελούνται αξιόπιστα σε βάθος χρόνου, μεταφέροντας το απαραίτητο θεματικό πλαίσιο και τα όρια ελέγχου που απαιτούνται για πολυβηματική εκτέλεση.
Το runtime έχει σχεδιαστεί ώστε να λειτουργεί εντός του περιβάλλοντος AWS των πελατών, προκειμένου να συμμορφώνεται εύκολα με την υφιστάμενη αρχιτεκτονική ασφάλειας, τις ενσωματώσεις εργαλείων και τους κανόνες διακυβέρνησης.
Πρώτα βήματα
Το Stateful Runtime στο Amazon Bedrock θα είναι διαθέσιμο σύντομα. Αν θέλετε να διερευνήσετε πώς μπορεί να ενισχύσει τη δική σας διαδρομή προς την ΤΝ, επικοινωνήστε με την ομάδα της OpenAI ή υποβάλετε αίτημα για να επικοινωνήσουμε μαζί σας.
