LifeVal
Μετρώντας την πρόοδο της ΤΝ στις εργασίες που έχουν σημασία στην καθημερινή ζωή.
Αποστολή της OpenAI είναι να διασφαλίσει ότι η τεχνητή γενική νοημοσύνη ωφελεί όλη την ανθρωπότητα. Για τους περισσότερους από ένα δισεκατομμύριο ανθρώπους που χρησιμοποιούν σήμερα το ChatGPT κάθε εβδομάδα, θέλουμε να δημιουργήσουμε ΤΝ που να βοηθά στις πρακτικές προκλήσεις της καθημερινότητας: στην εύρεση φροντίδας για τα παιδιά, στην πρόσβαση σε δημόσιες υπηρεσίες, στην κατάρτιση προϋπολογισμού, στην προετοιμασία για το σχολείο, στην προσαρμογή συνταγών, στην παραγγελία τροφίμων, στον σχεδιασμό προγραμμάτων άσκησης και σε πολλά άλλα.
Όταν κάποιος αναζητά βοήθεια για να κάνει τη ζωή του ευκολότερη, χρειάζεται κάτι περισσότερο από συμβουλές ή μια απάντηση σε μια συνομιλία. Για να είναι ένας πραγματικά χρήσιμος προσωπικός βοηθός, το ChatGPT πρέπει να μπορεί να αναλαμβάνει ενέργειες που φέρνουν ουσιαστικά αποτελέσματα.
Για να μετρήσουμε διαχρονικά τις επιδόσεις των μοντέλων σε καθημερινές εργασίες, δημιουργήσαμε μια αξιολόγηση με εργασίες από τους τομείς στους οποίους οι χρήστες επιθυμούσαν περισσότερο τη βοήθεια της ΤΝ και προσωπικών πρακτόρων. Τον τελευταίο χρόνο, χρησιμοποιήσαμε αυτή την αξιολόγηση για να παρακολουθούμε και να κατευθύνουμε τη βελτίωση των επιδόσεων των μοντέλων σε καθημερινές εργασίες.
Το υπόβαθρο
Για να εντοπίσουμε τις εργασίες που έχουν τη μεγαλύτερη αξία για τους ανθρώπους, ξεκινήσαμε από δύο μεγάλες μελέτες που καταγράφουν πώς κατανέμουν τον χρόνο τους τόσο στις ΗΠΑ όσο και διεθνώς: την Αμερικανική Έρευνα Χρήσης Χρόνου(ανοίγει σε νέο παράθυρο) και την Πολυεθνική Μελέτη Χρήσης Χρόνου(ανοίγει σε νέο παράθυρο). Μαζί, αυτά τα σύνολα δεδομένων παρέχουν έναν λεπτομερή κατάλογο καθημερινών εργασιών που εκτελούν άνθρωποι από διαφορετικές δημογραφικές ομάδες, σε διαφορετικές ώρες της ημέρας και εποχές του χρόνου. Για να κατανοήσουμε σε ποιους τομείς οι άνθρωποι θα εκτιμούσαν περισσότερο τη βοήθεια της ΤΝ, συμπληρώσαμε αυτές τις υπάρχουσες έρευνες με μια νέα έρευνα σε δημογραφικά αντιπροσωπευτικό δείγμα 3.995 συμμετεχόντων. Για κάθε εργασία, θέσαμε διάφορες ερωτήσεις ώστε να εντοπίσουμε τους τομείς στους οποίους οι άνθρωποι επιθυμούσαν στην καθημερινότητά τους περισσότερο τη βοήθεια ενός προσωπικού βοηθού. Οι εργασίες που προέκυψαν καλύπτουν τους σημαντικότερους τομείς στους οποίους οι άνθρωποι θέλουν βοήθεια, όπως η φροντίδα άλλων, η υγεία, η εκπαίδευση, η οργάνωση του νοικοκυριού, τα προσωπικά οικονομικά, τα ψώνια και η πρόσβαση σε δημόσιες υπηρεσίες.
Παραδείγματα επιμέρους εργασιών
Ακολουθούν μερικά παραδείγματα των επιδόσεων των σημερινών μοντέλων μας σε πρακτικές διαδικασίες της καθημερινής ζωής.
Τα πιο πρόσφατα μοντέλα μας πετυχαίνουν πολύ υψηλές βαθμολογίες σε πολλές εργασίες του LifeVal.
Τον τελευταίο χρόνο, εκπαιδεύσαμε τα μοντέλα μας ώστε να γίνουν πολύ πιο γρήγορα, πιο ικανά και πιο ευθυγραμμισμένα με τις προθέσεις των χρηστών σε εργασίες που απαιτούν χρήση προγράμματος περιήγησης, υπολογιστή και συνδέσεων με άλλες υπηρεσίες. Η ενεργοποίηση αυτών των δυνατοτήτων στο ChatGPT διευρύνει επίσης τα είδη εργασιών στα οποία μπορεί να βοηθήσει το μοντέλο, μετατρέποντας σταδιακά το ChatGPT από εργαλείο συνομιλίας σε έναν πραγματικό προσωπικό βοηθό που μπορεί να αναλαμβάνει δράση.
Γιατί έχει σημασία
Για να διασφαλίσουμε ότι η AGI ωφελεί όλη την ανθρωπότητα, πρέπει να μετράμε και να ενισχύουμε την πρόοδο των μοντέλων σε όσα έχουν σημασία στην καθημερινή ζωή των ανθρώπων. Αυτό σημαίνει ότι πρέπει να προχωρήσουμε πέρα από τις ακαδημαϊκές αξιολογήσεις των γνώσεων των μοντέλων και να μετράμε στην πράξη πόσο καλά μπορούν τα μοντέλα ΤΝ να βοηθούν τους ανθρώπους να παίρνουν αποφάσεις, να διαχειρίζονται τις καθημερινές τους υποχρεώσεις και να ολοκληρώνουν ουσιαστικές εργασίες. Ελπίζουμε ότι το LifeVal αποτελεί ένα βήμα προς αυτόν τον στόχο.



























