LifeVal
Mesurer les progrès de l’IA sur les tâches qui comptent au quotidien.
La mission d’OpenAI est de faire en sorte que l’intelligence artificielle générale profite à toute l’humanité. Pour le milliard de personnes et plus qui utilisent actuellement ChatGPT chaque semaine, nous voulons créer une IA capable de les aider à relever les défis concrets du quotidien : trouver un mode de garde, accéder aux services publics, établir un budget, préparer la rentrée, adapter des recettes, commander des courses, concevoir des programmes d’entraînement, et bien plus encore.
Quand on cherche à se simplifier la vie, on a besoin de plus que de conseils ou d’une réponse dans une conversation. Pour être un assistant personnel vraiment utile, ChatGPT doit pouvoir agir et accomplir concrètement les tâches.
Pour mesurer les performances des modèles au fil du temps sur les tâches du quotidien, nous avons créé une évaluation couvrant les domaines dans lesquels les utilisateurs souhaitaient le plus être aidés par l’IA et les agents personnels. Nous avons utilisé cette évaluation pour suivre et orienter l’amélioration des performances des modèles sur les tâches du quotidien au cours de l’année écoulée.
Contexte
Pour déterminer les tâches auxquelles les gens accordent le plus de valeur, nous sommes partis de deux grandes études sur l’utilisation du temps aux États-Unis et à l’international : l’enquête américaine sur l’emploi du temps(ouverture dans une nouvelle fenêtre) et l’étude multinationale sur l’emploi du temps(ouverture dans une nouvelle fenêtre). Ensemble, ces jeux de données fournissent un inventaire détaillé des tâches du quotidien selon les groupes démographiques, les moments de la journée et les saisons. Pour comprendre où l’aide de l’IA serait la plus appréciée, nous avons complété ces enquêtes existantes par une nouvelle enquête auprès d’un échantillon démographiquement représentatif de 3 995 personnes. Pour chaque tâche, nous avons posé diverses questions afin de cerner les domaines dans lesquels les gens souhaitaient le plus l’aide d’un assistant personnel. Les tâches retenues couvrent les principaux domaines dans lesquels les gens souhaitent de l’aide, notamment l’aide aux proches, la santé, l’éducation, la gestion administrative du foyer, les finances personnelles, les achats et l’accès aux services publics.
Exemples de tâches individuelles
Voici quelques exemples des performances de nos modèles actuels sur des tâches concrètes du quotidien.
S’inscrire dans la bonne école maternelle après un déménagement
Compare les écoles maternelles près de notre nouveau logement et présélectionne les plus adaptées.
J’ai retenu trois écoles maternelles et organisé les informations nécessaires à l’inscription. Il vous reste à trancher sur deux préférences. Souhaitez-vous examiner la sélection ?
Coordonner les bénévoles avant une inondation
Aide-moi à organiser notre équipe locale de bénévoles pour aider quatre voisins à protéger leur logement contre les inondations.
J’ai préparé un plan d’action simple pour aider les bénévoles à évaluer les sites mentionnés et à se préparer aux intempéries à venir.
Trouver un nouveau logement pour ma famille
Trouve un logement dans le comté de Luzerne qui respecte mon budget, dispose d’un logement indépendant et limite mon trajet jusqu’au travail après avoir déposé les enfants à l’école. Ajoute l’acte de propriété à mon panier pour que je puisse l’examiner.
J’ai trouvé un logement qui répond à vos critères. J’ai calculé les droits de mutation et ajouté l’acte de propriété à votre panier du service des registres du comté pour que vous puissiez l’examiner.
Regarder un match avec mamie à distance
Mets en place une solution simple pour que mamie et moi puissions regarder le match ensemble à distance.
La solution de visionnage la plus simple est prête, avec une option de secours si la diffusion échoue. Souhaitez-vous que je vous guide pas à pas avec mamie ?
Préparer les repas d’un parent qui s’adapte à un récent diagnostic de diabète
Aide mon parent à s’adapter à un récent diagnostic de diabète avec un programme concret de soins et de repas.
Le programme de la première semaine est prêt, avec les repas, les rappels et les questions pour l’équipe soignante. Souhaitez-vous que nous le passions en revue ensemble avant de le partager avec votre parent ?
Nos derniers modèles obtiennent des scores très élevés sur de nombreuses tâches de LifeVal.
Au cours de l’année écoulée, nous avons entraîné nos modèles à être beaucoup plus rapides, plus performants et mieux alignés dans les tâches faisant appel au navigateur, à l’ordinateur et aux connecteurs. L’activation de ces capacités dans ChatGPT élargit également les types de tâches pour lesquelles le modèle peut apporter son aide, faisant évoluer ChatGPT d’un outil de conversation vers un véritable assistant personnel agentique.
Pourquoi c’est important
Pour que l’AGI profite à toute l’humanité, nous devons mesurer et faire progresser les modèles dans les domaines qui comptent dans la vie quotidienne. Cela implique d’aller au-delà des évaluations académiques des connaissances des modèles et de mesurer concrètement dans quelle mesure les modèles d’IA peuvent aider les gens à prendre des décisions, à gérer leurs responsabilités quotidiennes et à accomplir des choses qui comptent. Nous espérons que LifeVal constitue un pas vers cet objectif.
