LifeVal
Mesurer les progrès de l’IA dans les tâches qui comptent au quotidien.
La mission d’OpenAI est de faire en sorte que l’intelligence artificielle générale profite à toute l’humanité. Pour le milliard de personnes et plus qui utilisent actuellement ChatGPT chaque semaine, nous voulons créer une IA capable de les aider à relever les défis pratiques du quotidien : trouver un service de garde, accéder aux services gouvernementaux, établir un budget, se préparer pour l’école, adapter des recettes, commander l’épicerie, concevoir des programmes d’entraînement et bien plus encore.
Quand une personne cherche de l’aide pour se simplifier la vie, elle a besoin de plus que de conseils ou d’une réponse dans une conversation. Pour être un assistant personnel vraiment utile, ChatGPT devrait pouvoir agir et accomplir concrètement des tâches.
Pour mesurer l’évolution des performances des modèles sur les tâches quotidiennes, nous avons créé une évaluation couvrant les domaines où les utilisateurs souhaitaient le plus obtenir l’aide de l’IA et des agents personnels. Nous avons utilisé cette évaluation pour suivre et favoriser l’amélioration des performances des modèles sur les tâches quotidiennes au cours de la dernière année.
Contexte
Pour repérer les tâches auxquelles les gens accordent le plus de valeur, nous sommes partis de deux grandes études sur l’emploi du temps aux États-Unis et à l’international : l’Enquête américaine sur l’emploi du temps(s'ouvre dans une nouvelle fenêtre) et l’Étude multinationale sur l’emploi du temps(s'ouvre dans une nouvelle fenêtre). Ensemble, ces jeux de données fournissent un inventaire détaillé des tâches de la vie quotidienne accomplies par différents groupes démographiques, à divers moments de la journée et selon les saisons. Pour comprendre où les gens apprécieraient le plus l’aide de l’IA, nous avons complété ces enquêtes existantes par un nouveau sondage auprès d’un échantillon démographiquement représentatif de 3 995 personnes. Pour chaque tâche, nous avons posé diverses questions afin de cerner les domaines dans lesquels les gens souhaitaient le plus obtenir l’aide d’un assistant personnel. Les tâches retenues couvrent les principaux domaines où les gens souhaitent obtenir de l’aide, notamment les soins à autrui, la santé, l’éducation, la gestion du foyer, les finances personnelles, les achats et l’accès aux services gouvernementaux.
Exemples de tâches individuelles
Voici quelques exemples des performances de nos modèles actuels dans des processus pratiques de la vie quotidienne.
S’inscrire à la bonne maternelle après un déménagement
Compare les maternelles près de notre nouvelle maison et présélectionne celles qui conviennent le mieux.
J’ai retenu trois maternelles et regroupé les détails d’inscription. Il reste deux préférences à préciser de votre côté. Voulez-vous examiner la présélection?
Coordonner les bénévoles en prévision d’une inondation
Aide-moi à organiser l’équipe de bénévoles de notre communauté pour aider quatre voisins à protéger leur maison contre les inondations.
J’ai préparé un plan d’action simple pour aider les bénévoles à évaluer les sites mentionnés et à se préparer aux intempéries à venir.
Trouver une nouvelle maison pour ma famille
Trouve une maison dans le comté de Luzerne qui respecte mon budget, comprend un logement indépendant et me permet de me rendre rapidement au travail après avoir déposé les enfants à l’école. Ajoute l’acte de propriété à mon panier pour que je puisse l’examiner.
J’ai trouvé une maison qui répond à vos critères. J’ai calculé les droits de mutation et ajouté l’acte de propriété à votre panier du registre du comté pour que vous puissiez l’examiner.
Regarder un match à distance avec grand-maman
Mets en place une façon simple pour grand-maman et moi de regarder le match ensemble à distance.
La solution de visionnement la plus simple est prête, avec une option de secours si la diffusion est interrompue. Voulez-vous que je vous guide, vous et grand-maman, étape par étape?
Préparer des repas pour un parent qui s’adapte à un nouveau diagnostic de diabète
Aide mon parent à s’adapter à un nouveau diagnostic de diabète avec un plan pratique de soins et de repas.
Le plan de la première semaine est prêt, avec les repas, les rappels et les questions pour l’équipe soignante. Voulez-vous l’examiner ensemble avant de le transmettre à votre parent?
Nos modèles les plus récents obtiennent des scores très élevés pour de nombreuses tâches de LifeVal.
Au cours de la dernière année, nous avons entraîné nos modèles pour qu’ils soient beaucoup plus rapides, plus performants et mieux alignés dans les tâches utilisant un navigateur, un ordinateur et des connecteurs. L’activation de ces capacités dans ChatGPT élargit aussi l’éventail des tâches pour lesquelles le modèle peut apporter de l’aide, faisant évoluer ChatGPT d’un outil de clavardage vers un véritable assistant personnel agentique.
Pourquoi c’est important
Pour que l’AGI profite à toute l’humanité, nous devons mesurer et accélérer les progrès des modèles sur ce qui compte dans la vie des gens. Cela signifie aller au-delà des évaluations théoriques des connaissances des modèles pour mesurer concrètement dans quelle mesure les modèles d’IA peuvent aider les gens à prendre des décisions, à gérer leurs responsabilités quotidiennes et à accomplir des tâches qui comptent. Nous espérons que LifeVal représente un pas vers cet objectif.
