LifeVal
Medir o progresso da IA nas tarefas que importam no dia a dia.
A missão da OpenAI é garantir que a inteligência artificial geral beneficia toda a humanidade. Para os mais de mil milhões de pessoas que atualmente utilizam o ChatGPT todas as semanas, queremos criar IA capaz de ajudar nos desafios práticos do dia a dia, como encontrar quem cuide das crianças, aceder a serviços públicos, criar um orçamento, preparar-se para a escola, adaptar receitas, encomendar alimentos, elaborar planos de treino e muito mais.
Quando alguém procura ajuda para facilitar a sua vida, precisa de mais do que conselhos ou uma resposta numa conversa. Para ser um assistente pessoal verdadeiramente útil, o ChatGPT deve ser capaz de agir e concretizar tarefas.
Para medir o desempenho dos modelos em tarefas do dia a dia ao longo do tempo, criámos uma avaliação com tarefas nas áreas em que os utilizadores mais queriam ajuda da IA e de agentes pessoais. Ao longo do último ano, utilizámos esta avaliação para acompanhar e impulsionar a melhoria do desempenho dos modelos em tarefas do dia a dia.
Contexto
Para identificar as tarefas a que as pessoas dão mais valor, partimos de dois grandes estudos que acompanham a forma como as pessoas utilizam o tempo nos EUA e noutros países: o Inquérito Americano à Utilização do Tempo(abre numa nova janela) e o Estudo Multinacional sobre a Utilização do Tempo(abre numa nova janela). Em conjunto, estes dados fornecem um catálogo detalhado das tarefas do dia a dia realizadas por pessoas de diferentes grupos demográficos, em diferentes alturas do dia e estações do ano. Para perceber em que áreas as pessoas mais valorizariam a ajuda da IA, complementámos estes inquéritos com um novo inquérito a uma amostra demograficamente representativa de 3995 participantes. Para cada tarefa, fizemos várias perguntas para identificar as áreas em que as pessoas mais queriam ajuda de um assistente pessoal. As tarefas resultantes abrangem as principais áreas em que as pessoas querem ajuda, incluindo prestação de cuidados, saúde, educação, gestão doméstica, finanças pessoais, compras e acesso a serviços públicos.
Exemplos de tarefas individuais
Seguem-se alguns exemplos do desempenho dos nossos modelos atuais em processos práticos do dia a dia.
Fazer a matrícula no jardim de infância certo após mudar de casa
Compara os jardins de infância perto da nossa nova casa e seleciona os mais adequados.
Selecionei três jardins de infância e organizei as informações sobre a matrícula. Falta decidir duas preferências. Quer analisar as opções selecionadas?
Coordenar voluntários antes de uma inundação
Ajuda-me a organizar a equipa de voluntários da nossa comunidade para ajudar quatro vizinhos a proteger as suas casas contra inundações.
Preparei um plano de ação simples para ajudar os voluntários a avaliar os locais mencionados e a prepará-los para o mau tempo que se avizinha.
Encontrar uma nova casa para a minha família
Encontra uma casa no condado de Luzerne que caiba no meu orçamento, tenha uma habitação independente e me permita chegar rapidamente ao trabalho depois de deixar os miúdos na escola. Adiciona a escritura ao meu carrinho para eu a analisar.
Encontrei uma casa que cumpre os seus requisitos. Calculei o imposto sobre a transmissão do imóvel e adicionei a escritura ao seu carrinho no portal de registos do condado para a analisar.
Ver um jogo com a avó à distância
Prepara uma forma simples de eu e a avó vermos o jogo em conjunto à distância.
A forma mais simples de verem o jogo está pronta, com uma alternativa caso a transmissão falhe. Quer que explique os passos a si e à avó?
Preparar refeições para o pai ou a mãe após um diagnóstico recente de diabetes
Ajuda o meu pai ou a minha mãe a adaptar-se a um diagnóstico recente de diabetes com um plano prático de cuidados e refeições.
O plano para a primeira semana está pronto e inclui refeições, lembretes e perguntas para a equipa de saúde. Quer analisá-lo em conjunto antes de o partilhar com o seu pai ou a sua mãe?
Os nossos modelos mais recentes obtêm pontuações muito elevadas em muitas tarefas do LifeVal.
Ao longo do último ano, treinámos os nossos modelos para serem muito mais rápidos, mais capazes e mais alinhados em tarefas que envolvem a utilização do navegador, do computador e de conectores. Disponibilizar estas capacidades no ChatGPT também alarga os tipos de tarefas em que o modelo pode ajudar, permitindo que o ChatGPT deixe de ser apenas uma ferramenta de conversa e se torne um assistente pessoal verdadeiramente capaz de agir.
Por que é importante
Para garantir que a AGI beneficia toda a humanidade, temos de medir e melhorar o progresso dos modelos naquilo que importa na vida das pessoas. Isso significa ir além das avaliações académicas do conhecimento dos modelos e medir, na prática, até que ponto os modelos de IA conseguem ajudar as pessoas a tomar decisões, gerir responsabilidades diárias e realizar tarefas importantes. Esperamos que o LifeVal represente um passo em direção a esse objetivo.
