LifeVal
Medindo o progresso da IA nas tarefas que importam no dia a dia.
A missão da OpenAI é garantir que a inteligência artificial geral beneficie toda a humanidade. Para mais de um bilhão de pessoas que usam o ChatGPT toda semana, queremos criar uma IA que ajude nos desafios práticos do dia a dia, como encontrar quem cuide das crianças, acessar serviços públicos, montar um orçamento, se preparar para a escola, adaptar receitas, fazer compras de supermercado, criar planos de exercícios e muito mais.
Quem busca ajuda para facilitar a vida precisa de mais do que conselhos ou uma resposta no chat. Para ser um assistente pessoal realmente útil, o ChatGPT deve ser capaz de agir e, de fato, realizar tarefas.
Para medir o desempenho dos modelos em tarefas cotidianas ao longo do tempo, criamos uma avaliação com tarefas nas áreas em que os usuários mais queriam ajuda de IA e agentes pessoais. Usamos essa avaliação para acompanhar e impulsionar a melhoria do desempenho dos modelos em tarefas cotidianas ao longo do último ano.
Contexto
Para identificar as tarefas que as pessoas mais valorizam, partimos de dois grandes estudos que acompanham como elas usam seu tempo nos EUA e em outros países: a Pesquisa Americana sobre o Uso do Tempo(abre em uma nova janela) e o Estudo Multinacional sobre o Uso do Tempo(abre em uma nova janela). Juntos, esses conjuntos de dados oferecem um catálogo detalhado das tarefas cotidianas realizadas por pessoas de diferentes perfis demográficos, em diferentes horários do dia e épocas do ano. Para entender em quais áreas as pessoas mais valorizariam a ajuda da IA, complementamos essas pesquisas com uma nova pesquisa com 3.995 participantes, em uma amostra demograficamente representativa. Para cada tarefa, fizemos uma série de perguntas para identificar as áreas em que as pessoas mais queriam ajuda de um assistente pessoal. As tarefas resultantes abrangem as principais áreas em que as pessoas querem ajuda, como cuidados com outras pessoas, saúde, educação, administração doméstica, finanças pessoais, compras e acesso a serviços públicos.
Exemplos de tarefas individuais
Veja abaixo alguns exemplos do desempenho dos nossos modelos atuais em atividades práticas do dia a dia.
Fazer a matrícula na escola de educação infantil ideal após a mudança
Compare escolas de educação infantil perto da nossa nova casa e selecione as melhores opções.
Selecionei três escolas de educação infantil e organizei as informações de matrícula. Ainda preciso que você defina duas preferências. Quer conferir as opções selecionadas?
Coordenar voluntários antes de uma inundação
Ajude-me a organizar a equipe de voluntários da nossa comunidade para auxiliar quatro vizinhos que precisam proteger suas casas contra inundações.
Preparei um plano de ação simples para ajudar os voluntários a avaliar os locais mencionados e se preparar para as condições climáticas severas previstas.
Encontrar uma nova casa para minha família
Encontre uma casa no condado de Luzerne que caiba no meu orçamento, tenha uma unidade residencial independente e permita um trajeto curto até o trabalho depois de deixar as crianças na escola. Adicione a escritura ao meu carrinho para eu conferir.
Encontrei uma casa que atende aos seus requisitos. Calculei o imposto de transferência e adicionei a escritura ao seu carrinho no site de registros do condado para você conferir.
Assistir a um jogo com a vovó à distância
Configure uma maneira fácil de eu e a vovó assistirmos ao jogo juntos à distância.
A opção mais fácil para assistir está pronta, com uma alternativa caso a transmissão falhe. Quer que eu explique o passo a passo para você e a vovó?
Preparar refeições para o pai ou a mãe que está se adaptando a um diagnóstico recente de diabetes
Ajude meu pai ou minha mãe a se adaptar a um diagnóstico recente de diabetes com um plano prático de cuidados e alimentação.
O plano da primeira semana está pronto, com refeições, lembretes e perguntas para a equipe de saúde. Quer conferir comigo antes de compartilhar com seu pai ou sua mãe?
Nossos modelos mais recentes alcançam pontuações muito altas em muitas tarefas do LifeVal.
Ao longo do último ano, treinamos nossos modelos para serem muito mais rápidos, capazes e alinhados em tarefas que envolvem o uso de navegadores, computadores e conectores. Habilitar essas capacidades no ChatGPT também amplia os tipos de tarefas em que o modelo pode ajudar, levando o ChatGPT além de uma ferramenta de conversa para se tornar um verdadeiro assistente pessoal com agentes de IA.
Por que isso importa
Para garantir que a AGI beneficie toda a humanidade, precisamos medir e impulsionar o progresso dos modelos no que importa para a vida das pessoas comuns. Isso significa ir além das avaliações acadêmicas do conhecimento dos modelos e medir, de fato, até que ponto os modelos de IA conseguem ajudar as pessoas a tomar decisões, administrar responsabilidades cotidianas e realizar o que é importante para elas. Esperamos que o LifeVal represente um passo em direção a esse objetivo.
