LifeVal testa agentes de IA para tarefas cotidianas: eles alcançaram de 90,4% a 100% em cinco testes

A maioria dos testes de IA é estruturada para a conveniência do laboratório: uma pergunta é apresentada ao modelo e, em seguida, sua resposta é comparada com uma referência. Isso não basta para um agente de uso cotidiano. Ele pode explicar corretamente como escolher uma creche, mas deixar de considerar o tempo de deslocamento, a idade da criança, os prazos de inscrição e os documentos de uma família específica. O usuário não avalia a elegância do conselho, mas se a tarefa ficou mais próxima de ser concluída.

A OpenAI apresentou o LifeVal, um conjunto de avaliações para esse tipo de tarefa cotidiana com várias etapas. Nos exemplos publicados, os modelos alcançaram de 90,4% a 100%: 90,4% em um plano de alimentação e cuidados após um diagnóstico de diabetes, 93,1% na seleção de uma creche, 96,3% na organização de uma sessão coletiva para assistir a uma partida e 98% na coordenação de voluntários antes de uma inundação. A tarefa de busca por moradia recebeu 100%. É importante destacar que essas são tarefas de demonstração individuais, e não a precisão média do LifeVal.

O que exatamente o LifeVal avalia

Os autores não começaram com uma lista de capacidades do modelo, mas com uma pergunta: em quais atividades as pessoas realmente precisam de ajuda? Para responder, eles combinaram estudos sobre o uso do tempo nos Estados Unidos e em outros países com uma pesquisa própria. A página do projeto da OpenAI informa 3.995 participantes, enquanto o artigo menciona mais de 3.800 respondentes. O mapa resultante inclui 148 categorias, como cuidado de pessoas próximas, educação, finanças pessoais, compras, mudanças, busca de emprego e acesso a serviços públicos.

Em seguida, foram preparadas tarefas personalizadas para os cenários mais procurados. Elas usam o contexto da pessoa, arquivos de referência, memórias e trechos anonimizados de conversas reais com o ChatGPT. Os criadores das tarefas precisavam ter experiência pessoal na resolução do problema correspondente, redigir os critérios de avaliação e passar por pelo menos três etapas de controle de qualidade.

Um exemplo simples: uma família está se mudando e pede ajuda para escolher uma creche. Um bom agente não se limita a apresentar uma lista de instituições. Ele compara a distância, os requisitos de admissão e as preferências da família; reúne opções adequadas; detalha o processo de matrícula passo a passo; e destaca separadamente as decisões que não podem ser tomadas sem uma pessoa. Avalia-se o resultado completo, e não apenas uma recomendação bem-sucedida.

Por que isso é importante para os desenvolvedores

O LifeVal desloca a unidade de medida da resposta para o cenário concluído. Para uma equipe de produto, isso oferece uma referência prática: o teste de um agente deve incluir pesquisa, trabalho com navegador e arquivos, uso de contexto pessoal, solicitação de confirmação antes de uma ação sensível e um resultado claro para o usuário.

Essa abordagem ajuda a identificar erros que não aparecem em uma conversa comum. O agente pode encontrar o formulário correto, mas escolher o documento destinado a outra região. Pode elaborar um orçamento, mas deixar de incluir um pagamento recorrente. Pode continuar trabalhando com confiança mesmo sem uma condição crítica. Por isso, é útil medir não apenas a qualidade do texto final, mas também a proporção de etapas concluídas, o número de suposições não verificadas, a precisão das fontes e a capacidade de devolver a decisão a uma pessoa no momento certo.

Onde é preciso ter cautela

O LifeVal foi criado pela OpenAI e já foi usado para aprimorar seus modelos. É uma ferramenta interna útil, mas os altos resultados publicados não podem ser automaticamente generalizados para qualquer solicitação, país ou interface. A página não apresenta uma pontuação agregada única que permita comparar todos os modelos de maneira justa, e os cenários personalizados são especialmente sensíveis à integridade do contexto e às ferramentas disponíveis.

Também existe um risco de produto: um agente de uso cotidiano trabalha com finanças, saúde, circunstâncias familiares e documentos públicos. Quanto mais realista for a avaliação, mais rigorosas deverão ser as regras de anonimização de dados, delimitação de acesso, registro de ações e confirmação de operações.

A conclusão prática é simples: as equipes devem criar seu próprio LifeVal reduzido, com 20–30 cenários reais de usuários. Para cada um, é necessário descrever os dados iniciais, as ações permitidas, as verificações obrigatórias, o momento de transferir o controle para uma pessoa e um resultado mensurável. Um conjunto assim mostrará a prontidão do agente para se tornar um produto mais rapidamente do que mais um teste de conhecimentos gerais.