OpenAI lanca o LifeVal, benchmark em que um agente matricula criancas em creches e compra alimentos

A maioria dos benchmarks pergunta a um modelo o que ele sabe. A OpenAI propoe outra pergunta: ele consegue cuidar por voce das tarefas tediosas da vida cotidiana? Foi assim que surgiu o LifeVal, uma avaliacao em que o agente nao deve apenas dar conselhos, mas concluir a tarefa.

O que e o LifeVal

A base do projeto foram dois grandes conjuntos de dados sobre como as pessoas usam o tempo: American Time Use Survey e Multinational Time Use Study. A partir deles, foi criado um catalogo de atividades cotidianas. Em seguida, a OpenAI realizou sua propria pesquisa demograficamente representativa com 3.995 participantes para descobrir em quais areas as pessoas mais precisam de um assistente pessoal.

As tarefas resultantes abrangem cuidados com familiares, saude, educacao, administracao domestica, financas pessoais, compras e servicos publicos. Nao sao perguntas de multipla escolha. Sao cenarios que exigem abrir sites, comparar opcoes, fazer calculos e concluir transacoes ou formularios.

Como sao as tarefas

Um exemplo: o usuario se mudou e pede uma comparacao entre creches proximas da nova casa. O agente reduz as opcoes a tres, reune os requisitos de matricula e informa com clareza que duas preferencias exigem uma decisao humana. O resultado nessa tarefa e de 93,1%.

Outros exemplos da publicacao:

• encontrar uma casa no condado de Luzerne dentro do orcamento, com uma unidade residencial separada e um trajeto curto depois da escola, calcular o imposto de transferencia e colocar o documento no carrinho: 100%;
• preparar a primeira semana de refeicoes e lembretes para um dos pais que recebeu recentemente um diagnostico de diabetes: 90,4%;
• organizar voluntarios antes de uma enchente: 98,0%;
• configurar uma sessao para assistir a uma partida com a avo, incluindo uma alternativa caso a transmissao falhe: 96,3%.

Na tabela de melhores resultados, o GPT-6 Astra alcanca 100% em tarefas como agendar uma atividade sensorial para uma crianca pequena, marcar uma inspecao veicular, comprar alimentos halal dentro do orcamento e cancelar inscricoes em listas de e-mail.

A OpenAI destaca que, ao longo do ultimo ano, os modelos ficaram consideravelmente mais rapidos e precisos ao trabalhar com navegadores, computadores e conectores. E justamente isso que transforma o ChatGPT de um chat em um agente.

O que deve ser levado em conta

Primeiro: a propria empresa criou o benchmark, selecionou os exemplos e apresenta os resultados. O texto nao descreve o metodo de avaliacao: quem decide, e como, que uma tarefa foi concluida em 93,1%, e nao em 100%. Tambem nao ha comparacao com modelos concorrentes.

Segundo: atingir 100% em algumas tarefas indica mais a saturacao desses cenarios especificos do que a confiabilidade do agente na vida real. Tarefas envolvendo pagamentos, medicina e servicos publicos exigem uma taxa de erro extremamente baixa, algo que uma porcentagem media nao demonstra.

Terceiro: nos exemplos, o agente frequentemente para e consulta o usuario. Esse e um bom padrao, mas tambem significa que ainda nao existe autonomia completa de ponta a ponta.

O que fazer com isso

Para equipes de produto: encarem o LifeVal como um mapa dos cenarios pelos quais a OpenAI pretende competir. Creches, orcamentos, servicos publicos, compras e cuidados com familiares sao os rumos do ChatGPT agentico, e interfaces especializadas construidas sobre essas tarefas ficarao sob pressao.

Para desenvolvedores de agentes: adotem a abordagem. Montem conjuntos de tarefas com base no comportamento real dos usuarios, e nao em testes academicos, e avaliem a conclusao da acao, nao a qualidade do texto. Incluam pontos de confirmacao humana sempre que um erro puder ter um custo elevado.

Para fundadores: nao interpretem os numeros de 90–100% como sinal de que o mercado esta pronto. Esperem uma verificacao independente antes de criar um produto que pressuponha que o agente conseguira fazer uma compra ou preencher um formulario sem erros.