OpenAI testou agentes do dia a dia em 169 tarefas e identificou seu ponto fraco

A maioria dos testes de IA é conveniente para os desenvolvedores e pouco se parece com a vida real. O modelo responde a uma pergunta, o sistema compara a resposta com um gabarito e a tabela ganha mais um percentual. Mas o que o usuário costuma precisar não é de um parágrafo correto. Ele precisa encontrar uma creche depois de uma mudança, preparar o orçamento da família, preencher um requerimento ou organizar o cuidado de um parente.

A OpenAI apresentou o LifeVal, um teste com 169 tarefas personalizadas em que o agente precisa não apenas raciocinar, mas agir: ler o histórico de conversas, considerar arquivos, usar um navegador, alterar dados em aplicativos e criar materiais prontos. É uma tentativa de medir a diferença entre «o modelo explica bem» e «o trabalho realmente foi feito».

Como é a avaliação na prática

Imagine uma tarefa: uma família se mudou e pede ajuda para escolher uma creche. Um chatbot comum listará critérios gerais de escolha. No LifeVal, o agente recebe o endereço, as preferências da família, conversas anteriores e acesso a um ambiente de trabalho. Ele deve encontrar opções adequadas, verificar as condições de admissão, montar uma lista curta e assinalar as decisões que não podem ser tomadas sem uma pessoa.

O que se avalia não é o poder de persuasão do texto. O modelo avaliador vê a solicitação original, os critérios da tarefa, os arquivos criados e as mudanças no estado do sistema. Se o agente escreveu que preencheu um formulário, mas ele continuou vazio, não há pontos por essa ação. Tentar acessar a interface interna do ambiente de teste em vez do site comum é considerado hacking e zera o resultado.

O conjunto de tarefas foi formado a partir de pesquisas sobre uso do tempo e de uma pesquisa com usuários. O estudo envolveu 3.837 pessoas, e o mapa final abrangeu 148 categorias de tarefas cotidianas: finanças pessoais, mudança, busca de emprego, compras, educação, saúde, cuidado com entes queridos e obtenção de serviços públicos. As tarefas foram criadas por pessoas com experiência prática e, depois disso, cada uma passou por pelo menos três etapas de revisão manual.

Onde os agentes ainda falham

O problema mais revelador é a informação ou recomendação incorreta. Um agente pode executar com confiança uma longa cadeia de ações e, ainda assim, deixar passar um detalhe importante de uma conversa antiga do usuário. Para uma tarefa cotidiana, isso basta para tornar todo o resultado inútil: escolher uma moradia fora do orçamento, pedir um produto com alérgeno ou selecionar um serviço inadequado.

Há também um conflito sutil entre autonomia e segurança. Modelos mais cautelosos com mais frequência param no limite da decisão: não concluem a ação sem confirmação ou informam que não conseguiram verificar os dados. Na tabela isso parece fracasso, embora em um produto real às vezes seja exatamente assim que um agente confiável deve se comportar.

O LifeVal também não pode ser considerado uma medida definitiva de qualidade. A pesquisa foi feita nos EUA e em inglês, por isso o conjunto não reflete todos os países e hábitos. O valor das tarefas se baseia na disposição declarada de pagar, e não em anos de observação do comportamento real. Parte dos dados da web muda com o tempo, e por isso execuções repetidas podem gerar resultados diferentes. Por fim, os dois avaliadores automáticos são construídos sobre modelos da própria OpenAI, o que exige cautela na interpretação dos números.

O que a equipe de produto deve levar

A principal ideia do LifeVal é mais útil do que qualquer ranking específico de modelos. Os testes de aceitação de um agente devem ser construídos em torno do resultado concluído: o arquivo apareceu, o campo necessário mudou, as restrições do usuário foram respeitadas, o agente pediu confirmação antes de uma ação arriscada. Separadamente, é preciso testar a memória, a recuperação após erros e a capacidade de parar com honestidade.

Para o desenvolvedor, isso significa passar de um conjunto de demonstrações vistosas para cenários reproduzíveis, com estado inicial, resultado mensurável e registro de ações. Para o gerente de produto, significa definir antecipadamente onde o agente pode agir sozinho e onde deve devolver o controle à pessoa. É nesses limites que se decide se o sistema será um assistente ou apenas uma interface muito falante.