Agentes no Remote Labor Index saltam de 2,5% para 41,3% em um ano

A maioria dos benchmarks para agentes é parecida: resolver uma tarefa de um repositório, responder a perguntas, passar por uma simulação de loja. Tudo isso está longe daquilo pelo qual as pessoas pagam. O Remote Labor Index foi concebido de outra forma, e por isso o número de uma publicação recente no Telegram merece atenção.

O que exatamente o índice mede

O Remote Labor Index (RLI) foi criado pela Scale AI e pelo Center for AI Safety no outono de 2025. A ideia é simples: pegar projetos reais que clientes publicaram em plataformas freelance, entregá-los a um agente e mostrar o resultado a quem pagou. Se o cliente diz «isso está no nível de um humano ou melhor», a tarefa conta. A métrica final é a proporção desses projetos.

Na primeira versão, o melhor agente marcou 2,5%. Agora, segundo a publicação, o indicador subiu para 41,3%. Isso representa um aumento de cerca de 16 vezes em um ano.

A composição das tarefas é ainda mais importante. O índice abrange 23 categorias: 3D e CAD, arquitetura, design gráfico, vídeo e animação, áudio e muito mais. Código é apenas uma delas. Para um product manager ou fundador, este é o sinal principal: os agentes estão saindo do campo da programação, onde costumavam ser avaliados.

Como interpretar o número 41,3%

Imagine um pedido freelance: «faça um vídeo animado de 30 segundos para uma landing page». Antes, o agente entregava algo que o cliente descartava na hora. Agora, em quatro de cada dez casos semelhantes, o resultado é aceito como utilizável. Isso não significa que o agente substituiu um estúdio. Significa que, a cada dois ou três pedidos, já não faz sentido procurar logo uma pessoa.

Mas o número tem ressalvas, e a publicação não as esclarece:

• Não está claro qual modelo ou sistema obteve 41,3%. Pode ser um único agente ou o melhor resultado entre vários.
• A publicação não traz link para a fonte original, apenas para o canal do autor no Telegram. A tabela de resultados deve ser consultada no site do próprio índice.
• A avaliação do cliente continua subjetiva. «Tão bom quanto um humano» em um projeto isolado não garante estabilidade em um fluxo de cem pedidos.
• Os cerca de 59% restantes das tarefas o agente continua sem conseguir resolver. Muitas vezes, são os projetos mais complexos e caros.

Em resumo: a tendência é real, mas a escala exata é melhor conferir na fonte do que em um resumo.

Desemprego ou não

O autor da publicação brinca com o desemprego, e a piada incomoda. Mas, na prática, essas métricas raramente se traduzem em «substituíram a pessoa por completo». Com mais frequência, muda a estrutura do trabalho: o agente faz um primeiro rascunho, e a pessoa revisa e aprimora. Para o freelance, isso significa pressão sobre os preços em pedidos simples e maior demanda por quem sabe aceitar resultados e definir tarefas.

O que fazer na prática

Desenvolvedores e product managers devem fazer três coisas.

1. Pegar suas tarefas típicas fora do código: layouts, ilustrações, vídeos curtos, locução, modelos CAD simples. Passá-las por agentes atuais e comparar com o resultado humano segundo seus próprios critérios de qualidade.
2. Montar um processo de aceitação. Se o agente atinge o padrão em 40% dos casos, o valor é criado por quem descarta rapidamente os outros 60% sem gastar tempo com eles.
3. Acompanhar o índice como um barômetro. Para planejar contratações e orçamento, a dinâmica por categoria é mais útil do que um único número geral.

A principal conclusão: há um ano, era possível dizer com tranquilidade que os agentes não davam conta de trabalho real. Agora, essa afirmação já precisa ser verificada em tarefas concretas.