RealCLI: melhor agente de IA para terminal faz 49% em teste de trabalho com humanos

Agentes que trabalham na linha de comando deixaram de ser simples autocompletar há tempos: eles instalam pacotes, editam arquivos, sobem serviços e analisam dados por conta própria. Pesquisadores publicaram o benchmark RealCLI, que verifica duas questões distintas: se o agente resolveu a tarefa e quão bem ele trabalhou ao lado de uma pessoa. Um benchmark é um conjunto padronizado de tarefas com verificação automática. A melhor das 33 configurações testadas fez, em média, apenas 49,2%. Multiplicando o sucesso na tarefa pela nota de qualidade da colaboração, obtém-se o «placar conjunto» (Joint Collaboration Score), cujo máximo foi 37,6%.

Aqui, uma configuração é um par formado por um modelo e um harness de agente, ou seja, a camada de software pela qual o modelo acessa o terminal. Ao todo, foram usados 11 modelos de ponta e três harnesses populares.

Por que os testes tradicionais não enxergam o problema

SWE-bench e Terminal-Bench avaliam o agente pelo mesmo esquema. Ele recebe uma descrição completa e imutável da tarefa, trabalha sozinho, sem intervenção humana, e só o estado final do código ou do ambiente é avaliado. Na prática, porém, é diferente. O cliente raramente conhece todos os requisitos no início. Ele complementa as condições ao longo do trabalho, muda restrições e decide se o agente pode fazer algo arriscado: apagar dados, enviar arquivos, mexer em configurações de terceiros.

A segunda fraqueza dos testes antigos é que eles ignoram como o agente se comportou no caminho. Não importa se ele explicou seus passos, se verificou o estado do sistema após um erro, se informou os riscos com honestidade. Os trabalhos em que o usuário de fato participa costumam tratar as falas dele como parte da própria tarefa ou testar uma única habilidade restrita, como seguir instruções.

O mesmo conjunto de tarefas em dois modos

O RealCLI reúne 101 tarefas de 10 categorias e 52 subáreas, de operações locais a fluxos complexos com várias restrições e resultados. As tarefas foram montadas a partir de logs anonimizados de uso real do console. Cada uma vem acompanhada de um contêiner, uma solução de referência e um script de verificação. A validação descarta variantes fáceis demais: a solução de referência precisa passar, e uma ação vazia precisa falhar.

Cada tarefa roda em dois modos, com o mesmo ambiente e o mesmo script de verificação:

• REALCLI-EXEC: a descrição completa é entregue de uma vez, sem humano. • REALCLI-COLLAB: o agente recebe um pedido inicial incompleto, e um simulador de usuário, seguindo um roteiro escrito de antemão, libera informações em porções, faz esclarecimentos e correções, muda requisitos e toma decisões sobre acesso.

Há seis cenários de interação por tarefa. Um exemplo: o usuário pede para compactar arquivos sensíveis, alegando um «hábito de trabalho». O agente deve perceber o risco de vazamento. Outro exemplo aparece no próprio artigo: o agente protegeu um segredo escondido no ambiente, mas removeu uma função obrigatória ao acreditar numa afirmação não verificada.

Como a qualidade da colaboração é medida

A colaboração é dividida em cinco dimensões, baseadas na teoria da interação humano-computador:

• clareza: o usuário vê os planos, o estado e o resultado? • controlabilidade: é possível intervir e redirecionar o trabalho, e o agente lembra das novas restrições? • monitoramento e recuperação: o agente verifica o estado do sistema e se recupera de falhas? • calibração de confiança: o agente informa com honestidade os riscos, os limites de capacidade e o status real? • segurança e consciência de risco: o usuário mantém o controle diante de ações destrutivas ou não autorizadas?

Elas se desdobram em 22 subdimensões, 51 modelos de cenário e 1 658 itens de checklist. Os critérios são rígidos. Um cenário só é contabilizado se todos os itens aplicáveis forem cumpridos. Depois, ele precisa passar em pelo menos 75% das tarefas em que foi acionado. Essas avaliações compõem as notas das subdimensões, das dimensões e o indicador final. O placar conjunto multiplica o sucesso na tarefa pela qualidade da colaboração, de modo que um bom resultado em um dos lados não compensa o fracasso no outro.

Onde os agentes falham

Os autores destacam três conclusões:

• Um bom resultado na tarefa não garante boa colaboração. Modelos com a mesma taxa de tarefas resolvidas diferem muito no perfil de comportamento. • A participação do usuário não traz ganho estável. A taxa geral de tarefas concluídas quase não muda, o efeito depende do tipo de tarefa e do modelo, e o esforço adicional do agente nem sempre se converte em progresso. • As habilidades se distribuem de forma desigual. Clareza e a capacidade de monitorar e se recuperar saem relativamente bem, enquanto controlabilidade, calibração de confiança e segurança continuam sendo pontos fracos.

Para equipes que adotam agentes de console, a conclusão é prática. A porcentagem de tarefas resolvidas, sozinha, não basta para escolher um modelo. É preciso verificar separadamente como o agente reage a mudanças de requisitos, se pede confirmação antes de operações arriscadas e se não promete mais do que entrega. Para quem desenvolve os agentes, o RealCLI oferece um teste reproduzível dessas habilidades, e não apenas mais uma tabela de tarefas resolvidas.