Cognition ensina o Devin a liberar limites por eficiência: escala 0–100

A Cognition, empresa por trás do agente Devin, propõe que clientes corporativos abandonem tetos únicos de gastos com IA e distribuam o orçamento de acordo com o retorno. Para isso, lançou três funções: o Efficiency Score (nota de 0–100 para cada engenheiro), o Devin Coach (sugestões sobre o prompt antes da execução) e a aprovação automática de aumento de limites para usuários eficientes. A aprovação automática já está disponível para todos os clientes do plano Devin Enterprise. A Cognition compara o limite global a um congelamento de contratações: ele restringe quem extrai o máximo do agente e não explica aos demais o que fazer de diferente.

Como o Efficiency Score é calculado

A unidade básica da Cognition é o Agent Compute Unit (ACU), que combina o custo do LLM e da infraestrutura em nuvem. A nota se baseia em sessões recentes, e não na média de todo o histórico, de modo que erros antigos não pesam indefinidamente.

Primeiro, o Devin determina se a sessão produziu um resultado útil. Se houve PR, ele precisa ter sido mergeado. Se não houve PR, um pequeno classificador decide se o agente avançou na tarefa, por exemplo, ao diagnosticar um bug ou responder a uma pergunta analítica. Assim, investigações e planejamento também contam. Em seguida, para cada sessão contabilizada, o sistema estima quantas horas um humano levaria para fazer o mesmo trabalho. A Cognition comparou essas estimativas com as avaliações dos próprios engenheiros sobre suas sessões.

O resultado combina duas métricas:

• E (eficiência): horas produtivas por ACU;
• V (volume): horas produtivas por dia, independentemente do custo;
• fórmula: Score = 100 × (E + λV(1 − E)), com λ = 0,2;
• ambas as métricas são normalizadas para a escala 0–1 e achatadas nos valores altos;
• faixas: Healthy, Satisfactory, Needs Improvement e Unknown, quando há poucos dados.

Exemplos calculados sobre os últimos 200 ACU mostram como isso funciona. Um engenheiro "típico" (E = 0,50, V = 0,50) recebe 55. Um power user com o mesmo E, mas V = 0,95, recebe 60. Um perfil "pesado, mas desperdiçador" (E = 0,27, V = 0,95) chega a 41. Um engenheiro cuidadoso e de baixo volume (E = 0,75, V = 0,17) recebe 76. O volume acrescenta no máximo um quinto dos pontos que faltam para chegar a 100, portanto não é possível obter uma nota alta apenas com volume.

Coach e aprovação automática

O Devin Coach analisa o prompt antes da execução. A Cognition identificou os erros típicos de iniciantes: pedido genérico demais, uso por padrão do modo mais caro e várias tarefas sem relação na mesma sessão. Por exemplo, diante de "reescreva o billing para usage-based pricing", o Coach sugere começar por um plano. Para trocar o texto de um botão, recomenda o modo comum no lugar do Ultra. Para pedidos sem relação entre si, propõe uma nova sessão ou sessões filhas e, para solicitações claramente pessoais, como planejar férias, lembra que não se trata de uso profissional.

Por baixo dos panos, há um pequeno classificador baseado em LLM com um conjunto fixo de padrões. Ele foi ajustado com algumas centenas de exemplos rotulados, com foco nos casos em que um bom prompt não deve ser alterado. O administrador escolhe o nível de intervenção: sugestões que podem ser ignoradas (padrão), confirmação obrigatória para o prompt marcado como nova sessão ou desativação completa. O Coach não reescreve prompts em silêncio. A análise do administrador mostra quais sugestões os usuários veem, aceitam e recusam.

A aprovação automática é ativada em Usage policies, pela opção "Approve based on efficiency". Quando um engenheiro com Healthy ou Satisfactory se aproxima do limite, o Devin o eleva por conta própria, mas nunca acima do teto definido pelo administrador, e os limites gerais da organização continuam valendo. Se o pedido exceder o teto, o Devin concede o máximo e encaminha o restante ao administrador. Não há recusas automáticas: pedidos de usuários Needs Improvement e Unknown vão para análise manual, na qual o administrador vê o motivo, a eficiência, o mix de modelos e o consumo.

A Cognition cita dois casos reais de empresas diferentes. No primeiro, com aprovações manuais, o engenheiro ficou bloqueado por quatro dias, e seus PRs mergeados naquela semana caíram para um terço do volume habitual. No segundo, com aprovação automática, o engenheiro bateu no limite 22 vezes, o Devin o elevou todas as vezes, e o número semanal de PRs mergeados subiu de 30 para quase 80. Duas observações não substituem um estudo, e a métrica de "horas produtivas" continua sendo uma estimativa interna da própria Cognition.

O que as equipes devem verificar antes de adotar

Primeiro, veja em que se baseia o seu teto atual. Se é um número único para todos, você provavelmente penaliza os usuários mais úteis. Mas também não convém aceitar a avaliação da Cognition de olhos fechados: confronte-a com a sua realidade, por exemplo, com a proporção de PRs que chegam ao merge e com o custo em ACU por PR mergeado.

É sensato começar o teto da aprovação automática com um valor conservador e ampliá-lo conforme os dados. Ative o Coach no modo de sugestões e acompanhe a taxa de recomendações aceitas: uma taxa baixa indica um classificador ruidoso ou problemas de treinamento dos usuários. Considere também que o Needs Improvement cai na fila manual, então combine de antemão quem conversará com esses engenheiros e como.

Nos próximos meses, a Cognition promete orçamentos flexíveis: o administrador distribui o dinheiro entre os líderes de departamento, que dividem os limites entre as equipes e aprovam eles mesmos os pedidos.