Qual IA é melhor para agentes LLM? Teste com 11 modelos

Um desenvolvedor testou 11 modelos de linguagem (LLMs) em uma tarefa real de um agente LangGraph em operação. Entre eles havia modelos de fabricantes americanos e chineses, além do Fable, da Anthropic. Ele usou três métodos de análise independentes para descobrir qual modelo lida melhor com a lógica complexa de agentes.

Por que um god node é um teste honesto

Em projetos LangGraph, um god node é um nó monolítico que assume responsabilidades demais: analisa os dados de entrada, decide quando chamar ferramentas, processa os resultados e gera a saída final. Esses nós crescem aos poucos: no início do projeto os limites de responsabilidade ainda não são óbvios, e depois mudar a arquitetura dá medo, então o nó continua crescendo.

Refatorar um god node é uma tarefa em que um LLM não consegue adivinhar a resposta "certa" por um padrão estatístico. É preciso entender de verdade a arquitetura:

• Compreender o grafo inteiro e encontrar dependências ocultas entre os nós
• Propor um esquema concreto de decomposição e justificar onde ficam os limites
• Não quebrar o contrato existente: entradas, saídas, efeitos colaterais
• Considerar as particularidades do LangGraph: passagem de estado, arestas condicionais, pontos de interrupção

Além de entender a arquitetura, o cuidado importa: refatorar um god node em código de produção pode atingir dependências inesperadas. Um modelo que sugere "é só dividir em várias funções" não entende o contexto, e seu plano é inútil na prática.

O autor não usou um exemplo sintético, mas código real de trabalho, com histórico real. Isso é essencial: código real tem acasos, artefatos históricos e dependências pouco óbvias que não aparecem em exemplos didáticos.

Como funcionou o torneio em duas fases

Na primeira fase, cada um dos 11 modelos recebeu o god node e uma tarefa: propor um plano concreto de decomposição. Entre os participantes americanos estava o Fable, o modelo mais recente da Anthropic na data da publicação. Seis modelos chineses representavam os maiores laboratórios de IA da China.

Na segunda fase, cada modelo recebeu as propostas dos outros dez e precisou avaliá-las: encontrar os pontos fortes e fracos de cada solução, escolher a melhor e justificar a escolha. Isso mede duas habilidades de uma vez: a capacidade de gerar soluções de arquitetura e a de analisar criticamente as alheias.

A auditoria cruzada é uma técnica metodologicamente incomum. Nos benchmarks comuns, o modelo recebe uma tarefa e dá uma resposta, mas não se sabe se ele entende o que é uma boa solução naquela área. Quando o modelo avalia os concorrentes, dá para ver o quanto sua ideia de resposta "certa" coincide com os padrões reais de engenharia.

Depois de reunir todas as propostas e avaliações mútuas, o autor aplicou três métodos de análise independentes. Os resultados coincidiram em parte e divergiram em parte, e essa foi a principal conclusão do experimento. É daí que vem o "Crepúsculo dos deuses" do título original: os modelos de ponta com melhor reputação não entregaram resultados consistentemente superiores. Na visão do autor, um benchmark sintético e código de engenharia real são tarefas diferentes, e quem lidera em uma nem sempre lidera na outra.

O que isso significa

A posição nos rankings públicos prevê mal como um modelo vai se sair em code review ou propostas de arquitetura em um projeto específico. A distância entre o "melhor modelo do ranking" e o "melhor modelo para a sua stack" pode ser grande.

Conclusão prática: antes de delegar decisões técnicas a um LLM específico, principalmente em refatoração ou revisão de arquitetura, vale testá-lo em tarefas do seu código real. O formato em duas fases com avaliações cruzadas deste experimento é um bom modelo para esse teste: ele revela não só a capacidade generativa, mas também a compreensão crítica do domínio.

O que é um god node no LangGraph?

Um god node é um nó monolítico em projetos LangGraph que assume responsabilidades demais: analisa os dados de entrada, decide quando chamar ferramentas, processa os resultados e gera a saída final.