Fable contra 10 LLMs: quem melhor lida com o god node de um agente real

O autor do Habr em julho de 2026 realizou um experimento detalhado: pegou um god node de um agente LangGraph real em funcionamento e organizou um torneio em duas etapas para 11 modelos de linguagem — cinco americanas e seis chinesas, incluindo Fable da Anthropic. Adicionalmente, aplicou três métodos independentes de análise para entender em quem os participantes podem confiar.

Por que god node é um teste justo

Em projetos LangGraph, um god node é um nó monolítico que assume muitas responsabilidades: analisa dados de entrada, toma decisões sobre invocações de ferramentas, processa resultados, forma saída final. Tais nós crescem gradualmente: no início de um projeto, os limites de responsabilidade ainda não são claros, e depois fica assustador mudar a arquitetura — e o nó continua expandindo.

Refatorar um god node é uma tarefa em que um LLM não pode adivinhar a resposta "correta" com base em padrões estatísticos. Aqui você precisa de compreensão real da arquitetura:

• Entender o grafo como um todo e encontrar dependências ocultas entre nós
• Propor um esquema específico de decomposição com justificativa para os limites escolhidos
• Não violar o contrato existente: entradas, saídas, efeitos colaterais
• Levar em conta as particularidades do LangGraph — transferência de estado, arestas condicionais, pontos de interrupção

Além da compreensão arquitetônica, o cuidado é importante: refatorar um god node em código de produção corre o risco de tocar dependências inesperadas. Um modelo que propõe "apenas dividir em várias funções" não entende o contexto — e seu plano é inútil na prática.

O autor usou não um exemplo sintético, mas código real com funcionamento e história real. Isso é crucial: código real contém aleatoriedade, artefatos históricos e dependências não óbvias que não existem em exemplos didáticos.

Como funcionou o torneio em duas etapas

Na primeira fase, cada um dos 11 modelos recebeu um god node e uma tarefa: propor um plano específico de decomposição. Entre os participantes americanos está Fable, o modelo mais recente da Anthropic no momento da publicação. Seis modelos chineses representavam os maiores laboratórios de IA da China.

Na segunda fase, cada modelo recebeu propostas das outras dez e teve que avaliá-las: encontrar pontos fortes e fracos de cada solução, escolher a melhor e justificar a escolha. Isso permite medir duas habilidades ao mesmo tempo — a capacidade de gerar soluções arquitetônicas e a capacidade de analisar criticamente os outros.

Auditoria cruzada é uma técnica metodologicamente não-padrão. Em benchmarks típicos, um modelo recebe uma tarefa e produz uma resposta, mas é desconhecido se compreende o que é uma boa solução nesta área. Quando um modelo avalia concorrentes, fica claro o quão bem sua compreensão da resposta "correta" se alinha com os padrões reais de engenharia.

Após coletar todas as propostas e avaliações mútuas, o autor aplicou três métodos independentes de análise. Os resultados parcialmente coincidiram, parcialmente divergiram — e isso é exatamente o que se tornou a conclusão principal do experimento. Daí vem "Morte dos Deuses" no título: modelos líderes com a melhor reputação não proporcionaram resultados consistentemente superiores. Segundo o autor, benchmarks sintéticos e código de engenharia real são duas tarefas diferentes, e líderes em um nem sempre terminam sendo líderes em outro.

O que isso significa

A posição em placar público prevê mal como um modelo lidará com revisão de código ou propostas arquitetônicas em um projeto específico. A lacuna entre "o melhor modelo por classificação" e "o melhor modelo para sua pilha" pode ser substancial.

Conclusão prática: antes de delegar decisões técnicas para um LLM específico — especialmente em tarefas de refatoração ou revisão arquitetônica — vale a pena testá-lo em tarefas de código real. O formato em duas etapas com avaliações cruzadas deste experimento é um bom modelo para tal teste: revela não apenas capacidades generativas, mas também compreensão crítica da área de assunto.