IBM Research reduziu em 11,5 vezes o custo de inferência com agentes abertos

A IBM Research informou que modelos abertos combinados ao framework llm-d permitiram explorar soluções de hardware para correção quântica de erros com um custo de inferência 11,5 vezes menor do que em uma configuração totalmente proprietária. Trata-se de uma "fábrica de agentes": um sistema em que vários agentes de IA participam em paralelo do projeto de chips. É um dos poucos casos em que a economia de uma carga de trabalho agêntica é expressa por um multiplicador concreto.

O que a IBM declarou e o que não revelou

O texto do anúncio é curto. Há modelos abertos, há o llm-d, há uma tarefa da área de correção quântica de erros e há uma comparação com uma configuração em que todos os componentes são proprietários. Não há lista de modelos, número de GPUs, volume de tokens processados nem a qualidade do resultado em comparação com a versão fechada. Sem isso, o 11,5× deve ser lido como o custo em condições específicas, e não como uma constante universal. Não se sabe qual stack proprietário foi usado como base nem como os custos foram calculados.

Uma redução de preço de mais de dez vezes não sai de graça. A questão é o quanto os resultados dos agentes são comparáveis nas duas configurações. A IBM ainda não mostrou o que, de fato, foi obtido na saída.

O papel do llm-d

O llm-d é um framework aberto, nativo de Kubernetes, para inferência distribuída. Ele é construído sobre o vLLM e foi lançado em 2025 com a participação de Red Hat, IBM Research, Google, NVIDIA e CoreWeave. Suas ideias centrais são separar as etapas de prefill e decode em pools de recursos distintos e rotear as requisições levando em conta o KV-cache.

Para sistemas agênticos, isso importa por um motivo simples. Agentes de projeto de chips processam prefixos longos e compartilhados: especificações, logs de simulação, descrições de arquitetura. São muitas requisições, e o contexto delas costuma se sobrepor. Se o roteador as envia para réplicas com o cache já aquecido, o processamento redundante desaparece. A IBM não detalhou, no anúncio, quanto o llm-d contribuiu para o 11,5× final, então isso é lógica de engenharia, e não uma atribuição confirmada.

Por que correção quântica de erros

Soluções de hardware para correção de erros esbarram em um espaço enorme de variantes: códigos, decodificadores, topologias de conexão, restrições de latência. Percorrer tudo isso manualmente leva muito tempo. A abordagem agêntica transforma a busca em um fluxo de iterações: propor uma configuração, rodar a simulação, analisar o resultado, ajustar. Cada ciclo envolve várias chamadas a LLMs, e esses ciclos se contam aos milhares.

Com essa carga, a inferência vira o principal item do orçamento da pesquisa. O multiplicador de 11,5 significa que, pelo mesmo valor, é possível fazer uma ordem de grandeza a mais de experimentos ou manter os agentes em execução o tempo todo.

Principais parâmetros

• Organização: IBM Research
• Área: projeto de chips por agentes, correção quântica de erros
• Stack: modelos abertos e llm-d
• Economia declarada: 11,5× frente a uma configuração totalmente proprietária
• Não revelado: modelos, hardware, volume de tokens, métricas de qualidade

O que as equipes podem aproveitar

Primeiro: calcule o custo não por token, mas por tarefa resolvida com sucesso. Um modelo barato com muitas tentativas fracassadas pode sair perdendo para um caro. Segundo: se a carga é agêntica e o contexto se repete, avalie a camada de inferência levando o cache em conta, e não apenas o modelo em si.

Terceiro: um esquema híbrido, em que modelos abertos cuidam das etapas em massa e os fechados entram nas mais complexas, costuma compensar mais do que as opções extremas. Por fim, ao ler qualquer alegação de "N vezes mais barato", pergunte antes de tudo qual foi a base de comparação e como a qualidade foi verificada. Aqui ainda não há dados completos, e vale esperar o relatório técnico da IBM.