Agentes de programação criaram um motor de LLM para FPGA na AWS: 213 tokens/s e 38% mais barato que CPU
Agentes de programação escreveram um motor para executar um modelo de linguagem em FPGA — um chip programável disponível na nuvem da AWS — e aumentaram a velocidade de 6,43 para 213,13 tokens/s. Todas as 24 respostas coincidiram bit a bit com a referência executada em processador. Com preço por hora quase igual ($1,98 contra $1,95), um milhão de tokens custa $2,58 na FPGA contra $4,18 na CPU, uma diferença de 38%. Mas esse cálculo vale para um único modelo e não é uma estimativa para produção.
Processado por IA de X: @AIQuanting; editado por Hamidun News
Imagine que você precisa rodar um modelo de linguagem de forma barata e em grande volume. Normalmente, a escolha é simples: uma placa de vídeo ou um processador comum. Este projeto adotou um terceiro caminho: a FPGA, um chip que pode ser reprogramado para uma tarefa específica e alugado na nuvem da AWS (instâncias F2).
O motor para ela foi escrito por agentes de programação, e a velocidade subiu de 6,43 para 213,13 tokens por segundo. Um token equivale, grosso modo, a uma palavra ou parte dela, ou seja, trata-se da velocidade de geração de texto. O mais interessante aqui não são as "33 vezes", e sim o fato de que o resultado foi verificado quanto à precisão e convertido em dinheiro.
O que foi construído e o que significa "bit a bit"
O modelo executado foi o DeepGrove, com pesos ternários. Nessa rede, cada peso assume apenas três valores: −1, 0 ou +1. A aritmética fica muito simples, e isso facilita montar hardware altamente especializado. Segundo o título do projeto, os agentes escreveram cerca de 3 milhões de linhas de código para implementar e otimizar o motor.
A subida de 6,43 para 213,13 tokens por segundo dá exatamente as 33 vezes. Trata-se do salto de velocidade do próprio motor, e não de uma superação do processador em 33 vezes: em relação à CPU, a diferença é bem mais modesta (veja abaixo).
A precisão também foi testada. "Bit a bit" significa que a resposta coincide com a referência não "aproximadamente", mas até o último bit. No teste final foram oito diálogos de três turnos, e todas as 24 respostas coincidiram com a referência fixada na CPU. Na prática, isso importa: ao otimizar para hardware não convencional, as respostas facilmente começam a divergir, e em um modelo de linguagem até uma pequena divergência se transforma rapidamente em um texto completamente diferente.
Comparação com o processador em dinheiro
Uma hora de instância com FPGA custa $1,98. A versão precisa em CPU, com 32 threads, custa $1,95, ou seja, quase o mesmo. Mas o processador entrega 129,5 tokens por segundo, enquanto a FPGA entrega 213,13, cerca de 1,65 vez mais.
O autor recalculou preço e velocidade para um milhão de tokens gerados: cerca de $2,58 na FPGA contra $4,18 na CPU. A economia é de aproximadamente 38%. Não se trata de um benchmark separado, mas de aritmética: o preço por hora é dividido pelo número de tokens gerados nesse período.
Em contextos longos, o quadro é mais modesto. Com cerca de 8000 tokens de contexto, a velocidade da FPGA cai para aproximadamente 76 tokens por segundo, e a execução levou 77,8 segundos. Se você trabalha com documentos longos ou com históricos extensos de diálogo, a vantagem pode diminuir de forma considerável. O post não traz dados sobre como a CPU se comporta nesse regime, por isso ainda é cedo para tirar conclusões.
Limitações e o que fazer com isso
O próprio autor afirma que o resultado é útil para este modelo e esta implementação, mas não representa um cálculo do custo total de propriedade. O preço não inclui o tempo de desenvolvimento, a manutenção nem o risco de reescrever o código para outro modelo. Durante a configuração houve falhas de hardware e travamentos. Ainda não há reprodução independente, então os números devem ser tratados como alegações, e não como fatos confirmados.
O que pode ser aproveitado na prática:
- Se você executa modelos quantizados pequenos em grande volume, FPGAs alugadas deixam de ser exótica. Mas a economia de 38% precisa ser validada com a sua carga de trabalho e o seu tamanho de contexto.
- A comparação com uma referência congelada é útil em qualquer hardware. Se um agente otimiza a inferência, que cada etapa seja verificada por coincidência bit a bit, e não por "parece correto".
- Calcule o custo por milhão de tokens, e não por hora de aluguel. O preço quase idêntico por hora ($1,98 e $1,95) esconde a diferença de velocidade, que é justamente o que gera a economia final.
Pelo que este projeto mostra, agentes já podem assumir tarefas que antes exigiam uma equipe de engenheiros de aceleração de hardware. Mas milhões de linhas de código e travamentos de hardware lembram que a verificação do resultado continua sendo responsabilidade humana. Vale acompanhar duas coisas: se surgirá uma reprodução independente e se o resultado se repetirá com outros modelos.
- 21 de nov. de 2026Anthropic fechou a primeira semana na bolsa com valuation de US$ 1,6 trilhão, mas caiu 8,5% em um único dia
- 21 de nov. de 2026AG-UI 1.0 dá aos agentes de IA uma linguagem única para falar com o aplicativo: 31 tipos de eventos
- 21 de nov. de 2026OpenAI lança o ChatGPT Wallet: agentes compram sem nunca ver o número do cartão
- 21 de nov. de 2026Anunciantes dos EUA gastaram US$ 70,7 milhões em anúncios no ChatGPT em outubro, 127% a mais que em abril
Perguntas frequentes sobre a notícia
O que foi construído e o que significa "bit a bit"?
O modelo executado foi o DeepGrove, com pesos ternários. Nessa rede, cada peso assume apenas três valores: −1, 0 ou +1. A aritmética fica muito simples, e isso facilita montar hardware altamente especializado. Segundo o título do projeto, os agentes escreveram cerca de 3 milhões de linhas de código para implementar e otimizar o motor. A subida de 6,43 para 213,13 tokens por segundo dá exatamente as 33 vezes.
O que se sabe sobre Comparação com o processador em dinheiro?
Uma hora de instância com FPGA custa $1,98. A versão precisa em CPU, com 32 threads, custa $1,95, ou seja, quase o mesmo. Mas o processador entrega 129,5 tokens por segundo, enquanto a FPGA entrega 213,13, cerca de 1,65 vez mais. O autor recalculou preço e velocidade para um milhão de tokens gerados: cerca de $2,58 na FPGA contra $4,18 na CPU. A economia é de aproximadamente 38%. Não se trata de um benchmark separado, mas de aritmética: o preço por hora é dividido pelo número de tokens gerados nesse período.
O que se sabe sobre Limitações e o que fazer com isso?
O próprio autor afirma que o resultado é útil para este modelo e esta implementação, mas não representa um cálculo do custo total de propriedade. O preço não inclui o tempo de desenvolvimento, a manutenção nem o risco de reescrever o código para outro modelo. Durante a configuração houve falhas de hardware e travamentos. Ainda não há reprodução independente, então os números devem ser tratados como alegações, e não como fatos confirmados.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.