Agentes de programación crean un motor de LLM para FPGA en AWS: 213 tokens/s y un 38% más barato que la CPU
Agentes de programación escribieron un motor para ejecutar un modelo de lenguaje en una FPGA, un chip programable disponible en la nube de AWS, y aceleraron su rendimiento de 6,43 a 213,13 tokens por segundo. Las 24 respuestas coincidieron bit a bit con la referencia en CPU. Con un precio casi igual por hora ($1,98 frente a $1,95), un millón de tokens cuesta $2,58 en FPGA frente a $4,18 en CPU, es decir, un 38% menos. Pero este cálculo corresponde a un solo modelo y no es una estimación para producción.
Procesado por IA desde X: @AIQuanting; editado por Hamidun News
Imagine que necesita ejecutar un modelo de lenguaje de forma barata y a gran escala. Normalmente la elección es sencilla: una tarjeta gráfica o un procesador convencional. En este proyecto se tomó una tercera vía: una FPGA, un chip que se puede reprogramar para una tarea concreta y alquilar en la nube de AWS (instancias F2).
El motor para esa FPGA lo escribieron agentes de programación, y la velocidad pasó de 6,43 a 213,13 tokens por segundo. Un token equivale más o menos a una palabra o a una parte de ella, así que se trata de la velocidad de generación de texto. Lo más interesante no son «33 veces», sino que el resultado se verificó en precisión y se convirtió en dinero.
Qué se construyó y qué significa «bit a bit»
Se ejecutó el modelo DeepGrove con pesos ternarios. En esta red, cada peso solo puede tomar tres valores: −1, 0 o +1. La aritmética resulta muy sencilla, y eso facilita diseñar hardware especializado. Según el título del proyecto, los agentes escribieron unos 3 millones de líneas de código para la implementación y la optimización.
El salto de 6,43 a 213,13 tokens por segundo da esas 33 veces. Es la aceleración del propio motor, no una ventaja de 33 veces sobre el procesador: frente a la CPU, la diferencia es bastante más modesta (más abajo lo detallamos).
Por separado se comprobó la precisión. «Bit-exact» significa que la respuesta coincide con la referencia no «aproximadamente», sino hasta el último bit. En la prueba final hubo ocho diálogos de tres turnos, y las 24 respuestas coincidieron con la referencia fijada en CPU. En la práctica esto importa: al optimizar para hardware no estándar, las respuestas fácilmente empiezan a divergir, y en un modelo de lenguaje incluso una pequeña diferencia se convierte rápidamente en un texto completamente distinto.
Comparación con el procesador en dinero
Una hora de instancia con FPGA cuesta $1,98. La versión precisa para CPU, con 32 hilos, cuesta $1,95, es decir, casi lo mismo. Pero el procesador genera 129,5 tokens por segundo, mientras que la FPGA genera 213,13, unas 1,65 veces más.
El autor recalculó precio y velocidad por millón de tokens generados: unos $2,58 en FPGA frente a $4,18 en CPU. El ahorro ronda el 38%. No es un benchmark aparte, sino aritmética: el precio por hora se divide entre la cantidad de tokens que se generan en esa hora.
En contextos largos el panorama es más modesto. Cuando el contexto ronda los 8000 tokens, la velocidad de la FPGA cae a unos 76 tokens por segundo, y la prueba tardó 77,8 segundos. Si trabaja con documentos extensos o con un historial de diálogo grande, la ventaja puede reducirse notablemente. El texto no ofrece datos sobre cómo se comporta la CPU en ese modo, así que aún es pronto para sacar conclusiones.
Limitaciones y qué hacer con ellas
El propio autor señala que el resultado es útil para este modelo y esta implementación, pero no es un cálculo del coste total de propiedad. No se incluyen el tiempo de desarrollo, el mantenimiento ni el riesgo de reescribir el código para otro modelo. Durante la configuración hubo fallos de hardware y bloqueos. Todavía no existe una reproducción independiente, así que las cifras deben considerarse afirmaciones del autor, no datos confirmados.
Lo que sí se puede aplicar en la práctica:
- Si ejecuta modelos cuantizados pequeños en grandes volúmenes, las FPGA alquilables dejan de ser una rareza. Pero el 38% de ahorro debe comprobarse con su propia carga de trabajo y su longitud de contexto.
- La verificación contra una referencia congelada es útil en cualquier hardware. Si un agente optimiza la inferencia, cada paso debería validarse por coincidencia bit a bit, no por «parece correcto».
- Calcule el coste por millón de tokens, no por hora de alquiler. El precio casi idéntico por hora ($1,98 y $1,95) oculta la diferencia de velocidad, que es la que produce el ahorro final.
A juzgar por este proyecto, los agentes ya pueden asumir tareas que antes requerían un equipo de ingenieros de aceleración por hardware. Pero los millones de líneas de código y los fallos del hardware recuerdan que la verificación del resultado sigue en manos de una persona. Conviene seguir dos cuestiones: si aparece una reproducción independiente y si el resultado se repite con otros modelos.
- 21 nov 2026Anthropic cierra su primera semana en bolsa con una valoración de 1,6 billones de dólares, pero cae un 8,5% en una sola jornada
- 21 nov 2026AG-UI 1.0 le da a los agentes de IA un lenguaje común para comunicarse con la aplicación: 31 tipos de eventos
- 21 nov 2026OpenAI lanza ChatGPT Wallet: los agentes compran sin ver el número de la tarjeta
- 21 nov 2026Los anunciantes estadounidenses gastaron 70,7 millones de dólares en publicidad en ChatGPT en octubre, un 127 % más que en abril
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se construyó y qué significa «bit a bit»?
Se ejecutó el modelo DeepGrove con pesos ternarios. En esta red, cada peso solo puede tomar tres valores: −1, 0 o +1. La aritmética resulta muy sencilla, y eso facilita diseñar hardware especializado. Según el título del proyecto, los agentes escribieron unos 3 millones de líneas de código para la implementación y la optimización. El salto de 6,43 a 213,13 tokens por segundo da esas 33 veces.
¿Qué se sabe sobre Comparación con el procesador en dinero?
Una hora de instancia con FPGA cuesta $1,98. La versión precisa para CPU, con 32 hilos, cuesta $1,95, es decir, casi lo mismo. Pero el procesador genera 129,5 tokens por segundo, mientras que la FPGA genera 213,13, unas 1,65 veces más. El autor recalculó precio y velocidad por millón de tokens generados: unos $2,58 en FPGA frente a $4,18 en CPU. El ahorro ronda el 38%. No es un benchmark aparte, sino aritmética: el precio por hora se divide entre la cantidad de tokens que se generan en esa hora.
¿Qué se sabe sobre Limitaciones y qué hacer con ellas?
El propio autor señala que el resultado es útil para este modelo y esta implementación, pero no es un cálculo del coste total de propiedad. No se incluyen el tiempo de desarrollo, el mantenimiento ni el riesgo de reescribir el código para otro modelo. Durante la configuración hubo fallos de hardware y bloqueos. Todavía no existe una reproducción independiente, así que las cifras deben considerarse afirmaciones del autor, no datos confirmados.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.