Una IA de lenguaje en el ESP32-S3 se acelera hasta 406 tokens/s: 18 veces más rápido
El microcontrolador ESP32-S3, que cuesta un par de cientos de rublos, puede ejecutar una Llama-2 diminuta de 260 mil parámetros, pero los proyectos conocidos rondaban los 19 tokens por segundo. El autor convirtió los pesos a int8, escribió núcleos en ensamblador para las instrucciones vectoriales PIE, puso a trabajar el segundo núcleo y reescribió la atención. El resultado: 406 tokens por segundo, frente a 22,5 de la versión ingenua en un solo núcleo. El texto generado se ha verificado y coincide con la referencia. Para los desarrolladores embedded, la conclusión es sencilla: primero hay que comprimir los pesos y decidir dónde se almacenan, y solo después meterse con el ensamblador.
Procesado por IA desde Habr AI; editado por Hamidun News
Ejecutar un modelo de lenguaje en un microcontrolador de unos cientos de rublos es más un truco de aficionados, pero este análisis resulta útil para cualquiera que exprima la velocidad de hardware limitado. El autor tomó el ESP32-S3 (dos núcleos Xtensa LX7 a 240 MHz y 512 KB de SRAM interna) y el modelo stories260K de la colección tinyllamas de Andrej Karpathy. Es una Llama-2 de verdad, con atención, RoPE y SwiGLU, de solo 259 328 parámetros y entrenada con los cuentos infantiles de TinyStories. El conocido proyecto esp32-llm de DaveBben alcanzaba en este chip 19,13 tokens por segundo. Aquí se lograron 406 tokens por segundo, es decir, unas 21 veces más rápido. Sin overclocking ni aceleradores externos.
Primero la verificación, después la aceleración
Un error en el ensamblador no tumba el programa: estropea el texto en silencio. Y es difícil notarlo, porque los cuentos sobre Lili y la pelota roja no son una obra maestra ni cuando todo funciona bien. Por eso el autor montó una cadena de comprobaciones: una referencia en numpy; un simulador del firmware con la misma cuantización y el mismo orden de operaciones float; un motor en C para PC (coincide con el simulador bit a bit en 200 pasos); el emulador QEMU de Espressif y, por último, la propia placa. En la placa, todos los modos generan los mismos tokens que el simulador, y la discrepancia de los logits no supera 5·10⁻⁸.
Cuatro pasos de aceleración
int8 y ubicación de los pesos. Los pesos en int8, con una escala por fila de la matriz, redujeron el modelo de 1013 a 274 KB. La calidad apenas se resiente: la perplejidad sube un 0,0 %, y todo el pipeline con activaciones int8 y KV-cache añade un +0,7 %.
Con cuatro bits el deterioro ya es grave: +24,4 % con escala por fila y +14,5 % con escala por cada 16 pesos. El paso a int8 en la misma PSRAM aceleró la generación 2,5 veces: el cuello de botella era la lectura de memoria, no la aritmética. La flash vía XIP casi no se queda atrás respecto a la PSRAM (53,3 frente a 55,3 tok/s), y la SRAM interna aportó hasta 71,7.
Instrucciones vectoriales PIE. Esta extensión, con registros de 128 bits, puede multiplicar 16 pares de int8 y sumarlos al acumulador con una sola instrucción, ee.vmulas.s8.accx. El compilador no genera algo así, por lo que el núcleo está escrito en ensamblador. La dimensión del modelo, 64, cabe en cuatro registros, así que el vector de entrada se carga una sola vez. Las matrices Q, K y V se fusionaron en una, igual que W1 con W3: cuatro multiplicaciones por capa en lugar de siete. Resultado: 71,7 → 175,2 tok/s.
El segundo núcleo. Las matrices son diminutas y un semáforo de FreeRTOS se comería toda la ganancia, así que el segundo núcleo espera en un contador volatile y duerme fuera de la generación. Hubo que desactivar el watchdog. Resultado: 285,5 tok/s, ×1,63. No se llegó al doble: RMSNorm, RoPE, SwiGLU y la selección del token siguen siendo secuenciales.
La atención. Tras acelerar las matrices, suponía el 72 % del tiempo: la ley de Amdahl en estado puro. El autor procesa en una sola pasada las dos cabezas de consulta que comparten una cabeza KV, y reparte el cálculo para que todo quepa en los 16 registros de la FPU (en el desensamblado había 81 accesos a la pila). La velocidad media en 128 tokens subió hasta 406,1 tok/s. Convertir Q·K a enteros no aportó nada: 403,6 frente a 406,1.
La contabilidad de los kilobytes
Lo más inesperado es la memoria. Los pesos (274 KB), las activaciones y el KV-cache (unos 360 bytes por token) tienen que caber en la SRAM. Tras el arranque de ESP-IDF quedaban 335 KB, y el contexto cabía para 96 tokens.
Se liberó espacio moviendo a la flash el código de FreeRTOS, el heap y el driver de la flash que estaban en IRAM, con una caché de instrucciones de 16 KB, buffers pequeños de UART/USB y la tabla RoPE en la flash: 363 KB y un contexto de 160 tokens. La conclusión del autor: 260 mil parámetros en int8 son casi el techo para la SRAM de este chip; con más parámetros, habrá que leer cada vez más desde la flash o la PSRAM.
Qué significa en la práctica
Seamos honestos: este modelo no tiene aplicación real, solo sabe inventar cuentos infantiles, y el propio autor lo reconoce. En cambio, las lecciones son trasladables. La cuantización y la ubicación correcta de los pesos aportan más que los trucos ingeniosos; en cada paso el cuello de botella se desplaza (la memoria, el bucle escalar, la atención y ahora las divisiones y normalizaciones); y sin una verificación bit a bit es peligroso hacer optimizaciones de bajo nivel. El código, los núcleos en ensamblador, el simulador y el script de mediciones están en GitHub (nikuson/esp32-llm). El siguiente objetivo del autor es stories15M directamente desde la flash, un modelo 60 veces mayor.
- 18 nov 2026LLM en un VPS sin GPU: modelos de 4B clasifican solicitudes con un 90% de precisión en 3–5 s
- 18 nov 2026Bonsai 2 27B comprimida logró 17 tokens/s en una tarjeta de 2017, y Qwen3 8B, 32
- 18 nov 2026OpenAI lanza GPT-6.2 Astra: segundo puesto en el ranking y un 20% más barata
- 18 nov 2026Tras un fallo, los agentes revierten su trabajo solo en el 47% de los casos, aunque resuelven el 84% de las tareas
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Primero la verificación, después la aceleración?
Un error en el ensamblador no tumba el programa: estropea el texto en silencio. Y es difícil notarlo, porque los cuentos sobre Lili y la pelota roja no son una obra maestra ni cuando todo funciona bien. Por eso el autor montó una cadena de comprobaciones: una referencia en numpy; un simulador del firmware con la misma cuantización y el mismo orden de operaciones float; un motor en C para PC (coincide con el simulador bit a bit en 200 pasos); el emulador QEMU de Espressif y, por último, la propia placa.
¿Qué se sabe sobre Cuatro pasos de aceleración?
int8 y ubicación de los pesos. Los pesos en int8, con una escala por fila de la matriz, redujeron el modelo de 1013 a 274 KB. La calidad apenas se resiente: la perplejidad sube un 0,0 %, y todo el pipeline con activaciones int8 y KV-cache añade un +0,7 %. Con cuatro bits el deterioro ya es grave: +24,4 % con escala por fila y +14,5 % con escala por cada 16 pesos. El paso a int8 en la misma PSRAM aceleró la generación 2,5 veces: el cuello de botella era la lectura de memoria, no la aritmética.
¿Qué se sabe sobre La contabilidad de los kilobytes?
Lo más inesperado es la memoria. Los pesos (274 KB), las activaciones y el KV-cache (unos 360 bytes por token) tienen que caber en la SRAM. Tras el arranque de ESP-IDF quedaban 335 KB, y el contexto cabía para 96 tokens. Se liberó espacio moviendo a la flash el código de FreeRTOS, el heap y el driver de la flash que estaban en IRAM, con una caché de instrucciones de 16 KB, buffers pequeños de UART/USB y la tabla RoPE en la flash: 363 KB y un contexto de 160 tokens.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.