GLM 5.3 en local aceleró un 100% una IA en ESP32-S3; Qwen 3.8 27B, un 30%
Un autor montó un servidor doméstico con dos Tesla V100 por 113 105 ₽ y encargó a los modelos locales tareas sin una especificación detallada. La prueba principal consistía en acelerar un pequeño modelo de lenguaje en el microcontrolador ESP32-S3, cuyo motor estaba escrito en C puro. GLM 5.3 subió la generación hasta ~20 tokens por segundo (+100%) y Qwen 3.8 27B, hasta ~13 (+30%). Es decir, incluso en una configuración de presupuesto, los modelos locales ya son capaces de abordar la optimización de bajo nivel.
Procesado por IA desde Habr AI; editado por Hamidun News
Las redes neuronales locales suelen evaluarse con las mismas tareas: «haz un clon de Minecraft» o «dibuja la interfaz de Windows 11». El autor del artículo en Habr consideró que eso era aburrido, montó en casa un servidor por 113 105 ₽ y encargó a los modelos tareas difusas, cercanas al vibe coding, en las que en lugar de una especificación detallada solo se dice «hazlo bien». El ejemplo más ilustrativo es el ESP32-S3, un microcontrolador barato en el que corre un pequeño modelo de lenguaje.
Su motor estaba escrito en C puro y los modelos debían reescribirlo para las instrucciones vectoriales del chip. La velocidad se mide en tokens por segundo: GLM 5.3 alcanzó unos 20 (+100% respecto al original) y Qwen 3.
8 27B, unos 13 (+30%). Para quien trabaja con estas herramientas, esto responde a dos preguntas: cuánto cuesta una plataforma así y qué funciona realmente en ella.
Qué servidor es y a qué velocidad responde
La configuración incluye un procesador AMD EPYC 7452, una placa HUANANZHI H12D 8D, 64 GB de DDR4 (4 módulos de 16 GB), dos Nvidia V100 de 16 GB en formato SXM2 y un SSD Samsung PM9A1 de 1 TB. La refrigeración líquida costó aproximadamente 50 mil rublos adicionales, y el autor aconseja no replicarla si se puede prescindir de un circuito personalizado. Los precios corresponden al momento de la compra, hace medio año.
Se eligió EPYC por sus 128 líneas PCIe 4.0 y sus ocho canales de DDR4. Según el autor, esta placa es la única para EPYC de 2.
ª y 3.ª generación con cuatro ranuras x16 a un precio razonable. La Supermicro h11ssl-i tiene solo tres ranuras, y las demás opciones cuestan desde 70 mil.
La memoria se overclockeó sin problemas hasta 2933.
Los modelos MoE grandes se ejecutan en este hardware gracias a los proyectos Strata y Maya: gastan poca memoria RAM y cargan los pesos desde el SSD sobre la marcha. La velocidad (el primer número es el procesamiento del prompt; el segundo, la generación, ambos en tokens por segundo):
- Qwen 3.8 27B: 800–1000 y 50–70;
- Qwen 3.8 Flash Next (125B): 500–1400 y 50–70;
- GLM 5.3 Flash (320B): 200–600 y 15–20;
- DeepSeek v4.1 Flash (763B): 180–250 y 7–15. Formalmente funciona, pero es demasiado lento, por lo que no participó en las pruebas.
Todo se ejecutó en Windows 10 mediante opencode 1.19 con búsqueda web searxng. Qwen 27B se lanzó con llama.cpp, con un contexto de 196 608 tokens y decodificación especulativa MTP, que acelera de forma notable la escritura de código.
Cómo se desenvolvieron los modelos
La primera tarea fue un lector de chat de consola en ANSI C con la biblioteca WolfSSL. GLM, Qwen 27B y Qwen Flash Next entregaron código funcional, aunque a 27B hubo que indicarle manualmente que el código no funcionaba en Windows. Muse Spark encontró la dirección correcta, pero el proyecto no compiló y desactivó la verificación de TLS. Gemma 4 tomó una URL equivocada y, en lugar de WolfSSL, invocó curl mediante popen.
La segunda tarea consistía en acelerar el motor esp32-ai en el ESP32-S3 con esp-idf e instrucciones vectoriales. Flash Next se atascó y no avanzó ni siquiera tras varias compresiones de contexto. Qwen 27B llegó a ~13 tok/s (+30%) usando funciones de la biblioteca ESP-DSP. GLM 5.3 alcanzó ~20 tok/s (+100%) al escribir ensamblador para la extensión PIE. Se verificaron ambas versiones: los logits coinciden byte a byte con los del motor original. Todos los modelos optimizaron el bloque head. GLM aplicó casi las mismas optimizaciones que Fable 5, que logró 22–31 tok/s. La diferencia es que Fable aceleró además el bloque attn.
Dónde el resultado es más débil
El generador de nicknames fracasó en creatividad. Los dos Qwen produjeron pseudopalabras y GLM, solo combinaciones de palabras, y todos lo adornaron al estilo de 2012: «ледянойщит9», «обсидианель», «supernovaRoot». El autor esperaba al menos cadenas de Markov, pero admite que el enunciado era vago. Del apartado técnico casi no hay objeciones.
En la tarea contradictoria de animar el fractal de Mandelbrot (1080p, 60 fps, ANSI C, GPU con arquitectura Blackwell), C89 combina mal con la GPU, ya que CUDA es C++. Según el autor, 27B al menos logró dibujar ese fractal.
Limitaciones y conclusión
Son observaciones personales de un solo autor: cada tarea se lanzó una sola vez y las valoraciones son en parte subjetivas. Los nombres de los modelos se mantienen tal como aparecen en la fuente. Conclusión práctica: con una configuración de ~113 mil rublos, los modelos locales resuelven tareas en C y embedded sin una especificación detallada. En optimización compleja de bajo nivel, GLM 5.3 obtuvo el mejor resultado, mientras que Qwen 3.8 27B es de 3 a 4 veces más rápido en generación y resulta adecuado para iteraciones rápidas. Aun así, conviene verificar el resultado de cualquier modelo.
- 20 nov 2026SingProbe de Ant Group: un guardián de 8,1 millones de parámetros que ralentiza el LLM menos de un 0,5%
- 19 nov 2026MLPerf Training: clústeres de 10 240 GPU y un entrenamiento un 49% más rápido en seis meses
- 19 nov 2026CoreWeave resulta hasta un 65% más barata que los hiperescaladores en un clúster Blackwell a tres años
- 19 nov 2026FilmCraft, el editor de vídeo de código abierto en Rust, suma más de 18,5 mil estrellas y abre su motor a los agentes de IA
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué servidor es y a qué velocidad responde?
La configuración incluye un procesador AMD EPYC 7452, una placa HUANANZHI H12D 8D, 64 GB de DDR4 (4 módulos de 16 GB), dos Nvidia V100 de 16 GB en formato SXM2 y un SSD Samsung PM9A1 de 1 TB. La refrigeración líquida costó aproximadamente 50 mil rublos adicionales, y el autor aconseja no replicarla si se puede prescindir de un circuito personalizado. Los precios corresponden al momento de la compra, hace medio año. Se eligió EPYC por sus 128 líneas PCIe 4.0 y sus ocho canales de DDR4.
Cómo se desenvolvieron los modelos?
La primera tarea fue un lector de chat de consola en ANSI C con la biblioteca WolfSSL. GLM, Qwen 27B y Qwen Flash Next entregaron código funcional, aunque a 27B hubo que indicarle manualmente que el código no funcionaba en Windows. Muse Spark encontró la dirección correcta, pero el proyecto no compiló y desactivó la verificación de TLS. Gemma 4 tomó una URL equivocada y, en lugar de WolfSSL, invocó curl mediante popen.
Dónde el resultado es más débil?
El generador de nicknames fracasó en creatividad. Los dos Qwen produjeron pseudopalabras y GLM, solo combinaciones de palabras, y todos lo adornaron al estilo de 2012: «ледянойщит9», «обсидианель», «supernovaRoot». El autor esperaba al menos cadenas de Markov, pero admite que el enunciado era vago. Del apartado técnico casi no hay objeciones. En la tarea contradictoria de animar el fractal de Mandelbrot (1080p, 60 fps, ANSI C, GPU con arquitectura Blackwell), C89 combina mal con la GPU, ya que CUDA es C++.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.
