Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

GLM 5.3 en local aceleró un 100% una IA en ESP32-S3; Qwen 3.8 27B, un 30%

Un autor montó un servidor doméstico con dos Tesla V100 por 113 105 ₽ y encargó a los modelos locales tareas sin una especificación detallada. La prueba principal consistía en acelerar un pequeño modelo de lenguaje en el microcontrolador ESP32-S3, cuyo motor estaba escrito en C puro. GLM 5.3 subió la generación hasta ~20 tokens por segundo (+100%) y Qwen 3.8 27B, hasta ~13 (+30%). Es decir, incluso en una configuración de presupuesto, los modelos locales ya son capaces de abordar la optimización de bajo nivel.

Procesado por IA desde Habr AI; editado por Hamidun News
GLM 5.3 en local aceleró un 100% una IA en ESP32-S3; Qwen 3.8 27B, un 30%
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Los logits de ambas versiones coinciden byte a byte con los del motor original
Dato clave #2Qwen 3.8 Flash Next se atascó en la tarea del ESP32 y no avanzó
Dato clave #3DeepSeek v4.1 Flash funciona a 7–15 tok/s, por lo que no participó en las pruebas
GLM 5.3 en local aceleró un 100% una IA en ESP32-S3; Qwen 3.8 27B, un 30%
Video destacado / Demo
Haz clic para reproducir el video original o lee el análisis completo a continuación.Ver en YouTube ↗

Las redes neuronales locales suelen evaluarse con las mismas tareas: «haz un clon de Minecraft» o «dibuja la interfaz de Windows 11». El autor del artículo en Habr consideró que eso era aburrido, montó en casa un servidor por 113 105 ₽ y encargó a los modelos tareas difusas, cercanas al vibe coding, en las que en lugar de una especificación detallada solo se dice «hazlo bien». El ejemplo más ilustrativo es el ESP32-S3, un microcontrolador barato en el que corre un pequeño modelo de lenguaje.

Su motor estaba escrito en C puro y los modelos debían reescribirlo para las instrucciones vectoriales del chip. La velocidad se mide en tokens por segundo: GLM 5.3 alcanzó unos 20 (+100% respecto al original) y Qwen 3.

8 27B, unos 13 (+30%). Para quien trabaja con estas herramientas, esto responde a dos preguntas: cuánto cuesta una plataforma así y qué funciona realmente en ella.

Qué servidor es y a qué velocidad responde

La configuración incluye un procesador AMD EPYC 7452, una placa HUANANZHI H12D 8D, 64 GB de DDR4 (4 módulos de 16 GB), dos Nvidia V100 de 16 GB en formato SXM2 y un SSD Samsung PM9A1 de 1 TB. La refrigeración líquida costó aproximadamente 50 mil rublos adicionales, y el autor aconseja no replicarla si se puede prescindir de un circuito personalizado. Los precios corresponden al momento de la compra, hace medio año.

Se eligió EPYC por sus 128 líneas PCIe 4.0 y sus ocho canales de DDR4. Según el autor, esta placa es la única para EPYC de 2.

ª y 3.ª generación con cuatro ranuras x16 a un precio razonable. La Supermicro h11ssl-i tiene solo tres ranuras, y las demás opciones cuestan desde 70 mil.

La memoria se overclockeó sin problemas hasta 2933.

Los modelos MoE grandes se ejecutan en este hardware gracias a los proyectos Strata y Maya: gastan poca memoria RAM y cargan los pesos desde el SSD sobre la marcha. La velocidad (el primer número es el procesamiento del prompt; el segundo, la generación, ambos en tokens por segundo):

  • Qwen 3.8 27B: 800–1000 y 50–70;
  • Qwen 3.8 Flash Next (125B): 500–1400 y 50–70;
  • GLM 5.3 Flash (320B): 200–600 y 15–20;
  • DeepSeek v4.1 Flash (763B): 180–250 y 7–15. Formalmente funciona, pero es demasiado lento, por lo que no participó en las pruebas.

Todo se ejecutó en Windows 10 mediante opencode 1.19 con búsqueda web searxng. Qwen 27B se lanzó con llama.cpp, con un contexto de 196 608 tokens y decodificación especulativa MTP, que acelera de forma notable la escritura de código.

Cómo se desenvolvieron los modelos

La primera tarea fue un lector de chat de consola en ANSI C con la biblioteca WolfSSL. GLM, Qwen 27B y Qwen Flash Next entregaron código funcional, aunque a 27B hubo que indicarle manualmente que el código no funcionaba en Windows. Muse Spark encontró la dirección correcta, pero el proyecto no compiló y desactivó la verificación de TLS. Gemma 4 tomó una URL equivocada y, en lugar de WolfSSL, invocó curl mediante popen.

La segunda tarea consistía en acelerar el motor esp32-ai en el ESP32-S3 con esp-idf e instrucciones vectoriales. Flash Next se atascó y no avanzó ni siquiera tras varias compresiones de contexto. Qwen 27B llegó a ~13 tok/s (+30%) usando funciones de la biblioteca ESP-DSP. GLM 5.3 alcanzó ~20 tok/s (+100%) al escribir ensamblador para la extensión PIE. Se verificaron ambas versiones: los logits coinciden byte a byte con los del motor original. Todos los modelos optimizaron el bloque head. GLM aplicó casi las mismas optimizaciones que Fable 5, que logró 22–31 tok/s. La diferencia es que Fable aceleró además el bloque attn.

Dónde el resultado es más débil

El generador de nicknames fracasó en creatividad. Los dos Qwen produjeron pseudopalabras y GLM, solo combinaciones de palabras, y todos lo adornaron al estilo de 2012: «ледянойщит9», «обсидианель», «supernovaRoot». El autor esperaba al menos cadenas de Markov, pero admite que el enunciado era vago. Del apartado técnico casi no hay objeciones.

En la tarea contradictoria de animar el fractal de Mandelbrot (1080p, 60 fps, ANSI C, GPU con arquitectura Blackwell), C89 combina mal con la GPU, ya que CUDA es C++. Según el autor, 27B al menos logró dibujar ese fractal.

Limitaciones y conclusión

Son observaciones personales de un solo autor: cada tarea se lanzó una sola vez y las valoraciones son en parte subjetivas. Los nombres de los modelos se mantienen tal como aparecen en la fuente. Conclusión práctica: con una configuración de ~113 mil rublos, los modelos locales resuelven tareas en C y embedded sin una especificación detallada. En optimización compleja de bajo nivel, GLM 5.3 obtuvo el mejor resultado, mientras que Qwen 3.8 27B es de 3 a 4 veces más rápido en generación y resulta adecuado para iteraciones rápidas. Aun así, conviene verificar el resultado de cualquier modelo.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué servidor es y a qué velocidad responde?

La configuración incluye un procesador AMD EPYC 7452, una placa HUANANZHI H12D 8D, 64 GB de DDR4 (4 módulos de 16 GB), dos Nvidia V100 de 16 GB en formato SXM2 y un SSD Samsung PM9A1 de 1 TB. La refrigeración líquida costó aproximadamente 50 mil rublos adicionales, y el autor aconseja no replicarla si se puede prescindir de un circuito personalizado. Los precios corresponden al momento de la compra, hace medio año. Se eligió EPYC por sus 128 líneas PCIe 4.0 y sus ocho canales de DDR4.

Cómo se desenvolvieron los modelos?

La primera tarea fue un lector de chat de consola en ANSI C con la biblioteca WolfSSL. GLM, Qwen 27B y Qwen Flash Next entregaron código funcional, aunque a 27B hubo que indicarle manualmente que el código no funcionaba en Windows. Muse Spark encontró la dirección correcta, pero el proyecto no compiló y desactivó la verificación de TLS. Gemma 4 tomó una URL equivocada y, en lugar de WolfSSL, invocó curl mediante popen.

Dónde el resultado es más débil?

El generador de nicknames fracasó en creatividad. Los dos Qwen produjeron pseudopalabras y GLM, solo combinaciones de palabras, y todos lo adornaron al estilo de 2012: «ледянойщит9», «обсидианель», «supernovaRoot». El autor esperaba al menos cadenas de Markov, pero admite que el enunciado era vago. Del apartado técnico casi no hay objeciones. En la tarea contradictoria de animar el fractal de Mandelbrot (1080p, 60 fps, ANSI C, GPU con arquitectura Blackwell), C89 combina mal con la GPU, ya que CUDA es C++.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…