Nodul ejecuta DeepSeek V4.1 Flash en 2 H200 en lugar de 8 y acelera la generación hasta 36,4 tokens/s
La configuración estándar de vLLM para DeepSeek V4.1 Flash requiere ocho GPU, pero Nodul ha ejecutado el modelo en dos H200. Los «expertos» poco usados (subredes del modelo) se trasladaron a la memoria RAM y los más frecuentes se quedaron en la memoria de vídeo. Con 20 sesiones simultáneas, la velocidad subió de 5,4 a 36,4 tokens por segundo por agente. Es útil para los equipos cuyo departamento de seguridad les prohíbe enviar código a nubes externas.
Procesado por IA desde CNews ИИ; editado por Hamidun News
La empresa rusa Nodul ha ejecutado el modelo DeepSeek V4.1 Flash para agentes de programación en dos GPU Nvidia H200, aunque la configuración estándar del motor vLLM (el programa que ejecuta el modelo en las GPU) está pensada para ocho. En el mismo servidor, la velocidad de generación pasó de 5,4 a 36,4 tokens por segundo por agente con 20 sesiones simultáneas.
Un token equivale aproximadamente a una palabra o un fragmento de palabra, así que la cifra indica con qué rapidez el asistente de IA escribe una respuesta o un fragmento de código. Para los equipos cuyo departamento de seguridad les prohíbe enviar código fuente y documentos a nubes externas, esto abre la posibilidad de mantener un servidor propio entre tres y cuatro veces más barato.
Por qué el modelo no cabía en dos tarjetas
Según Nodul, en los materiales en inglés y chino no encontró ninguna configuración ya preparada que permitiera atender 20 sesiones paralelas en dos H200 con una velocidad de al menos 20 tokens por segundo por agente. La aritmética es sencilla. Tras arrancar el controlador y el motor, a cada H200 le quedaban unos 139 GB de memoria de vídeo, y solo los pesos del modelo necesitaban unos 147 GB. Además, hace falta memoria para el contexto: cada sesión del agente tiene su propio conjunto de archivos leídos y su historial.
La solución la sugirió la arquitectura del modelo. DeepSeek se compone de muchas subredes, los «expertos», y accede a cada una con una frecuencia distinta. Es como un escritorio y un archivo: las carpetas con las que se trabaja a diario están a mano y el resto se guarda en un armario. Nodul hizo exactamente eso: dejó en la memoria de vídeo los pesos de los expertos más solicitados y trasladó los menos usados a la memoria RAM del servidor. El equipo bautizó el enfoque como Lossless Expert Tiering, es decir, ubicación de expertos por niveles sin pérdida de calidad.
Cómo la velocidad se multiplicó casi por siete
Lo más útil de esta historia es el orden de los pasos.
La primera distribución para el vLLM modificado se elaboró a partir de estadísticas públicas: en la GPU se colocaron los expertos que el modelo activaba con más frecuencia en distintas tareas. Con 20 sesiones paralelas, la velocidad subió a 17,3 tokens por segundo por agente.
Después, el equipo recopiló estadísticas con una carga cercana a las sesiones reales de agentes de programación. Resultó que, al trabajar con código, el modelo usa con más frecuencia otro conjunto de expertos. Tras pasar sus pesos a la GPU, el cambio de distribución por sí solo añadió un 62%: la velocidad llegó a 28,1 tokens por segundo.
Finalmente, con 20 sesiones, la reserva de memoria de vídeo para el contexto estaba ocupada a menos de la mitad, y parte del espacio libre se cedió a los expertos. Además, se enseñó al motor a cambiar la ubicación de los expertos según la frecuencia de uso sin reiniciarse. Juntos, estos cambios aportaron otro 30% aproximadamente y elevaron la velocidad mediana a 36,4 tokens por segundo por agente. El punto de partida en el mismo servidor era 5,4.
Costes y limitaciones
Para la prueba, Nodul reprodujo 1018 solicitudes de sesiones de trabajo reales. Con 20 sesiones paralelas, en nueve de cada diez casos la generación comenzaba en un plazo de 2,5 segundos. Con 30 sesiones, la velocidad mediana fue de 20,1 tokens por segundo por agente, es decir, el umbral de 20 tokens se cumple casi al límite. Todas las mediciones con dos H200 se realizaron en un único servidor.
El director general y fundador de Nodul estima el alquiler de un servidor con ocho GPU en unos 4 millones de rublos al mes. Para dos H200, la referencia es de 400–500 mil rublos al mes con alquiler por horas, si el servidor se apaga por la noche. Para un equipo de unas 25–27 personas, eso supone unos 15–20 mil rublos por desarrollador. Según él, esta opción es adecuada para equipos pequeños y medianos a los que se les prohíbe enviar código y documentos a servicios externos.
Las salvedades importan. Las cifras las ha facilitado la propia empresa y el material no incluye mediciones independientes. La distribución no se puede descargar: en tareas distintas el modelo recurre a expertos distintos, y una distribución elaborada con una carga rinde peor con otra. Si sus agentes se ocupan no solo de código, sino también de documentos o análisis, habrá que recopilar de nuevo las estadísticas.
Qué hacer en la práctica
Para quienes montan un entorno interno con agentes de programación, la conclusión es esta: antes de alquilar las ocho tarjetas «reglamentarias», mida cómo usa exactamente el modelo su carga de trabajo. En los modelos con expertos, se puede calcular la frecuencia de acceso y aprovecharla: trasladar lo poco usado a la RAM y liberar memoria de vídeo para lo que se necesita en ese momento. El enfoque exige modificar el motor y hacer mediciones, pero para un equipo que no puede usar una API externa, un ahorro de varias veces compensa el esfuerzo.
- 19 nov 2026Los modelos de IA incluyeron una escuela en la lista de objetivos militares en el 70% de las pruebas de Vals AI
- 19 nov 2026La palabra «videojuego» elevó la disposición de GPT-6 Astra a elegir objetivos del 6% al 92%
- 18 nov 2026Sciforium acelera DeepSeek-V4.1-Flash en AMD hasta 1 129 tokens por segundo
- 18 nov 2026Una sola coma china hizo que DeepSeek respondiera en chino en el 94% de los casos
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué el modelo no cabía en dos tarjetas?
Según Nodul, en los materiales en inglés y chino no encontró ninguna configuración ya preparada que permitiera atender 20 sesiones paralelas en dos H200 con una velocidad de al menos 20 tokens por segundo por agente. La aritmética es sencilla. Tras arrancar el controlador y el motor, a cada H200 le quedaban unos 139 GB de memoria de vídeo, y solo los pesos del modelo necesitaban unos 147 GB.
Cómo la velocidad se multiplicó casi por siete?
Lo más útil de esta historia es el orden de los pasos. La primera distribución para el vLLM modificado se elaboró a partir de estadísticas públicas: en la GPU se colocaron los expertos que el modelo activaba con más frecuencia en distintas tareas. Con 20 sesiones paralelas, la velocidad subió a 17,3 tokens por segundo por agente. Después, el equipo recopiló estadísticas con una carga cercana a las sesiones reales de agentes de programación.
¿Qué se sabe sobre Costes y limitaciones?
Para la prueba, Nodul reprodujo 1018 solicitudes de sesiones de trabajo reales. Con 20 sesiones paralelas, en nueve de cada diez casos la generación comenzaba en un plazo de 2,5 segundos. Con 30 sesiones, la velocidad mediana fue de 20,1 tokens por segundo por agente, es decir, el umbral de 20 tokens se cumple casi al límite. Todas las mediciones con dos H200 se realizaron en un único servidor.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.