Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
InfraestructuraAnálisis · En radarCNews ИИ→ original

Nodul ejecuta DeepSeek V4.1 Flash en 2 H200 en lugar de 8 y acelera la generación hasta 36,4 tokens/s

La configuración estándar de vLLM para DeepSeek V4.1 Flash requiere ocho GPU, pero Nodul ha ejecutado el modelo en dos H200. Los «expertos» poco usados (subredes del modelo) se trasladaron a la memoria RAM y los más frecuentes se quedaron en la memoria de vídeo. Con 20 sesiones simultáneas, la velocidad subió de 5,4 a 36,4 tokens por segundo por agente. Es útil para los equipos cuyo departamento de seguridad les prohíbe enviar código a nubes externas.

Procesado por IA desde CNews ИИ; editado por Hamidun News
Nodul ejecuta DeepSeek V4.1 Flash en 2 H200 en lugar de 8 y acelera la generación hasta 36,4 tokens/s
Fuente: CNews ИИ. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalCNews ИИ ↗
Editor jefe
Dato clave #1Alquilar dos H200 cuesta entre 400 y 500 mil rublos al mes; ocho GPU, unos 4 millones
Dato clave #2Con 30 sesiones, la velocidad mediana baja a 20,1 tokens por segundo
Dato clave #3La distribución de expertos no se puede descargar: hay que construirla para la carga de trabajo propia

La empresa rusa Nodul ha ejecutado el modelo DeepSeek V4.1 Flash para agentes de programación en dos GPU Nvidia H200, aunque la configuración estándar del motor vLLM (el programa que ejecuta el modelo en las GPU) está pensada para ocho. En el mismo servidor, la velocidad de generación pasó de 5,4 a 36,4 tokens por segundo por agente con 20 sesiones simultáneas.

Un token equivale aproximadamente a una palabra o un fragmento de palabra, así que la cifra indica con qué rapidez el asistente de IA escribe una respuesta o un fragmento de código. Para los equipos cuyo departamento de seguridad les prohíbe enviar código fuente y documentos a nubes externas, esto abre la posibilidad de mantener un servidor propio entre tres y cuatro veces más barato.

Por qué el modelo no cabía en dos tarjetas

Según Nodul, en los materiales en inglés y chino no encontró ninguna configuración ya preparada que permitiera atender 20 sesiones paralelas en dos H200 con una velocidad de al menos 20 tokens por segundo por agente. La aritmética es sencilla. Tras arrancar el controlador y el motor, a cada H200 le quedaban unos 139 GB de memoria de vídeo, y solo los pesos del modelo necesitaban unos 147 GB. Además, hace falta memoria para el contexto: cada sesión del agente tiene su propio conjunto de archivos leídos y su historial.

La solución la sugirió la arquitectura del modelo. DeepSeek se compone de muchas subredes, los «expertos», y accede a cada una con una frecuencia distinta. Es como un escritorio y un archivo: las carpetas con las que se trabaja a diario están a mano y el resto se guarda en un armario. Nodul hizo exactamente eso: dejó en la memoria de vídeo los pesos de los expertos más solicitados y trasladó los menos usados a la memoria RAM del servidor. El equipo bautizó el enfoque como Lossless Expert Tiering, es decir, ubicación de expertos por niveles sin pérdida de calidad.

Cómo la velocidad se multiplicó casi por siete

Lo más útil de esta historia es el orden de los pasos.

La primera distribución para el vLLM modificado se elaboró a partir de estadísticas públicas: en la GPU se colocaron los expertos que el modelo activaba con más frecuencia en distintas tareas. Con 20 sesiones paralelas, la velocidad subió a 17,3 tokens por segundo por agente.

Después, el equipo recopiló estadísticas con una carga cercana a las sesiones reales de agentes de programación. Resultó que, al trabajar con código, el modelo usa con más frecuencia otro conjunto de expertos. Tras pasar sus pesos a la GPU, el cambio de distribución por sí solo añadió un 62%: la velocidad llegó a 28,1 tokens por segundo.

Finalmente, con 20 sesiones, la reserva de memoria de vídeo para el contexto estaba ocupada a menos de la mitad, y parte del espacio libre se cedió a los expertos. Además, se enseñó al motor a cambiar la ubicación de los expertos según la frecuencia de uso sin reiniciarse. Juntos, estos cambios aportaron otro 30% aproximadamente y elevaron la velocidad mediana a 36,4 tokens por segundo por agente. El punto de partida en el mismo servidor era 5,4.

Costes y limitaciones

Para la prueba, Nodul reprodujo 1018 solicitudes de sesiones de trabajo reales. Con 20 sesiones paralelas, en nueve de cada diez casos la generación comenzaba en un plazo de 2,5 segundos. Con 30 sesiones, la velocidad mediana fue de 20,1 tokens por segundo por agente, es decir, el umbral de 20 tokens se cumple casi al límite. Todas las mediciones con dos H200 se realizaron en un único servidor.

El director general y fundador de Nodul estima el alquiler de un servidor con ocho GPU en unos 4 millones de rublos al mes. Para dos H200, la referencia es de 400–500 mil rublos al mes con alquiler por horas, si el servidor se apaga por la noche. Para un equipo de unas 25–27 personas, eso supone unos 15–20 mil rublos por desarrollador. Según él, esta opción es adecuada para equipos pequeños y medianos a los que se les prohíbe enviar código y documentos a servicios externos.

Las salvedades importan. Las cifras las ha facilitado la propia empresa y el material no incluye mediciones independientes. La distribución no se puede descargar: en tareas distintas el modelo recurre a expertos distintos, y una distribución elaborada con una carga rinde peor con otra. Si sus agentes se ocupan no solo de código, sino también de documentos o análisis, habrá que recopilar de nuevo las estadísticas.

Qué hacer en la práctica

Para quienes montan un entorno interno con agentes de programación, la conclusión es esta: antes de alquilar las ocho tarjetas «reglamentarias», mida cómo usa exactamente el modelo su carga de trabajo. En los modelos con expertos, se puede calcular la frecuencia de acceso y aprovecharla: trasladar lo poco usado a la RAM y liberar memoria de vídeo para lo que se necesita en ese momento. El enfoque exige modificar el motor y hacer mediciones, pero para un equipo que no puede usar una API externa, un ahorro de varias veces compensa el esfuerzo.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué el modelo no cabía en dos tarjetas?

Según Nodul, en los materiales en inglés y chino no encontró ninguna configuración ya preparada que permitiera atender 20 sesiones paralelas en dos H200 con una velocidad de al menos 20 tokens por segundo por agente. La aritmética es sencilla. Tras arrancar el controlador y el motor, a cada H200 le quedaban unos 139 GB de memoria de vídeo, y solo los pesos del modelo necesitaban unos 147 GB.

Cómo la velocidad se multiplicó casi por siete?

Lo más útil de esta historia es el orden de los pasos. La primera distribución para el vLLM modificado se elaboró a partir de estadísticas públicas: en la GPU se colocaron los expertos que el modelo activaba con más frecuencia en distintas tareas. Con 20 sesiones paralelas, la velocidad subió a 17,3 tokens por segundo por agente. Después, el equipo recopiló estadísticas con una carga cercana a las sesiones reales de agentes de programación.

¿Qué se sabe sobre Costes y limitaciones?

Para la prueba, Nodul reprodujo 1018 solicitudes de sesiones de trabajo reales. Con 20 sesiones paralelas, en nueve de cada diez casos la generación comenzaba en un plazo de 2,5 segundos. Con 30 sesiones, la velocidad mediana fue de 20,1 tokens por segundo por agente, es decir, el umbral de 20 tokens se cumple casi al límite. Todas las mediciones con dos H200 se realizaron en un único servidor.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…