Reducen DeepSeek-V4-Pro 50 veces y lo ejecutan en una sola T4 gratuita de Kaggle

Un experimento con DeepSeek-V4-Pro demuestra que incluso un modelo de 1,6 billones de parámetros puede dejarse en estado operativo sin un clúster de H100, siempre que se renuncie a ejecutarlo en su forma original. En lugar de una inferencia completa, el autor del proyecto montó una aproximación extremadamente agresiva: comprimió los pesos mediante descomposición de bajo rango, hizo pasar shards gigantescos por un procesamiento en flujo y adaptó a mano la arquitectura a las herramientas existentes. El resultado está lejos de ser apto para producción, pero ejecutarlo en una NVIDIA T4 gratuita de Kaggle es una demostración contundente de cuánto pesan hoy las matemáticas y la ingeniería ingeniosa.

La descripción original presenta DeepSeek-V4-Pro como un modelo MoE de 1,6 billones de parámetros con pesos de más de 800 GB. Para sistemas de esta clase suele hacer falta una infraestructura muy distinta: varias H100, mucha memoria de vídeo, conexiones rápidas entre nodos y un volumen decente de disco local. En ese contexto, elegir una instancia gratuita de Kaggle con una T4 de 16 GB de VRAM y unos 50 GB de disco no es un intento de replicar un despliegue estándar, sino un experimento al límite de lo posible. También importa el planteamiento: no se trataba de conservar el modelo intacto, sino de comprobar cuánta estructura útil se mantiene tras una compresión radical.

La jugada clave del proyecto es abandonar la cuantización habitual de 4 bits en favor de una «transmutación» SVD, es decir, la descomposición de bajo rango de las matrices de pesos. Según el autor, el rango 64 dio una compresión de unas 50 veces. Este esquema conserva las dependencias principales entre parámetros, pero descarta muchos detalles y, con ellos, parte de la calidad. Para un modelo gigante es un intercambio duro: la precisión cae, pero surge la posibilidad de encajar el sistema en hardware accesible. En esencia, ya no es el modelo original en sentido pleno, sino su esqueleto matemático, que aún puede conservar parte del contexto y de las asociaciones.

El segundo elemento importante es el manejo de los pesos en un modo de MLOps casi de emergencia. En vez de almacenar todo el conjunto de parámetros en local, el autor procesó los shards de forma secuencial con `safe_open`: descargaba un archivo, extraía el tensor necesario, lo comprimía en la memoria RAM, enviaba el resultado a un repositorio y vaciaba por completo la caché antes del siguiente paso. Así logró pasar por el límite de disco un conjunto de pesos que, en un escenario normal, no cabría en una máquina gratuita.

El autor subraya que el consumo de RAM nunca superó los 4 GB. Es un detalle relevante, porque en estas tareas el obstáculo no es solo la VRAM, sino también la logística de archivos, cuando el modelo ni siquiera puede descomprimirse físicamente sin trucos intermedios.

La tercera capa es un robo de identidad arquitectónico. Según el autor, la biblioteca transformers aún no admitía DeepSeek-V4, así que hubo que disfrazar la configuración de DeepSeek-V2 y corregir por separado el enrutamiento MoE mediante monkey patching. Desde el punto de vista de la ingeniería, es un truco frágil: depende de la versión de las bibliotecas, del formato de las configuraciones y del diseño del enrutador de expertos.

Pero este paso muestra que parte de las limitaciones de los grandes modelos no se debe solo al hardware, sino a la compatibilidad de las herramientas. Si el stack aún no conoce una arquitectura nueva, los investigadores suelen tener que adaptar primero el framework al modelo y solo después ocuparse de la calidad de la salida.

El resultado es una versión del modelo que, según el autor, cabe en la memoria de una sola T4 y puede mantener contexto, pero se degrada de forma notable en calidad. Entre los efectos secundarios se citan alucinaciones y una mezcla de ruso, inglés y chino en una misma respuesta. Eso lo convierte en un mal candidato para usos aplicados fiables, donde importan la precisión, la estabilidad y la previsibilidad. Como prueba de concepto, en cambio, el proyecto funciona: muestra que incluso los modelos open-weight ultragrandes no solo se pueden discutir en términos de centros de datos, sino también desmontar en configuraciones más accesibles, aunque muy recortadas.

La conclusión principal no es que la T4 se haya convertido de repente en sustituta de un clúster moderno de GPU. Más bien al contrario: el experimento muestra bien el precio de estos compromisos y el límite a partir del cual ejecutar un modelo ya no significa inferencia completa, sino reconstrucción de investigación. Aun así, proyectos como este hacen avanzar la práctica de la compresión, la inferencia aproximada y el MLOps accesible. Cuantas más soluciones alternativas aparecen, más baja es la barrera de entrada para quienes quieren experimentar con grandes modelos sin un presupuesto corporativo.