Grandes modelos de lenguaje: por qué ejecutarlos «de fábrica» sigue siendo una ilusión

El mercado de los grandes modelos de lenguaje abiertos vive un auténtico auge. GLM, Kimi, DeepSeek y decenas de proyectos más asaltan los primeros puestos de los benchmarks, y el número de desarrolladores crece más rápido de lo que la industria puede catalogarlos. Parecería que ha llegado la edad de oro de la democratización de la IA: coges un modelo, lo despliegas y lo usas. Pero la realidad es mucho menos halagüeña: prácticamente ningún LLM abierto de gran tamaño funciona de fábrica, y ni siquiera el hardware de servidor más potente evita horas de depuración agotadora.

Esa es la conclusión a la que llegó un ingeniero que publicó en Habr un análisis detallado de su experiencia ejecutando los nuevos modelos de enorme tamaño. La tarea era plenamente pragmática: repasar los principales LLM, probarlos y elegir un «caballo de batalla» fiable para el trabajo diario. La plataforma no era barata: servidores con NVIDIA B200 y H200, controladores recientes en la versión 590.48.01 e imágenes vLLM-OpenAI para inferencia. Todo parecía de manual. Pero, como se vio, nadie había escrito realmente ese manual.

El problema no está en los modelos ni en el hardware, sino en el abismo entre publicar los pesos y poder utilizarlos de verdad. Cada modelo requiere su propio conjunto de parches: ajustes específicos del entorno, modificaciones de configuración y, a veces, imágenes de Docker personalizadas. La llegada de vLLM 0.16 simplificó algo las cosas, pero el autor señala sin rodeos que los principales rodeos siguen siendo los mismos. El framework aprendió a gestionar automáticamente parte de los casos límite, aunque el problema de fondo de compatibilidad no ha desaparecido.

Resulta especialmente revelador que el autor tuviera que buscar buena parte de las soluciones en foros técnicos chinos. No es casualidad. La mayoría de los modelos abiertos más destacados del último año salen de laboratorios chinos, y la comunidad de ingeniería china es la primera en toparse con los escollos de su despliegue. La documentación en inglés, y no digamos en ruso, suele retrasarse semanas o incluso meses. Para quienes no leen chino, esto supone una barrera adicional y muy notable.

La situación deja al descubierto un problema sistémico de todo el ecosistema de LLM abiertos. Los desarrolladores se centran en la carrera de los benchmarks: quién logra más puntos en MMLU, HumanEval o Arena Elo. Publicar los pesos en Hugging Face se considera el punto final, y todo lo que viene después, como el despliegue, la optimización de la inferencia y la integración en pipelines de producción, queda en manos de los usuarios. Como resultado, incluso las empresas con una infraestructura potente dedican una cantidad desproporcionada de horas de ingeniería a algo tan básico como conseguir que un modelo responda a las peticiones.

Esto se nota aún más dada la rapidez con que cambia el panorama. Aparecen modelos nuevos literalmente cada semana. Si depurar cada uno lleva uno o dos días de tiempo de un ingeniero cualificado, el coste de comparar simplemente cinco o seis candidatos se vuelve considerable incluso para equipos grandes. Y, tras elegir el modelo, aún hay que ajustarlo a tareas concretas, configurar la monitorización y garantizar un funcionamiento estable bajo carga.

No obstante, en el horizonte también hay señales positivas. El proyecto vLLM avanza con rapidez y en cada versión asume más trabajo rutinario de compatibilidad. Aparecen formatos de modelo estandarizados y configuraciones unificadas. Los proveedores de nube que ofrecen inferencia como servicio quitan parte de la carga a los usuarios finales. Pero la industria aún está lejos de que descargar y ejecutar un LLM abierto sea tan sencillo como instalar una aplicación.

La paradoja del momento es que un modelo «abierto» ya no significa «accesible». Los pesos están publicados y la licencia permite el uso comercial, pero entre descargar el archivo y tener un servicio funcionando se extiende todo un campo de decisiones poco evidentes que exigen una gran pericia. Hasta que los desarrolladores de modelos se tomen el despliegue tan en serio como el entrenamiento, los ingenieros seguirán recopilando recetas de foros, sean chinos, ingleses o rusos.