Tu propio LLM en la nube: cómo caber en 16 GB de VRAM

Las facturas de las API de modelos de lenguaje se están convirtiendo en una de las partidas más impredecibles para los equipos tecnológicos. Un autor de Habr ha publicado la primera parte de una guía práctica que propone una solución radical: desplegar un LLM completo en la nube con solo 16 gigabytes de memoria de vídeo. No es un ejercicio académico, sino una configuración funcional con soporte de herramientas, llamadas a funciones e integración con servidores MCP.

Para entender por qué el tema genera tanto eco, basta ver cómo han cambiado los agentes de IA en el último año. Claude, ChatGPT, DeepSeek y sus equivalentes dejaron hace tiempo de ser simples chatbots. Antes de dar la respuesta final, un agente moderno puede gastar decenas de miles de tokens en razonamiento interno, llamar a API externas, ejecutar código, analizar archivos e incluso interactuar directamente con el sistema operativo. Cada una de esas acciones consume tokens, y los tokens son dinero. Con varios agentes en paralelo, tareas en segundo plano y herramientas propias, la factura mensual de la API puede multiplicarse en una sola semana de trabajo intenso.

Ese dolor de cabeza empujó a la comunidad a buscar alternativas. La idea de un LLM autoalojado no es nueva, pero hasta hace poco seguía siendo territorio de entusiastas con acceso a hardware potente. La situación cambió gracias a varios procesos paralelos: la cuantización de modelos es mucho más eficiente, han surgido entornos de ejecución optimizados como llama.cpp y vLLM, y los modelos de código abierto se acercan en calidad a los comerciales en varias tareas. Como resultado, lo que hace año y medio exigía un clúster de GPU hoy puede ejecutarse en una sola tarjeta con 16 GB de memoria, de la clase de la NVIDIA T4 o la RTX 4060 Ti.

La diferencia clave de este enfoque respecto a los experimentos habituales con modelos locales es su énfasis en estar listo para producción. El autor no se limita a lanzar un modelo para generar texto, sino que construye un servicio de API completo, compatible con el ecosistema de herramientas al que están acostumbrados los desarrolladores. El soporte de function calling significa que el modelo puede invocar funciones externas mediante un esquema estructurado, igual que hacen Claude o GPT-4 a través de sus API.

La integración con servidores MCP, el protocolo que Anthropic presentó para estandarizar la interacción de los modelos con herramientas externas, añade otro nivel de compatibilidad. En la práctica, un modelo autoalojado se convierte en un sustituto directo de la API comercial para cierto tipo de tareas.

Por supuesto, el enfoque tiene limitaciones, y sería ingenuo esperar que un modelo de 7-13 mil millones de parámetros, comprimido por cuantización hasta caber en 16 GB, iguale a Claude 3.5 Sonnet o GPT-4o. Para tareas complejas que exigen razonamiento profundo, planificación en varios pasos o contextos extensos, los modelos comerciales siguen sin competencia. Pero buena parte de las cargas de producción es rutinaria: clasificación, extracción de datos, formateo, generación sencilla de texto, enrutamiento de peticiones entre agentes. Para ellas, un modelo local puede resultar no solo suficiente, sino óptimo en relación calidad-precio.

Esta tendencia encaja en un panorama más amplio que los analistas llaman «inferencia híbrida». En lugar de enviar todas las peticiones a un único proveedor, los equipos montan arquitecturas por niveles: un modelo local o autoalojado resuelve las tareas simples y las complejas pasan a sistemas más potentes en la nube. Este enfoque no solo reduce costes, sino que también resuelve cuestiones de privacidad de datos y disminuye la dependencia de proveedores externos. Los protocolos estandarizados como MCP hacen esta arquitectura cada vez más realista: modelos de distintas procedencias empiezan a hablar el mismo idioma.

La publicación de Habr es la primera parte de una serie, y el autor promete una continuación con escenarios más avanzados. Pero el simple hecho de que ya se pueda desplegar un LLM funcional con soporte de herramientas en una GPU de unos cientos de dólares dice mucho. La infraestructura para inferencia local de IA madura hasta el punto de que la puedan usar no solo investigadores, sino también equipos de producto corrientes. Y eso significa que el monopolio de los proveedores de API en la nube sobre el mercado de inferencia se irá erosionando, y quizá sea una de las tendencias más sanas de la industria ahora mismo.