LLM con un cuatrillón de parámetros: cuándo llegarán y por qué la respuesta es «nunca»

Los modelos con un cuatrillón de parámetros (10^15) no aparecerán en el futuro previsible: los límites físicos y computacionales hacen que esa escala sea prácticamente inalcanzable en el paradigma actual.

¿A qué distancia estamos hoy del cuatrillón?

La cifra está mil veces más lejos de lo que parece. Los mejores modelos de lenguaje de 2025–2026 operan en un rango que va de cientos de miles de millones a varios billones de parámetros. Según las estimaciones de los analistas de SemiAnalysis, GPT-4 se basa en una arquitectura Mixture of Experts con unos 1,76 billones de pesos en total; Gemini Ultra, de Google, ronda los 1,56 billones. Para llegar al cuatrillón (10^15) habría que multiplicar esa escala por unas 700–1000.

• Rango de los modelos frontier hoy: ~100 mil millones — ~2 billones de parámetros
• Un cuatrillón (10^15) supera entre 700 y 1000 veces el tamaño de GPT-4
• El entrenamiento de GPT-4 costó, según estimaciones de analistas, más de $100 millones
• El entrenamiento de Llama 2 70B requirió ~539 MWh, según la documentación técnica de Meta*
• Solo el almacenamiento de los pesos de un modelo de 1Q en formato int4 ocuparía unos 125 TB

¿Por qué un crecimiento de 1000 veces no es cuestión de «esperar»?

Un modelo de un cuatrillón de parámetros no solo exige más dinero: exige una física radicalmente distinta.

Las GPU insignia de NVIDIA, H100 y H200, ofrecen entre 80 y 192 GB de memoria por tarjeta. Incluso con una cuantización agresiva a 1 bit, un modelo de 1Q necesitaría ~125 TB solo para los pesos, sin contar activaciones, gradientes ni optimizador. En el formato estándar BF16 serían ya ~2 petabytes. Ese volumen exige construir una infraestructura radicalmente distinta, que no existe en ninguna empresa del mundo.

«Observamos una desaceleración de los rendimientos del puro escalado

del número de parámetros: los datos y la eficiencia computacional importan más que el tamaño bruto», según las publicaciones de investigación del equipo de DeepMind sobre la optimización Chinchilla.

A la física se suma el consumo energético. Según las estimaciones, entrenar un modelo de 1Q con la eficiencia actual de los chips requeriría entre decenas y cientos de TWh, comparable al consumo eléctrico anual de un país europeo medio.

¿Por qué no habría datos suficientes para un cuatrillón?

Según el estudio de DeepMind (Hoffmann et al., 2022), para un entrenamiento óptimo en cómputo hay que entrenar el modelo con unos 20 tokens por cada parámetro. Por tanto, un modelo de 1Q tendría que entrenarse con 20 cuatrillones de tokens. Según diversas estimaciones de investigación, todo el texto digitalizado de internet suma del orden de 10^13–10^14 tokens: entre 200 y 2000 veces menos de lo necesario.

Los datos sintéticos alivian en parte la limitación, pero no en una escala de mil veces ni sin degradación de la calidad cuando la generación se retroalimenta en bucle. Es decir, aunque existiera la infraestructura de cómputo, no habría con qué alimentar a un modelo así.

Qué significa

Los LLM de un cuatrillón de parámetros no son cuestión de tiempo ni de financiación, sino de límites fundamentales: la física de los semiconductores, el volumen de datos existentes y los rendimientos decrecientes del escalado. El progreso del sector no avanza hacia «un único modelo gigantesco», sino hacia arquitecturas más eficientes (Mixture of Experts, Retrieval-Augmented Generation) y sistemas de agentes especializados.

Preguntas frecuentes

¿Qué tamaño tiene hoy el mayor LLM abierto?

A 2026, el mayor modelo completamente abierto sigue siendo Grok-1 de xAI: 314 mil millones de parámetros en una arquitectura Mixture of Experts, publicado en abierto en marzo de 2024. Según las estimaciones de los analistas de SemiAnalysis, los modelos frontier cerrados de los grandes laboratorios superan el billón de parámetros.

¿Ayudaría un ordenador cuántico a entrenar estos modelos?

Los ordenadores cuánticos son eficaces para una clase estrecha de problemas, como la factorización y la simulación de moléculas, pero no para la multiplicación de matrices en la que se basa el entrenamiento de los transformers. En un horizonte previsible, los sistemas cuánticos no sustituirán a las GPU ni a las TPU en el entrenamiento de LLM.

*Meta ha sido declarada organización extremista y está prohibida en Rusia.