El muro de los LLM: por qué los escépticos se equivocaron de puerta otra vez

Cada seis meses, la industria de la IA entra en un periodo de «gran desánimo». Primero nos dijeron que GPT-3 era el límite y que no había margen para crecer. Después aseguraron que el siguiente paso requería billones de tokens que simplemente no existen en internet. Ahora la nueva tendencia: los datos se acabaron, la arquitectura de los transformadores se agotó, es hora de irse a casa. Suena serio e incluso lógico si se mira el mundo por el ojo de la cerradura. Pero si sigues el juego durante más tiempo que un ciclo de hype, entiendes que no hemos chocado con un muro: hemos llegado al final de una recta y estamos tomando una autopista.

El problema de los escépticos es que piensan en una sola dimensión. Para ellos, el progreso consiste en echarle más texto a un modelo y obtener más inteligencia. Es cierto que los datos de texto para el entrenamiento supervisado clásico se están agotando. Las redes neuronales ya han «digerido» todo internet. Pero entrenar con datos es solo uno de los seis ejes por los que avanza el progreso. Mientras algunos lloran las bibliotecas vacías, los ingenieros de OpenAI, Google y Anthropic están accionando a fondo las otras cinco palancas, que por alguna razón se olvidan en los debates públicos.

La primera palanca, y quizá la más importante hoy, es el cómputo durante la inferencia, o inference-time compute. Fíjate en los modelos de la familia o1. No se limitan a soltar una respuesta: «piensan» antes de escribir la primera letra. Esto cambia el paradigma: ya no hace falta hacer el modelo diez veces más grande para que sea más listo. Se le puede obligar a razonar más tiempo sobre el problema. Es como en la vida: una persona inteligente no es la que ha leído más libros, sino la que sabe analizar la información a fondo. Pasamos de la cantidad leída a la calidad de la comprensión.

El segundo eje es la eficiencia algorítmica. ¿Recuerdas cómo todos se quejaban de lo voraces que son los transformadores? Ahora entran en escena arquitecturas como Mamba y Mixture of Experts (MoE). Permiten obtener la misma potencia con un gasto de recursos mucho menor. Estamos aprendiendo a construir motores mejores, no solo a agrandar el depósito de gasolina. A esto se suma el tercer eje: la multimodalidad. Los modelos dejan de ser meros «lectores de textos». Empiezan a ver, oír y entender el mundo físico. Cuando la IA aprende de vídeo y audio, la idea de que «se acabó el texto» pierde todo sentido. El mundo es un flujo infinito de datos que apenas hemos empezado a aprovechar.

El cuarto y el quinto factor son el uso de herramientas y el autoaprendizaje mediante self-play. Recuerda cómo AlphaGo venció al campeón del mundo de go. No aprendió solo de partidas humanas: jugó contra sí misma millones de veces. Ahora este enfoque llega a los LLM. Los modelos empiezan a generar datos sintéticos, comprobar su lógica y aprender de sus propios errores. Si una IA puede crear tareas y resolverlas por sí sola, ya no necesita al ser humano como única fuente de conocimiento. Eso cierra el ciclo de aprendizaje y lo hace prácticamente infinito.

Estamos en un punto en el que las viejas métricas de progreso, el número de parámetros y el tamaño del conjunto de datos, dejan de ser las principales. Llega la era de la flexibilidad arquitectónica y la profundidad intelectual. Quienes hoy gritan sobre el «agotamiento de la tecnología» simplemente no se han dado cuenta de que las reglas del juego han cambiado. No hemos llegado al techo: acabamos de terminar los cimientos y empezamos a construir las plantas. Y a juzgar por el ritmo de adopción de agentes y herramientas, esas plantas crecerán mucho más rápido de lo que nadie esperaba.

Lo principal: olvida la «falta de datos». La verdadera batalla ahora es quién enseña a un modelo a pensar más tiempo y con más eficiencia, no quién le da de comer más terabytes de Reddit.