Scaling Laws en piloto automático: la IA empieza a enseñar a los humanos a construir redes neuronales

Imagine que está construyendo un rascacielos, pero no sabe con certeza si los cimientos aguantarán diez plantas más. En el mundo de los grandes modelos de lenguaje todo funciona más o menos igual. Los ingenieros gastan cientos de millones de dólares en entrenamiento con la esperanza de que añadir un par de miles de tarjetas gráficas más haga al modelo más inteligente, y no simplemente más caro.

Estas reglas tácitas del juego se llaman leyes de escalado (Scaling Laws), y hasta ahora encontrarlas se parecía a una alquimia moderna. Pero parece que la era de leer los posos del café está terminando: investigadores de la Universidad de Pekín y de Stanford han decidido delegar este trabajo tedioso y caro en la propia red neuronal. El problema es que buscar estas leyes es un proceso agotador y extremadamente caro.

Basta recordar el famoso trabajo de DeepMind sobre el «modelo chinchilla» (Chinchilla scaling laws). Entonces los investigadores tuvieron que entrenar decenas de modelos pequeños, recopilar datos sobre su rendimiento e intentar deducir una fórmula capaz de predecir el comportamiento del «hermano mayor». Un error de cálculo en esta fase no solo cuesta tiempo: cuesta una fortuna.

El nuevo proyecto, con el nombre provisional de «AI Scientist», cambia radicalmente las reglas del juego. En lugar de obligar a las personas a ajustar coeficientes y trazar gráficos a mano, los científicos han creado un sistema que analiza por sí solo los resultados de las ejecuciones de prueba y formula las dependencias matemáticas. Lo más irónico es que este científico virtual resolvió la tarea mejor que los expertos de carne y hueso.

Durante las pruebas, el sistema predijo la precisión de los modelos con un margen de error notablemente inferior al de científicos de datos experimentados. Aquí hay en juego algo más que velocidad o comodidad. Estamos acostumbrados a pensar que la investigación científica y la intuición son los últimos bastiones de la humanidad, pero resulta que, a la hora de buscar patrones ocultos en enormes volúmenes de datos, nuestro cerebro tiende demasiado a simplificar.

La IA no busca números «bonitos» ni gráficos lineales sencillos: encuentra las dependencias que realmente funcionan en un espacio de parámetros multidimensional. ¿Por qué importa precisamente ahora? Hemos llegado a un punto en el que simplemente añadir potencia de cálculo deja de producir saltos explosivos de calidad.

La industria habla cada vez más de una «meseta», y para seguir avanzando hace falta, además de teraflops, una precisión milimétrica en la arquitectura. Si antes OpenAI o Google podían permitirse quemar la electricidad de ciudades enteras por un experimento, ahora los inversores exigen eficiencia. Automatizar la búsqueda de Scaling Laws equivale, en esencia, a crear un navegador para quienes antes volaban por instrumentos en medio de una niebla espesa.

Ahora podemos saber de antemano si merece la pena darle al modelo un billón de tokens más o si ya ha alcanzado su límite. ¿Qué significa esto para el futuro de la industria? Lo más probable es que veamos una aceleración brusca de los ciclos de desarrollo.

Si antes comprobar una hipótesis fundamental llevaba meses, ahora un sistema automatizado puede ejecutar miles de escenarios en cuestión de horas. Esto nos acerca al momento en que las redes neuronales empiecen a diseñar sus propias generaciones siguientes prácticamente sin intervención humana. Seguimos con la mano en el interruptor, pero los planos ya los dibuja otro.

Y ese «otro» entiende claramente más que nosotros de las matemáticas del entrenamiento. Lo esencial: la IA ha dejado definitivamente de ser un simple «chatbot inteligente» y se ha convertido en una herramienta para descubrimientos científicos fundamentales. Si las redes neuronales han aprendido a optimizar su propio entrenamiento mejor que sus creadores, la llegada de una AGI completa pasa a ser solo una cuestión de tiempo y de dar con la fórmula correcta, que probablemente tampoco encontrará un ser humano.