Por qué el reentrenamiento repetido choca con un techo: el estudio de LANN-4

Esto no es el anuncio de una arquitectura terminada, sino un informe intermedio honesto sobre lo que funcionó y lo que no. El autor pide críticas concretas y fundamentadas. Todas las reglas y los conjuntos de tareas se fijaron de antemano con huellas de verificación —no se puede ajustar el resultado a posteriori— y los resultados se recalcularon de forma independiente con código escrito por una persona distinta de quien montó el experimento. Es una protección contra el autoengaño.

LANN-4 es una red neuronal que aprende durante toda su vida con un núcleo pequeño e invariable y una memoria situada fuera de ese núcleo, en lugar de inflarse con cada actualización. Es una respuesta a la tendencia dominante de la industria: el camino estándar es hacer los modelos cada vez más grandes. Pero al autor le interesa otra cosa: cuánta utilidad se puede extraer con un tamaño estrictamente limitado, de modo que cada tarea similar siguiente resulte más barata de resolver.

Principios de trabajo: siete pilares del desarrollo

El desarrollo se guía por siete principios de trabajo —no una descripción del sistema, sino referencias orientadoras:

• El sistema recuerda el pasado entre tareas, no empieza cada vez desde cero.
• En cada tarea se invierte exactamente el esfuerzo que vale, ni más ni menos.
• El conocimiento y la experiencia residen en una memoria externa aparte, no fundidos en los pesos del modelo.
• Aprende cosas nuevas sin olvidar las anteriores.
• Una respuesta, una pista y un hecho verificado son tres cosas distintas; un honesto «no lo sé» es mejor que una invención convincente.
• Cualquier automejora se valida primero en un entorno aislado y ante un juez externo; el modelo no se corrige a sí mismo.
• Todo lo relativo a la seguridad y los permisos se gestiona desde fuera y no depende de la obediencia del modelo.

Metodología: cuatro rondas, tres modos

Se usó un único examen de 200 tareas, idéntico en todas las etapas, y se hizo pasar al sistema por cuatro rondas de reentrenamiento. Se compararon tres modos de trabajo:

• Acumulación — el modelo se reentrena y cada ronda siguiente se suma a la anterior.
• Desde cero — cada ronda arranca con un modelo limpio, sin acumulación.
• Sin entrenamiento — simplemente se repite el examen (control del azar).

Lo principal que se midió: si el porcentaje de respuestas correctas sube ronda tras ronda.

Resultados: un salto y luego el estancamiento

El porcentaje de respuestas correctas en el modo de acumulación: 53% → 59% → 54–57% → 54–57%. La primera ronda produjo un salto de unos cinco puntos porcentuales. La segunda, tercera y cuarta ronda no añadieron nada. El modo «desde cero» se comportó de forma idéntica: el ajuste acumulado no aportó ninguna ventaja. El modo de control bajó ligeramente, como cabía esperar del ruido estadístico. Las tareas antiguas no se resolvieron peor. El recálculo independiente coincidió por completo con el primero: las cifras se sostuvieron.

Una ronda de reentrenamiento con soluciones verificadas sí añade una mejora, y esta se mantiene durante las cuatro rondas. Pero ¿de dónde viene? Hay dos explicaciones honestas, que llevan al proyecto en direcciones distintas: o el modelo asimiló el contenido de las soluciones correctas, o simplemente se adaptó al formato del código.

La bifurcación y la prueba de placebo

Para distinguir entre ambas, se aplicó una prueba de placebo: se comparó el reentrenamiento con pares correctos de «tarea + solución verificada» frente a pares mezclados a propósito, donde la solución no corresponde a la tarea (se comprobó que los pares mezclados efectivamente no resolvían las tareas). Todo lo demás se mantuvo igual: mismo número de pasos, mismos ejemplos, mismas condiciones, mismo examen.

Hay un agujero en esta prueba: separa el entrenamiento con código en general del entrenamiento con contenido correcto, pero solo dentro de un mismo tipo de tarea. No detecta el sobreajuste al código de ese mismo tipo de tarea. Para cerrar también esa brecha hace falta un experimento aparte con otros tipos de tareas —otro día más de GPU.

Tres preguntas para la crítica

El autor pide crítica sustanciosa sobre tres puntos:

• ¿Es suficiente una prueba de placebo con costes equivalentes para llamar honestamente «aprendizaje real» a la mejora de la primera ronda? ¿Qué falta en la lista de condiciones?
• ¿Cómo cerrar el agujero del sobreajuste a un solo tipo de tarea sin duplicar el trabajo de GPU?
• ¿Han observado otros el mismo patrón —salto en la primera ronda y techo después— al reentrenar repetidamente un modelo pequeño?

Un resultado negativo no es un fracaso. Delimita honestamente el terreno, mostrando hacia dónde no lleva la capacidad de acumular aprendizaje. Este resultado hace avanzar el proyecto.