97 horas con una sola tarjeta gráfica: un experimento con una red neuronal que aprende sola y la trampa de las métricas bonitas

Imagine que toma un modelo de lenguaje y quiere añadirle una nueva habilidad: por ejemplo, resolver ecuaciones diferenciales o escribir código en Rust. La vía habitual es el ajuste fino, que exige datos y recursos de cómputo y conduce inevitablemente al olvido catastrófico: el modelo pierde capacidades antiguas mientras adquiere otras nuevas. ¿Y si las habilidades pudieran instalarse como aplicaciones en un smartphone, de forma rápida, modular y sin efectos secundarios? Esa es la idea que quiso comprobar un investigador independiente, que ha publicado un informe detallado en Habr. El resultado: 97,5 horas de trabajo en una sola RTX 4090, 22 iteraciones de experimentos y una de las decepciones más instructivas del aprendizaje automático en los últimos tiempos.

El concepto de ampliar de forma modular los modelos de lenguaje no es nuevo. La industria lleva tiempo debatiendo enfoques como los adaptadores LoRA, mixture of experts y distintas arquitecturas basadas en plugins. La idea del autor iba más allá: crear un sistema en el que el modelo no solo pudiera usar módulos externos, sino mejorarse a sí mismo, integrando nuevas competencias en su funcionamiento sin un ciclo completo de reentrenamiento. Suena al santo grial para quienes trabajan con recursos de cómputo limitados, es decir, la inmensa mayoría de investigadores independientes y equipos pequeños, que no tienen acceso a clústeres de miles de GPU.

Técnicamente, la arquitectura funcionó. Los módulos se conectaban, el sistema operaba de forma estable y las métricas en los conjuntos de validación resultaban convincentes. El investigador completó una veintena de iteraciones, refinando el enfoque en cada una, y en algún momento las cifras se volvieron realmente bonitas. La pérdida bajaba, la precisión subía y las curvas de entrenamiento mostraban justo la dinámica que cualquier especialista en aprendizaje automático quiere ver. Sobre el papel, todo apuntaba a un éxito.

Luego llegó la hora de la verdad: la prueba con tareas reales. Y ocurrió algo que muchos profesionales conocen, pero de lo que rara vez se habla en voz alta: el modelo, que según las métricas formales dominaba de forma brillante el «lenguaje de las matemáticas», resultó totalmente incapaz de resolver problemas matemáticos concretos. Había aprendido a imitar la forma sin asimilar el contenido. Generaba desarrollos de apariencia verosímil, usaba la notación correcta y construía cadenas de razonamiento que a primera vista parecían lógicas, pero las respuestas eran erróneas. Es un ejemplo clásico de lo que la comunidad llama Goodhart's law aplicada al aprendizaje automático: cuando una métrica se convierte en objetivo, deja de ser una buena métrica.

Este caso pone de relieve uno de los problemas fundamentales del aprendizaje automático actual: la brecha entre optimizar métricas y adquirir competencia real. Los modelos de lenguaje son extraordinariamente buenos detectando patrones estadísticos y reproduciéndolos. Pero reproducir un patrón y entender la lógica que lo sustenta son cosas radicalmente distintas. Un modelo puede aprender que a ciertas expresiones matemáticas suelen seguirles ciertos símbolos sin comprender por qué están ahí precisamente esos símbolos. Para un investigador que observa la curva de loss y la accuracy, la diferencia es invisible hasta que el sistema se enfrenta a una tarea que exige una auténtica generalización.

Pero la historia no termina ahí, y es precisamente el final lo que la hace interesante. Según el autor, el modelo acabó «encontrando una salida por sí mismo»: en determinadas condiciones, el sistema empezó a mostrar un comportamiento que no se había programado explícitamente. Los detalles de este avance merecen atención aparte, porque tocan uno de los temas más candentes de la investigación en inteligencia artificial: la capacidad de los modelos para mostrar comportamiento emergente, cuando de reglas simples surgen estrategias complejas e inesperadas para resolver problemas. Si se trata de emergencia real o de una simple coincidencia afortunada de decisiones de arquitectura es una pregunta abierta, pero el hecho en sí merece un estudio minucioso.

Este experimento importa menos por sus resultados concretos que por las lecciones que deja. En primer lugar, recuerda lo frágiles que son las métricas como herramienta para evaluar el progreso. En segundo lugar, demuestra que todavía es posible investigar en serio sobre modelos de lenguaje con hardware de consumo, aunque con limitaciones importantes.

En tercer lugar, subraya el valor de publicar abiertamente los fracasos: una industria obsesionada con los benchmarks récord y los comunicados de prensa sobre el enésimo avance necesita con urgencia historias honestas sobre cómo las ideas bonitas se estrellan contra la realidad. Son estas historias las que hacen avanzar la ciencia: no los partes de victoria, sino el análisis minucioso de qué salió mal y por qué.