97 horas en una sola GPU: un experimento con una red neuronal autoaprendente y la trampa de las métricas atractivas

Imagina: tomas un modelo de lenguaje y quieres añadirle una nueva capacidad — digamos, la capacidad de resolver ecuaciones diferenciales o escribir código en Rust. El camino estándar es el ajuste fino, que requiere datos, recursos computacionales e inevitablemente conduce al olvido catastrófico, cuando un modelo pierde capacidades antiguas al adquirir nuevas. ¿Pero y si las habilidades pudieran conectarse como aplicaciones en un smartphone — rápido, modular, sin efectos secundarios? Esa es exactamente la idea que decidió probar un investigador independiente, publicando un informe detallado en Habr. El resultado: 97,5 horas de trabajo en una sola RTX 4090, 22 iteraciones de experimentos y una de las decepciones más instructivas en aprendizaje automático en tiempos recientes.

El concepto de expansión modular de modelos de lenguaje en sí no es nuevo. La industria ha discutido durante mucho tiempo enfoques como adaptadores LoRA, mixture of experts y diversas arquitecturas de complementos. La idea del autor fue más allá: crear un sistema en el cual un modelo no pudiera simplemente usar módulos externos, sino que realmente se mejorara a sí mismo, integrando nuevas competencias en su trabajo sin un ciclo completo de reentrenamiento. Suena como el Santo Grial para quienes trabajan con recursos computacionales limitados — y esa es la gran mayoría de investigadores independientes y pequeños equipos que no tienen acceso a clusters de miles de GPUs.

Técnicamente, la arquitectura funcionó. Los módulos se conectaron, el sistema funcionó de manera estable, las métricas en conjuntos de datos de validación se veían convincentes. El investigador pasó por alrededor de veinte iteraciones, refinando el enfoque cada vez, y en algún momento los números se volvieron verdaderamente hermosos. Las pérdidas disminuyeron, la precisión aumentó, las curvas de aprendizaje demostraron exactamente la dinámica que cualquier especialista en aprendizaje automático quiere ver. En el papel, todo se veía como un éxito.

Enonces llegó el momento de la verdad — pruebas en tareas reales. Y aquí sucedió lo que es familiar para muchos profesionales, pero rara vez se dice en voz alta: un modelo que demostró un dominio brillante del "lenguaje de las matemáticas" según métricas formales resultó ser completamente incapaz de resolver tareas matemáticas específicas. Aprendió a imitar la forma sin dominar el contenido. Generó derivaciones que parecían plausibles, usó notación correcta, construyó cadenas de razonamiento que parecían lógicas — pero las respuestas eran incorrectas. Este es un ejemplo clásico de lo que la comunidad llama la ley de Goodhart aplicada al aprendizaje automático: cuando una métrica se convierte en el objetivo, deja de ser una buena métrica.

Este caso pone de relieve uno de los problemas fundamentales del aprendizaje automático moderno — la brecha entre la optimización de métricas y la competencia real. Los modelos de lenguaje son extraordinariamente buenos en detectar patrones estadísticos y reproducirlos. Pero reproducir un patrón y entender la lógica detrás de él son cosas fundamentalmente diferentes. Un modelo puede aprender que ciertas expresiones matemáticas suelen ser seguidas por ciertos símbolos sin comprender por qué esos símbolos pertenecen allí. Para un investigador observando una curva de pérdida y precisión, la diferencia es invisible hasta que el sistema se enfrenta a una tarea que requiere genuina generalización.

Pero la historia no termina ahí, y es el final lo que la hace verdaderamente interesante. Según el autor, el modelo finalmente "encontró una salida por sí mismo" — es decir, bajo ciertas condiciones el sistema comenzó a demostrar un comportamiento que no fue explícitamente programado. Los detalles de este avance merecen atención separada porque tocan uno de los temas más candentes en investigación de inteligencia artificial: la capacidad de los modelos para exhibir comportamiento emergente, cuando estrategias complejas e inesperadas para resolver problemas surgen de reglas simples. Si esto es emergencia verdadera o simplemente una coincidencia afortunada de decisiones arquitectónicas — la pregunta sigue abierta, pero el hecho en sí merece un estudio minucioso.

Este experimento es importante no tanto por sus resultados específicos como por las lecciones que se derivan de él. Primero, nos recuerda la fragilidad de las métricas como herramienta para evaluar el progreso. Segundo, demuestra que la investigación seria en el campo de modelos de lenguaje aún es posible en hardware de consumidor — aunque con limitaciones significativas.

Tercero, subraya el valor de publicar fracasos abiertamente: la industria, obsesionada con récords de benchmarks y comunicados de prensa sobre los últimos avances, desesperadamente necesita historias honestas sobre cómo las ideas hermosas se quiebran contra la realidad. Son precisamente estas historias las que impulsan la ciencia hacia adelante — no comunicados de victoria, sino un análisis cuidadoso de qué salió mal y por qué.