HyperRepair devuelve a los LLM ajustados el 93,4% de sus habilidades generales y conserva el 99,5% de la puntuación en el dominio

Un equipo de Shanghai Jiao Tong University y University of Queensland ha descrito HyperRepair, un método que devuelve a un modelo de lenguaje ajustado las habilidades generales que perdió al adaptarse a una tarea concreta. No hacen falta datos del dominio objetivo ni entrenamiento adicional por parte del usuario: al modelo congelado se le conecta una pequeña red lateral, cuyos pesos genera una hiperred independiente. En 12 datasets LoRA y 15 benchmarks generales, el método recuperó el 93,4% de la puntuación general media de los modelos base y, al mismo tiempo, conservó el 99,5% de la puntuación media en el dominio de las versiones ajustadas.

Por qué la reparación tras el ajuste fino se topa con un compromiso

El ajuste fino mejora el modelo en el área objetivo, pero debilita su conocimiento general y su razonamiento. Ni siquiera LoRA, donde se entrena solo una pequeña parte de los parámetros, protege frente al olvido catastrófico. Los métodos conocidos para combatirlo se dividen en dos bandos.

Unos intervienen en el propio proceso de ajuste: regularización de parámetros, repetición de datos antiguos, destilación, rediseño de adaptadores y ponderación de la función de pérdida. Exigen control sobre el entrenamiento y no sirven si el checkpoint ya está terminado. Otros actúan a posteriori: fusionan modelos o podan pesos teniendo en cuenta el olvido.

Pero un único conjunto de pesos modificados se aplica a todas las consultas, y la mejora en habilidades generales suele pagarse con una pérdida de especialización en el dominio.

Los autores eligieron otro camino. Los pesos del modelo ajustado permanecen intactos, y la corrección vive en un canal aparte. El modelo original se conserva como alternativa, y el propio prompt permite decidir si hace falta la corrección.

Una red lateral con gate y la hiperred que la genera

Repairing Side Net (RSN) es una red transformer ligera conectada a los estados intermedios del modelo congelado. Produce una corrección residual sobre el estado oculto final, antes de la «cabeza» del lenguaje. Quien decide en qué medida se aplica esa corrección es el gate: promedia los estados sobre los tokens del prompt y los pasa por un pequeño MLP con sigmoide. El gate se entrena para dar uno en las consultas generales y cero en las consultas de dominio sin etiquetar. Con cero, el modelo emite las mismas predicciones que la versión ajustada original.

Lo más interesante es cómo obtener la RSN para un modelo nuevo sin entrenamiento. Cada modelo ajustado se describe mediante una «huella de activaciones»: sobre un conjunto fijo de prompts generales sin etiquetar, se mide cuánto se han desplazado los estados ocultos de cada capa respecto al modelo preentrenado. El desplazamiento se descompone en dirección y logaritmo de la magnitud.

Un transformer codifica estos rasgos capa por capa y forma representaciones locales y globales. A partir de ellas, HyperNet genera los parámetros de la RSN junto con el gate: una plantilla común entrenable más un término condicionado por la huella. Las correcciones matriciales se construyen a partir de factores de bajo rango, lo que reduce el número de valores que hay que generar.

Primero se entrena una RSN propia para cada modelo de partida, y sus parámetros se convierten en los objetivos de la hiperred. Esta se entrena con tres señales: el error cuadrático medio entre los pesos generados y los de referencia, la alineación de los rasgos que lee el gate y una función de pérdida funcional sobre las predicciones del modelo con la RSN generada conectada. La parte funcional es necesaria porque los errores en los pesos afectan tanto a la propia corrección como a la decisión del gate. En el despliegue, para un modelo de un dominio desconocido se calcula la huella, se ejecuta la hiperred una vez y se conecta la RSN ya lista.

Qué mostraron las pruebas y qué preguntas quedan abiertas

Los autores evaluaron el método en dos familias de modelos, 12 dominios de adaptación (clasificación, preguntas y respuestas, análisis semántico, resumen de código) y 15 benchmarks generales. Entre los checkpoints base se nombra Qwen2.5-7B; el texto de la descripción se interrumpe, así que la segunda familia y los detalles de los datasets no se ven aquí. La hiperred se entrenó con los modelos de partida y se evaluó en dominios que no estaban en el entrenamiento. En la partición estándar, el resultado es el 93,4% de la puntuación general de los modelos base y el 99,5% de la puntuación en el dominio de los modelos ajustados.

El sentido práctico es claro: si una empresa mantiene muchos adaptadores LoRA sobre una misma base, reparar cada uno con un entrenamiento propio crece de forma lineal con su número, mientras que aquí el coste se reduce a una pasada de la hiperred. Las limitaciones también son evidentes. El método depende de una base preentrenada común, la corrección añade cómputo en la inferencia y el 93,4% significa que la recuperación no es total. Con el texto disponible no queda claro si el enfoque funciona en otros tamaños y arquitecturas, ni cómo se comporta el gate ante consultas límite. Lo comprobará una réplica independiente.