Cómo reentrenar una IA en tareas nuevas sin perder sus capacidades

Investigadores de Apple han desarrollado DynaMiCS, un método para ajustar modelos de IA a nuevas tareas sin perder sus capacidades básicas, la obediencia a instrucciones ni los conocimientos de seguridad.

¿Por qué fallan los enfoques actuales?

Ajustar un LLM en varios dominios a la vez es una tarea cotidiana para cualquier laboratorio que lance productos de IA. El objetivo parece sencillo: mejorar el modelo en los dominios objetivo (por ejemplo, medicina o derecho) y conservar los llamados «dominios restrictivos», capacidades básicas que no se pueden degradar bajo ninguna circunstancia.

En la práctica, equilibrar ambos objetivos es difícil. Las estrategias actuales de mezcla de datos ofrecen dos soluciones insatisfactorias. La primera son las heurísticas fijas: proporciones de datos por dominio establecidas de antemano, que se mantienen constantes durante todo el entrenamiento y no reaccionan al estado actual del modelo. La segunda son las reglas adaptativas: algoritmos que ajustan los pesos según señales de métricas, pero sin garantías formales explícitas.

Ninguno de los dos enfoques puede mantener explícitamente los dominios restrictivos en un nivel determinado. Así, los equipos o prueban proporciones a mano o aceptan pérdidas impredecibles en los benchmarks clave de seguridad e instrucciones.

Cómo funciona DynaMiCS

DynaMiCS reformula el ajuste fino como un problema de optimización con restricciones (constrained optimization). En lugar de fijar el compromiso entre dominios de forma blanda, mediante una pérdida agregada o pesos manuales, el algoritmo separa de forma explícita los objetivos y las restricciones.

En cada paso del entrenamiento, DynaMiCS trabaja en tres etapas:

• Lanza ejecuciones breves de «sondeo» (probing runs) en cada dominio y evalúa la dinámica local de las métricas.
• Construye una matriz de pendientes (slope matrix), una estimación de cómo afecta a los resultados de todos los demás dominios el cambio en la proporción de datos de uno de ellos.
• Resuelve un problema de optimización: encontrar la proporción de datos que más mejore los dominios objetivo cumpliendo de forma estricta las restricciones de los dominios restrictivos.

La novedad fundamental está en las restricciones matemáticas explícitas, no en la regularización blanda. El algoritmo no «intenta» conservar la seguridad o las instrucciones: lo garantiza formalmente en cada iteración. Las ejecuciones de sondeo son rápidas y no requieren un ciclo completo de entrenamiento, por lo que el método es aplicable sin un aumento significativo del coste computacional.

Dónde se aplica

El problema que resuelve DynaMiCS surge cada vez que una empresa adapta un modelo base a un producto concreto:

• Seguimiento de instrucciones: una habilidad básica que no debe degradarse ni siquiera con una especialización estrecha.
• Conocimientos generales: el asistente debe responder correctamente a preguntas fuera de su dominio especializado.
• Seguridad: los resultados de las evaluaciones de seguridad deben conservarse en cualquier ajuste fino, sobre todo en sectores regulados.

Para Apple, que integra activamente modelos de lenguaje en Apple Intelligence, la capa de IA del sistema en iPhone, iPad y Mac, una herramienta así tiene valor práctico directo. Los modelos deben especializarse en las tareas de cada aplicación, mantener su carácter generalista y superar las comprobaciones internas de seguridad. DynaMiCS ofrece una vía formal para cumplir ambos requisitos a la vez.

El enfoque es relevante más allá de Apple: cualquier empresa que adapte modelos a tareas empresariales con requisitos estrictos de seguridad e instrucciones se enfrenta al mismo problema de equilibrio.

Qué significa

DynaMiCS propone un enfoque matemáticamente riguroso para un problema que la mayoría de los equipos de ML resolvía a mano o por ensayo y error. La publicación de Apple ML Research muestra que el trabajo sobre la infraestructura básica del ajuste fino continúa en las grandes tecnológicas con modelos cerrados. Si el método es reproducible y escala a tamaños reales de modelo, podría entrar en los pipelines estándar de las empresas que trabajan con LLM multidominio y exigen preservar estrictamente las capacidades básicas.

¿Qué es el ajuste fino de una IA?

Es el proceso de entrenar un modelo de lenguaje ya existente con datos nuevos para especializarlo en tareas y dominios concretos.

¿Cómo evitar perder calidad durante el ajuste fino?

Hay que optimizar correctamente la mezcla de datos, lo que permite conservar las capacidades básicas del modelo. Eso es justo lo que hace el método DynaMiCS.