Un nuevo método permite escalar modelos de IA mediante bloques de expertos sin reentrenarlos

Un equipo de especialistas en visión por computador ha desarrollado una tecnología que permite escalar modelos de IA ya entrenados hasta versiones más grandes, añadiendo módulos expertos especializados y sin lanzar un entrenamiento desde cero.

¿En qué consiste el nuevo método?

La nueva tecnología rompe el vínculo habitual entre la potencia de un modelo y la necesidad de entrenarlo desde cero. El enfoque tradicional funciona así: si se necesita una red neuronal más grande, hay que diseñar una nueva arquitectura, reunir un dataset y lanzar un ciclo completo de entrenamiento, que puede requerir semanas o meses de cómputo. El método desarrollado por el equipo permite tomar un modelo preentrenado existente y ampliarlo añadiendo módulos expertos especializados sobre el conocimiento ya acumulado.

La idea de fondo es conservar lo que ya funciona. Un modelo preentrenado ya ha visto miles de millones de ejemplos de datos y ha formado representaciones internas valiosas del mundo. Desecharlas para escalar es un desperdicio. El nuevo método utiliza esos pesos como base estable y construye encima componentes especializados.

El enfoque se parece conceptualmente a la arquitectura Mixture of Experts (MoE), en la que distintos «expertos» dentro de la red se especializan en diferentes tipos de datos o tareas. La diferencia fundamental de la nueva solución es que permite hacer crecer una estructura de este tipo a partir de una base ya entrenada, en lugar de construir un MoE desde cero.

«La tecnología permite ampliar modelos de IA preentrenados hasta sistemas más grandes con módulos expertos especializados sin entrenar desde cero», describen los autores el desarrollo, según

TechXplore.

¿Por qué importa a los desarrolladores de IA?

El coste de entrenar redes neuronales de frontera es una de las principales barreras del sector. Según las estimaciones de los analistas de Epoch AI, los gastos de entrenamiento de los modelos líderes en 2024–2025 alcanzaron decenas de millones de dólares. Los equipos que ya disponen de un modelo base bien entrenado se enfrentan a una disyuntiva difícil: trabajar con una versión limitada o gastar sumas comparables en reentrenar desde cero.

El método de escalado mediante módulos expertos propone una tercera vía. Los modelos existentes pueden desarrollarse de forma incremental: se añaden nuevos bloques especializados a medida que crecen las tareas y los requisitos, sin perder los pesos acumulados ni las representaciones internas de la red base.

• La tecnología ha sido creada por un equipo de especialistas en visión por computador
• Permite ampliar modelos de IA preentrenados sin un reentrenamiento completo desde cero
• Utiliza módulos expertos especializados que se integran sobre una base ya entrenada
• Conserva los pesos y las representaciones acumuladas del modelo original durante el escalado

¿Dónde se puede aplicar?

Las tareas de visión por computador son especialmente sensibles a la escala del modelo. El reconocimiento de imágenes médicas, el control de calidad industrial y los sistemas de conducción autónoma exigen a la vez una base de conocimiento general amplia y una especialización profunda en un dominio concreto. El método de ampliación mediante módulos expertos permite resolver ese compromiso: tomar un modelo general potente y construir encima bloques especializados para una tarea concreta.

Para los equipos corporativos que ya cuentan con modelos entrenados con datos propietarios, esto significa poder actualizar el sistema sin perder la especificidad de la empresa y sin tener que repetir el ciclo completo de recopilación de datos y entrenamiento.

Qué significa

Si el método de ampliación con módulos expertos demuestra su eficacia práctica, podría cambiar la lógica de desarrollo de los sistemas de IA corporativos: en lugar de costosos reinicios cada pocos años, un crecimiento incremental en el que cada versión del modelo se convierte en la base de la siguiente.