Новый метод позволяет масштабировать AI-модели через экспертные блоки без переобучения

Un equipo de especialistas en visión por computadora ha desarrollado una tecnología que permite escalar modelos de AI ya entrenados a versiones más grandes — añadiendo módulos especializados de expertos y sin necesidad de iniciar el entrenamiento desde cero.

¿En qué consiste el nuevo método?

La nueva tecnología rompe el vínculo habitual entre la potencia del modelo y la necesidad de entrenarlo desde cero. El enfoque tradicional es el siguiente: si se necesita una red neuronal más grande — hay que diseñar una nueva arquitectura, recopilar un conjunto de datos e iniciar un ciclo completo de entrenamiento, que puede llevar semanas o meses de cómputo. El método desarrollado por el equipo permite tomar un modelo preentrenado existente y ampliarlo añadiendo módulos especializados de expertos sobre el conocimiento ya acumulado.

En el núcleo de la idea está el deseo de preservar lo que ya funciona. Un modelo preentrenado ya ha visto miles de millones de ejemplos de datos y ha formado representaciones internas valiosas del mundo. Descartarlas en aras del escalado es un desperdicio. El nuevo método utiliza estos pesos como una base estable y construye componentes especializados encima.

Este enfoque es conceptualmente cercano a la arquitectura Mixture of Experts (MoE), donde diferentes "expertos" dentro de la red se especializan en diferentes tipos de datos o tareas. La diferencia fundamental de la nueva solución es que permite hacer crecer dicha estructura a partir de una base ya hecha, en lugar de construir el MoE desde cero.

"La tecnología permite ampliar los modelos de AI preentrenados hacia

sistemas más grandes con módulos especializados de expertos sin entrenamiento desde cero", describen el desarrollo los autores según datos de TechXplore.

¿Por qué esto importa a los desarrolladores de AI?

El costo del entrenamiento de redes neuronales de frontera es una de las principales barreras de la industria. Según estimaciones de analistas de Epoch AI, los costos de entrenamiento de los modelos líderes en 2024–2025 alcanzaron decenas de millones de dólares. Los equipos que ya cuentan con un modelo base bien entrenado se enfrentan a una difícil elección: trabajar con la versión limitada o gastar sumas comparables en reentrenamiento desde cero.

El método de escalado mediante módulos de expertos ofrece una tercera vía. Los modelos existentes pueden desarrollarse de forma incremental: añadiendo nuevos bloques especializados a medida que crecen las tareas y los requisitos, sin perder los pesos acumulados y las representaciones internas de la red base.

• Tecnología creada por un equipo de especialistas en visión por computadora
• Permite ampliar modelos de AI preentrenados sin reentrenamiento completo desde cero
• Utiliza módulos especializados de expertos integrados sobre la base ya existente
• Preserva los pesos y las representaciones acumuladas del modelo original durante el escalado

¿Dónde es aplicable?

Las tareas de visión por computadora son especialmente sensibles a la escala del modelo. El reconocimiento de imágenes médicas, el control de calidad industrial y los sistemas de conducción autónoma requieren simultáneamente una amplia base general de conocimiento y una profunda especialización para un dominio específico. El método de expansión mediante módulos de expertos permite resolver este compromiso: tomar un potente modelo general y construir bloques especializados encima para una tarea específica.

Para los equipos corporativos que cuentan con modelos ya entrenados sobre datos propietarios, esto significa la posibilidad de actualizar el sistema sin perder la especificidad corporativa y sin necesidad de pasar de nuevo por el ciclo completo de recopilación de datos y entrenamiento.

Qué significa esto

Si el método de expansión con módulos de expertos demuestra eficacia práctica, podría cambiar la lógica del desarrollo de los sistemas corporativos de AI: en lugar de costosos reinicios cada pocos años — crecimiento incremental, en el que cada versión del modelo se convierte en la base de la siguiente.