Новый метод позволяет масштабировать AI-модели через экспертные блоки без переобучения

Uma equipe de especialistas em visão computacional desenvolveu uma tecnologia que permite escalar modelos de AI já treinados para versões maiores — com a adição de módulos especializados de especialistas e sem iniciar o treinamento do zero.

Qual é a essência do novo método?

A nova tecnologia rompe a ligação habitual entre o poder do modelo e a necessidade de treiná-lo do zero. A abordagem tradicional é assim: se uma rede neural maior é necessária — é preciso projetar uma nova arquitetura, coletar um conjunto de dados e iniciar um ciclo completo de treinamento, que pode levar semanas ou meses de computação. O método desenvolvido pela equipe permite pegar um modelo pré-treinado existente e expandi-lo, adicionando módulos especializados de especialistas sobre o conhecimento já acumulado.

No cerne da ideia está o desejo de preservar o que já funciona. Um modelo pré-treinado já viu bilhões de exemplos de dados e formou representações internas valiosas do mundo. Descartá-las em nome da escalabilidade é um desperdício. O novo método usa esses pesos como uma base estável e constrói componentes especializados por cima.

Essa abordagem é conceitualmente próxima à arquitetura Mixture of Experts (MoE), onde diferentes "especialistas" dentro da rede se especializam em diferentes tipos de dados ou tarefas. A diferença fundamental da nova solução é que ela permite cultivar tal estrutura a partir de uma base pronta, em vez de construir o MoE do zero.

"A tecnologia permite expandir modelos de AI pré-treinados para

sistemas maiores com módulos especializados de especialistas sem treinamento do zero", descrevem os autores o desenvolvimento de acordo com dados do TechXplore.

Por que isso é importante para os desenvolvedores de AI?

O custo do treinamento de redes neurais de fronteira é uma das principais barreiras da indústria. De acordo com estimativas de analistas da Epoch AI, os custos de treinamento dos principais modelos em 2024–2025 chegaram a dezenas de milhões de dólares. As equipes que já possuem um modelo base bem treinado se veem diante de uma escolha difícil: trabalhar com a versão limitada ou gastar quantias comparáveis no retreinamento do zero.

O método de escalabilidade por módulos especializados oferece um terceiro caminho. Os modelos existentes podem ser desenvolvidos de forma incremental: adicionando novos blocos especializados à medida que as tarefas e os requisitos crescem, sem perder os pesos acumulados e as representações internas da rede base.

• Tecnologia criada por uma equipe de especialistas em visão computacional
• Permite expandir modelos de AI pré-treinados sem retreinamento completo do zero
• Utiliza módulos especializados de especialistas incorporados sobre a base pronta
• Preserva os pesos e as representações acumuladas do modelo original durante a escalabilidade

Onde isso é aplicável?

As tarefas de visão computacional são particularmente sensíveis à escala do modelo. O reconhecimento de imagens médicas, o controle de qualidade industrial e os sistemas de condução autônoma requerem simultaneamente uma ampla base geral de conhecimento e especialização profunda para um domínio específico. O método de expansão por módulos especializados permite resolver esse compromisso: pegar um modelo geral poderoso e construir blocos especializados por cima para uma tarefa específica.

Para equipes corporativas que possuem modelos já treinados em dados proprietários, isso significa a possibilidade de atualizar o sistema sem perder a especificidade corporativa e sem precisar passar novamente pelo ciclo completo de coleta de dados e treinamento.

O que isso significa

Se o método de expansão com módulos especializados provar eficácia prática, ele poderá mudar a lógica de desenvolvimento dos sistemas corporativos de AI: em vez de reinicializações custosas a cada alguns anos — crescimento incremental, no qual cada versão do modelo se torna a base para a próxima.