ELR ensina um único modelo a rodar em loop: Koi-4B marca 18 e 29 pontos

Os autores de um preprint no arXiv propuseram o Elastic Latent Recurrence (ELR), uma receita de treinamento para modelos de linguagem em loop que, com uma única passada, não perdem para os convencionais. Em um modelo dense de 4B, o ELR com uma passada fica 0,52 ponto abaixo de uma linha de base comparável, na média de dez tarefas. No híbrido MoE 30B-A3B, fica 1,04 ponto acima. Quatro passadas somam 7,25 e 4,75 pontos, respectivamente. O pós-treinamento resultou no Koi-4B: cerca de 18 pontos no Artificial Analysis Intelligence Index com uma passada, no nível do Qwen3.5-4B, e 29 com quatro.

O imposto de uma passada

Um modelo recorrente latente aplica o mesmo bloco de camadas várias vezes seguidas. O número de repetições vira um parâmetro de ajuste: para mais velocidade, um ciclo; para mais precisão, mais ciclos. Um único checkpoint atende tanto as consultas baratas quanto as difíceis. Na teoria, é conveniente. Na prática, com uma passada esses modelos ficam bem abaixo de um modelo convencional do mesmo tamanho. Os autores chamam isso de "imposto de uma passada". Enquanto ele existir, quando a exigência de latência é rígida, é mais sensato usar um modelo não recorrente separado, e a ideia de um checkpoint flexível perde o sentido.

O ELR mira justamente esse imposto. Com uma passada, o modelo custa o mesmo que um convencional para servir e, treinado com os mesmos dados, chega a uma precisão comparável. Cada ciclo seguinte compra precisão extra com computação de inferência adicional.

Três decisões e alguns truques de engenharia

A receita se apoia em três decisões. A primeira: uma atualização de estado com gate e tamanho de passo treinável. A segunda: o número de ciclos é misturado dentro de cada passo do otimizador, em vez de fixado para toda a rodada de treinamento. A terceira: cada passada recebe um condicionamento na forma do índice do ciclo e do orçamento total. As duas primeiras preservam a qualidade com um ciclo; a terceira reduz o loss em cada ciclo adicional.

Os autores também trataram do custo de treinamento. A profundidade mista pode ser ativada em uma etapa tardia do pré-treinamento. Se, na hora da troca, for adicionado um condicionamento com inicialização zero, esse cronograma tardio alcança um loss menor do que o treinamento misto desde o início. Em modelos MoE, reaproveitar nos ciclos seguintes as rotas de especialistas do primeiro ciclo reduz em 11,7% o tempo da atualização mista, sem perda mensurável de precisão. Na inferência, guardar o KV-cache de atenção apenas do último ciclo mantém a memória no nível de uma passada e preserva a maior parte do ganho dos ciclos adicionais.

Os números

• 4B dense: −0,52 ponto em relação à linha de base com um ciclo, +7,25 com quatro.
• 30B-A3B MoE (híbrido): +1,04 ponto com um ciclo, +4,75 com quatro.
• MoE, reaproveitamento das rotas do primeiro ciclo: −11,7% no tempo da atualização mista.
• KV-cache do último ciclo: memória de atenção equivalente à de uma passada.
• Koi-4B: cerca de 18 no Artificial Analysis Intelligence Index com um ciclo (estimativa) e 29 com quatro.

Onde isso pode ser útil

O principal efeito prático está no serving. Hoje, as equipes que precisam de resposta rápida e de raciocínio profundo mantêm dois modelos ou um roteador entre tamanhos diferentes. Com um modelo no estilo ELR, basta um conjunto de pesos: chat e autocompletar rodam com um ciclo, tarefas complexas com quatro. Há menos checkpoints diferentes na memória e o deploy fica mais simples. O salto de 18 para 29 no AA Index do Koi-4B mostra que um modelo pequeno, com margem de ciclos, pode se aproximar de classes mais pesadas.

Há limitações. Os ciclos adicionais custam computação, e as medições foram feitas pelos próprios autores, em duas arquiteturas e em um índice de avaliação. Ainda não há testes independentes em cargas reais, e não está claro até que ponto a receita escala além de 30B. Mesmo assim, para quem escolhe entre velocidade e qualidade em hardware local ou em uma nuvem cara, vale manter a abordagem no radar: ela remove o principal argumento contra os modelos em loop.