T-Tech cria o método LIMe, que treina modelos de linguagem com 15% menos computação

Pesquisadores da T-Tech apresentaram na conferência EMNLP 2026 o método LIMe, que permite treinar modelos de linguagem com cerca de 15% menos computação. O número vem do seguinte resultado: um modelo de cerca de um bilhão de parâmetros com LIMe atingiu o mesmo erro de treino do LLaMA base, mas com um custo computacional 15% menor. O erro de treino (training loss) indica o quanto o modelo erra ao prever os dados durante o treinamento. A qualidade nos benchmarks não caiu. A EMNLP é uma conferência de nível A* e, neste ano, acontece na Hungria.

Por que os tokens ficam parecidos entre si

Em um transformer, cada camada se baseia apenas no estado oculto da camada anterior. O estado oculto é um conjunto de números em que o modelo guarda sua representação atual de cada token. Todo o contexto precisa passar por ele.

Os autores mostram que isso cria uma pressão em direção ao colapso de representações. Os tokens ficam parecidos demais, as diferenças entre eles se perdem e, com elas, a qualidade também diminui.

Como funciona o LIMe

LIMe é a abreviação de Layer-Integrated Memory. Trata-se de uma extensão leve do mecanismo de atenção. Para cada camada, o modelo já armazena buffers de key-value: as chaves e os valores com que as cabeças de atenção trabalham. O LIMe aproveita esses buffers prontos e acrescenta a eles pesos de roteamento treináveis. Cada cabeça e cada camada têm os seus próprios pesos.

Com eles, a cabeça de atenção pode buscar representações não só da camada anterior, mas também de camadas mais antigas, e combiná-las. O tamanho do estado oculto não aumenta, e os cálculos já realizados são reaproveitados.

O que os experimentos mostraram

Os testes foram feitos em modelos de cerca de um bilhão de parâmetros. Os resultados:

• mesmo erro de treino do LLaMA base, com custo 15% menor;
• em benchmarks de modelagem de linguagem e de raciocínio em várias etapas, o LIMe superou outras abordagens;
• o ganho mais expressivo apareceu em tarefas aritméticas sintéticas e em arquiteturas com muitas camadas.

Os autores também investigaram a causa. No LIMe, a entropia dos vetores de value é maior (ou seja, os vetores de valores carregam informação mais variada) e os tokens ficam mais separáveis. Segundo eles, o principal problema, o colapso de representações, de fato é atenuado.

Os autores também analisaram os pesos de roteamento aprendidos. Eles mostram que o modelo reutiliza de forma sistemática tanto características locais quanto distantes.

Onde ver

A descrição do método foi publicada no arXiv (https://arxiv.org/abs/2502.09245). Os autores disponibilizaram a implementação completa no GitHub: https://github.com/corl-team/lime.