T-Tech desarrolla LIMe, un método que entrena modelos de lenguaje con un 15% menos de cómputo

Investigadores de T-Tech presentaron en la conferencia EMNLP 2026 el método LIMe, que permite entrenar modelos de lenguaje con aproximadamente un 15% menos de cómputo. La cifra sale de este experimento: un modelo de aproximadamente mil millones de parámetros con LIMe alcanzó el mismo error de entrenamiento que la LLaMA base, pero con un 15% menos de coste computacional. El error de entrenamiento (training loss) indica cuánto se equivoca el modelo al predecir los datos durante el entrenamiento. La calidad en los benchmarks no se resintió. EMNLP es una conferencia de categoría A* y este año se celebra en Hungría.

Por qué los tokens se parecen cada vez más entre sí

En un transformer, cada capa depende únicamente del estado oculto de la capa anterior. El estado oculto es un conjunto de números en el que el modelo guarda su representación actual de cada token. Todo el contexto debe pasar por él.

Según los autores, esto genera una presión hacia el colapso de representaciones. Los tokens se vuelven demasiado parecidos, se pierden las diferencias entre ellos y, con ellas, también calidad.

Cómo funciona LIMe

LIMe es la abreviatura de Layer-Integrated Memory. Se trata de una extensión ligera del mecanismo de atención. El modelo ya almacena para cada capa búferes key-value: las claves y los valores con los que trabajan las cabezas de atención. LIMe aprovecha esos búferes ya disponibles y les añade pesos de enrutamiento entrenables. Cada cabeza y cada capa tienen los suyos.

Gracias a ellos, una cabeza de atención puede recuperar representaciones no solo de la capa anterior, sino también de capas más tempranas, y mezclarlas. El tamaño del estado oculto no crece y los cálculos ya realizados se reutilizan.

Qué mostraron los experimentos

Las pruebas se hicieron con modelos de aproximadamente mil millones de parámetros. Estos son los resultados:

• el mismo error de entrenamiento que la LLaMA base, con un 15% menos de cómputo;
• en benchmarks de modelado del lenguaje y de razonamiento de varios pasos, LIMe superó a otros enfoques;
• la mejora más notable se obtuvo en tareas aritméticas sintéticas y en arquitecturas con muchas capas.

Los autores también comprobaron la causa. En LIMe, la entropía de los vectores de valor es mayor (es decir, los vectores de valor contienen información más variada) y los tokens se separan mejor. Según los autores, el problema principal, el colapso de representaciones, efectivamente se atenúa.

Además, los autores analizaron los pesos de enrutamiento aprendidos. Muestran que el modelo reutiliza de forma sistemática tanto rasgos locales como lejanos.

Dónde consultarlo

La descripción del método está publicada en arXiv (https://arxiv.org/abs/2502.09245). Los autores han publicado la implementación completa en GitHub: https://github.com/corl-team/lime.