Un vocabulario congelado de 16 MB iguala al entrenable en LLM pequeños

En Gemma 3 270M, la tabla de embeddings ocupa 168 de los 268 millones de parámetros, es decir, casi dos tercios del modelo. Los autores de un nuevo trabajo, incluido en Hugging Face Daily Papers, se preguntaron qué aporta realmente esa tabla y la sustituyeron por una congelada: códigos de 512 bits, 16 MB y ningún parámetro entrenable. Entrenaron desde cero el cuerpo del modelo con arquitectura Gemma con 2,05 mil millones de tokens, una vez con el vocabulario habitual y otra con el congelado. En LAMBADA, HellaSwag y PIQA, la versión con la tabla congelada resultó mejor o igual. Solo ARC-Easy quedó a favor de la variante entrenable.

Por qué el vocabulario se ha convertido en la mayor partida de gasto

En los modelos pequeños, el vocabulario pesa más que todo lo demás. Los métodos de cuantización suelen dejar los embeddings en 16 bits, así que, una vez comprimido el resto de la red, es la tabla la que ocupa la mayor parte del archivo. Después, el propio vocabulario impide recortar más el modelo.

Los autores tomaron una tabla de embeddings preentrenada, la proyectaron una sola vez con análisis de componentes principales y la binarizaron según el signo. El resultado fue un conjunto de códigos de 512 bits que ocupa 16 MB. Esta tabla no cambia durante el entrenamiento y no requiere gradientes. La versión entrenable mejora en 0,20 nats la pérdida de validación, pero cuesta 2,6 veces más parámetros entrenables. En los benchmarks prácticos, esa diferencia apenas se aprecia.

Cuerpo ternario y velocidad en un portátil

A continuación, los autores combinaron el vocabulario congelado con el cuerpo ternario de BitNet b1.58. El modelo completo cabe en 46 MB y, en LAMBADA y PIQA, se mantiene al nivel del modelo en float. En la CPU de un portátil genera entre 615 y 740 tokens por segundo y ocupa 62 MB de memoria. Como comparación, el GGUF de 8 bits del modelo en float funciona en llama.cpp entre cinco y seis veces más lento y requiere siete veces más memoria.

Cifras clave del trabajo:

• Tabla de embeddings de Gemma 3 270M: 168 de 268 millones de parámetros.
• Vocabulario congelado: códigos de 512 bits, 16 MB, 0 parámetros entrenables.
• Datos de entrenamiento: 2,05 mil millones de tokens, los mismos para ambas versiones.
• Coste de la tabla entrenable: 2,6 veces más parámetros entrenables a cambio de 0,20 nats de pérdida.
• Modelo ternario completo: 46 MB, 62 MB de memoria en ejecución.
• Velocidad en la CPU de un portátil: de 615 a 740 tokens por segundo.

Palabras raras y tokens nuevos

Lo más llamativo son los resultados en la cola de la distribución. En palabras raras, la tabla congelada gana entre 1,7 y 2,3 nats. Aún más interesante es el comportamiento al ampliar el vocabulario: tras el entrenamiento se añadieron 10 000 palabras nuevas. El modelo con códigos congelados perdió alrededor del 3%, mientras que con la tabla entrenable la calidad se desplomó un 43%. La razón es que los tokens nuevos reciben códigos del mismo espacio en el que el modelo ya trabaja, en lugar de un vector al que el cuerpo no está adaptado.

También hay limitaciones. El experimento se realizó con una sola arquitectura, un corpus pequeño de 2,05 mil millones de tokens y un modelo de en torno a 270 millones de parámetros. El artículo no permite saber si el mismo efecto se mantendrá a mayor escala. Los autores subrayan que han publicado los pesos, los datos y cada respuesta de las evaluaciones, de modo que las cifras pueden comprobarse de forma independiente.

Dónde puede resultar útil

Para quienes desarrollan modelos para dispositivos sin GPU, la conclusión es sencilla: conviene tratar el tamaño del vocabulario como una partida independiente del presupuesto, y no como un subproducto de la elección del tokenizador. Si una tabla congelada mantiene la calidad en LAMBADA, HellaSwag y PIQA, los parámetros entrenables pueden destinarse al cuerpo del modelo. Un modelo de 46 MB que funciona a cientos de tokens por segundo en un portátil corriente sirve para sugerencias sin conexión, procesamiento local de texto y asistentes integrados.

Otra ventaja es la posibilidad de añadir terminología tras el entrenamiento con pérdidas casi nulas, algo importante en dominios especializados como la medicina, el derecho y el código. Antes de adoptarlo, conviene comprobar tareas como ARC-Easy, donde la tabla entrenable sigue conservando ventaja.