Nous Research acelera 2,5 veces el preentrenamiento de LLM sin cambiar la arquitectura

Nous Research ha desarrollado Token Superposition Training (TST), un innovador método de preentrenamiento en dos fases que reduce 2,5 veces el tiempo de entrenamiento de los grandes modelos de lenguaje con el mismo coste computacional, sin exigir ningún cambio en la arquitectura, el tokenizador ni el comportamiento en inferencia.

Cómo funciona Token Superposition Training

El método se basa en una idea simple pero eficaz: en la primera fase del preentrenamiento, los embeddings de tokens vecinos se promedian en grupos, o bolsas (bags). En lugar de predecir cada token por separado, el modelo trabaja con representaciones agregadas de las secuencias. Así procesa la información en bloques más grandes y acelera de forma notable el cálculo de gradientes durante la retropropagación del error. En la práctica, la primera fase enseña al modelo a encontrar patrones a un nivel de abstracción más alto.

La segunda fase es algo más corta. El modelo pasa a la predicción estándar del siguiente token, como hace habitualmente cualquier LLM. En esta etapa se adapta rápidamente a la tarea final y recupera las posibles pérdidas de calidad que hayan aparecido en la primera fase. La transición entre fases es suave y natural para una arquitectura de red neuronal, sin artefactos extraños ni incompatibilidades.

La ventaja clave de TST es que no toca la arquitectura interna del modelo. El número de parámetros no cambia, y tampoco las herramientas ni el ecosistema que lo rodean: el mismo número de pesos, el mismo tokenizador, el mismo optimizador, sea Adam, SGD u otro. En inferencia, el modelo es totalmente compatible con los sistemas de despliegue existentes. Esto es crucial para el uso industrial, donde cambiar la arquitectura puede obligar a reescribir mucho código.

En qué modelos se ha probado la nueva técnica

Nous Research probó TST en modelos de distintas escalas y arquitecturas para comprobar que el enfoque es universal:

• 270M de parámetros (minimodelos para experimentos rápidos)
• 600M de parámetros (un tamaño estándar para proyectos de investigación)
• 3B de parámetros (arquitectura densa, dense models)
• 10B de parámetros con arquitectura MoE (Mixture of Experts)

En todas estas escalas, el método mostró una aceleración constante de 2,5 veces con el mismo coste computacional, medido en FLOP (floating point operations). Los resultados son alentadores: no es un truco de laboratorio que funcione solo con un tamaño o una arquitectura concretos, sino un enfoque universal que escala bien. Por tanto, puede aplicarse de forma amplia.

Por qué es importante para la industria

El preentrenamiento de LLM es la etapa más intensiva en recursos y más costosa del desarrollo de modelos. Entrenar un solo modelo grande exige miles de horas de clústeres de GPU, y los gastos de electricidad y hardware ascienden a millones de dólares. Una aceleración de 2,5 veces no es una simple mejora del 5-10 %, sino una reducción seria y alcanzable de los costes totales, con efecto directo en la economía del desarrollo.

Para las startups y los equipos pequeños, supone la posibilidad de entrenar modelos de calidad y competitivos con un presupuesto inicial menor. Para grandes laboratorios como Meta*, Mistral u OpenAI, implica poder experimentar con muchas más variantes de arquitectura, hiperparámetros y estrategias de entrenamiento sobre la misma infraestructura. Esto amplía el margen de experimentación, acelera el ritmo de innovación y permite probar ideas nuevas con mayor rapidez.

Qué significa

Token Superposition Training demuestra que, incluso en un área tan estudiada como el preentrenamiento, existen formas simples pero potentes de ahorrar cómputo. Puede inspirar a otros investigadores a buscar optimizaciones similares en distintas etapas del entrenamiento, desde la inicialización de pesos hasta los learning rate schedules adaptativos. Para la industria, es una señal positiva de que la frontera entre la investigación fundamental y la aplicación industrial es cada vez más difusa, y de que las buenas ideas llegan rápido a producción.

*Meta está catalogada como organización extremista y prohibida en Rusia.