DAGFormer planifica las conexiones entre capas y reduce la perplejidad entre un 17 y un 25%

Un grupo de investigadores ha presentado DAGFormer, un modelo de lenguaje basado en transformer en el que las conexiones adicionales entre capas las planifica un predictor de topología, entrenado junto con la red principal. En los pares OLMo-2 de entre 75M y 1B de parámetros, la perplejidad en WikiText-2 cae un 17–25% frente al transformer vanilla. La versión de 1B parámetros, entrenada con 5.000 millones de tokens, supera a la vanilla entrenada con 10.000 millones. El trabajo se ha publicado en Hugging Face Daily Papers.

Cómo funciona el enrutamiento

En un transformer convencional, las capas se conectan mediante conexiones residuales: cada bloque recibe la salida del anterior más un «skip». DAGFormer añade a este esquema conexiones directas de las capas iniciales a las posteriores, de modo que la red se convierte en un grafo acíclico dirigido. La fuerza de cada conexión no es fija. La determina el predictor de topología a partir de los tokens de entrada, así que la ruta a través de las capas puede variar según el texto.

La principal diferencia con las arquitecturas existentes de cross-layer routing está en la escala de la planificación. Los enfoques anteriores configuran las conexiones de cada capa por separado, sin una visión de conjunto. DAGFormer planifica el enrutamiento de todo el modelo en una sola pasada, y los autores atribuyen a eso la mejora.

Qué muestran las mediciones

La comparación se hizo con pares OLMo-2 equivalentes, con los mismos datos y el mismo presupuesto. Las cifras clave del artículo:

• la perplejidad en WikiText-2 es un 17–25% menor que la del transformer vanilla (tamaños de 75M a 1B);
• el DAGFormer de 1B con 5B tokens supera al modelo vanilla con 10B tokens;
• menor perplejidad entre cuatro baselines de routing en 75M, 300M y 1B;
• en 13 tareas (sentido común, ciencia, comprensión lectora, matemáticas), la precisión media es entre 2,0 y 2,5 puntos superior con 300M y 1B;
• tras el instruction finetuning, la tasa de victorias en AlpacaEval frente al modelo vanilla es del 63–70%, superior a la de cualquier baseline de routing;
• en el pruning estructural, DAGFormer es el que menos se degrada en cinco de las seis configuraciones.

El resultado más práctico es, probablemente, la eficiencia en datos: la mitad de tokens con una calidad comparable o mejor. El pruning también merece atención, porque es lo que los equipos encuentran al comprimir modelos para producción. La mejora de precisión en tareas downstream es más modesta que la de perplejidad: dos puntos de media se notan, pero no son radicales. AlpacaEval se basa en la evaluación de otro modelo que actúa como juez, así que conviene leer el 63–70% como una señal fuerte, no como un veredicto definitivo.

Qué comprobar antes de adoptarlo

La descripción deja tres cuestiones sin aclarar. La primera es el coste del propio predictor: cuántos parámetros, cuánta memoria y cuánta latencia añade en inferencia. La segunda es la escala: los experimentos terminan en 1B, y extrapolar el resultado a 7B o más sigue siendo una hipótesis. La otra mitad de esa cuestión es si la ventaja sobre los baselines se mantendrá con contextos largos y mezclas de expertos. La tercera es si esta topología se puede incorporar a checkpoints ya entrenados o si la arquitectura hay que diseñarla desde cero. El texto no dice nada al respecto.

Para los equipos que entrenan modelos pequeños desde cero y tienen un presupuesto de tokens limitado, el trabajo ofrece una idea concreta que replicar: sustituir las conexiones fijas por conexiones planificadas y comparar con su propio dataset. Quienes trabajan con pesos abiertos ya entrenados, por ahora, pueden limitarse a seguir la publicación del código y las réplicas independientes. Si la ventaja se mantiene en 7B y más, y la sobrecarga resulta pequeña, el enfoque se convertirá en un candidato destacado para el repertorio estándar de técnicas arquitectónicas.