Seq-Drifting genera texto en un solo paso: perplexity de 36,01 en LM1B

Los modelos de lenguaje de difusión generan tokens en paralelo, pero un texto de calidad sigue requiriendo muchos pasos de muestreo. Los autores de Seq-Drifting intentan eliminar esos pasos por completo: su generador toma ruido gaussiano y produce toda la secuencia de una vez, en un único paso hacia delante. En el benchmark LM1B, este modo de un solo paso logra una generative perplexity de 36,01. El preprint está en arXiv (2610.12879) y el código se ha publicado en GitHub.

Cómo funciona el campo de deriva

En los LM de difusión habituales, la señal de entrenamiento de cada posición se toma directamente del token que ocupa ese lugar en la secuencia de entrenamiento. El modelo aprende a reconstruir un fragmento concreto de los datos, y la calidad llega a través de las iteraciones: cada paso refina el anterior.

Seq-Drifting actúa de otro modo. El método aplica drifting a secuencias de representaciones continuas de tokens y enseña directamente una transformación de ruido a texto. Para ello construye un campo de deriva en el que los objetivos de cada posición dependen del contexto generado en ese momento, en lugar de venir fijados de antemano por un único token de referencia. En cada posición actúan dos fuerzas. La atracción dirige la salida hacia un conjunto de representaciones de tokens plausibles según el contexto. La repulsión resuelve dos problemas a la vez: impide que las muestras colapsen unas sobre otras y suprime las repeticiones dentro de una misma secuencia.

El campo solo se necesita durante el entrenamiento. En inferencia, el generador no recurre a ninguna iteración y emite todos los tokens de forma conjunta en un solo paso.

Qué muestran los experimentos

El resultado principal corresponde a LM1B, donde la generación en un paso alcanza una generative perplexity de 36,01. Según los autores, el modelo es competitivo tanto en generación incondicional como condicional. Además, comprobaron por separado si el enfoque funciona más allá de la escritura libre: los experimentos abarcan traducción, resumen y tareas de razonamiento.

Parámetros clave del trabajo:

• Modo de inferencia: un único paso hacia delante, todos los tokens en paralelo.
• Entrada del generador: ruido gaussiano; salida: una secuencia de representaciones continuas de tokens.
• Señal de entrenamiento: campo de deriva con atracción hacia tokens plausibles y repulsión frente al colapso y las repeticiones.
• Métrica: generative perplexity de 36,01 en LM1B.
• Tareas: generación incondicional y condicional, traducción, resumen, razonamiento.

El abstract no permite ver varios aspectos importantes. No hay una comparación numérica con baselines de difusión multipaso, no se miden latencias y no se indica con qué modelo se calculó la perplexity. Además, la generative perplexity es sensible a la elección del modelo evaluador y, por sí sola, no refleja la diversidad del texto. Estos detalles habrá que consultarlos en el artículo completo.

A quién le puede interesar

El interés práctico principal está en el coste de inferencia. Si la calidad de un LM de difusión depende del número de pasos, cada paso multiplica el coste de cada llamada al modelo. Un generador de un solo paso elimina ese multiplicador en principio, y para tareas como la traducción o el resumen, con requisitos estrictos de latencia, es un argumento de peso.

Por ahora es un resultado de investigación. LM1B se compone de frases cortas, y la validación con contextos largos, modelos más grandes y tareas de instrucciones queda pendiente. Quienes trabajan con LM de difusión deberían ejecutar el repositorio abierto y comprobar tres cosas: cómo cambia la calidad con la longitud de la secuencia, si se conserva la diversidad con un solo paso y cuánto depende el resultado de los parámetros de repulsión. Si las respuestas son favorables, Seq-Drifting se convertirá en un argumento destacado en el debate sobre si los modelos de lenguaje necesitan iteraciones en absoluto.