Los LLM de difusión necesitan el triple de pasadas para escribir un relato que para corregir gramática

Los modelos de lenguaje de difusión atraen porque emiten varios tokens en una sola pasada hacia delante y pueden escribir más rápido que los autorregresivos. Un nuevo análisis de dos de estos modelos en 10 tareas muestra que su velocidad es variable. En DiffusionGemma, un token para componer un relato requiere más del triple de pasadas que uno para corregir gramática. Dos respuestas con la misma longitud en tokens pueden costar cómputos completamente distintos.

Por qué copiar es más barato que inventar

El mecanismo es este: durante la generación, el modelo de difusión decide por sí mismo cuántas pasadas gasta. Si una parte del texto ya está clara, fija muchos tokens de golpe. Si no, hace más iteraciones y va afinando.

Los autores compararon el coste por tarea y obtuvieron un patrón nítido. El texto copiado de la entrada o editado levemente sale barato. Una carta abierta resulta cara. La corrección gramatical consiste casi por completo en material ya conocido, mientras que un relato hay que inventarlo desde cero.

La diferencia se explica por dos propiedades del texto de salida:

• la proporción de material nuevo respecto a la entrada;
• la rareza de las palabras dentro de cada tarea.

Cuanto más nuevo e inusual es el contenido de la respuesta, más pasadas gasta el modelo en cada token.

La misma lógica opera dentro de una sola respuesta cuando el modelo razona primero. Si la respuesta final repite su propia cadena de razonamiento, resulta barata. Si añade algo nuevo, el coste sube. Es decir, la ventaja de cómputo de la difusión depende de qué parte de la salida ya está determinada.

El impuesto de la tokenización en la generación multilingüe

Otro resultado afecta a los idiomas. Aquellos que el tokenizador fragmenta en muchas piezas requieren más pasadas por token. Además, ya pagan más por el simple volumen: un texto en ese idioma contiene más tokens. El resultado es una carga doble, y la diferencia en el coste de servicio entre idiomas es aún mayor de lo que sugiere la longitud de las secuencias.

Para las empresas que venden un mismo modelo en decenas de mercados, esto tiene consecuencias prácticas. Si la inferencia se basa en difusión, contar por número de tokens subestima el coste real de los idiomas muy tokenizados.

La velocidad de decodificación como señal de acierto

La parte más aplicable del trabajo tiene que ver con la calidad. En un mismo problema matemático, las respuestas incorrectas requieren más pasadas por token que las correctas. El modelo parece «titubear» allí donde no está seguro.

Los autores usaron este hecho como señal: ponderaron las respuestas candidatas según la velocidad de decodificación. Este enfoque superó a la simple votación por mayoría hasta en 4,2 puntos. No requiere cómputo adicional, porque el número de pasadas ya se conoce durante la generación normal.

Principales métricas del estudio:

• modelos: dos de difusión, entre ellos DiffusionGemma;
• conjunto: 10 tareas;
• relato frente a corrección gramatical: más de 3 veces más pasadas por token;
• factores de coste: novedad respecto a la entrada y rareza de las palabras en la tarea;
• mejora de la ponderación por velocidad sobre majority voting: hasta 4,2 puntos sin coste adicional.

Qué cambiar en la inferencia y la planificación

Primero: no se puede presupuestar la inferencia de difusión según la longitud de la salida. Hay que evaluar el tipo de tarea. La corrección, la paráfrasis, el formateo y la extracción de datos estructurados a partir de la entrada caen en la zona barata. La generación de textos creativos largos cae en la cara, y un servicio con un perfil de carga amplio tendrá una gran dispersión de latencias y costes.

Segundo: el número de pasadas puede registrarse como telemetría. Un pico en una consulta concreta indica un riesgo alto de error, y es razonable enviar esas respuestas a una nueva verificación, a un remuestreo o a una persona. En las tareas de autoconsistencia, donde se generan varios candidatos, la ponderación por velocidad aporta una mejora sin coste añadido.

Tercero: al calcular el precio de productos multilingües hay que tener en cuenta ambos efectos, el número de tokens y el número de pasadas por token. De lo contrario, los idiomas con tokenización pesada acabarán siendo deficitarios sin que nadie lo note.

La limitación del estudio es evidente: se trata de dos modelos y 10 tareas. Pero la dirección está clara. Los LLM de difusión ganan donde una parte considerable de la respuesta es predecible, y el propio proceso de decodificación contiene información que casi nadie aprovecha todavía.