Stanford y Together AI enseñan a un LLM a escribir a partir de un plan: generación hasta 31 veces más rápida

Un equipo de Stanford y Together AI ha propuesto un método de generación de texto que no encaja ni en la autorregresión ni en la difusión. El modelo esboza primero una especie de «índice» de la respuesta y luego lo va completando con detalles paso a paso. Según los autores, este enfoque acelera la generación hasta 31 veces. Lo informó el medio chino Jiqizhixin.

De dónde sale la idea

El método se basa en VAR (Visual Autoregressive Modeling), un trabajo que recibió el premio al mejor artículo de NeurIPS 2024. En generación de imágenes, VAR abandonó el recorrido clásico de la imagen por píxeles o tokens. En su lugar, el modelo predice la «siguiente escala»: primero una versión muy aproximada del fotograma y después versiones cada vez más detalladas. Cada paso refina el anterior, y dentro de una misma escala los tokens pueden calcularse en paralelo.

Los investigadores de Stanford y los ingenieros de Together AI han trasladado este principio al texto. En pocas palabras, se trata de una generación «de arriba abajo»: primero la estructura y los significados clave, después las palabras concretas.

En qué se diferencia de los esquemas habituales

Los LLM actuales escriben de izquierda a derecha, token a token. Cada palabra depende de todas las anteriores, y eso limita seriamente la velocidad: cada pasada produce un solo token, por muchas GPU que haya en el rack. Los modelos de lenguaje de difusión intentan sortear esta limitación. Parten de «ruido» o de texto enmascarado y lo van aclarando de forma iterativa, en su totalidad. Pero este camino tiene sus propios problemas de calidad y de control sobre la longitud de la respuesta.

La tercera vía que describen los autores toma elementos distintos de ambos esquemas. Como en la autorregresión, el proceso sigue un orden claro, solo que avanza por niveles de detalle y no por posiciones en la línea. Como en la difusión, en cada paso se actualizan muchos tokens a la vez. De ahí viene la ganancia de velocidad declarada.

La participación de Together AI resulta reveladora. La compañía gana dinero con la inferencia de modelos abiertos, y para ella cada pasada por el modelo que se ahorra se traduce en dinero. Hoy, la aceleración de la generación no depende de la cantidad de FLOPS, sino de la naturaleza secuencial de la decodificación.

Parámetros clave

• Autores: Stanford University y Together AI
• Idea de partida: «predicción de la siguiente escala» de VAR (NeurIPS 2024, mejor artículo)
• Principio: primero un plan o borrador aproximado del texto, después refinamiento por niveles
• Aceleración declarada: hasta 31x
• Posicionamiento: tercer paradigma junto a la autorregresión y la difusión

Qué falta en el anuncio

En el fragmento disponible de la publicación no quedan claras varias cuestiones de las que depende toda la valoración. No se indica la línea base con la que se comparó la mejora de 31 veces. Una cosa es compararla con un token a token convencional sin optimizaciones, y otra con una inferencia moderna basada en decodificación especulativa y batching. Tampoco hay datos sobre el tamaño de los modelos, la longitud de los textos ni la calidad en benchmarks estándar. La cifra de «hasta 31 veces» conviene leerla como el mejor caso, no como el típico.

Hay además una cuestión de arquitectura. En las imágenes, las escalas surgen de forma natural: una versión reducida de una imagen sigue siendo una imagen. El texto no tiene una «resolución gruesa», y cómo definen los autores los niveles del plan será el principal objeto de verificación.

Qué deben vigilar los profesionales

Por ahora es un trabajo de investigación, no un producto, y es pronto para apostar por él en producción. Aun así, conviene seguirlo. Cuando se publique el artículo con el código, tendrá sentido fijarse en tres cosas: la calidad en tareas de razonamiento largo y de código, donde un error en el plan estropea todo lo demás; la estabilidad al seguir instrucciones; y la aceleración real en las mismas GPU con una calidad comparable.

Si la ganancia se mantiene en respuestas de miles de tokens, los ingenieros dispondrán de una nueva palanca además de la cuantización y la decodificación especulativa. Si no, quedará un experimento curioso que muestra que las ideas de la visión por computador se trasladan bastante bien al lenguaje.