Wildberries redujo el tiempo de respuesta de su asistente de IA de 10,9 a 3,6 s con DFlash 2
Por cada mensaje, el asistente de Wildberries realiza unas 26 llamadas a un LLM, y el usuario espera toda la cadena. El equipo incorporó DFlash 2: un pequeño modelo borrador adivina los tokens siguientes y el modelo grande los verifica en una sola pasada. En producción, la mediana del tiempo de procesamiento de un mensaje bajó de 10,9 a 3,6 s, aunque no solo cambió la decodificación. Para las respuestas JSON cortas resultan más ventajosos los borradores paralelos. En el banco de pruebas, los líderes aceleraron el turno al doble, y con 128 usuarios, 1,4 veces. EAGLE-3 fue entre un 11 y un 23 % más lento que DFlash, porque su borrador se construye token a token. La cabeza MTP del modelo, reentrenada con datos del dominio, logra ×1,7–1,8 frente a ×2.
Procesado por IA desde Habr AI; editado por Hamidun News
Cuando escribes a un asistente de IA en una tienda, detrás de cada mensaje hay toda una cadena de llamadas a un modelo de lenguaje. El asistente de compras de Wildberries hace en promedio unas 26: analiza el contexto, extrae las preferencias, genera consultas de búsqueda, selecciona filtros y, solo después, redacta la respuesta. Algunas llamadas se ejecutan en paralelo, pero el usuario espera la cadena completa.
Para reducir esa espera, el equipo pasó el asistente a la decodificación especulativa. La idea es sencilla: un modelo borrador (drafter) adivina por adelantado varios tokens siguientes, y el modelo grande verifica la conjetura en una sola pasada. En producción, tras adoptar el método DFlash 2, la mediana del tiempo de procesamiento de un mensaje bajó de 10,9 a 3,6 segundos.
Pero primero Wildberries comparó siete métodos en un mismo banco de pruebas.
¿Por qué verificar las conjeturas compensa?
Generar texto con un modelo grande no está limitado por el cálculo, sino por la memoria. Para producir un token, la GPU lee todos los pesos que intervienen, pero calcula muy poco. Si se le pasan de golpe ocho tokens de entrada, la pasada cuesta casi lo mismo, porque los pesos se leen una sola vez.
Por eso el borrador propone una continuación y el modelo grande acepta el tramo correcto más largo. En el primer error, pone su propio token. Con una verificación correcta, la distribución de las respuestas del modelo objetivo no cambia. Un borrador malo no estropea el texto; simplemente acierta menos. Aun así, la aceleración no está garantizada: depende del coste del borrador y de la verificación, y de la proporción de tokens aceptados. Bajo una carga alta, la ganancia se reduce, porque cada paso empieza a estar limitado por el cálculo y no por la memoria.
El perfil del asistente es inusual. La llamada media tiene un prompt de unos 5 000 tokens y una respuesta de unos 45 tokens, normalmente un JSON según un esquema. Las respuestas son cortas, pero numerosas, y están en la ruta crítica. El modelo en producción es un MoE en FP8 con atención híbrida: algunas capas usan atención lineal y otras, atención completa estándar.
Lo que mostró el banco de pruebas
No se puede medir en producción: el asistente llama a sistemas adyacentes con límites estrictos de RPS. Por eso el equipo montó un banco aislado con el mismo código, el mismo modelo y las mismas flags de vLLM. La prueba abarcó 449 turnos de 300 sesiones que no formaban parte del entrenamiento. Se midió el tiempo del turno completo bajo carga, no los tokens por segundo, porque eso es lo que percibe el usuario. Un mismo método variaba de una ejecución a otra hasta un 9 % con carga baja y hasta un 4,5 % con 128 usuarios. Los autores consideran iguales los métodos cuya diferencia cae dentro de ese margen.
Los resultados son estos:
- Los mejores son los borradores paralelos DFlash, DSpark y DFlash 2. Con carga baja, el turno es unas dos veces más rápido; con 128 usuarios simultáneos, 1,4 veces más. Entre ellos están dentro del margen de ruido.
- La cabeza MTP del propio modelo, reentrenada para el dominio, logra ×1,7–1,8 con carga baja.
- EAGLE-3 acepta casi tantos tokens por paso como DFlash, pero es entre un 11 y un 23 % más lento. Su borrador se construye de forma secuencial, mientras que el borrador paralelo lo genera en una sola pasada.
- Los borradores listos para usar funcionan sin entrenamiento. En un modelo abierto, su cabeza MTP y el DFlash público aceleran el turno entre 1,6 y 2 veces con carga baja, y entre 1,2 y 1,3 veces con 128 usuarios.
Los borradores se entrenaron con respuestas del mismo modelo que funciona en producción: predicen la continuación de ese modelo en concreto, no un texto correcto en abstracto. En cada nodo, 6 GPU alojaban los servidores vLLM con el modelo grande y otras 2 GPU entrenaban el borrador. El presupuesto piloto fue de 847 000 filas y 39 millones de tokens de respuesta.
Dónde es fácil romper producción
El hallazgo más práctico tiene que ver con los métodos sin entrenamiento. En vLLM 0.30, n-gram y suffix decoding rompen las respuestas en un modelo híbrido con atención lineal. Los autores encontraron el patrón y diseñaron un experimento de control. La causa es que la atención lineal guarda un único estado de tamaño fijo, del que no se pueden eliminar con precisión y a bajo coste las contribuciones de los tokens rechazados. Las ramas de código para esas capas en vLLM son más recientes que la ruta de la caché KV estándar. Allí el equipo encontró dos limitaciones: una rompe las respuestas y la otra impide activar la verificación adaptativa.
Hay también una salvedad honesta. La caída de la mediana de 10,9 a 3,6 s es el resultado de la transición en producción, no de un experimento limpio: no cambió solo la decodificación.
La conclusión práctica para equipos con sistemas similares es la siguiente. Si tienen un modelo híbrido y vLLM, comparen la proporción de JSON roto entre la base y cada método. La especulación correcta no debe alterarla. Para respuestas cortas y estructuradas, conviene mirar los borradores paralelos. Y es preferible reentrenar el borrador propio o la cabeza MTP con las respuestas de su propio modelo.
- 28 abr 2026Wildberries & Russ describe qué nivel de madurez de datos necesitan los agentes de IA para ser precisos
- 2 may 2026Cómo ayuda la IA a escribir tests unitarios: el caso de Wildberries
- 30 oct 2026Inclusion AI acelera hasta 6,9 veces la generación de los LLM con un árbol de borradores
- 2 nov 2026NVIDIA lanza Nemotron 3.5 Bolt E4B: 4 GB de memoria y 133 tokens por segundo en una RTX 5070
Preguntas frecuentes sobre la noticia
¿Por qué verificar las conjeturas compensa?
Generar texto con un modelo grande no está limitado por el cálculo, sino por la memoria. Para producir un token, la GPU lee todos los pesos que intervienen, pero calcula muy poco. Si se le pasan de golpe ocho tokens de entrada, la pasada cuesta casi lo mismo, porque los pesos se leen una sola vez. Por eso el borrador propone una continuación y el modelo grande acepta el tramo correcto más largo. En el primer error, pone su propio token.
¿Qué se sabe sobre Lo que mostró el banco de pruebas?
No se puede medir en producción: el asistente llama a sistemas adyacentes con límites estrictos de RPS. Por eso el equipo montó un banco aislado con el mismo código, el mismo modelo y las mismas flags de vLLM. La prueba abarcó 449 turnos de 300 sesiones que no formaban parte del entrenamiento. Se midió el tiempo del turno completo bajo carga, no los tokens por segundo, porque eso es lo que percibe el usuario.
Dónde es fácil romper producción?
El hallazgo más práctico tiene que ver con los métodos sin entrenamiento. En vLLM 0.30, n-gram y suffix decoding rompen las respuestas en un modelo híbrido con atención lineal. Los autores encontraron el patrón y diseñaron un experimento de control. La causa es que la atención lineal guarda un único estado de tamaño fijo, del que no se pueden eliminar con precisión y a bajo coste las contribuciones de los tokens rechazados.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.