TraceSpec aumentó el throughput de DSpark para agentes LLM en 12,5–22,6%

Un equipo de Renmin University of China y Huawei ha presentado TraceSpec, un paquete formado por un conjunto de evaluación y un método de entrenamiento del modelo borrador en la decodificación especulativa de agentes. La idea parte de que un agente hace decenas de llamadas al modelo sobre un historial creciente de razonamientos, acciones y respuestas de herramientas, y de que la habitual métrica media de aceptación de tokens mezcla decisiones muy distintas. TraceSpec analiza esas decisiones por separado y después entrena el borrador en los puntos donde con más frecuencia discrepa del modelo objetivo. En Qwen3 de 4B, 8B y 14B, con dos temperaturas, el throughput en modo de repetición creció 12,5–22,6% respecto a la base DSpark.

Por qué engaña la métrica media

Los autores midieron primero cómo se comporta la decodificación especulativa en el trabajo real de un agente. Usaron dos escenarios: BrowseComp-Plus (búsqueda de respuestas en documentos web) y SWE-bench Verified (corrección de errores reales en repositorios). Con DSpark y Qwen3-8B, la longitud media aceptada en navegación web subió de 3,633 tokens por ronda con un contexto de hasta 2k a 5,479 con un contexto de 16k–32k. En ese mismo intervalo, el throughput cayó de 82,73 a 22,54 tokens por segundo. En ingeniería de software bajó de 73,83 a 28,19 tokens por segundo.

A primera vista parece que «el contexto largo ayuda al borrador». Pero cuando los investigadores compararon acciones tardías equiparables de navegación dentro de las mismas tareas, la aceptación, por el contrario, disminuía. El aumento de la métrica media se explica por la composición de las llamadas: en los historiales largos hay más consultas cortas y predecibles a herramientas. En el escenario SWE la curva ni siquiera es monótona: la longitud aceptada alcanza su máximo en 8k–16k y cae en 16k–32k en los tres métodos probados: DFlash, EAGLE-3 y DSpark.

Cómo se estructuran el corpus y el entrenamiento

Para una comparación justa se creó TraceSpec-Traj: 10 000 estados de entrenamiento y 2 500 de prueba, repartidos a partes iguales entre investigación web e ingeniería de software. Un estado es el historial previo al siguiente turno del asistente, junto con su fase (planificación, acción, reflexión, respuesta final), la longitud del prefijo y la posición en la trayectoria. El corpus cubre las 40 combinaciones de dos dominios, cinco rangos de contexto y cuatro fases. Las trayectorias proceden de DeepResearch-traj, los datos de Nebius SWE-agent y las colecciones de R2E-Gym; las tareas de las partes de entrenamiento y de prueba no se solapan. En la repetición, los cinco métodos base reciben los mismos prefijos guardados.

TraceSpec conserva la arquitectura y la función de destilación de DSpark. Cambian los datos y su peso en el entrenamiento. En lugar de las respuestas finales, el borrador se entrena con todos los turnos intermedios de las trayectorias generadas por el modelo objetivo.

Para cada estado se estima la brecha de aceptación con una corrección por prefijo: una discrepancia temprana corta la cadena de tokens aceptados consecutivamente, por lo que su peso es mayor. La estimación se suaviza por contexto, fase, tipo de tarea y estado de la herramienta. El presupuesto de predicciones es fijo, pero las consultas cortas a herramientas y los razonamientos largos generan un número distinto de predicciones, por lo que la muestra se normaliza por número de eventos.

Qué mostraron los experimentos y dónde están los límites

Los autores compararon TraceSpec con cinco métodos base en 108 configuraciones. En la repetición lidera las 24 comparaciones por fases. En throughput de generación supera a DSpark en 15 de 18 ajustes, es decir, la mejora no se da en todos. Entre los métodos base, DSpark mostró la mayor longitud aceptada en las 18 comparaciones, y al pasar de la temperatura 0 a 1 la longitud aceptada cae en todos ellos.

Las ablaciones en Qwen3-4B muestran la contribución de cada componente. La asignación adaptativa del presupuesto eleva la longitud aceptada entre 3,3 y 10,0% frente al entrenamiento fijo con turnos completos. Las comparaciones adicionales confirman la utilidad de las condiciones de estado y del cómputo de tokens aceptados consecutivos.

También se aprecian las limitaciones. La mejora principal de 12,5–22,6% se midió en la repetición de prefijos guardados, no en la latencia de extremo a extremo de los episodios. Solo se probaron modelos Qwen3 y dos escenarios: navegación web y programación. El fragmento disponible del artículo se interrumpe en el análisis del coste de los episodios, así que aquí no se puede confirmar la ganancia de extremo a extremo en el tiempo de la tarea. La conclusión práctica para quienes operan agentes: antes de ajustar un borrador, conviene desglosar la aceptación por fases y por posición en la trayectoria. Los autores han publicado el código y los recursos en GitHub, en el repositorio Robot2050/TraceSpec.