FineServe: un dataset de cargas reales de servicio de LLM procedente de un marketplace global

Un grupo de investigadores ha presentado FineServe, un dataset abierto de cargas reales de servicio de grandes modelos de lenguaje (LLM). Los datos proceden de un marketplace comercial global y el trabajo se publicó en arXiv en julio de 2026 (arXiv:2607.19349). Junto con el dataset, los autores han liberado un generador de cargas para el benchmarking de plataformas de servicio multimodelo.

Qué es FineServe

FineServe es un dataset «in-the-wild» de cargas reales de servidor, capturado en un marketplace comercial de LLM en funcionamiento, donde se sirven en paralelo distintos modelos y tareas. A diferencia de los datos sintéticos, refleja cómo llegan realmente las solicitudes y cómo se comportan los tokens en modelos heterogéneos.

• Tipo: dataset multimodelo de cargas de servicio de LLM
• Origen de los datos: marketplace comercial global de LLM
• Publicación: arXiv:2607.19349, julio de 2026
• Componentes: el propio dataset y un generador de cargas (workload generator)
• Acceso: código y datos abiertos en GitHub

Por qué no sirven las trazas proxy

Los estudios actuales sobre servicio de LLM se apoyan en trazas proxy o en generalizaciones de grano grueso, que no capturan la heterogeneidad de las plataformas multimodelo modernas. FineServe cubre ese vacío: los autores analizaron la dinámica de llegada de solicitudes y el comportamiento de los tokens en tres ejes a la vez —la arquitectura del modelo, su escala y el tipo de tarea— y encontraron regímenes de fluctuación de la carga radicalmente distintos.

Esto importa a los ingenieros que mantienen un LLM como servicio online always-on: lograr baja latencia y alto throughput con una demanda irregular exige conocer con precisión el perfil real del tráfico, no una imagen promediada.

Qué aporta el generador de cargas

El generador de cargas de FineServe combina perfiles de grano fino y «conscientes del modelo» en mezclas configurables para un escenario de benchmark concreto. Es decir, un equipo puede reproducir una carga cercana a la de producción y probar con ella estrategias de enrutamiento, planificación y cálculo de capacidad.

«Al revelar estas dinámicas de carga de grano fino,

FineServe ofrece una base realista para evaluar estrategias de enrutamiento, planificación y planificación de capacidad en los sistemas de servicio de LLM», señala el resumen del trabajo en arXiv.

Según los autores, el valor clave está precisamente en la heterogeneidad: los distintos modelos y tipos de solicitud se comportan de forma diferente, y un benchmark promediado lo oculta.

Qué significa

Para quienes operan plataformas multimodelo (y AlpinaGPT y otros agregadores similares pertenecen exactamente a esta clase de sistemas), FineServe es una razón para revisar con qué trazas se prueba su infraestructura. Un perfil de carga realista influye directamente en la elección del enrutamiento y en cuántas GPU hacen falta de verdad para atender la demanda pico.

Preguntas frecuentes

¿Qué es FineServe?

FineServe es un dataset abierto de cargas reales de servicio de LLM, acompañado de un generador de cargas, presentado en arXiv (arXiv:2607.19349) en julio de 2026. Los datos se recogieron en un marketplace comercial global de modelos en funcionamiento.

¿En qué se diferencia FineServe de las trazas proxy?

Las trazas proxy y las generalizaciones de grano grueso no transmiten la heterogeneidad de las plataformas multimodelo. FineServe se capturó «en producción» y distingue regímenes de carga en tres ejes —la arquitectura del modelo, su escala y el tipo de tarea—, algo que las trazas sintéticas no ofrecen.