FineServe: dataset de cargas reais de serviço de LLMs coletado em um marketplace global

Pesquisadores apresentaram o FineServe, um dataset aberto de cargas reais de serviço de grandes modelos de linguagem (LLMs), coletado em um marketplace comercial global e publicado no arXiv em julho de 2026 (arXiv:2607.19349). Junto com o dataset, os autores disponibilizaram um gerador de cargas para benchmarking de plataformas de serviço multimodelo.

O que é o FineServe

O FineServe é um dataset "in-the-wild" de cargas reais de servidor, capturado em um marketplace comercial de LLMs em operação, onde diferentes modelos e tarefas são atendidos em paralelo. Ao contrário de dados sintéticos, ele registra como as requisições realmente chegam e como os tokens se comportam em modelos heterogêneos.

• Tipo: dataset multimodelo de cargas de serviço de LLMs
• Fonte dos dados: marketplace comercial global de LLMs
• Publicação: arXiv:2607.19349, julho de 2026
• Componentes: o dataset em si + gerador de cargas (workload generator)
• Acesso: código e dados abertos no GitHub

Por que traces proxy não bastam

Os estudos existentes sobre serviço de LLMs se baseiam em traces proxy ou em generalizações de granularidade grossa, que não capturam a heterogeneidade das plataformas multimodelo atuais. O FineServe preenche essa lacuna: os autores analisaram a dinâmica de chegada das requisições e o comportamento dos tokens ao longo de três eixos ao mesmo tempo (arquitetura do modelo, escala e tipo de tarefa) e encontraram regimes de flutuação de carga fundamentalmente diferentes.

Isso importa para engenheiros que mantêm LLMs como serviço online always-on: entregar baixa latência e alto throughput com demanda oscilante exige entender com precisão o perfil real do tráfego, e não uma imagem média.

O que o gerador de cargas oferece

O gerador de cargas do FineServe combina perfis de granularidade fina, "cientes do modelo", em misturas configuráveis para um cenário específico de benchmark. Assim, a equipe pode reproduzir uma carga próxima à de produção e usá-la para testar estratégias de roteamento, escalonamento e dimensionamento de capacidade.

"Ao revelar essas dinâmicas de carga de granularidade fina, o

FineServe oferece uma base realista para avaliar estratégias de roteamento, escalonamento e planejamento de capacidade em sistemas de serviço de LLMs", diz o resumo do trabalho no arXiv.

Segundo os autores, o principal valor está justamente na heterogeneidade: modelos e tipos de requisição diferentes se comportam de maneiras diferentes, e um benchmark baseado em médias esconde isso.

O que isso significa

Para quem opera plataformas multimodelo (e o AlpinaGPT e agregadores semelhantes são exatamente essa classe de sistema), o FineServe é um bom motivo para revisar com quais traces a infraestrutura está sendo testada. Um perfil de carga realista influencia diretamente a escolha do roteamento e a quantidade de GPUs de que se precisa de fato para o pico de demanda.

Perguntas frequentes

O que é o FineServe?

O FineServe é um dataset aberto de cargas reais de serviço de LLMs, acompanhado de um gerador de cargas, apresentado no arXiv (arXiv:2607.19349) em julho de 2026. Os dados foram coletados em um marketplace comercial global de modelos em operação.

Em que o FineServe difere dos traces proxy?

Traces proxy e generalizações de granularidade grossa não refletem a heterogeneidade das plataformas multimodelo. O FineServe foi capturado "em produção" e distingue regimes de carga ao longo de três eixos (arquitetura do modelo, escala e tipo de tarefa), algo que traces sintéticos não oferecem.