FineServe: датасет реальных нагрузок обслуживания LLM с глобального маркетплейса

Pesquisadores apresentaram o FineServe — um dataset aberto de cargas de trabalho reais de atendimento de LLM, coletado de um marketplace comercial global e publicado no arXiv em julho de 2026 (arXiv:2607.19349). Junto com o dataset, os autores disponibilizaram um gerador de cargas de trabalho para benchmarking de plataformas de atendimento multimodelo.

O que é o FineServe

O FineServe é um dataset "in-the-wild" de cargas de trabalho reais de servidor, coletado de um marketplace comercial de LLM em operação, onde diferentes modelos e tarefas são atendidos em paralelo. Ao contrário de dados sintéticos, ele registra como as requisições realmente chegam e como os tokens se comportam em modelos heterogêneos.

• Tipo: dataset multimodelo de cargas de trabalho de atendimento de LLM
• Fonte de dados: marketplace comercial global de LLM
• Publicação: arXiv:2607.19349, julho de 2026
• Componentes: o dataset em si + um gerador de cargas de trabalho (workload generator)
• Acesso: código e dados abertos no GitHub

Por que traces proxy não servem

As pesquisas existentes sobre atendimento de LLM se baseiam em traces proxy ou generalizações de granularidade grossa que não capturam a heterogeneidade das plataformas multimodelo atuais. O FineServe fecha essa lacuna: os autores analisaram a dinâmica de chegada das requisições e o comportamento dos tokens em três eixos ao mesmo tempo — arquitetura do modelo, sua escala e tipo de tarefa — e encontraram regimes de flutuação de carga fundamentalmente diferentes.

Isso é importante para engenheiros que mantêm LLMs como um serviço online always-on: baixa latência e alto throughput sob demanda instável exigem um entendimento preciso do perfil real de tráfego, não um retrato médio.

O que o gerador de cargas de trabalho oferece

O gerador de cargas de trabalho do FineServe monta perfis de granularidade fina, "cientes do modelo", em misturas configuráveis para um cenário de benchmark específico. Ou seja, uma equipe pode reproduzir uma carga próxima da produção e, com ela, testar estratégias de roteamento, escalonamento e planejamento de capacidade.

"Ao revelar essas dinâmicas de carga de granularidade fina, o

FineServe fornece uma base realista para avaliar estratégias de roteamento, escalonamento e planejamento de capacidade em sistemas de atendimento de LLM", afirma o resumo do trabalho no arXiv.

Segundo a formulação dos autores, o valor central é justamente a heterogeneity: diferentes modelos e tipos de requisição se comportam de maneira distinta, e um benchmark médio esconde isso.

O que isso significa

Para quem opera plataformas multimodelo (e o AlpinaGPT e agregadores semelhantes são exatamente essa classe de sistemas), o FineServe é um motivo para verificar com quais traces a infraestrutura está sendo testada. Um perfil de carga realista afeta diretamente a escolha de roteamento e quantas GPUs são realmente necessárias para o pico de demanda.

Perguntas frequentes

O que é o FineServe?

O FineServe é um dataset aberto de cargas de trabalho reais de atendimento de LLM, além de um gerador de cargas de trabalho, apresentados no arXiv (arXiv:2607.19349) em julho de 2026. Os dados foram coletados de um marketplace comercial global de modelos em operação.

Em que o FineServe difere dos traces proxy?

Traces proxy e generalizações de granularidade grossa não transmitem a heterogeneidade das plataformas multimodelo. O FineServe foi coletado "em produção" e distingue regimes de carga em três eixos — arquitetura do modelo, sua escala e tipo de tarefa —, algo que traces sintéticos não oferecem.