Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
InfraestruturaArtigo científico · Para P&DX: @0x0SojalSec→ original

Sciforium acelera o DeepSeek-V4.1-Flash na AMD até 1 129 tokens por segundo

A equipe da Sciforium acelerou o DeepSeek-V4.1-Flash em quatro GPUs AMD MI355X: em tráfego real, a velocidade subiu de 835 para 1 129 tokens por segundo (P90). O ganho veio da decodificação especulativa: um modelo pequeno, o rascunho, adivinha vários tokens à frente, e o modelo grande os verifica de uma só vez. A Sciforium refinou o rascunho com requisições reais de clientes e ampliou o palpite de 5 para 7 tokens. O resultado: ajustar o rascunho ao próprio tráfego rendeu cerca de 35% de ganho, sem trocar os pesos.

Processado por IA de X: @0x0SojalSec; editado por Hamidun News
Sciforium acelera o DeepSeek-V4.1-Flash na AMD até 1 129 tokens por segundo
Fonte: X: @0x0SojalSec. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @0x0SojalSec ↗
Editor-chefe
Dado-chave #1A medição é por P90, em tráfego real de produção, e não em um benchmark de brinquedo
Os pesos do DeepSeek são os originaissó o pequeno rascunho foi refinado
Dado-chave #3O salto de 835 para 1 129 tokens/s representa cerca de +35% em quatro MI355X

A velocidade de resposta de um modelo é dinheiro. Quanto mais rápido a GPU entrega tokens, menos placas são necessárias para o mesmo tráfego e menos tempo o usuário passa olhando para o cursor piscando. Por isso, o novo resultado da startup Sciforium merece a atenção de quem roda modelos grandes em produção: a versão da empresa do DeepSeek-V4.1-Flash entrega 1 129 tokens de saída por segundo em quatro aceleradores AMD Instinct MI355X. Antes, a mesma configuração entregava 835.

O que exatamente foi acelerado

Estes são os detalhes importantes do comunicado da empresa. A medição foi feita em P90: não é o melhor caso, e sim um patamar que a grande maioria das requisições consegue manter. O tráfego é real, de clientes, e não uma execução sintética. O modelo foi usado com os pesos originais: não foi destilado nem reduzido. O ganho foi de cerca de 35%.

Os autores também destacam o contexto: até pouco tempo atrás, muita gente duvidava de que as placas da AMD pudessem sustentar cargas pesadas de LLM em produção no mesmo nível das da Nvidia. Para eles, este caso é um argumento de que, com bom trabalho de engenharia, a distância pode ser fechada.

Como funciona o truque do rascunho

A base da aceleração é a decodificação especulativa. Imagine um editor experiente revisando o texto de um estagiário. Escrever do zero é lento, mas conferir um parágrafo pronto é rápido: o editor passa o olho por várias frases de uma vez e aprova todas juntas. Aqui, o estagiário é um modelo pequeno, o rascunho (drafter), que propõe vários tokens à frente. O editor é o DeepSeek-V4.1-Flash, o modelo grande, que verifica todos os tokens propostos em uma única passada. Se os palpites estiverem certos, um único passo do modelo grande produz vários tokens em vez de um. Se não estiverem, o excedente é descartado, e a qualidade da resposta continua a mesma do modelo grande.

Todo o ganho depende de com que frequência o rascunho acerta. A Sciforium chamou sua abordagem de traffic-tuned speculators: o rascunho foi refinado com dados reais de clientes, ou seja, com as requisições e respostas que o modelo de fato vê. Um rascunho genérico acerta bem em textos gerais, mas tropeça em conteúdo específico. Se o seu tráfego é de respostas padronizadas de suporte, código de uma stack determinada ou JSON estruturado, um rascunho treinado nele acerta o alvo com bem mais frequência.

A segunda alavanca é o tamanho do palpite. Ele foi ampliado de 5 para 7 tokens por vez. Isso só funciona com alta precisão do rascunho: quanto mais longa a cadeia, maior o risco de ele errar em algum ponto perto do fim e de toda a parte final ser perdida. O aumento compensou justamente porque o rascunho passou a se ajustar melhor ao tráfego.

A terceira camada é a otimização profunda dos kernels para a AMD, isto é, do código de baixo nível que executa os cálculos nas MI355X. Pelo texto do post, a equipe ressalta que não precisou reescrever o motor vLLM: o esforço foi para o rascunho e para os kernels.

O que levar daqui

Primeiro: se você hospeda um modelo aberto por conta própria, ajustar a decodificação especulativa ao seu tráfego pode render dezenas de pontos percentuais de velocidade, sem perda de qualidade e sem trocar os pesos. Sai mais barato do que comprar mais GPUs.

Segundo: para isso, é preciso ter logs de requisições reais. Quem os coleta e sabe refinar um modelo pequeno leva vantagem sobre quem usa um rascunho genérico pronto.

Terceiro: a AMD em inferência está se tornando uma opção de trabalho, e não um experimento. Para fundadores, isso é uma alavanca na negociação do preço de computação e um jeito de não depender de um único fornecedor.

Limitações

Este é um comunicado da própria empresa, e ainda não há medições independentes. O resultado vale para uma configuração específica: DeepSeek-V4.1-Flash, quatro MI355X e o tráfego dos clientes da Sciforium. Em outra carga, o ganho será diferente: em chat conversacional, código e raciocínios longos, a proporção de palpites certos do rascunho varia. O post não revela todas as condições da medição, então convém comparar esses números com benchmarks de terceiros com cautela. Ainda assim, a direção é clara e reproduzível: treinar o rascunho com dados próprios, ajustar o tamanho do palpite e otimizar os kernels para o hardware.

História

Perguntas frequentes sobre a notícia

O que exatamente foi acelerado?

Estes são os detalhes importantes do comunicado da empresa. A medição foi feita em P90: não é o melhor caso, e sim um patamar que a grande maioria das requisições consegue manter. O tráfego é real, de clientes, e não uma execução sintética. O modelo foi usado com os pesos originais: não foi destilado nem reduzido. O ganho foi de cerca de 35%.

Como funciona o truque do rascunho?

A base da aceleração é a decodificação especulativa. Imagine um editor experiente revisando o texto de um estagiário. Escrever do zero é lento, mas conferir um parágrafo pronto é rápido: o editor passa o olho por várias frases de uma vez e aprova todas juntas. Aqui, o estagiário é um modelo pequeno, o rascunho (drafter), que propõe vários tokens à frente. O editor é o DeepSeek-V4.1-Flash, o modelo grande, que verifica todos os tokens propostos em uma única passada.

O que levar daqui?

Primeiro: se você hospeda um modelo aberto por conta própria, ajustar a decodificação especulativa ao seu tráfego pode render dezenas de pontos percentuais de velocidade, sem perda de qualidade e sem trocar os pesos. Sai mais barato do que comprar mais GPUs. Segundo: para isso, é preciso ter logs de requisições reais. Quem os coleta e sabe refinar um modelo pequeno leva vantagem sobre quem usa um rascunho genérico pronto. Terceiro: a AMD em inferência está se tornando uma opção de trabalho, e não um experimento.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…