DeepSeek 4 vezes mais rápido: como funciona o ATLAS, sistema da Together AI para LLMs

A Together AI apresentou o ATLAS, um especulador adaptativo baseado em machine learning que acelera a inferência de LLMs em 4 vezes sem ajuste manual. O sistema aprende automaticamente e se adapta à sua carga de trabalho conforme é usado. No DeepSeek-V3.1, chega a 500 tokens por segundo, 2.65 vezes mais rápido que a decodificação padrão, e supera o desempenho do hardware especializado da Groq.

Processado por IA de Together AI Blog; editado por Hamidun News
DeepSeek 4 vezes mais rápido: como funciona o ATLAS, sistema da Together AI para LLMs
Fonte: Together AI Blog. Colagem: Hamidun News.
Ouvir artigo

O sistema ATLAS, da Together AI, permite acelerar a inferência de LLMs como DeepSeek-V3.1 e Kimi-K2 em 4 vezes, até 500 e 460 tokens por segundo, respectivamente, sem ajuste manual.

Com quais modelos o ATLAS funciona?

O ATLAS acelera o DeepSeek-V3.1 até 500 tokens por segundo e o Kimi-K2 até 460 tokens por segundo, melhorando automaticamente conforme é usado.

O que é decodificação especulativa?

A decodificação especulativa é uma das formas mais poderosas de acelerar a geração de texto em modelos de linguagem. No método padrão, o modelo gera um token por vez; a decodificação especulativa permite processar vários tokens ao mesmo tempo.

Quanto o ATLAS acelera o DeepSeek?

O ATLAS acelera o DeepSeek-V3.1 até 500 tokens por segundo, uma aceleração de 4x. No Kimi-K2, o sistema chega a 460 tokens por segundo.

Que resultado o ATLAS entrega no DeepSeek?

No DeepSeek-V3.1, o ATLAS chega a 500 tokens por segundo (aproximadamente 4x de aceleração); no Kimi-K2, a 460 tokens por segundo.

História

Perguntas frequentes sobre a notícia

Com quais modelos o ATLAS funciona?

O ATLAS acelera o DeepSeek-V3.1 até 500 tokens por segundo e o Kimi-K2 até 460 tokens por segundo, melhorando automaticamente conforme é usado.

O que é decodificação especulativa?

A decodificação especulativa é uma das formas mais poderosas de acelerar a geração de texto em modelos de linguagem. No método padrão, o modelo gera um token por vez; a decodificação especulativa permite processar vários tokens ao mesmo tempo.

Quanto o ATLAS acelera o DeepSeek?

O ATLAS acelera o DeepSeek-V3.1 até 500 tokens por segundo, uma aceleração de 4x. No Kimi-K2, o sistema chega a 460 tokens por segundo.

Que resultado o ATLAS entrega no DeepSeek?

No DeepSeek-V3.1, o ATLAS chega a 500 tokens por segundo (aproximadamente 4x de aceleração); no Kimi-K2, a 460 tokens por segundo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…