DeepSeek 4 fois plus rapide : comment fonctionne ATLAS, le système de Together AI pour les LLM

Together AI a présenté ATLAS, un spéculateur adaptatif fondé sur le machine learning qui accélère l'inférence des LLM d'un facteur 4 sans réglage manuel. Le système apprend automatiquement et s'adapte à votre charge de travail au fil de l'usage. Sur DeepSeek-V3.1, il atteint 500 tokens par seconde, soit 2.65 fois plus vite que le décodage standard, et dépasse les performances du matériel spécialisé de Groq.

Traité par IA depuis Together AI Blog ; édité par Hamidun News
DeepSeek 4 fois plus rapide : comment fonctionne ATLAS, le système de Together AI pour les LLM
Source : Together AI Blog. Collage: Hamidun News.
Écouter l'article

Le système ATLAS de Together AI permet d'accélérer l'inférence de LLM comme DeepSeek-V3.1 et Kimi-K2 d'un facteur 4, jusqu'à 500 et 460 tokens par seconde respectivement, sans réglage manuel.

Avec quels modèles ATLAS fonctionne-t-il ?

ATLAS accélère DeepSeek-V3.1 jusqu'à 500 tokens par seconde et Kimi-K2 jusqu'à 460 tokens par seconde, en s'améliorant automatiquement au fil de l'usage.

Qu'est-ce que le décodage spéculatif ?

Le décodage spéculatif est l'un des moyens les plus efficaces d'accélérer la génération de texte des modèles de langage. Dans l'approche standard, le modèle génère un token à la fois ; le décodage spéculatif lui permet d'en traiter plusieurs simultanément.

De combien ATLAS accélère-t-il DeepSeek ?

ATLAS accélère DeepSeek-V3.1 jusqu'à 500 tokens par seconde, soit une accélération de 4x. Sur Kimi-K2, le système atteint 460 tokens par seconde.

Quel résultat ATLAS obtient-il sur DeepSeek ?

Sur DeepSeek-V3.1, ATLAS atteint 500 tokens par seconde (environ 4x d'accélération) ; sur Kimi-K2, 460 tokens par seconde.

Dossier

Questions clés sur cet article

Avec quels modèles ATLAS fonctionne-t-il ?

ATLAS accélère DeepSeek-V3.1 jusqu'à 500 tokens par seconde et Kimi-K2 jusqu'à 460 tokens par seconde, en s'améliorant automatiquement au fil de l'usage.

Qu'est-ce que le décodage spéculatif ?

Le décodage spéculatif est l'un des moyens les plus efficaces d'accélérer la génération de texte des modèles de langage. Dans l'approche standard, le modèle génère un token à la fois ; le décodage spéculatif lui permet d'en traiter plusieurs simultanément.

De combien ATLAS accélère-t-il DeepSeek ?

ATLAS accélère DeepSeek-V3.1 jusqu'à 500 tokens par seconde, soit une accélération de 4x. Sur Kimi-K2, le système atteint 460 tokens par seconde.

Quel résultat ATLAS obtient-il sur DeepSeek ?

Sur DeepSeek-V3.1, ATLAS atteint 500 tokens par seconde (environ 4x d'accélération) ; sur Kimi-K2, 460 tokens par seconde.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…