Together AI a présenté ATLAS : un spéculateur qui accélère les LLM x4
Together AI a présenté ATLAS, un spéculateur adaptatif basé sur le machine learning qui accélère l'inférence LLM x4 sans réglage manuel. Le système apprend auto
◐ Écouter l'article
Together AI a présenté ATLAS, un spéculateur adaptatif basé sur le machine learning qui accélère l'inférence LLM x4 sans réglage manuel. Le système apprend automatiquement et s'adapte à votre charge de travail au fil de l'usage. Sur DeepSeek-V3.1, il atteint 500 tokens par seconde — 2.65x plus rapide que le décodage standard et dépasse les performances du matériel spécialisé de Groq.