Together AI apresentou ATLAS: um especulador que acelera LLMs em 4x
A Together AI apresentou o ATLAS, um especulador adaptativo baseado em machine learning que acelera a inferência de LLM em 4x sem ajuste manual. O sistema apren
◐ Ouvir artigo
A Together AI apresentou o ATLAS, um especulador adaptativo baseado em machine learning que acelera a inferência de LLM em 4x sem ajuste manual. O sistema aprende e se adapta automaticamente à sua carga de trabalho conforme é usado. No DeepSeek-V3.1, alcança 500 tokens por segundo — 2.65x mais rápido que a decodificação padrão e supera o desempenho do hardware especializado da Groq.