TensorFold 1.2.0 aumenta em 44,2% a vazão do Qwen3.8-27B no M3 Ultra com 16 fluxos

O autor do TensorFold, motor de inferência local, anunciou o lançamento da versão 1.2.0. O destaque da atualização para quem usa Mac é que o Qwen3.8-27B, com pesos MLX de 4 bits e o modo DFlash2, ficou visivelmente mais rápido do que na 1.1.9. O ganho aparece principalmente sob carga paralela: no M3 Ultra, a vazão total com 16 fluxos subiu 44,2%. Além disso, o release adiciona suporte a novos modelos em Metal, CUDA e Intel Arc.

Medições no M3 Ultra e no M5 Ultra

A comparação usou o mesmo modelo: Qwen3.8-27B, pesos MLX de 4 bits, DFlash2. A base de comparação é o TensorFold 1.1.9.

• M3 Ultra: decodificação de um único fluxo 14,4% mais rápida e vazão total 44,2% maior com 16 fluxos.
• M5 Ultra: fluxo único 5,8% mais rápido e vazão total 25,2% maior com 16 fluxos.

Os números deixam clara a diferença entre os cenários. Um fluxo único esbarra na velocidade de geração de cada token, e aí o ganho é modesto. Quando há várias requisições ao mesmo tempo, o motor aproveita melhor o hardware, e o ganho passa a ser várias vezes maior. Para um servidor local que atende vários usuários ou agentes em paralelo, isso pesa mais do que a velocidade de um único chat.

Curiosamente, no M5 Ultra, que é um chip mais novo, o ganho relativo é menor do que no M3 Ultra. O autor não explica o motivo. Pelos números, o M5 Ultra tem mais folga de desempenho, então as otimizações rendem um percentual menor. Mas isso é uma suposição, não uma declaração do desenvolvedor. O anúncio não traz valores absolutos de tokens por segundo, por isso não é possível comparar os dois chips entre si com esses dados. Vemos apenas o ganho em relação à versão anterior em cada um deles.

O autor também observa que, nos cenários medidos, a aceleração veio acompanhada de coincidência de tokens. O texto de saída permaneceu igual ao da 1.1.9. Isso indica que o ganho foi obtido sem abrir mão da qualidade.

Novos modelos e hardware

Além da aceleração, o release amplia a lista de configurações compatíveis:

• MiniMax-M3.1-Flash no Metal, ou seja, em Macs.
• Versão NVFP4 do Qwen3.6-35B-A3B no CUDA.
• Modelo denso Qwen3.8-27B no formato EXL3 no CUDA.
• Gemma 4 E4B na Intel Arc Pro B70.

O último item chama atenção porque o TensorFold sai do eixo Apple e Nvidia. As placas Intel Arc Pro raramente aparecem em projetos de inferência local, e uma configuração funcional oferece uma alternativa a quem monta uma estação sem Nvidia. O anúncio não diz qual é a velocidade do Gemma 4 E4B na Arc Pro B70, então o que existe é suporte, não resultados de desempenho.

O que mudou nas respostas multimodais

O release traz uma ressalva importante para quem usa modelos de visão. As respostas do Qwen-VL a imagens podem diferir das que a versão 1.1.9 produzia. O motivo é que o pré-processamento de imagens agora coincide com o processador do próprio checkpoint. Antes, ele aparentemente divergia da referência, de modo que a diferença corrige o comportamento anterior em vez de criar um novo. Mas, se você compara resultados em um conjunto fixo de imagens ou mantém testes de regressão, será preciso recalcular as saídas após a atualização.

A ressalva vale especificamente para o Qwen-VL. O autor confirma a coincidência de tokens para as acelerações medidas, e elas se referem ao modelo de texto Qwen3.8-27B.

Comunidade e conclusão prática

O autor agradeceu a dezenove participantes do projeto no GitHub por pull requests, revisões, testes, relatos de bugs e acesso a hardware: AbrahamCete, akol1, alexderz, Arminova, BadAd84, BlivionIaG, BobClawblaw, fche, gilby, jrb-ai, jschmied, laudney, Mirrdhyn, mrv777, ppardus, simon-lin88, ThomasHalwax, valacroix e wojo. O agradecimento específico pelo acesso a hardware ajuda a entender de onde vem o suporte a plataformas tão diferentes: dificilmente uma única pessoa tem em casa um M3 Ultra, um M5 Ultra, placas Nvidia e uma Intel Arc Pro.

A conclusão prática é simples. Para quem tem um Mac Studio com M3 Ultra e roda o Qwen3.8-27B em MLX de 4 bits, a atualização tem o efeito mais perceptível com várias requisições simultâneas. No M5 Ultra o ganho é menor, mas existe. As ressalvas são estas: os números vêm do anúncio do autor, não há medições independentes, e a metodologia e as velocidades absolutas não foram divulgadas. Antes de migrar um ambiente de produção para a 1.2.0, vale rodar a sua própria carga de trabalho e, se você usa o Qwen-VL, conferir de novo as respostas sobre imagens.