TensorFold 1.2.0 поднял пропускную способность Qwen3.8-27B на M3 Ultra на 44,2% при 16 потоках

Автор локального движка инференса TensorFold объявил о релизе версии 1.2.0. Главное в обновлении для владельцев Mac: Qwen3.8-27B с 4-битными весами MLX и режимом DFlash2 стала заметно быстрее, чем в 1.1.9. Особенно это видно при параллельной нагрузке: на M3 Ultra суммарная пропускная способность при 16 потоках выросла на 44,2%. Кроме того, релиз добавляет поддержку новых моделей на Metal, CUDA и Intel Arc.

Замеры на M3 Ultra и M5 Ultra

Сравнение сделано на одной и той же модели: Qwen3.8-27B, веса MLX в 4 битах, DFlash2. Базой служит TensorFold 1.1.9.

• M3 Ultra: декодирование одного потока быстрее на 14,4%, суммарная пропускная способность при 16 потоках выше на 44,2%.
• M5 Ultra: одиночный поток быстрее на 5,8%, при 16 потоках суммарная пропускная способность выше на 25,2%.

Разница между сценариями понятна по цифрам. Одиночный поток упирается в скорость генерации каждого токена, и там выигрыш скромный. Когда запросов несколько, движок лучше загружает железо, и прирост получается в разы больше. Для локального сервера, который обслуживает нескольких пользователей или параллельных агентов, это важнее, чем скорость одного чата.

Любопытно, что на более новом чипе M5 Ultra относительный выигрыш меньше, чем на M3 Ultra. Автор причин не объясняет. Судя по цифрам, у M5 Ultra запас производительности больше, поэтому оптимизации даёт меньший процент. Но это предположение, а не заявление разработчика. Абсолютные значения токенов в секунду в сообщении не приведены, поэтому сравнивать два чипа между собой по этим данным нельзя. Мы видим только прирост относительно предыдущей версии на каждом из них.

Отдельно автор отмечает, что в измеренных сценариях ускорение сопровождалось совпадением токенов. Выходной текст остался таким же, как в 1.1.9. Значит, прирост получен без компромисса с качеством.

Новые модели и железо

Помимо ускорения, релиз расширяет список поддерживаемых конфигураций:

• MiniMax-M3.1-Flash на Metal, то есть на Mac.
• NVFP4-версия Qwen3.6-35B-A3B на CUDA.
• Плотная модель Qwen3.8-27B в формате EXL3 на CUDA.
• Gemma 4 E4B на Intel Arc Pro B70.

Последний пункт интересен тем, что TensorFold выходит за пределы связки Apple и Nvidia. Видеокарты Intel Arc Pro редко упоминаются в проектах для локального инференса, и появление рабочей конфигурации даёт альтернативу тем, кто собирает станцию не на Nvidia. Насколько быстро Gemma 4 E4B работает на Arc Pro B70, в сообщении не сказано, так что речь идёт именно о поддержке, а не о результатах скорости.

Что изменилось в мультимодальных ответах

В релизе есть оговорка, которую стоит учесть тем, кто использует визуальные модели. Ответы Qwen-VL на изображения могут отличаться от тех, что давала версия 1.1.9. Причина в том, что подготовка изображений теперь совпадает с собственным процессором чекпойнта. Раньше она, по-видимому, расходилась с эталонной, поэтому отличие скорее исправляет прежнее поведение, чем создаёт новое. Но если вы сравниваете результаты на фиксированном наборе картинок или ведёте регрессионные тесты, после обновления выходные данные придётся пересчитать заново.

Эта оговорка касается именно Qwen-VL. Совпадение токенов автор подтверждает для замеренных ускорений, и они относятся к текстовой модели Qwen3.8-27B.

Сообщество и практический вывод

Автор поблагодарил девятнадцать участников проекта на GitHub за пулреквесты, ревью, тестирование, баг-репорты и доступ к железу: AbrahamCete, akol1, alexderz, Arminova, BadAd84, BlivionIaG, BobClawblaw, fche, gilby, jrb-ai, jschmied, laudney, Mirrdhyn, mrv777, ppardus, simon-lin88, ThomasHalwax, valacroix и wojo. Отдельная благодарность за доступ к железу объясняет, откуда взялась поддержка таких разных платформ: один человек вряд ли держит у себя M3 Ultra, M5 Ultra, карты Nvidia и Intel Arc Pro.

Практический вывод простой. Владельцам Mac Studio с M3 Ultra, которые гоняют Qwen3.8-27B в 4-битном MLX, обновление даёт самый ощутимый эффект при нескольких одновременных запросах. На M5 Ultra выигрыш меньше, но тоже есть. Оговорки такие: цифры взяты из сообщения автора, независимых замеров нет, методика и абсолютные скорости не раскрыты. Прежде чем переводить продакшен на 1.2.0, стоит прогнать собственную нагрузку и, если вы используете Qwen-VL, перепроверить ответы по изображениям.