Локальные LLM переводят тексты со скоростью до 115 токенов в секунду

Локальный перевод больше не выглядит экспериментом для людей с серверной стойкой дома. На обычной рабочей станции с RTX 5060 Ti на 16 ГБ можно получить либо быстрый перевод веб-страниц, либо более медленный, но заметно аккуратный перевод книг. Правда, одной модели для обеих задач автор теста не нашёл.

В испытании участвовали тексты на английском, испанском, китайском и иврите: новости, техническая документация, обсуждения из соцсетей, современная проза и древние трактаты. Все материалы переводились на русский. Качество оценивали модели-судьи Claude и OpenAI, а эталонные варианты готовились с помощью Claude. Поэтому цифры полезны прежде всего для сравнения участников внутри этого теста, а не как абсолютная мера литературного мастерства.

Быстрый перевод помещается в 16 ГБ

Самый практичный результат показала Gemma 4 26B-A4B в версии QAT Q4_0. Она целиком помещается в видеопамять RTX 5060 Ti и выдаёт около 115 токенов в секунду. На современных текстах и веб-страницах её оценки находились примерно в диапазоне 80–88 из 100.

На практике это означает, что страницу документации или длинный пост можно переводить почти по мере чтения. Модель не лучшая во всех категориях, зато задержка не раздражает, а для запуска не требуется выгружать часть слоёв в оперативную память. Для браузерного переводчика это важнее нескольких дополнительных баллов качества.

С древними текстами картина меняется. На классическом иврите модель получила 49 баллов, на классическом китайском — 54. То есть быстрый профиль годится для повседневного языка, но его опасно использовать там, где значение зависит от эпохи, устойчивых оборотов и культурного контекста.

Качество требует оперативной памяти

Qwen3.8 Flash-Next стала лидером или вошла в число лидеров почти во всех основных категориях: 87,6 балла на английском, 92 на испанском, 88 на китайском и 90 на иврите. Версия в квантизации IQ4_XS работала примерно со скоростью 15 токенов в секунду, а более компактная IQ3_XXS — около 21 токена в секунду.

Цена результата — 80–95 ГБ системной памяти вдобавок к GPU. Модель имеет разреженную архитектуру: на каждом токене активна лишь часть параметров, поэтому она продолжает работать с приемлемой скоростью даже при размещении значительной части весов в RAM. Но для компьютера с типичными 32 ГБ такой вариант уже непрактичен.

Для художественной прозы лучше всех проявила себя плотная Gemma 4 31B. Она получила 85 баллов на английской и испанской литературе и особенно хорошо писала по-русски. Кроме того, использование её как отдельного редактора повышало оценки слабых черновиков на 5–14 баллов. Обратная сторона — скорость около 6–7 токенов в секунду и заметно более долгий прогон сложных текстов.

Как выбрать модель под продукт

Для встроенного перевода сайтов разумно начинать с Gemma 4 26B-A4B: она быстрая, помещается на одной видеокарте и достаточно хороша для новостей, документации и обсуждений. Если перевод запускается пакетно ночью и машина оснащена 96 ГБ RAM, Qwen3.8 Flash-Next даёт более ровное качество на разных языках.

Книги лучше обрабатывать в два прохода: сначала получить черновик быстрой или сильной универсальной моделью, затем отдать его Gemma 4 31B на литературную редактуру. Однако даже такая схема не отменяет человека для поэзии, исторических текстов, права и медицины.

Главное ограничение самого бенчмарка — автоматическая оценка родственными облачными моделями. Она способна предпочитать знакомый стиль и не всегда замечает фактическую ошибку, удачно замаскированную хорошим русским. Перед внедрением стоит собрать собственный набор из реальных документов продукта и отдать хотя бы часть переводов носителям языка. Но базовый инженерный вывод уже понятен: локальный перевод на потребительской видеокарте стал рабочим инструментом, если заранее выбрать, что важнее — задержка, качество или независимость от облака.