LLMs locais traduzem textos a até 115 tokens por segundo

A tradução local já não parece um experimento para quem tem um rack de servidores em casa. Em uma estação de trabalho comum com uma RTX 5060 Ti de 16 GB, é possível obter ou uma tradução rápida de páginas web, ou uma tradução de livros mais lenta, porém visivelmente mais cuidadosa. No entanto, o autor do teste não encontrou um único modelo para as duas tarefas.

O teste incluiu textos em inglês, espanhol, chinês e hebraico: notícias, documentação técnica, discussões de redes sociais, prosa contemporânea e tratados antigos. Todos os materiais foram traduzidos para o russo. A qualidade foi avaliada por modelos juízes do Claude e da OpenAI, e as versões de referência foram preparadas com o Claude. Por isso, os números são úteis principalmente para comparar os participantes dentro deste teste, e não como uma medida absoluta de maestria literária.

A tradução rápida cabe em 16 GB

O resultado mais prático foi o do Gemma 4 26B-A4B na versão QAT Q4_0. Ele cabe inteiramente na memória de vídeo da RTX 5060 Ti e entrega cerca de 115 tokens por segundo. Em textos modernos e páginas web, suas notas ficaram aproximadamente na faixa de 80–88 de 100.

Na prática, isso significa que uma página de documentação ou um post longo pode ser traduzido quase conforme a leitura. O modelo não é o melhor em todas as categorias, mas a latência não incomoda, e para executá-lo não é preciso descarregar parte das camadas para a memória RAM. Para um tradutor de navegador, isso importa mais do que alguns pontos adicionais de qualidade.

Com textos antigos, o quadro muda. No hebraico clássico o modelo obteve 49 pontos, e no chinês clássico, 54. Ou seja, o perfil rápido serve para a linguagem do dia a dia, mas é arriscado usá-lo onde o significado depende da época, de expressões fixas e do contexto cultural.

A qualidade exige memória RAM

O Qwen3.8 Flash-Next foi o líder, ou ficou entre os líderes, em quase todas as categorias principais: 87,6 pontos em inglês, 92 em espanhol, 88 em chinês e 90 em hebraico. A versão com quantização IQ4_XS funcionou a cerca de 15 tokens por segundo, e a mais compacta IQ3_XXS, a cerca de 21 tokens por segundo.

O preço do resultado são de 80 a 95 GB de memória do sistema além da GPU. O modelo tem uma arquitetura esparsa: a cada token apenas uma parte dos parâmetros está ativa, por isso ele continua funcionando a uma velocidade aceitável mesmo com uma parcela significativa dos pesos na RAM. Mas, para um computador com os típicos 32 GB, essa opção já é impraticável.

Na prosa literária, o melhor desempenho foi do denso Gemma 4 31B. Ele obteve 85 pontos em literatura inglesa e espanhola e escreveu especialmente bem em russo. Além disso, usá-lo como editor separado elevou as notas de rascunhos fracos em 5–14 pontos. O lado negativo é a velocidade de cerca de 6–7 tokens por segundo e uma execução visivelmente mais longa em textos complexos.

Como escolher um modelo para o seu produto

Para a tradução integrada de sites, faz sentido começar pelo Gemma 4 26B-A4B: ele é rápido, cabe em uma única placa de vídeo e é bom o bastante para notícias, documentação e discussões. Se a tradução é executada em lote durante a noite e a máquina tem 96 GB de RAM, o Qwen3.8 Flash-Next oferece uma qualidade mais uniforme entre os idiomas.

Os livros são melhor processados em duas etapas: primeiro obter um rascunho com um modelo rápido ou um modelo generalista forte e depois passá-lo ao Gemma 4 31B para a edição literária. Ainda assim, mesmo esse esquema não elimina a necessidade de uma pessoa para poesia, textos históricos, direito e medicina.

A principal limitação do próprio benchmark é a avaliação automática por modelos de nuvem afins. Eles podem preferir um estilo conhecido e nem sempre notam um erro factual bem disfarçado por um bom russo. Antes da implantação, convém montar um conjunto próprio de documentos reais do produto e entregar pelo menos parte das traduções a falantes nativos. Mas a conclusão básica de engenharia já está clara: a tradução local em uma placa de vídeo de consumo tornou-se uma ferramenta de trabalho, desde que se decida antecipadamente o que importa mais: latência, qualidade ou independência da nuvem.