Los LLM locales traducen textos a hasta 115 tokens por segundo

La traducción local ya no parece un experimento para quienes tienen un rack de servidores en casa. En una estación de trabajo común con una RTX 5060 Ti de 16 GB se puede obtener o bien una traducción rápida de páginas web, o bien una traducción de libros más lenta pero notablemente más cuidadosa. Sin embargo, el autor de la prueba no encontró un único modelo para ambas tareas.

La prueba incluyó textos en inglés, español, chino y hebreo: noticias, documentación técnica, debates de redes sociales, prosa contemporánea y tratados antiguos. Todos los materiales se tradujeron al ruso. La calidad fue evaluada por modelos jueces de Claude y OpenAI, y las versiones de referencia se prepararon con Claude. Por ello, las cifras son útiles sobre todo para comparar a los participantes dentro de esta prueba, y no como una medida absoluta de maestría literaria.

La traducción rápida cabe en 16 GB

El resultado más práctico lo dio Gemma 4 26B-A4B en la versión QAT Q4_0. Cabe por completo en la memoria de vídeo de la RTX 5060 Ti y ofrece unos 115 tokens por segundo. En textos modernos y páginas web, sus puntuaciones se situaron aproximadamente en el rango de 80–88 sobre 100.

En la práctica, esto significa que una página de documentación o una publicación larga pueden traducirse casi a medida que se lee. El modelo no es el mejor en todas las categorías, pero la latencia no resulta molesta y para ejecutarlo no hace falta descargar parte de las capas a la memoria RAM. Para un traductor de navegador, esto importa más que unos puntos adicionales de calidad.

Con los textos antiguos el panorama cambia. En hebreo clásico el modelo obtuvo 49 puntos, y en chino clásico, 54. Es decir, el perfil rápido sirve para el lenguaje cotidiano, pero es arriesgado usarlo donde el significado depende de la época, de las expresiones fijas y del contexto cultural.

La calidad exige memoria RAM

Qwen3.8 Flash-Next fue líder, o estuvo entre los líderes, en casi todas las categorías principales: 87,6 puntos en inglés, 92 en español, 88 en chino y 90 en hebreo. La versión con cuantización IQ4_XS funcionó a unos 15 tokens por segundo, y la más compacta IQ3_XXS, a unos 21 tokens por segundo.

El precio del resultado son entre 80 y 95 GB de memoria del sistema además de la GPU. El modelo tiene una arquitectura dispersa: en cada token solo está activa una parte de los parámetros, por lo que sigue funcionando a una velocidad aceptable incluso con una parte considerable de los pesos en la RAM. Pero para un ordenador con los típicos 32 GB, esta opción ya no es práctica.

En la prosa literaria, la mejor fue la densa Gemma 4 31B. Obtuvo 85 puntos en literatura inglesa y española y escribió especialmente bien en ruso. Además, usarla como editor independiente elevó las puntuaciones de borradores débiles entre 5 y 14 puntos. La contrapartida es una velocidad de unos 6–7 tokens por segundo y una ejecución notablemente más larga en textos complejos.

Cómo elegir un modelo para su producto

Para la traducción integrada de sitios web tiene sentido empezar con Gemma 4 26B-A4B: es rápida, cabe en una sola tarjeta gráfica y es lo bastante buena para noticias, documentación y debates. Si la traducción se ejecuta por lotes durante la noche y la máquina cuenta con 96 GB de RAM, Qwen3.8 Flash-Next ofrece una calidad más uniforme entre idiomas.

Los libros conviene procesarlos en dos pasadas: primero obtener un borrador con un modelo rápido o un modelo generalista potente y luego pasárselo a Gemma 4 31B para la edición literaria. Aun así, ni siquiera este esquema elimina la necesidad de una persona para poesía, textos históricos, derecho y medicina.

La principal limitación del propio benchmark es la evaluación automática por modelos de nube afines. Pueden preferir un estilo conocido y no siempre detectan un error factual bien disimulado por un buen ruso. Antes de la implantación conviene reunir un conjunto propio de documentos reales del producto y entregar al menos una parte de las traducciones a hablantes nativos. Pero la conclusión técnica básica ya está clara: la traducción local en una tarjeta gráfica de consumo se ha convertido en una herramienta útil, siempre que se decida de antemano qué importa más: la latencia, la calidad o la independencia de la nube.