T-Bank sustituye un enjambre de LLM por un único modelo de 32B y abarata las consultas entre 2,8 y 3,9 veces

Las grandes empresas que no pueden enviar sus datos a nubes externas chocan con una aritmética sencilla: cada red neuronal especializada en una tarea ocupa GPU escasas. Investigadores de T-Bank proponen dos formas de reducir esa factura y las describieron en EMNLP 2026, una conferencia de nivel A* celebrada en Budapest. Un solo modelo de 32 000 millones de parámetros asumió las consultas de más de 200 servicios internos del banco y la mitad del tráfico de su plataforma LLM. El procesamiento resultó entre 2,8 y 3,9 veces más barato que con Qwen3-235B, y en algunos servicios el ahorro llegó a 9 veces.

Un modelo universal en lugar de un enjambre de especialistas

La imagen habitual en un entorno protegido es esta: un modelo para seguir instrucciones, otro para llamar a funciones y un tercero para los escenarios corporativos. Cada uno hay que mantenerlo en memoria, escalarlo y actualizarlo. El equipo de T-Bank siguió otro camino y describió por primera vez una metodología reproducible de postentrenamiento de LLM en ruso con habilidades de agente.

El esquema consta de tres pasos. Primero, ajustaron Qwen3-32B con una mezcla de datos corporativos y abiertos. Después aplicaron aprendizaje por refuerzo en tres direcciones: seguimiento de instrucciones, llamada a funciones y tareas corporativas. El resultado fueron variantes especializadas, que fusionaron en un único modelo con el método SLERP, es decir, la interpolación esférica de pesos. La fusión evita ejecutar tres redes distintas en inferencia: basta con mantener una.

El modelo compacto supera al gigante

La comparación se hizo con Qwen3-235B, que es aproximadamente siete veces más pesado. Para un banco importa no solo el precio, sino también la calidad en sus propias tareas, y ahí el modelo de 32B quedó por delante.

• Pruebas corporativas: 69,6 puntos frente a 65,8 de Qwen3-235B.
• Seguimiento de instrucciones: 0,85 frente a 0,83.
• Llamada a funciones: 0,79 frente a 0,77.
• Coste de procesamiento de las consultas: entre 2,8 y 3,9 veces menor, y hasta 9 veces en algunos servicios.
• Carga: más de 200 servicios internos y alrededor de la mitad del tráfico de la plataforma LLM del banco.

La diferencia en las métricas es pequeña, pero la dirección importa. Un modelo adaptado a un entorno concreto no cede ante el gigante generalista en las tareas de ese mismo entorno, y consume bastante menos hardware.

Análisis de PDF en una sola H100

El segundo trabajo se centra en la digitalización de documentos en papel. Los investigadores montaron un pipeline para seleccionar ejemplos complejos de PDF y, con ellos, entrenaron un modelo de visión y lenguaje basado en Qwen3.5-35B-A3B-Base. El modelo extrae cualquier dato identificativo e importe a partir de una consulta de texto: no hace falta escribir una plantilla distinta para cada tipo de documento.

La arquitectura juega a favor del ahorro. En total, el modelo tiene 35 000 millones de parámetros, pero por cada consulta se activan solo 3000 millones. Para ejecutarlo basta con una Nvidia H100. El análisis de documentos cuesta un 80% menos que el procesamiento totalmente manual y un 50% menos que los mejores análogos abiertos.

Conviene fijarse en la selección de datos. La clave está en elegir ejemplos complejos, no en acumular más escaneos: el modelo se entrena con los casos en los que las soluciones estándar fallan.

Qué se puede llevar a tu propio stack

Los investigadores publicaron la metodología para crear pruebas internas, la descripción del pipeline de postentrenamiento y un modelo de lenguaje con pesos abiertos, entrenado con datos públicos. Está disponible en Hugging Face (t-tech/T-pro-it-2.1). Los datos corporativos del banco permanecen dentro, pero la receta se puede replicar con datos propios.

Para los equipos con entorno cerrado, se extraen varias conclusiones. Si ya tienes varios modelos especializados sobre una misma base, merece la pena probar la fusión con SLERP después del RL: es una forma de reducir la flota de instancias sin perder calidad en las tareas clave. Conviene crear benchmarks internos antes de migrar, porque fue precisamente en ellos donde el modelo de 32B demostró su ventaja sobre el de 235B. En el procesamiento de documentos, la combinación de un MoE con pocos parámetros activos y una sola H100 significa que la tarea deja de requerir un clúster propio y cabe en una sola tarjeta.

Por ahora son resultados de un único banco con su propia carga, y trasladarlos a otros sectores exigirá mediciones propias. Pero las cifras de ahorro y los materiales abiertos hacen útil este trabajo para cualquiera que calcule el coste del token en una infraestructura cerrada.