T-Bank ajusta LLM con evolución sin gradientes: hasta 7,8 veces más rápido en 128 GPU

El equipo de T-Bank ha demostrado que un modelo de lenguaje se puede ajustar sin gradientes, es decir, sin calcular la corrección de cada parámetro según la magnitud del error. Precisamente ese cálculo obliga a las tarjetas gráficas del clúster a intercambiar datos de forma constante, y la sincronización se come una parte notable de los recursos. El nuevo método ESSA utiliza en su lugar un algoritmo evolutivo. En tareas matemáticas igualó en calidad a GRPO, que ajusta el modelo completo, aunque configura aproximadamente un millón de veces menos parámetros. La ganancia de velocidad crece con el tamaño del clúster: aproximadamente 2 veces en 16 GPU y hasta 7,8 veces en 128.

Otro trabajo del mismo grupo, F-GRPO, mejora el propio GRPO. Ambos artículos se presentaron en EMNLP, una conferencia de procesamiento del lenguaje natural de nivel A*.

Cómo aprende el modelo sin gradientes

El ajuste habitual funciona así. El modelo resuelve una tarea, el sistema calcula el error y obtiene el gradiente: una pista sobre en qué dirección mover cada parámetro para mejorar la respuesta. Cuando el entrenamiento se reparte entre decenas o cientos de tarjetas gráficas, estas intercambian esos gradientes en cada paso. Los cálculos son rápidos, pero la red entre las tarjetas suele convertirse en el cuello de botella.

ESSA actúa de otra manera, con una lógica similar a la de la selección:

• se toma el modelo original y se crean muchas versiones ligeramente distintas;
• cada versión se evalúa con un conjunto de tareas y se cuenta cuántas resuelve;
• las más exitosas pasan a ser la base de la siguiente generación;
• el ciclo se repite paso a paso.

Aquí no cambia todo el modelo, sino solo un pequeño conjunto de parámetros de los adaptadores LoRA. LoRA son pequeñas matrices adicionales que se conectan al modelo principal, mientras que el modelo en sí permanece intacto. Por eso ESSA opera con un número de parámetros aproximadamente un millón de veces menor que GRPO. GRPO es un método popular de aprendizaje por refuerzo: el modelo genera varias respuestas posibles a una tarea y se comparan sus recompensas.

Por qué un clúster grande favorece a la evolución

Cada versión del modelo se evalúa de forma independiente de las demás. Las tarjetas casi no necesitan comunicarse entre sí: basta con reunir al final los resultados de las evaluaciones. Por eso la red entre tarjetas deja de frenar el entrenamiento.

Los investigadores aportan estas cifras de velocidad en comparación con el entrenamiento con GRPO:

• unas 2 veces en 16 GPU;
• hasta 7,8 veces en 128 GPU.

El panorama es claro. Cuantas más tarjetas hay, más cara resulta la sincronización del entrenamiento convencional y más ventaja obtiene el método que casi no la necesita. Para los grandes clústeres, es un argumento de peso.

Salvedad: la comparación de calidad se hizo con tareas matemáticas. Cómo se comportará ESSA en otros tipos de tareas, por ejemplo código o diálogos largos, no queda claro a partir de la descripción.

F-GRPO: cómo no perder la diversidad de soluciones

El segundo trabajo aborda otro problema de GRPO. Tras el ajuste, el modelo suele acostumbrarse a unas pocas formas correctas de resolver y elige con menos frecuencia otras. Para una sola tarea esto no es grave, pero si hay que probar muchos intentos y encontrar al menos una solución correcta, la diversidad se vuelve importante.

F-GRPO modifica menos los parámetros en las tareas sencillas que el modelo ya resuelve con seguridad. Gracias a ello, no consolida un único camino habitual y conserva distintas formas de responder.

El resultado se verificó en Qwen2.5-7B con la métrica pass@256. Esta mide la probabilidad de que, entre 256 respuestas generadas, haya al menos una correcta. En tareas matemáticas, el indicador subió del 64,1% al 70,3%. El método no requiere costes adicionales de entrenamiento.

Qué aporta a ingenieros y empresas

Mientras el ajuste dependa del número de GPU y de la velocidad de la red entre ellas, los equipos tienen dos caminos: comprar más hardware o cambiar el algoritmo. Estos trabajos muestran el segundo camino desde dos ángulos.

• ESSA reduce la dependencia del intercambio de datos entre tarjetas y gana ventaja en clústeres grandes.
• F-GRPO aumenta la probabilidad de encontrar la respuesta correcta entre muchos intentos, sin encarecer el entrenamiento.
• Ambos enfoques mantienen o mejoran la calidad sin obligar a reconstruir todo el modelo.

Hay que evaluar los resultados con cautela: las cifras proceden de matemáticas y, en otras tareas, todo podría ser distinto. Pero la dirección es clara. El ajuste puede mejorar conservando soluciones diversas y con otra forma de actualizar el modelo, y no solo comprando nuevas tarjetas gráficas. Fuentes primarias: arXiv 2507.04453 y arXiv 2602.06717.