T-Bank ajusta LLM mediante evolución sin gradientes: 7,8 veces más rápido en 128 GPU

El equipo de T-Bank ha demostrado que un modelo de lenguaje puede ajustarse sin gradientes, es decir, sin calcular la corrección de cada parámetro en función de la magnitud del error. Precisamente ese cálculo obliga a las tarjetas gráficas de un clúster a intercambiar datos de forma constante, y la sincronización se come una parte notable de los recursos. El nuevo método ESSA usa en su lugar un algoritmo evolutivo. En tareas matemáticas igualó en calidad a GRPO, que ajusta el modelo completo, aunque configura aproximadamente un millón de veces menos parámetros. La ventaja de velocidad crece con el tamaño del clúster: aproximadamente 2 veces en 16 GPU y hasta 7,8 veces en 128.

Otro trabajo del mismo grupo, F-GRPO, mejora el propio GRPO. Ambos artículos se presentaron en EMNLP, conferencia de procesamiento del lenguaje natural de categoría A*.

Cómo aprende el modelo sin gradientes

El ajuste convencional funciona así. El modelo resuelve una tarea, el sistema calcula el error y obtiene el gradiente: una indicación de en qué dirección mover cada parámetro para que la respuesta mejore. Cuando el entrenamiento se reparte entre decenas o cientos de tarjetas gráficas, estas intercambian esos gradientes en cada paso. Los cálculos son rápidos, pero la red entre las tarjetas suele convertirse en el cuello de botella.

ESSA actúa de otra manera, con una lógica similar a la de la selección:

• se toma el modelo original y se crean muchas versiones ligeramente distintas; • cada versión se prueba con un conjunto de tareas y se cuenta cuántas resuelve; • las más exitosas pasan a ser la base de la siguiente generación; • el ciclo se repite paso a paso.

No cambia todo el modelo, sino solo un pequeño conjunto de parámetros de adaptadores LoRA. LoRA son pequeñas matrices adicionales que se conectan al modelo principal, mientras que el modelo en sí permanece intacto. Por eso ESSA opera con un número de parámetros aproximadamente un millón de veces menor que GRPO. GRPO es un método popular de aprendizaje por refuerzo: el modelo genera varias respuestas posibles a una tarea y se comparan sus recompensas entre sí.

Por qué un clúster grande favorece a la evolución

Cada versión del modelo se evalúa de forma independiente del resto. Las tarjetas casi no necesitan comunicarse: basta con reunir al final los resultados de las pruebas. Por eso la red entre tarjetas deja de frenar el entrenamiento.

Los investigadores aportan estas cifras de velocidad respecto al entrenamiento con GRPO:

• unas 2 veces en 16 GPU; • hasta 7,8 veces en 128 GPU.

La imagen es clara. Cuantas más tarjetas hay, más cara resulta la sincronización del entrenamiento convencional y más gana el método que casi no sincroniza. Para los clústeres grandes, es un argumento de peso.

Salvedad: la comparación de calidad se hizo en tareas matemáticas. La descripción no aclara cómo se comportará ESSA en otros tipos de tareas, por ejemplo código o diálogos largos.

F-GRPO: cómo no perder diversidad de soluciones

El segundo trabajo aborda otro problema de GRPO. Tras el ajuste, el modelo suele acostumbrarse a unas pocas formas correctas de resolver una tarea y elige otras con menos frecuencia. Para una sola tarea no es grave, pero si hay que probar muchos intentos y encontrar al menos una solución correcta, la diversidad cobra importancia.

F-GRPO modifica menos los parámetros en las tareas sencillas, que el modelo ya resuelve con seguridad. Así no fija un único camino habitual y conserva distintas maneras de responder.

El resultado se comprobó con Qwen2.5-7B y la métrica pass@256, que es la probabilidad de que, entre 256 respuestas generadas, haya al menos una correcta. En tareas matemáticas, el indicador subió del 64,1% al 70,3%. El método no requiere costes adicionales de entrenamiento.

Qué aporta a ingenieros y empresas

Mientras el ajuste dependa del número de GPU y de la velocidad de la red entre ellas, los equipos tienen dos caminos: comprar más hardware o cambiar el algoritmo. Estos trabajos muestran el segundo camino desde dos ángulos.

• ESSA reduce la dependencia del intercambio de datos entre tarjetas y gana ventaja en clústeres grandes. • F-GRPO aumenta la probabilidad de encontrar una respuesta correcta entre muchos intentos, sin encarecer el entrenamiento. • Ambos enfoques mantienen o mejoran la calidad sin necesidad de reconstruir todo el modelo.

Los resultados deben evaluarse con cautela: las cifras proceden de matemáticas y en otras tareas todo podría ser distinto. Pero la dirección es clara. El ajuste puede mejorarse conservando soluciones diversas y con otra forma de actualizar el modelo, y no solo comprando nuevas tarjetas gráficas. Fuentes primarias: arXiv 2507.04453 y arXiv 2602.06717.