TACO: un método que elimina la «contaminación» de crédito en el entrenamiento por RL de modelos de lenguaje

Un grupo de investigadores publicó el 10 de julio de 2026 en arXiv TACO (Tail-Aware Credit Calibration), un método para mejorar el aprendizaje por refuerzo de los modelos de lenguaje. Corrige un defecto sistémico de los algoritmos de RL: los tokens poco probables y erróneos según el contexto reciben el mismo crédito positivo que los correctos, lo que degrada poco a poco la calidad del razonamiento.

Por qué el crédito uniforme daña el razonamiento

Los métodos de RL sin crítico para LLM, como GRPO, funcionan con un único principio: si la respuesta del modelo se considera correcta, todos sus tokens reciben el mismo crédito positivo. La lógica es comprensible: ¿para qué diferenciar tokens si la respuesta, en conjunto, es válida?

El problema está en los detalles. Toda respuesta correcta contiene inevitablemente tokens «de cola»: poco probables y atípicos para ese contexto. Pueden ser erróneos a nivel local, sintáctica o semánticamente, pero acabaron en una respuesta correcta «por casualidad». Al recibir el mismo crédito que los tokens correctos, enseñan poco a poco al modelo a reproducir patrones similares.

Los autores lo llaman Positive-Credit Contamination (contaminación por crédito positivo). El efecto se acumula: cuanto más larga es la sesión de RL, más patrones erróneos se afianzan en el modelo.

• El problema afecta a todos los métodos de RL sin crítico, incluidos GRPO y REINFORCE
• Los tokens «de cola», poco probables y atípicos para el contexto, se refuerzan igual que los correctos
• En sesiones largas de entrenamiento, los métodos estándar suelen degradar la calidad de las respuestas

Cómo calcula TACO el riesgo de cada token

TACO añade un único componente nuevo al pipeline de RL: la tail-risk score, una estimación de hasta qué punto cada token es un caso «de cola» indeseable.

La idea clave es separar dos tipos de rareza. El primero: «raro por incertidumbre», cuando el modelo está ante varias opciones igualmente válidas y explora el espacio de respuestas. Es normal, y estos tokens siguen recibiendo el crédito completo. El segundo: «raro por error», una anomalía contextual que no encaja en la distribución de respuestas correctas. Este es el tipo que se suprime.

TACO no anula por completo el gradiente de los tokens de riesgo, solo reduce su crédito positivo. Así conserva los patrones raros útiles que aparecen de forma sistemática y va eliminando el ruido aleatorio.

Qué mostraron las pruebas en ocho benchmarks

El método se probó en tres modelos de lenguaje y ocho benchmarks estándar de razonamiento. TACO superó de forma consistente a las referencias basadas en GRPO en todos los conjuntos.

El resultado más revelador es la estabilidad del entrenamiento. Los métodos estándar sin crítico suelen degradarse en sesiones largas de RL: la señal de crédito se contamina y la calidad deja de mejorar. TACO logró un crecimiento sostenido durante todo el entrenamiento, sin retrocesos, algo especialmente importante para el RL a largo plazo que sustenta a los modelos de razonamiento actuales.

El código fuente está disponible en GitHub: github.com/xiuyilou/TACO.

Qué significa

El problema del crédito uniforme en el RL para LLM se debate desde hace tiempo en la comunidad, pero hasta ahora no tenía una solución sencilla e integrable. TACO es compacto y se acopla a un pipeline existente sin cambios de arquitectura. En 2025–2026, casi todos los laboratorios de frontera usan RL a largo plazo como método clave para mejorar el razonamiento de los modelos. Si TACO se reproduce en experimentos más grandes, podría convertirse en un componente estándar del entrenamiento por RL de la próxima generación.