TACO: un método elimina la “contaminación” del crédito en el entrenamiento RL de modelos de lenguaje

Los investigadores publicaron en arXiv el 10 de julio de 2026 el método TACO — Tail-Aware Credit Calibration — para mejorar el entrenamiento de aprendizaje por refuerzo de modelos de lenguaje. El método elimina un defecto sistémico en algoritmos de RL: la situación en la que tokens improbables y contextualmente erróneos reciben el mismo crédito positivo que tokens correctos, degradando gradualmente la calidad del razonamiento.

Por qué el crédito uniforme destruye el razonamiento

Los métodos de RL sin crítico para LLMs — como GRPO — funcionan con un principio: si la respuesta de un modelo se reconoce como correcta, todos los tokens de esa respuesta reciben el mismo crédito positivo. La lógica es clara: ¿por qué diferenciar tokens si la respuesta en general es correcta?

El problema está en los detalles. Entre los tokens de una respuesta correcta, inevitablemente hay tokens "cola" — improbables, atípicos para el contexto dado. Pueden ser sintáctica o semánticamente erróneos localmente, pero terminaron en la respuesta correcta "por casualidad." Al recibir el mismo crédito que tokens correctos, gradualmente enseñan al modelo a reproducir patrones similares.

Los autores llaman a esto Positive-Credit Contamination — contaminación por crédito positivo. El efecto se acumula: cuanto más larga sea la sesión de RL, más patrones erróneos se consolidan en el modelo.

• El problema afecta todos los métodos de RL sin crítico, incluidos GRPO y REINFORCE
• Los tokens "cola" — improbables y atípicos para el contexto — se refuerzan igualmente con tokens correctos
• En sesiones de entrenamiento largas, los métodos estándar frecuentemente se degradan en calidad de respuesta

Cómo TACO calcula el riesgo para cada token

TACO añade un nuevo componente al pipeline de RL — una tail-risk score: una evaluación para cada token de cuán indeseable es un caso "cola."

La idea clave es separar dos tipos de rareza. Primero: "raro debido a la incertidumbre" — el modelo está en un punto de múltiples opciones igualmente aceptables y explorando el espacio de respuestas. Esto es normal, y tales tokens continúan recibiendo crédito completo. Segundo: "raro debido al error" — una anomalía contextual que no se ajusta a la distribución de respuestas correctas. Este es el tipo que se suprime.

Mientras tanto, TACO no anula completamente el gradiente de tokens riesgosos, sino que solo reduce su crédito positivo. Este enfoque preserva patrones raros útiles que ocurren sistemáticamente y reduce gradualmente el ruido aleatorio.

Lo que mostraron las pruebas en ocho benchmarks

El método se probó en tres modelos de lenguaje y ocho benchmarks estándar de evaluación de razonamiento. TACO consistentemente superó las soluciones base basadas en GRPO en todos los conjuntos.

Lo más indicativo es el resultado en estabilidad del entrenamiento. Los métodos estándar sin crítico frecuentemente se degradan en sesiones largas de RL: la señal de crédito se contamina, la calidad deja de crecer. TACO proporcionó un crecimiento constante en métricas durante todo el entrenamiento sin reversiones — lo cual es particularmente importante para RL a largo plazo, que subyace a los modelos de razonamiento modernos.

Código fuente publicado en GitHub: github.com/xiuyilou/TACO.

Lo que esto significa

El problema del crédito uniforme en RL para LLMs ha sido discutido durante mucho tiempo en la comunidad, pero hasta ahora no ha tenido una solución simple e integrable. TACO es compacto e se integra sobre un pipeline existente sin rediseño de arquitectura. En 2025–2026, prácticamente todos los laboratorios frontera utilizan RL a largo plazo como un método clave para mejorar las capacidades de razonamiento del modelo. Si TACO se reproduce en experimentos más grandes, el método podría convertirse en un componente estándar del entrenamiento RL de próxima generación.