TACO: método elimina a “contaminação” de crédito no treinamento RL de modelos de linguagem

Pesquisadores publicaram no arXiv em 10 de julho de 2026 o método TACO — Tail-Aware Credit Calibration — para melhorar o treinamento de aprendizado por reforço de modelos de linguagem. O método elimina uma falha sistêmica em algoritmos de RL: a situação em que tokens improváveis e contextualmente errôneos recebem o mesmo crédito positivo que tokens corretos, degradando gradualmente a qualidade do raciocínio.

Por que o crédito uniforme destrói o raciocínio

Métodos de RL sem crítico para LLMs — como GRPO — funcionam por um princípio: se a resposta de um modelo é reconhecida como correta, todos os tokens dessa resposta recebem crédito positivo idêntico. A lógica é clara: por que diferenciar tokens se a resposta como um todo está correta?

O problema está nos detalhes. Entre os tokens de uma resposta correta, inevitavelmente há tokens "cauda" — improváveis, atípicos para o contexto dado. Eles podem ser sintaticamente ou semanticamente errôneos localmente, mas terminaram na resposta correta "por acaso." Recebendo o mesmo crédito que tokens corretos, ensinam gradualmente ao modelo a reproduzir padrões similares.

Os autores chamam isso de Positive-Credit Contamination — contaminação por crédito positivo. O efeito se acumula: quanto mais longa a sessão de RL, mais padrões errôneos se consolidam no modelo.

• O problema afeta todos os métodos de RL sem crítico, incluindo GRPO e REINFORCE
• Tokens "cauda" — improváveis e atípicos para o contexto — são reforçados igualmente com tokens corretos
• Em sessões de treinamento longas, métodos padrão frequentemente degradam em qualidade de resposta

Como TACO calcula o risco para cada token

TACO adiciona um novo componente ao pipeline de RL — um tail-risk score: uma avaliação para cada token de quanto é um caso "cauda" indesejável.

A ideia-chave é separar dois tipos de raridade. Primeiro: "raro devido à incerteza" — o modelo está em um ponto de múltiplas opções igualmente aceitáveis e explorando o espaço de respostas. Isso é normal, e tais tokens continuam a receber crédito total. Segundo: "raro devido ao erro" — uma anomalia contextual que não se ajusta à distribuição de respostas corretas. Este é o tipo que é suprimido.

Enquanto isso, TACO não anula completamente o gradiente de tokens arriscados, mas apenas reduz seu crédito positivo. Essa abordagem preserva padrões raros úteis que ocorrem sistematicamente e reduz gradualmente ruído aleatório.

O que os testes em oito benchmarks mostraram

O método foi testado em três modelos de linguagem e oito benchmarks padrão de avaliação de raciocínio. TACO consistentemente superou as soluções baseline baseadas em GRPO em todos os conjuntos.

Mais indicativo é o resultado em estabilidade de treinamento. Métodos padrão sem crítico frequentemente degradam em sessões longas de RL: o sinal de crédito fica contaminado, a qualidade para de crescer. TACO forneceu crescimento constante em métricas durante todo o treinamento sem reversões — o que é particularmente importante para RL de longo prazo, que está na base dos modelos de raciocínio modernos.

Código-fonte publicado no GitHub: github.com/xiuyilou/TACO.

O que isso significa

O problema do crédito uniforme em RL para LLMs há muito é discutido na comunidade, mas até agora não teve uma solução simples e incorporável. TACO é compacto e se integra em cima de um pipeline existente sem reformulação de arquitetura. Em 2025–2026, praticamente todos os laboratórios frontier usam RL de longo prazo como método-chave para melhorar capacidades de raciocínio do modelo. Se TACO se reproduzir em experimentos maiores, o método poderia se tornar um componente padrão do treinamento RL de próxima geração.