Cohere ensinou um modelo de 7B a avaliar a própria confiança duas vezes: erro de calibração cai 52,5%

A Cohere publicou o CALIBER, um método que ensina um modelo de raciocínio a avaliar as próprias chances duas vezes: antes de começar a raciocinar e depois que a resposta está pronta. No benchmark de matemática BigMathDigits, o modelo de 7B reduziu o erro esperado de calibração (ECE) de 0,059, obtido pelo melhor baseline com uma única estimativa, para 0,028. Isso representa uma queda de 52,5%. A autora do trabalho é Beyza Ermis, research scientist da Cohere.

Uma única nota esconde duas perguntas

Antes de raciocinar, o modelo vê apenas o enunciado. Ele pode reconhecer o tema e estimar se o problema parece ao seu alcance. Nesse momento, a confiança responde à pergunta «qual a probabilidade de eu conseguir resolver isso?». Depois do raciocínio, o modelo passa a ter um objeto concreto para verificar, a própria solução, e a pergunta muda: «qual a probabilidade de esta resposta estar correta?».

A Cohere dá o exemplo de dois dados e uma soma de pelo menos 10. O modelo começa com 25% de confiança, enumera as combinações (três maneiras de tirar 10, duas de tirar 11, uma de tirar 12), chega a 6 em 36, ou seja, 1/6, e termina com 88%. O caminho inverso também é possível: a solução parece simples, mas no meio do raciocínio aparece uma suposição errada e a confiança cai. Os modelos de raciocínio convencionais não garantem essa capacidade: uma cadeia de raciocínio detalhada não significa que o modelo saiba relatar suas dúvidas com honestidade.

Os alvos de treinamento para as duas estimativas são diferentes. Para a confiança inicial, o modelo resolve o mesmo problema várias vezes. Se sete tentativas em dez têm sucesso, o alvo passa a ser 70%. Para a confiança final, o alvo é binário: a resposta específica está correta ou não. Se três de quatro tentativas têm sucesso, o alvo inicial é 75%, e a tentativa malsucedida recebe alvo final igual a 0. As recompensas de calibração são somadas à recompensa pela resposta correta. Admitir dúvida em uma resposta errada melhora a recompensa de calibração, mas não rende recompensa pela solução.

O que mostraram os experimentos

Os modelos de 7B e 30B parâmetros foram treinados com 30 000 problemas de matemática e avaliados em 1000 problemas reservados. Além disso, foram usados três benchmarks de QA. Todos os métodos foram comparados no mesmo esquema de treinamento, e os baselines marcados como lite são adaptações simplificadas de abordagens anteriores. No caso do CALIBER, as métricas foram calculadas sobre a confiança final.

• BigMathDigits, 7B: ECE de 0,028 contra 0,059 do melhor baseline (−52,5%).
• AUROC de 0,806 e Brier score de 0,130 são os melhores resultados da comparação.
• Transferência sem ajuste adicional e sem seleção de checkpoint para a tarefa: ECE 26,8% menor no GPQA, 32,2% menor no TriviaQA e 36,2% menor no SimpleQA.
• BigMathDigits, 30B: ECE de 0,022 contra 0,023 do CoCA-lite, mas AUROC de 0,797 contra 0,508.

O resultado do modelo de 30B mostra por que são necessárias duas métricas. Pelo ECE, o CoCA-lite quase não fica atrás, mas sua confiança praticamente não distingue respostas certas de erradas: o AUROC de 0,508 está próximo de um cara ou coroa. Um modelo que sempre diz «70%» quando acerta 70% das vezes é perfeitamente calibrado e, ao mesmo tempo, inútil para decidir o que verificar. A Cohere faz uma ressalva: alguns outros baselines têm AUROC um pouco superior ao do CALIBER, de modo que a vantagem depende da propriedade medida.

Os pesquisadores também analisaram separadamente como a confiança muda após o raciocínio. No BigMathDigits, no modelo de 7B, a estimativa média para respostas corretas subiu de 78,5% para 83,5%, enquanto para as incorretas caiu de 62,6% para 54,5%. Em outros datasets, a confiança às vezes diminui nos dois grupos, mas cai mais nas respostas erradas. A alta ou a queda em si não é um veredito: duas respostas com 70% finais expressam a mesma probabilidade, mesmo que uma tenha chegado lá subindo e a outra descendo.

Onde isso pode ser útil e o que ainda não foi testado

Para equipes de produto, o valor prático está no roteamento. Uma confiança inicial baixa pode indicar que vale encaminhar a tarefa a um modelo mais forte ou a uma pessoa antes mesmo de gastar tokens com raciocínio. Uma confiança final baixa ajuda a definir quais respostas enviar para revisão manual quando há tempo para checar só algumas em cada cem. É nesse cenário que o AUROC pesa mais do que um ECE bonito.

Há limitações a considerar. Os experimentos medem a confiança antes e depois de uma única passagem de raciocínio. A Cohere não testou o uso das atualizações para decisões como «verificar», «buscar informações adicionais» ou «abster-se». O treinamento foi feito principalmente com matemática, e a transferência para QA foi demonstrada apenas no modelo de 7B e apenas pelo ECE. Antes de incorporar essas estimativas a pipelines de agentes, é preciso rodá-las com dados próprios e checar a calibração na distribuição de tarefas de cada caso.