Pesquisadores do MIT ensinam a IA a admitir "não tenho certeza" e a alucinar menos

Pesquisadores do MIT propuseram uma forma de tornar os modelos de linguagem visivelmente mais honestos nas respostas: além de resolver a tarefa, o modelo passa a avaliar, ao mesmo tempo, o quanto confia na própria conclusão. Parece um ajuste pequeno, mas na prática ataca um dos problemas mais incômodos dos modelos de raciocínio atuais: o hábito de falar em tom confiante mesmo quando a resposta saiu quase no chute. A nova técnica não reduz a qualidade das respostas.

Pelo contrário, ajuda o modelo a distinguir melhor os casos em que realmente sabe algo das situações em que deveria admitir incerteza. A equipe do MIT CSAIL descreve o problema sem rodeios: os modelos mais fortes de hoje costumam se comportar como a pessoa que fala mais alto na sala. Eles respondem com a mesma segurança tanto quando a lógica funcionou quanto quando simplesmente acertaram por sorte.

Segundo os pesquisadores, a causa está no próprio esquema de aprendizado por reforço usado hoje para desenvolver a capacidade de raciocínio. Na versão típica, o modelo recebe uma recompensa pela resposta certa e uma penalidade pela errada. Quase não há estados intermediários.

Se o modelo chega ao resultado correto por acaso, é recompensado da mesma forma que se tivesse deduzido a solução com cuidado. Com o tempo, isso empurra o sistema a sempre responder, sem deixar espaço para um "não tenho certeza". Foi exatamente isso que o MIT tentou corrigir com a abordagem RLCR (Reinforcement Learning with Calibration Rewards).

Em vez de uma avaliação puramente binária, os pesquisadores adicionaram mais um componente à função de recompensa: o Brier score, métrica que compara a confiança declarada com a precisão real. Na prática, depois da cadeia de raciocínio, o modelo entrega a resposta e também uma estimativa numérica da própria confiança. Se ele se mostra confiante demais e erra, é penalizado.

Se, ao contrário, acerta a resposta mas subestima a confiança sem motivo, isso também entra na conta. Os autores afirmam que esse esquema leva formalmente a dois objetivos ao mesmo tempo: alta precisão e boa calibração, ou seja, correspondência entre o que o modelo diz sobre a própria confiança e a frequência com que ele realmente acerta. Os experimentos foram feitos com um modelo de 7 bilhões de parâmetros.

Segundo o MIT, o RLCR reduziu o erro de calibração em até 90 por cento em relação ao aprendizado por reforço convencional, sem queda de precisão; em alguns testes, ela até aumentou. O efeito se manteve tanto nas tarefas usadas no treinamento quanto em novos conjuntos de dados, incluindo seis datasets que o modelo nunca tinha visto. Os pesquisadores também compararam o método com abordagens post-hoc, em que se tenta estimar a confiança depois do treinamento, por meio de um classificador externo.

O RLCR se saiu melhor aqui também: em vez de ser uma camada cosmética sobre um modelo pronto, ele muda o próprio comportamento do sistema durante o treinamento. Mais do que isso, a equipe do MIT mostra que o RL padrão, além de não melhorar a calibração, muitas vezes a piora: o modelo fica mais capaz, mas também mais autoconfiante. Há ainda um sentido prático nisso.

Se o modelo gera várias respostas candidatas, é possível escolher aquela em que ele próprio relata a maior confiança, ou ponderar os votos dos candidatos levando essa estimativa em conta. Segundo os autores, isso melhora tanto a precisão quanto a calibração à medida que cresce o poder computacional na inferência. Outro resultado interessante: quando os pesquisadores treinaram classificadores separados com as saídas do modelo, o raciocínio explícito sobre a própria incerteza forneceu um sinal útil adicional, sobretudo para modelos mais compactos.

Em outras palavras, a tentativa do modelo de explicitar o que sabe e o que não sabe deixa de ser um elemento decorativo e se revela parte substancial da previsão. O que isso significa na prática? Se a abordagem RLCR escalar para modelos comerciais maiores, a indústria ganha a chance de reduzir tanto o número de erros evidentes quanto o de erros perigosos disfarçados por um tom confiante.

Para áreas como medicina, direito, finanças e análise corporativa, isso é especialmente importante: ali, receber uma resposta é pouco para o usuário; ele precisa entender o quanto pode confiar nela. O trabalho do MIT não propõe mais um filtro sobre um modelo já treinado, e sim uma ideia mais fundamental: ensinar a IA a encontrar a solução e também a medir com honestidade os limites do próprio conhecimento. Esse hábito pode acabar sendo uma das atualizações mais úteis para a próxima geração de sistemas de raciocínio.