Calibração de modelos de linguagem: três métodos para alinhar confiança e acurácia

Modelos de linguagem frequentemente "mentem" com sua confiança: dizem "estou 90% certo", mas erram metade das vezes. Calibração é um conjunto de técnicas que eliminam essa lacuna sem alterar os pesos do modelo. O artigo cobre três das abordagens post-hoc mais comuns.

Por que a falta de calibração é perigosa

Um modelo bem calibrado significa: se atribuir "70% de probabilidade" a um evento, na realidade tal evento deve ocorrer em aproximadamente 70% dos casos similares. Isso soa razoável, mas na prática a maioria dos LLMs modernos está excessivamente confiante — sistematicamente exagera sua própria precisão, especialmente em cenários longe dos dados de treinamento. O problema não é abstrato. Em produtos onde as decisões são tomadas com base em probabilidades do modelo — diagnóstico médico, pontuação de crédito, perícia jurídica, algoritmos de negociação — confiança incorreta leva diretamente a decisões erradas. Um usuário vê "90% de confiança" e confia em uma resposta que é objetivamente correta apenas 55% das vezes.

A lacuna pode ser medida de duas maneiras. ECE (Erro de Calibração Esperado) — uma única métrica numérica que calcula a média do desvio absoluto entre probabilidades previstas e frequências reais em intervalos. Diagrama de confiabilidade — uma ferramenta visual: eixo X são probabilidades previstas, eixo Y é precisão real. Calibração perfeita é uma linha diagonal reta. Desvio para baixo significa excesso de confiança; para cima significa falta de confiança.

Três métodos de calibração post-hoc

Todas as três abordagens são aplicadas após o treinamento da rede neural. Elas não alteram os pesos, mas corrigem as probabilidades de saída na etapa de inferência usando pequeno treinamento adicional em dados de validação. Isso os torna convenientes: nenhuma necessidade de acesso ao treinamento do modelo, nenhuma necessidade de anotação adicional.

• Platt Scaling — treina regressão logística sobre logits brutos do modelo. Rápido e simples, requer poucos dados. Assume distorção sigmoidea — funciona bem se o modelo uniformemente superestima ou subestima confiança em todo o intervalo. Fraqueza: lida mal com padrões não lineares.
• Isotonic Regression — um método não paramétrico sem suposições sobre forma de distorção. Constrói uma função de transformação monótona de forma arbitrária, melhor lida com padrões complexos não lineares de falta de confiança. Requer significativamente mais exemplos de validação — caso contrário risco de sobreajuste.
• Temperature Scaling — o método mais popular para LLMs. Divide todos os logits por uma constante única aprendida T (temperatura). T > 1 — probabilidades se "desfocam", o modelo fica menos categórico. T < 1 — confiança aumenta. Um parâmetro, otimizado para NLL na validação. Implementação leva cerca de dez linhas de código.

Como escolher o método apropriado

Temperature Scaling — a escolha padrão para a maioria das tarefas com LLM. Funciona apenas com probabilidades de saída — nenhum acesso a pesos necessário. Selecionar T requer apenas alguns centenas de exemplos. Não remoldea a distribuição de probabilidade, apenas a dimensiona.

Isotonic Regression deve ser considerada quando a distorção é não linear e a amostra de validação é grande — de alguns milhares de exemplos. Pode capturar padrões complexos que Temperature Scaling perderia. Risco de sobreajuste requer cuidadosa divisão treino/val/teste.

Platt Scaling ocupa meio termo: ligeiramente mais flexível que Temperature Scaling e mais simples que Isotonic Regression. Faz sentido quando há dados insuficientes para Isotonic mas mais flexibilidade é necessária do que a temperatura fornece.

Uma limitação-chave de todas as três abordagens: um conjunto de validação separado é necessário que não foi usado na avaliação do modelo. Calibrar no mesmo conjunto é um erro que leva ao sobreajuste da função de calibração.

O que isso significa

Para equipes implantando LLMs em produção, calibração é um passo obrigatório antes da implantação em qualquer cenário de alto risco. Temperature Scaling requer esforço mínimo e pode reduzir significativamente o número de previsões incorretamente confiantes — sem sobreajuste, sem acesso a pesos, sem aumento de latência notável. Este é um daqueles casos raros onde uma pequena melhoria técnica impacta diretamente a confiança do usuário no produto.