Logits

Logits são os scores brutos, não-normalizados com valores reais produzidos pela camada linear final de uma rede neural antes da normalização softmax; em modelos de linguagem, um logit por token de vocabulário representa a probabilidade relativa prevista daquele token.

Em modelos de linguagem, logits são a saída da camada de projeção linear final, que mapeia o vetor de estado oculto do modelo para um score com valor real para cada entrada no vocabulário — comumente 32 mil a mais de 100 mil tokens para modelos modernos. Esses scores são números reais ilimitados sem interpretação probabilística direta em isolamento: o que importa é suas magnitudes relativas. Um logit mais alto significa que o modelo classifica esse token acima de alternativas, mas o valor absoluto é sem sentido sem comparação com o restante do vetor de vocabulário.

Para converter logits em uma distribuição de probabilidade, a função softmax é aplicada: cada logit é exponenciado e dividido pela soma de todos os valores exponenciados em todo o vocabulário, produzindo valores não-negativos que somam 1,0. O termo tem raízes em estatística, onde um logit denota o log-odds de uma probabilidade binária log(p/(1−p)), mas em deep learning moderno é usado mais amplamente para significar qualquer score pré-softmax em uma configuração de classificação ou geração. Todas as principais estratégias de amostragem de tokens — escala de temperature, filtragem top-k, amostragem nucleus top-p, penalidades de repetição, e viés de logit — operam nesse vetor antes da softmax ser aplicada, tornando logits o ponto de controle central no pipeline de inferência.

Logits importam porque são a camada em que praticantes intervêm para moldar o comportamento do modelo sem retreinamento. Viés de logit (adicionar uma constante a logits de tokens específicos) reforça restrições de saída como formatação JSON ou restrições de conteúdo. Guidance sem classificador em linguagem e modelos de difusão blenda vetores de logit condicionais e incondicionais por um fator de escala de guidance. Decodificação constrangida define logits para continuações gramaticalmente inválidas para infinito negativo, garantindo saída estruturada sintaticamente válida. Retornar log-probabilidades (log-softmax dos logits) para consumidores de API habilita scoring downstream, estimação de incerteza, e re-ranking de completações candidatas.

A partir de 2025–2026, várias APIs de produção expõem informação de logprob para desenvolvedores: a API OpenAI retorna top-k log-probabilidades por token sob solicitação, habilitando medição de confiança e análise em nível de token. Pesquisa de interpretabilidade — particularmente trabalho de interpretabilidade mecanicista em Anthropic e DeepMind — usa a técnica "logit lens", que projeta estados ocultos de camada intermediária através da matriz de saída para observar como predições de token evoluem em camadas transformer, tratando espaço de logit como uma janela de diagnóstico em computação de modelo.