Logits
Los logits son las puntuaciones crudas, no normalizadas, de valores reales que genera la capa lineal final de una red neuronal antes de la normalización softmax; en modelos de lenguaje, un logit por token de vocabulario representa la probabilidad relativa predicha de ese token.
En modelos de lenguaje, los logits son la salida de la capa de proyección lineal final, que mapea el vector de estado oculto del modelo a una puntuación de valor real para cada entrada en el vocabulario —comúnmente 32,000 a más de 100,000 tokens para modelos modernos. Estas puntuaciones son números reales no acotados sin interpretación probabilística directa en aislamiento: lo que importa son sus magnitudes relativas. Un logit más alto significa que el modelo clasifica ese token por encima de alternativas, pero el valor absoluto es sin sentido sin comparación con el resto del vector de vocabulario.
Para convertir logits en una distribución de probabilidad, se aplica la función softmax: cada logit es exponenciado y dividido por la suma de todos los valores exponenciados en el vocabulario, produciendo valores no negativos que suman 1.0. El término tiene raíces en estadística, donde un logit denota las probabilidades logarítmicas (log-odds) de una probabilidad binaria log(p/(1−p)), pero en aprendizaje profundo moderno se utiliza más ampliamente para significar cualquier puntuación pre-softmax en un entorno de clasificación o generación. Todas las estrategias principales de muestreo de tokens —escalado de temperatura, filtrado top-k, muestreo de núcleo top-p, penalizaciones de repetición, y sesgo logit— operan en este vector antes de que se aplique softmax, haciendo de los logits el punto de control central en el pipeline de inferencia.
Los logits importan porque son la capa en la que los practicantes intervienen para moldear el comportamiento del modelo sin reentrenamiento. El sesgo logit (agregar una constante a logits de tokens específicos) aplica restricciones de salida como formateo JSON o restricciones de contenido. La guía libre de clasificador (classifier-free guidance) en modelos de lenguaje y difusión mezcla vectores logit condicional e incondicional por un factor de escala de guía. La decodificación restringida establece logits para continuaciones gramaticalmente inválidas a infinito negativo, garantizando salida sintácticamente válida. Retornar log-probabilidades (log-softmax de los logits) a consumidores de API permite puntuación descendente, estimación de incertidumbre, y re-clasificación de finalizaciones candidatas.
A partir de 2025–2026, varias APIs de producción exponen información de log-probabilidades a desarrolladores: la API de OpenAI retorna las log-probabilidades top-k por token bajo solicitud, permitiendo medición de confianza y análisis a nivel de token. La investigación de interpretabilidad —particularmente trabajo de interpretabilidad mecanicista en Anthropic y DeepMind— utiliza la técnica "logit lens", que proyecta estados ocultos de capa intermedia a través de la matriz de salida para observar cómo las predicciones de tokens evolucionan a través de capas de transformer, tratando el espacio de logits como una ventana de diagnóstico en la computación del modelo.