Cómo elige tokens una red neuronal: logits, temperatura y top-p

Cuando un modelo de lenguaje genera texto, se enfrenta a una tarea fundamental: elegir la siguiente palabra entre miles de candidatas. Esa elección no es aleatoria, sino que la rigen mecanismos probabilísticos. Entender los logits, la temperatura y top-p es la clave para controlar el comportamiento de un LLM.

Qué son los logits y softmax

Para cada token posible, la red calcula una puntuación numérica llamada logit. Es la señal sin procesar de la última capa de la red. La palabra "creatividad" puede recibir un logit de 5.2 y "teléfono", de 2.1. La función softmax convierte esos números en probabilidades (de 0 a 1) que suman 1.

Imagine que el modelo procesa "el aprendizaje automático es". Calcula los logits de todas las palabras de su vocabulario. Tras aplicar softmax, la distribución queda así: "ciencia" = 35 %, "arte" = 8 %, "pingüino" = 0.001 %. El modelo elige al azar según esta distribución: escoge con más frecuencia las opciones probables y rara vez las improbables.

Temperatura: el regulador del comportamiento

La temperatura es un multiplicador que se aplica a los logits antes de softmax. La matemática es simple, pero el efecto es potente:

• T < 1 (por ejemplo, 0.3) lleva al modelo al lado "helado". La distribución se afila y las opciones improbables reciben probabilidades insignificantes. El modelo elige de forma casi determinista, y las respuestas son predecibles y precisas. Ideal para código, datos e instrucciones.
• T = 1 es el comportamiento estándar: los logits se usan tal cual.
• T > 1 (por ejemplo, 1.5–2.0) lleva al modelo al lado "ardiente". La distribución se aplana y las opciones improbables tienen una oportunidad. El modelo elige de forma más aleatoria. Ideal para escritura creativa, pero corre el riesgo de generar errores o alucinaciones.

Una temperatura alta vuelve al modelo aventurero; una baja, conservador.

Top-p: muestreo inteligente

Top-p (nucleus sampling) resuelve un problema: cómo evitar que el modelo diga auténticas tonterías sin quitarle libertad. El algoritmo ordena los tokens por probabilidad y toma los primeros hasta que su probabilidad acumulada alcanza p (normalmente 0.9).

Ejemplo: si top-p = 0.9 y la distribución es esta:

• "ciencia" = 40 %
• "camino" = 30 %
• "conocimiento" = 15 %
• "libertad" = 10 %
• "ping üino" = 5 %

El modelo tomará las cuatro primeras opciones (40+30+15+10=95 %) y descartará "pingüino". Top-p es dinámico: en un contexto puede seleccionar 5 opciones y en otro, 200.

Qué significa esto

Estos tres parámetros no son magia en absoluto, sino herramientas de control. El desarrollador elige la temperatura y top-p según la tarea: generar código exige una temperatura baja (la fiabilidad pesa más que la creatividad), mientras que escribir un relato exige una alta (variedad). Entender estos mecanismos convierte el trabajo con un LLM de una caja negra en un problema de ingeniería.