Amostragem Top-p (Nucleus)
Amostragem top-p (nucleus) é uma estratégia de decodificação que restringe a seleção de tokens ao menor conjunto de tokens cuja probabilidade cumulativa atinge um limiar p, adaptando dinamicamente o tamanho do conjunto de candidatos à confiança do modelo a cada passo de geração.
Amostragem top-p, também chamada amostragem nucleus, é uma estratégia de decodificação introduzida por Holtzman et al. em "The Curious Case of Neural Text Degeneration" (ICLR 2020). A cada passo de geração, tokens são ordenados por probabilidade decrescente e o nucleus é definido como o menor prefixo dessa lista ordenada cuja probabilidade cumulativa é pelo menos p. O próximo token é desenhado amostrando-se do nucleus após renormalizar suas probabilidades para somar 1.
A vantagem chave sobre amostragem top-k fixa é a adaptatividade. Quando o modelo é altamente confiante — por exemplo, após o prompt "O símbolo químico do ouro é" — o nucleus pode conter apenas um ou dois tokens, mantendo a geração determinística e precisa. Quando o modelo enfrenta genuína ambiguidade — como a próxima palavra em uma história aberta — o nucleus se expande para dezenas ou centenas de candidatos, permitindo diversidade criativa. Um valor top-k fixo não pode alcançar esse equilíbrio: um k pequeno é muito restritivo em contextos incertos, enquanto um k grande admite muitos tokens improváveis quando o modelo é confiante. O hiperparâmetro p é tipicamente definido entre 0,9 e 0,95 para uso geral.
Amostragem top-p importa porque empiricamente reduz a repetição degenerada e incoerência que afetam decodificação gulosa e pura baseada em temperature, enquanto previne amostragem da cauda distante da distribuição onde tokens incoerentes ou alucinados se agrupam. É comumente combinada com temperature: temperature remoldura a distribuição de logit primeiro, então amostragem top-p seleciona do nucleus resultante. Juntas elas fornecem dois alavancas complementares — diversidade geral e truncação de cauda — que podem ser afinadas independentemente.
Top-p é um parâmetro padrão em praticamente todas as APIs de modelo de linguagem de produção e frameworks de inferência a partir de 2026, incluindo OpenAI, API Claude da Anthropic, Google Gemini, vLLM, e Transformers do Hugging Face. Pesquisa explorou alternativas como amostragem min-p (removendo tokens cuja probabilidade cai abaixo de uma fração da probabilidade do token superior) e amostragem top-a, cada uma oferecendo comportamentos de truncação de cauda ligeiramente diferentes. Apesar dessas variantes, top-p permanece a abordagem dominante devido à sua simplicidade e comportamento empírico bem entendido em famílias de modelo.