Comment Fonctionne la Sélection de Tokens dans les Réseaux Neuronaux : logits, température et top-p
Un réseau neuronal sélectionne le mot suivant en utilisant logits et softmax. La température contrôle l'aléatoire : les valeurs basses produisent des réponses p
◐ Écouter l'article
Un réseau neuronal sélectionne le mot suivant en utilisant logits et softmax. La température contrôle l'aléatoire : les valeurs basses produisent des réponses précises, les valeurs hautes produisent des réponses créatives. Top-p filtre les variantes improbables. L'ajustement approprié de ces paramètres détermine la qualité du texte.