SberZdorovye : le non-déterminisme des réseaux neuronaux est une défaillance du pipeline, pas une propriété du modèle

SberZdorovie : le non-déterminisme dans les réseaux de neurones est une défaillance de pipeline, non une propriété du modèle

Ruslan Cherkas, architecte chez SberZdorovie, s'est exprimé contre la thèse populaire selon laquelle les réseaux de neurones seraient intrinsèquement non-déterministes par nature. Son argument principal : si les données d'entrée, les poids du modèle et l'environnement sont fixés, le système doit produire le même résultat, et toute divergence est un signal d'une défaillance dans le pipeline, le code ou l'infrastructure.

D'où vient le différend

L'occasion de cette analyse a été une situation typique de la pratique ML : une équipe tente de reproduire une expérience mais obtient des métriques différentes ou une réponse différente du modèle. Ces cas sont souvent expliqués par la nature même des réseaux de neurones, particulièrement lorsqu'il s'agit de LLMs, d'entraînement sur GPUs et de chaînes complexes de bibliothèques et services. Cherkas conteste précisément cette explication et propose de regarder le problème de manière plus rigoureuse, comme un défaut d'ingénierie plutôt que comme une caractéristique inévitable de la technologie.

Selon sa logique, un modèle mathématique ne peut pas être « aléatoire par lui-même » si tous ses arguments sont connus et inchangés. Pour un réseau de neurones, cela signifie une entrée fixe, des poids fixes et des conditions d'exécution identiques. Dans ce mode, la formule doit conduire à la même conclusion à chaque fois. Si cela ne se produit pas, c'est qu'il existe quelque part entre les données, le matériel, les bibliothèques et l'algorithme une variable non comptabilisée que l'équipe ne contrôle simplement pas.

Quatre sources de défaillances

L'auteur détaille les explications les plus courantes généralement utilisées pour justifier les résultats fluctuants et les réduit à quatre classes de problèmes. Sa position générale est stricte : le non-déterminisme n'est pas une « fonctionnalité » utile s'il survient sans changement des conditions d'entrée. Cela importe non seulement pour la science, mais aussi pour déployer le modèle en production, où toute divergence inexpliquée devient rapidement un risque.

• Indétermination des données d'entrée — les données elles-mêmes, les poids initiaux, la seed ou les états internes changent aléatoirement.
• Défaillances matérielles — les défauts d'équipement, les différences dans l'ordre des opérations ou un environnement d'exécution instable affectent le résultat.
• Divergences logicielles — les versions de bibliothèques diffèrent, les paramètres d'optimisation, le caching ou d'autres variables d'environnement changent.
• Erreurs algorithmiques — l'ordre flottant des calculs, les conditions de concurrence et le parallélisme incorrect cassent la reproductibilité.

Cherkas souligne séparément que les références à des « facteurs externes » comme les effets quantiques ne dispensent pas les développeurs de responsabilité. Si un facteur influence la sortie du modèle, il doit soit être inclus dans les arguments, soit être isolé. Sinon, ce n'est pas une question philosophique sur la nature de l'IA, mais une simple erreur d'implémentation.

L'article contient aussi une formule brève de la position de l'auteur :

«

Le non-déterminisme est une erreur qui doit et peut être éliminée. »

Comment atteindre la reproductibilité

La conclusion pratique de l'article est simple : d'abord, vous devez reconnaître le problème, puis localiser sa source. Si un modèle se comporte différemment lors d'exécutions identiques, l'équipe doit décomposer l'incident par couches : vérifier les données, comparer les poids, fixer la seed, assurer une équipement identique, des versions de bibliothèques et un environnement d'exécution complet identiques. Pour les systèmes de production, ce n'est plus une question de commodité mais de confiance dans les résultats et de capacité à investiguer correctement les défaillances.

L'auteur avertit aussi qu'on ne peut pas aveuglément payer la vitesse au prix de la perte de l'ordre de calcul. Si la parallélisation ou l'optimisation change l'ordre des opérations au point que les résultats commencent à fluctuer, une telle implémentation ne peut pas être considérée comme correcte pour les scénarios critiques. Cela s'applique particulièrement aux systèmes où les décisions commerciales, les recommandations médicales, la sécurité ou d'autres processus à fort risque dépendent du modèle. Dans ces cas, un pipeline déterministe doit être un objectif d'ingénierie distinct, non un effet secondaire d'un réglage réussi.

Ce que cela signifie

Le matériel de SberZdorovie est utile parce qu'il déplace la conversation sur la « magie des réseaux de neurones » vers le domaine de l'ingénierie ordinaire. Plus les entreprises intègrent activement les modèles dans des processus importants, moins il est acceptable d'expliquer l'imprévisibilité par la nature abstraite de l'IA. En pratique, les équipes qui gagneront seront celles qui peuvent démontrer la reproductibilité, décrire les sources d'aléa et prouver que le système reste maîtrisable même dans des scénarios complexes.