SberZdorovye: o não determinismo das redes neurais é uma falha de pipeline, não uma propriedade do modelo

SberZdorovie: não-determinismo em redes neurais é falha de pipeline, não propriedade do modelo

Ruslan Cherkas, arquiteto da SberZdorovie, se pronunciou contra a tese popular de que redes neurais são inerentemente não-determinísticas por natureza. Seu argumento principal: se dados de entrada, pesos do modelo e ambiente são fixados, o sistema deve produzir o mesmo resultado, e qualquer discrepância é um sinal de falha no pipeline, código ou infraestrutura.

De onde vem a disputa

A ocasião para essa análise foi uma situação típica da prática de ML: um time tenta reproduzir um experimento mas obtém métricas diferentes ou uma resposta diferente do modelo. Tais casos são frequentemente explicados pela própria natureza das redes neurais, especialmente quando se trata de LLMs, treinamento em GPUs e cadeias complexas de bibliotecas e serviços. Cherkas disputa precisamente essa explicação e propõe olhar para o problema de forma mais rigorosa, como um defeito de engenharia em vez de uma característica inevitável da tecnologia.

De acordo com sua lógica, um modelo matemático não pode ser "aleatório por si mesmo" se todos os seus argumentos são conhecidos e não mudam. Para uma rede neural, isso significa entrada fixa, pesos fixos e condições de execução idênticas. Nesse modo, a fórmula deve levar à mesma conclusão toda vez. Se isso não acontece, então em algum lugar entre os dados, hardware, bibliotecas e algoritmo existe uma variável não contabilizada que o time simplesmente não controla.

Quatro fontes de falhas

O autor decompõe as explicações mais comuns tipicamente usadas para justificar resultados flutuantes e as reduz a quatro classes de problemas. Sua visão geral é rigorosa: não-determinismo não é uma "feature" útil se surge sem mudar as condições de entrada. Isso importa não apenas para a ciência, mas também para implantar o modelo em produção, onde qualquer discrepância inexplicável rapidamente se torna um risco.

• Dados de entrada indefinidos — dados em si, pesos iniciais, seed ou estados internos mudam aleatoriamente.
• Falhas de hardware — defeitos em equipamento, diferenças na ordem de operações ou ambiente de execução instável afetam o resultado.
• Discrepâncias de software — versões de bibliotecas diferem, configurações de otimização, caching ou outras variáveis de ambiente mudam.
• Erros algorítmicos — ordem de computação flutuante, condições de corrida e paralelização incorreta quebram a reprodutibilidade.

Cherkas separa enfatizando que referências a "fatores externos" como efeitos quânticos não isentam desenvolvedores de responsabilidade. Se um fator influencia a saída do modelo, ele deve ser incluído nos argumentos ou isolado. Caso contrário, isso não é uma questão filosófica sobre a natureza da IA, mas um erro de implementação comum.

O artigo também contém uma fórmula curta para a posição do autor:

"Não-determinismo é um erro que deve e pode ser eliminado."

Como alcançar reprodutibilidade

A conclusão prática do artigo é simples: primeiro você precisa reconhecer o problema, depois localizar sua fonte. Se um modelo se comporta diferentemente com execuções idênticas, o time deve decompor o incidente por camadas: verificar os dados, comparar pesos, fixar a seed, garantir hardware idêntico, versões de bibliotecas e ambiente de runtime completo. Para sistemas de produção, isso não é mais uma questão de conveniência, mas de confiança nos resultados e capacidade de investigar adequadamente falhas.

O autor também adverte que você não pode cegamente pagar por velocidade com a perda da ordem de computação. Se paralelização ou otimização muda a ordem de operações de forma que resultados começam a flutuar, tal implementação não pode ser considerada correta para cenários críticos. Isso especialmente se aplica a sistemas onde decisões comerciais, recomendações médicas, segurança ou outros processos de alto risco dependem do modelo. Nestes casos, um pipeline determinístico deve ser um objetivo de engenharia separado, não um efeito colateral de tuning bem-sucedido.

O que isso significa

O material da SberZdorovie é útil porque desloca a conversa sobre "magia de redes neurais" para o reino da engenharia ordinária. Quanto mais ativamente as empresas incorporam modelos em processos importantes, menos aceitável é explicar imprevisibilidade pela natureza abstrata da IA. Na prática, os times que ganharão são aqueles que podem demonstrar reprodutibilidade, descrever fontes de aleatoriedade e provar que o sistema permanece gerenciável mesmo em cenários complexos.