Redes neurais e matemática: por que os LLMs erram nas contas

Uma rede neural pode errar até em matemática simples, entregando com confiança um resultado incorreto ao multiplicar números de seis dígitos: os dígitos das pontas estão certos, o erro está no meio. Não é um bug nem uma falha de um modelo específico. O transformer prevê tokens com base em estatística; ele não executa o algoritmo de multiplicação em colunas.

Token versus algoritmo: qual é a diferença

A multiplicação em colunas é um procedimento com casas decimais, "vai-um", somas intermediárias e uma ordem rígida de operações. Um processador a executa. Um aluno a executa. Um transformer, em uma única passada, não: ele gera um texto parecido com a resposta correta, apoiando-se na estatística dos dados de treinamento.

A aritmética curta funciona como memória, não como cálculo:

• A tabuada aparece milhões de vezes nos dados de treinamento
• O modelo não calcula "7 × 8 = 56": ele se lembra
• Com números de dois ou três dígitos, ainda há padrões conhecidos suficientes
• Com seis dígitos, quase não há exemplos conhecidos, e o modelo passa a "continuar de forma plausível"
• A confiança ao dar a resposta não tem relação com a precisão do resultado

Por que o erro aparece justamente no meio do número?

Os dígitos das pontas do resultado podem ser deduzidos dos primeiros e últimos dígitos dos fatores, um padrão que o modelo aprende. Os dígitos do meio exigem uma cadeia real de "vai-um", que o transformer não constrói em uma única passada autorregressiva.

A assinatura típica: a ponta direita (unidades, dezenas) e a esquerda (casas mais altas) costumam estar corretas, enquanto os dígitos do meio são inventados. Além disso, o modelo não tem um sinal interno de "não tenho certeza": o preditor de tokens simplesmente continua a sequência da forma mais plausível possível.

Como a indústria resolve isso

A solução não veio de dentro da arquitetura, mas de fora: ferramentas. Code Interpreter no ChatGPT, blocos de Python no Claude, chamada de calculadora via function calling. O modelo delega o cálculo a quem sabe calcular.

"Faz, e com bastante sucesso, só que não onde parece" — o avanço não

está em ensinar o LLM a calcular sozinho, mas em fazê-lo saber acionar a ferramenta certa.

Chain-of-thought (o registro explícito dos passos intermediários) ajuda em parte: a precisão com números de vários dígitos aumenta. Mas cada token da cadeia é, ele próprio, uma previsão, então essa técnica não entrega 100% de confiabilidade.

Em paralelo, avançam as pesquisas sobre ajuste fino especializado em matemática: modelos treinados principalmente com textos científicos entendem melhor os problemas. Mas eles também não substituem um calculador: o valor desses modelos está em formular corretamente o problema para a ferramenta, e não em contar por conta própria.

O que isso significa

Esperar de um LLM o comportamento de uma calculadora é um mal-entendido arquitetural. O padrão correto: o modelo entende a tarefa, constrói a lógica, delega os números a uma ferramenta e interpreta o resultado. Confiar a unit economics a um chat sem ferramentas é testar não o modelo, mas a sorte.

Perguntas frequentes

Por que o modelo não avisa que não sabe calcular?

Um modelo de linguagem não tem sinal interno de incerteza ao gerar um número. Ele emite o próximo token com a maior probabilidade, e o faz com a mesma confiança quando o resultado está certo e quando está errado. É uma propriedade fundamental da geração autorregressiva, não um erro de código.

O chain-of-thought ajuda em aritmética complexa?

Sim, mas de forma limitada. Escrever os "vai-um" passo a passo melhora a precisão, porque o modelo "enxerga" os resultados intermediários como contexto da próxima previsão. Porém, cada passo continua sendo uma previsão e os erros se acumulam, então cálculos críticos exigem uma ferramenta externa.

Por que a rede neural erra em matemática?

O transformer prevê tokens com base na estatística dos dados de treinamento; ele não executa um algoritmo matemático como um processador ou uma pessoa.