DeepSeek V4 Pro x Claude Sonnet 4.6 em 50 tarefas: onde há economia e onde há risco
O DeepSeek V4 Pro saiu de 3 a 4 vezes mais barato que o Claude Sonnet 4.6, mas, em um teste com 50 tarefas típicas de um desenvolvedor russo, foi menos confiável. Em classificação e documentos simples, os modelos ficam quase empatados. Já em cálculos do NDFL (imposto de renda), normalização de OCR e termos locais, o Sonnet foi claramente mais estável, principalmente quando a resposta do modelo vai direto para um processo de negócio sem revisão manual. A conclusão é prática: preço baixo por token não garante a melhor escolha para produção.
Processado por IA de Habr AI; editado por Hamidun News
A comparação entre DeepSeek V4 Pro e Claude Sonnet 4.6 em 50 tarefas típicas de um desenvolvedor russo mostra algo simples: preço baixo por token não garante a melhor escolha para produção. Em cenários básicos, os modelos andam quase lado a lado, mas em tarefas com especificidades russas o DeepSeek erra bem mais.
O que foi testado
O autor comparou os modelos não em benchmarks acadêmicos, mas em pedidos práticos que equipes locais realmente enfrentam: atendimento ao cliente, extração de dados de documentos, cálculos pelas normas do Código do Trabalho e do Código Tributário da Rússia e decifração de siglas profissionais. Os testes foram feitos nas interfaces web comuns: Claude Sonnet 4.6 sem adaptive thinking e DeepSeek V4 no modo rápido, sem deep thinking. Ao todo, foram 50 prompts divididos em quatro blocos.
Em abril de 2026, a diferença de preço parecia muito agressiva a favor do DeepSeek: US$ 1,74 por milhão de tokens de entrada e US$ 3,48 pelos de saída, contra US$ 3 e US$ 15 do Sonnet 4.6. Em uma carga real, isso dá uma economia de cerca de três vezes, então a tentação de migrar para o modelo mais barato é compreensível.
- Classificação de 20 tickets de suporte em cinco categorias
- Extração de campos de 15 documentos com erros de OCR
- 10 tarefas de reasoning com normas do direito russo e cálculos
- 5 tarefas de terminologia local, como EDO, UPD, OFD e KIZ
Onde há empate
Nos cenários simples, quase não houve diferença. Os dois modelos classificaram os tickets de suporte sem erros e lidaram igualmente bem com perguntas comuns sobre entrega, devolução, pagamento e solicitações gerais. No reasoning básico também houve empate: prazo de prescrição, devolução de adiantamento e um caso de demissão durante o período de experiência foram resolvidos corretamente pelos dois sistemas, ainda que com referências normativas diferentes.
O cenário foi parecido na análise de documentos comuns. Nenhum dos modelos confundiu o OGRNIP (número de registro do empresário individual) com o INN (identificação fiscal), os dois pegaram o valor da linha numérica quando o valor por extenso continha um erro, e os dois extraíram corretamente a data de um relatório de adiantamento. Na avaliação do autor, se 80% da carga de uma empresa for composta por tarefas desse tipo, migrar para o DeepSeek pode de fato reduzir o orçamento em cerca de 75%, sem queda perceptível de qualidade.
"Benchmarks em inglês não vão nos ajudar a escolher um modelo para uma
tarefa russa."
Onde os erros custam caro
Os problemas começaram onde não basta inteligência geral, e sim conhecimento do contexto local e cuidado com casos de borda. No teste de cálculo do salário de um funcionário com remuneração de 150.000 rublos, o Sonnet deu o valor correto de 130.500 rublos líquidos, enquanto o DeepSeek chegou a 110.550. Na prática, o modelo reteve 26,3% em vez dos 13% padrão, provavelmente misturando o NDFL com as contribuições previdenciárias do empregador. Numa demonstração, é só um deslize; num pipeline automatizado, são potencialmente centenas de milhares de rublos de erro por mês.
Outra falha apareceu na normalização de OCR. Os dois modelos leram corretamente o valor, o INN e a data de uma nota fiscal com caracteres russos e latinos misturados, mas só o Sonnet normalizou o número do documento para a forma canônica. O DeepSeek deixou as letras O e l onde deveriam estar dígitos. Se esse número for depois comparado com uma base 1C ou ERP por correspondência exata, o documento simplesmente não será encontrado, mesmo que os demais campos pareçam corretos.
O tipo de erro mais desagradável do DeepSeek apareceu na tarefa sobre a dedução social por educação de um filho de 25 anos. O modelo começou a resposta com "SIM" e, em seguida, ele mesmo explicou por que, pelo artigo 219 do Código Tributário, a dedução não cabe após os 24 anos. Para uma pessoa, a contradição é visível de imediato, mas, para um sistema que analisa só a primeira palavra, a classe resultante está errada. Um problema parecido surgiu na terminologia: o Sonnet expandiu corretamente KIZ como marca de identificação de controle, enquanto o DeepSeek inventou uma variante sobre "código de identificação de peça de reposição".
No total, o Sonnet obteve 92% contra 88% em documentos, 100% contra 60% em tarefas com especificidade jurídica russa e 100% contra 80% em termos locais.
O que isso significa
A conclusão prática: o DeepSeek V4 Pro serve bem para a primeira linha de suporte, respostas padronizadas, classificação básica e MVPs, em que o preço é crítico e um erro não leva a uma ação financeira ou jurídica. Mas, se o modelo participa de cálculos com dinheiro, da interpretação dos Códigos Tributário e do Trabalho da Rússia, da normalização de documentos ou gera respostas que um sistema analisa diretamente, pagar a mais pelo Claude Sonnet 4.6 funciona como um seguro contra consequências mais caras. A escolha entre os dois deve se basear não em benchmarks, mas em 30 a 50 pedidos reais seus.
- 2 de nov. de 2026Karpathy montou em duas horas um clone do YouTube com 6454 vídeos indicados no Hacker News
- 2 de nov. de 2026Karpathy usa o Claude para criar o HackerTube, com 6454 vídeos recomendados no Hacker News
- 2 de nov. de 2026Arca entrega a agentes de IA tarefas financeiras de até 10 dias e deixa as transações com humanos
- 2 de nov. de 2026Anthropic precisa crescer a receita 32% ao ano para cobrir contratos de US$ 850 bilhões
Perguntas frequentes sobre a notícia
O que foi testado?
O autor comparou os modelos não em benchmarks acadêmicos, mas em pedidos práticos que equipes locais realmente enfrentam: atendimento ao cliente, extração de dados de documentos, cálculos pelas normas do Código do Trabalho e do Código Tributário da Rússia e decifração de siglas profissionais. Os testes foram feitos nas interfaces web comuns: Claude Sonnet 4.6 sem adaptive thinking e DeepSeek V4 no modo rápido, sem deep thinking. Ao todo, foram 50 prompts divididos em quatro blocos. Em abril de 2026, a diferença de preço parecia muito agressiva a favor do DeepSeek: US$ 1,74
Onde há empate?
Nos cenários simples, quase não houve diferença. Os dois modelos classificaram os tickets de suporte sem erros e lidaram igualmente bem com perguntas comuns sobre entrega, devolução, pagamento e solicitações gerais. No reasoning básico também houve empate: prazo de prescrição, devolução de adiantamento e um caso de demissão durante o período de experiência foram resolvidos corretamente pelos dois sistemas, ainda que com referências normativas diferentes. O cenário foi parecido na análise de documentos comuns. Nenhum dos modelos confundiu o OGRNIP (número de registro do empr
Onde os erros custam caro?
Os problemas começaram onde não basta inteligência geral, e sim conhecimento do contexto local e cuidado com casos de borda. No teste de cálculo do salário de um funcionário com remuneração de 150.000 rublos, o Sonnet deu o valor correto de 130.500 rublos líquidos, enquanto o DeepSeek chegou a 110.550. Na prática, o modelo reteve 26,3% em vez dos 13% padrão, provavelmente misturando o NDFL com as contribuições previdenciárias do empregador. Numa demonstração, é só um deslize; num pipeline automatizado, são potencialmente centenas de milhares de rublos de erro por mês. Outra
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.