Ollama Cloud em code review: DeepSeek v3.1 supera Qwen e GPT-OSS

Dá para confiar a um LLM um code review completo? Em um teste prático no Ollama Cloud, três modelos (Qwen 3.5, GPT-OSS e DeepSeek v3.1) revisaram PRs reais de um projeto Python antigo. Todos usaram o mesmo prompt, as mesmas configurações e o mesmo contexto via RAG. O DeepSeek foi o mais útil em profundidade de análise e qualidade das correções. O Qwen surpreendeu positivamente, e o GPT-OSS ficou bem atrás no valor prático dos comentários.

Processado por IA de Habr AI; editado por Hamidun News
Ollama Cloud em code review: DeepSeek v3.1 supera Qwen e GPT-OSS
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1precisão na identificação de problemas reais no código
Dado-chave #2compreensão de riscos de segurança
Dado-chave #3tendência a alucinações

Um teste prático mostrou que modelos em nuvem rodando via Ollama já conseguem assumir parte das tarefas de code review em Pull Requests reais, e não só em exemplos de demonstração. Na comparação entre Qwen 3.5, GPT-OSS e DeepSeek v3.1, o DeepSeek entregou a análise mais profunda e as recomendações mais aplicáveis, ainda que com uma ressalva importante sobre a configuração.

Como o teste foi montado

O autor não avaliou os modelos em tarefas abstratas. Ele usou Pull Requests do seu próprio projeto legado em Python, com cerca de quatro anos. Cada modelo recebeu um PR separado, mas as condições foram as mesmas: o mesmo prompt, o mesmo acesso ao contexto do projeto e RAG ativado, para que o sistema pudesse buscar arquivos adicionais em vez de se limitar ao diff. Esse ponto pesa, porque a falta de contexto é justamente o que costuma deixar a revisão por IA superficial.

A configuração também foi padronizada ao máximo: temperature 0.2, limite de 4000 tokens, nível alto de criticidade dos comentários, busca ativada por problemas de segurança, desempenho e estilo, além de permissão para sugerir correções. Os modelos analisaram não só o diff, mas também o contexto de código relacionado. Entraram no teste Qwen 3.5, GPT-OSS e DeepSeek v3.1, três modelos open-weight de destaque que hoje são frequentemente cogitados como alternativa às ferramentas SaaS para desenvolvedores.

Os modelos foram avaliados em uma escala de cinco pontos. Os critérios principais foram:

  • precisão na identificação de problemas reais no código
  • compreensão de riscos de segurança
  • tendência a alucinações
  • profundidade da análise e compreensão das consequências das mudanças
  • utilidade prática das correções sugeridas

O autor também olhou à parte para o human acceptance rate, ou seja, a probabilidade de o desenvolvedor de fato aceitar os comentários do modelo em vez de ignorá-los como ruído.

Resultados por modelo

O Qwen 3.5 foi uma surpresa positiva. Ficou com nota final de 3.8 e mostrou um bom equilíbrio entre precisão, baixo índice de alucinações e conselhos práticos. Segundo o autor, o modelo vinculava bem os comentários a linhas específicas, muitas vezes sugeria correções viáveis e, no geral, funcionou como um primeiro revisor útil. O ponto fraco foi a profundidade limitada na análise de arquitetura e o uso pouco ativo das ferramentas disponíveis para buscar contexto adicional.

O GPT-OSS, por outro lado, teve desempenho bem mais fraco e somou 2.9 pontos. A principal crítica é o caráter genérico demais dos comentários. O modelo encontrou parte dos problemas reais, mas teve mais dificuldade em ligar os comentários às mudanças concretas do PR, sugeriu auto-fix aplicáveis com menos frequência e caiu mais vezes em suposições sem base suficiente. O estilo claro das respostas foi um ponto positivo, mas insuficiente para um code review prático: o desenvolvedor precisa de comentários precisos e úteis, não de frases bem redigidas.

O DeepSeek v3.1 teve o resultado técnico mais forte. Sem penalidade, sua nota final seria 4.25: o modelo explicou melhor que os outros a causa dos problemas, detectou riscos de segurança com mais frequência, sugeriu correções tecnicamente corretas e analisou com mais profundidade as consequências das mudanças. Formalmente, o autor reduziu a nota para 3.25, porque o modelo não conseguiu usar a ferramenta sem o think mode ativado. Ainda assim, mesmo com essa ressalva, o DeepSeek foi apontado como a opção mais profunda e prática entre as testadas.

«Modelos em nuvem via

Ollama realmente podem ser usados em tarefas de code review».

Onde o Ollama faz sentido

A principal conclusão do artigo não é que o Ollama substitui automaticamente serviços especializados como CodeRabbit, Claude Review ou QoDo. Pelo contrário: a qualidade da revisão por IA depende muito do modelo escolhido, das configurações e de quanto contexto ele recebe. Com um modelo ruim, ou limitado ao diff sem acesso aos arquivos do projeto, o resultado logo vira uma lista de comentários superficiais.

Por outro lado, o Ollama tem um caso de uso forte quando a equipe valoriza controle e flexibilidade. O autor destaca que essa abordagem é especialmente interessante para projetos com código sensível, restrições de NDA e a intenção de não enviar o código-fonte para infraestrutura externa. Além disso, a plataforma permite trocar de modelo rapidamente, montar pipelines próprios em cima da API e, se necessário, migrar da nuvem para execução local.

Já se a equipe não tem requisitos rígidos de privacidade e o orçamento não é um problema, as soluções SaaS prontas ainda podem entregar resultados mais estáveis logo de cara. Elas têm integração mais forte ao workflow, mais automação pronta e exigem menos configuração manual. O experimento mostra, antes, que os modelos abertos estão alcançando essa categoria de produtos mais rápido do que muitos esperavam.

O que isso significa

Para equipes de desenvolvimento, é um sinal de que o code review com IA já pode ser usado não como brinquedo, mas como uma camada real de verificação prévia de Pull Requests. Ele não substitui o revisor humano, mas, com o modelo certo, bom contexto e acesso a ferramentas, consegue tirar parte da rotina, encontrar problemas reais e sugerir correções antes mesmo de o PR chegar a um colega.

História

Perguntas frequentes sobre a notícia

Como o teste foi montado?

O autor não avaliou os modelos em tarefas abstratas. Ele usou Pull Requests do seu próprio projeto legado em Python, com cerca de quatro anos. Cada modelo recebeu um PR separado, mas as condições foram as mesmas: o mesmo prompt, o mesmo acesso ao contexto do projeto e RAG ativado, para que o sistema pudesse buscar arquivos adicionais em vez de se limitar ao diff. Esse ponto pesa, porque a falta de contexto é justamente o que costuma deixar a revisão por IA superficial. A configuração também foi padronizada ao máximo: temperature 0.2, limite de 4000 tokens, nível alto de cri

O que se sabe sobre Resultados por modelo?

O Qwen 3.5 foi uma surpresa positiva. Ficou com nota final de 3.8 e mostrou um bom equilíbrio entre precisão, baixo índice de alucinações e conselhos práticos. Segundo o autor, o modelo vinculava bem os comentários a linhas específicas, muitas vezes sugeria correções viáveis e, no geral, funcionou como um primeiro revisor útil. O ponto fraco foi a profundidade limitada na análise de arquitetura e o uso pouco ativo das ferramentas disponíveis para buscar contexto adicional. O GPT-OSS, por outro lado, teve desempenho bem mais fraco e somou 2.9 pontos. A principal crítica é o

Onde o Ollama faz sentido?

A principal conclusão do artigo não é que o Ollama substitui automaticamente serviços especializados como CodeRabbit, Claude Review ou QoDo. Pelo contrário: a qualidade da revisão por IA depende muito do modelo escolhido, das configurações e de quanto contexto ele recebe. Com um modelo ruim, ou limitado ao diff sem acesso aos arquivos do projeto, o resultado logo vira uma lista de comentários superficiais. Por outro lado, o Ollama tem um caso de uso forte quando a equipe valoriza controle e flexibilidade. O autor destaca que essa abordagem é especialmente interessante para

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…