Ollama Cloud à l'épreuve du code review : DeepSeek v3.1 devance Qwen et GPT-OSS

Un test pratique montre que les modèles cloud accessibles via Ollama savent déjà prendre en charge une partie du code review sur de vraies Pull Requests, et pas seulement sur des exemples de démonstration. Dans ce comparatif entre Qwen 3.5, GPT-OSS et DeepSeek v3.1, DeepSeek livre l'analyse la plus approfondie et les recommandations les plus applicables, avec toutefois une réserve importante liée à la configuration.

Comment le test a été mené

L'auteur de l'article n'a pas évalué les modèles sur des tâches abstraites, mais sur des Pull Requests issues de son propre projet legacy en Python, vieux d'environ quatre ans. Chaque modèle a reçu sa propre PR, dans des conditions identiques : même prompt, même accès au contexte du projet et RAG activé, pour que le système puisse charger des fichiers supplémentaires sans se limiter au diff. Ce point compte : c'est souvent le manque de contexte qui rend une revue par IA superficielle.

La configuration a elle aussi été alignée au maximum : temperature à 0.2, limite de 4000 tokens, niveau de criticité des remarques élevé, détection des problèmes de sécurité, de performance et de style activée, et autorisation de proposer des correctifs. Les modèles analysaient non seulement le diff, mais aussi le code associé.

Le test portait sur Qwen 3.5, GPT-OSS et DeepSeek v3.1, trois modèles open-weight en vue, souvent envisagés aujourd'hui comme alternative aux outils SaaS pour développeurs.

Les modèles ont été notés sur une échelle de cinq points, selon les critères suivants :

• précision dans la détection de vrais problèmes dans le code
• compréhension des risques de sécurité
• tendance aux hallucinations
• profondeur d'analyse et compréhension des conséquences des modifications
• utilité pratique des correctifs proposés

L'auteur a aussi examiné le human acceptance rate : la probabilité qu'un développeur accepte réellement les commentaires du modèle au lieu de les ignorer comme du bruit.

Bilan par modèle

Qwen 3.5 a été une bonne surprise. Avec une note finale de 3.8, il affiche un équilibre solide entre précision, faible taux d'hallucinations et conseils pratiques. Selon l'auteur, le modèle rattachait bien ses remarques à des lignes précises, proposait souvent de vrais correctifs et se comportait globalement comme un premier relecteur utile. Point faible : une analyse architecturale limitée et un usage peu actif des outils disponibles pour récupérer du contexte supplémentaire.

GPT-OSS, à l'inverse, s'est montré nettement plus faible, avec 2.9 points. Principal reproche : des remarques trop génériques. Le modèle a repéré une partie des vrais problèmes, mais reliait moins bien ses commentaires aux modifications concrètes de la PR, proposait moins souvent des auto-fix applicables et se lançait plus fréquemment dans des suppositions mal étayées. Son style de réponse clair reste un atout, mais insuffisant pour un code review en conditions réelles : un développeur n'a pas besoin de formulations soignées, il lui faut des remarques précises et utiles.

DeepSeek v3.1 obtient le meilleur résultat technique. Sans pénalité, sa note finale atteint 4.25 : le modèle expliquait mieux que les autres l'origine des problèmes, repérait plus souvent les risques de sécurité, proposait des correctifs corrects sur le plan de l'ingénierie et analysait plus en profondeur les conséquences des modifications. Formellement, l'auteur a ramené la note à 3.25, car le modèle n'a pas réussi à utiliser l'outil sans activer le think mode. Mais même avec cette réserve, c'est DeepSeek qui est désigné comme l'option la plus approfondie et la plus pratique parmi celles testées.

«

Les modèles cloud via Ollama peuvent réellement être utilisés pour des tâches de code review. »

Où Ollama a sa place

La conclusion principale de l'article n'est pas qu'Ollama remplace automatiquement des services spécialisés comme CodeRabbit, Claude Review ou QoDo. C'est plutôt l'inverse : la qualité d'une revue par IA dépend fortement du modèle choisi, des réglages et de la quantité de contexte fournie. Avec un mauvais modèle, ou limité au seul diff sans accès aux fichiers du projet, le résultat se réduit vite à une série de remarques superficielles.

En revanche, Ollama dispose d'un cas d'usage fort lorsque l'équipe tient au contrôle et à la flexibilité. L'auteur souligne que cette approche est particulièrement intéressante pour les projets au code sensible, soumis à des NDA, ou lorsqu'on ne veut pas envoyer les sources vers une infrastructure externe. La plateforme permet en outre de basculer rapidement d'un modèle à l'autre, de construire ses propres pipelines au-dessus de l'API et, si besoin, de passer à une exécution locale plutôt que dans le cloud.

Si l'équipe n'a pas d'exigences strictes en matière de confidentialité et que le budget n'est pas critique, les solutions SaaS clés en main peuvent encore offrir un résultat plus stable « out of the box ». Elles s'intègrent mieux au workflow, proposent davantage d'automatisation prête à l'emploi et demandent moins de configuration manuelle. L'expérience montre surtout que les modèles open rattrapent cette catégorie de produits plus vite que beaucoup ne l'imaginaient.

Ce que cela signifie

Pour les équipes de développement, c'est le signe que le code review par IA peut déjà servir non plus de gadget, mais de couche opérationnelle de vérification préalable des Pull Requests. Il ne remplace pas le relecteur humain, mais avec le bon modèle, un bon contexte et l'accès aux outils, il peut absorber une partie de la routine, détecter de vrais problèmes et proposer des correctifs avant même que la PR n'arrive chez un collègue.