Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarX: @ArtificialAnlys→ original

Le modèle Tencent Hy4 corrige 76 % des vraies vulnérabilités du code et devance DeepSeek de 6 points

Tencent a publié le modèle Hy4, et le laboratoire Artificial Analysis a vérifié sa capacité à trouver et corriger de véritables failles dans le code. Dans le test CWE-Bench-AA, elle résout 76 % des tâches, soit 6 points de plus que DeepSeek V4.1 Flash. Dans l'indice synthétique Cyber Index, elle obtient 58 %, à la troisième place derrière Kimi K3.1 Pro (64 %) et GPT-6 Sol (69 %). Pour la revue de code automatisée, c'est une option solide, à environ 0,92 $ par tâche.

Traité par IA depuis X: @ArtificialAnlys ; édité par Hamidun News
Le modèle Tencent Hy4 corrige 76 % des vraies vulnérabilités du code et devance DeepSeek de 6 points
Source : X: @ArtificialAnlys. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @ArtificialAnlys ↗
Rédacteur en chef
CWE-Bench-AAl'agent recherche et corrige de vraies vulnérabilités issues du catalogue CWE
Chiffre clé #22 points de plus que Grok 4.7 (xhigh), pour un coût environ 11 fois inférieur
Chiffre clé #3Une tâche consomme 64 000 tokens de sortie, soit 43 % de moins que DeepSeek

Imaginez qu'une faille classique se cache dans votre dépôt : une requête à la base de données est construite à partir de données saisies par l'utilisateur, et permet d'extraire les données d'autrui. Il faut qu'un agent d'IA trouve lui-même cet endroit, comprenne la cause et propose un correctif. De tels exercices sont de plus en plus confiés aux modèles, et deux éléments comptent : à quelle fréquence le modèle réussit, et combien coûte son exécution sur un grand nombre de tâches.

Le laboratoire indépendant Artificial Analysis a évalué le nouveau modèle Tencent Hy4 et obtient un résultat correct sur les deux points : 76 % de tâches résolues dans le test de recherche et de correction de vulnérabilités, et environ 0,92 $ par tâche.

Ce que signifient les chiffres du test

Artificial Analysis tient son propre Cyber Index, un classement synthétique de la qualité des modèles sur les tâches de cybersécurité. Hy4 y obtient 58 %, soit la troisième place : elle devance d'un point DeepSeek V4.1 Flash 1017 (max), mais reste derrière Kimi K3.1 Pro (64 %) et GPT-6 Sol (Daybreak Blue, max) avec 69 %. GPT-6 Sol porte dans cette configuration la mention trusted-access : son accès n'est pas ouvert à tous, seulement à des utilisateurs vérifiés.

Le résultat le plus remarquable de Hy4 vient du test distinct CWE-Bench-AA. Il s'agit de l'implémentation par Artificial Analysis du benchmark CWE-bench v1. L'agent reçoit de véritables vulnérabilités présentes dans des logiciels, et doit les trouver et les corriger. CWE est un catalogue reconnu des types de faiblesses logicielles, des dépassements de tampon aux injections SQL. Hy4 résout 76 % des tâches et prend la première place. Elle devance DeepSeek V4.1 Flash 1017 (max) de 6 points.

Argent et tokens

Le prix de l'API de Hy4 est de 0,834 $ par million de tokens d'entrée et de 2,501 $ par million de tokens de sortie. Mais un agent « réfléchit » et écrit beaucoup, donc c'est surtout le coût par tâche complète qui compte. Artificial Analysis l'estime à 0,92 $. À ce prix, Hy4 se situe sur la frontière de Pareto dans l'axe « capacités – coût » : aucun modèle de la comparaison n'est à la fois plus performant et moins cher.

Les voisins du classement se présentent ainsi :

  • Grok 4.7 (xhigh) obtient 2 points de moins, pour un coût environ 11 fois plus élevé ;
  • DeepSeek V4.1 Flash 1017 (max) est en retrait d'un point sur l'indice global et coûte environ deux fois moins cher que Hy4.

Ainsi, Hy4 n'est pas le modèle le moins cher de la comparaison, mais elle est nettement plus performante pour la recherche et la correction de vulnérabilités.

Les données sur la « prolixité » sont également disponibles. Hy4 consomme environ 64 000 tokens de sortie par tâche. C'est 43 % de moins que DeepSeek V4.1 Flash 1017 (max) et 37 % de moins que Grok 4.7 (xhigh). En revanche, elle en produit 49 % de plus que Kimi K3.1 Pro et 56 % de plus que GPT-6 Sol. Moins il y a de tokens, plus l'agent est rapide et économique : sur ce critère, Hy4 se situe au milieu du classement.

Que faire de ces résultats

Si vous intégrez l'IA à la revue de code, à l'analyse des dépendances ou aux correctifs automatiques, Hy4 mérite d'être ajoutée à la liste des modèles à tester. C'est particulièrement vrai lorsque le budget est limité et que la précision doit être supérieure à celle des modèles les moins chers.

Les réserves sont les suivantes :

  • Ces données proviennent d'un seul laboratoire indépendant et de sa propre implémentation du benchmark. Sur vos dépôts, vos langages et vos types d'erreurs courants, le résultat peut différer.
  • Dans l'indice global, Hy4 est derrière Kimi K3.1 Pro et GPT-6 Sol. Si vous avez besoin du meilleur niveau sur l'ensemble des tâches de cybersécurité, et non seulement sur la recherche et la correction de vulnérabilités, le choix peut être différent.
  • L'accès à GPT-6 Sol est restreint, si bien qu'une comparaison directe n'est pas toujours réaliste pour une équipe classique.

La démarche pratique est simple. Prenez 20 à 50 bogues ou CVE réels de votre base de code, faites-les passer par Hy4 et par deux ou trois concurrents, puis comparez la part de corrections justes et le coût final par tâche. Ce chiffre dira s'il est envisageable de lancer l'agent sur chaque commit, ou seulement sur les modules critiques.

Pour le marché, l'annonce est aussi révélatrice. Les laboratoires chinois occupent de plus en plus les premières places des classements appliqués, et la concurrence porte désormais non seulement sur la précision, mais aussi sur le coût d'une tâche résolue.

Dossier

Questions clés sur cet article

Que sait-on sur Ce que signifient les chiffres du test ?

Artificial Analysis tient son propre Cyber Index, un classement synthétique de la qualité des modèles sur les tâches de cybersécurité. Hy4 y obtient 58 %, soit la troisième place : elle devance d'un point DeepSeek V4.1 Flash 1017 (max), mais reste derrière Kimi K3.1 Pro (64 %) et GPT-6 Sol (Daybreak Blue, max) avec 69 %. GPT-6 Sol porte dans cette configuration la mention trusted-access : son accès n'est pas ouvert à tous, seulement à des utilisateurs vérifiés.

Que sait-on sur Argent et tokens ?

Le prix de l'API de Hy4 est de 0,834 $ par million de tokens d'entrée et de 2,501 $ par million de tokens de sortie. Mais un agent « réfléchit » et écrit beaucoup, donc c'est surtout le coût par tâche complète qui compte. Artificial Analysis l'estime à 0,92 $. À ce prix, Hy4 se situe sur la frontière de Pareto dans l'axe « capacités – coût » : aucun modèle de la comparaison n'est à la fois plus performant et moins cher.

Que sait-on sur Que faire de ces résultats ?

Si vous intégrez l'IA à la revue de code, à l'analyse des dépendances ou aux correctifs automatiques, Hy4 mérite d'être ajoutée à la liste des modèles à tester. C'est particulièrement vrai lorsque le budget est limité et que la précision doit être supérieure à celle des modèles les moins chers. Les réserves sont les suivantes : Ces données proviennent d'un seul laboratoire indépendant et de sa propre implémentation du benchmark.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…