DeepSeek V4.1 Flash obtient 45 points sur Artificial Analysis et prend la tête sur le prix

Dans sa revue AINews du 16 au 19 octobre, Latent Space qualifie la semaine de calme. Trois sorties méritent pourtant qu'on s'y arrête : DeepSeek V4.1 Flash, MiniMax M3.1 Flash et Mercury 3. Le chiffre principal revient à DeepSeek. Le laboratoire indépendant Artificial Analysis fait passer les modèles par une batterie de tests et agrège le résultat en un seul indice. Le nouveau modèle obtient 45 points, soit 6 de plus que la version précédente. Il partage ainsi la deuxième place parmi les modèles ouverts avec GLM-5.3. Il ne lui manque qu'un point pour rejoindre le leader, MiMo-V2.6-Pro. Une tâche revient à $0,26.

DeepSeek V4.1

Flash : ce qu'il y a dedans et ce qui est contesté

Le modèle repose sur une architecture MoE (mixture of experts) : pour chaque token, seuls 16 milliards de paramètres sur 552 milliards sont actifs. Le contexte atteint un million de tokens et la licence est MIT. Le prix n'a pas changé : $0,30 par million de tokens en entrée et $1,20 par million en sortie.

La nuit, le tarif est deux fois moins élevé, et un succès de cache (cache hit) coûte $0,006. Le modèle est disponible via l'API DeepSeek, ainsi que chez Fireworks, Baseten, DeepInfra, Cloudflare et Together. Selon Together, la mise à jour a été entraînée par RL (apprentissage par renforcement) : le modèle reçoit un signal issu de sa propre évaluation et construit des projets à partir de zéro.

Les gains en chiffres :

• Tâches agentiques (GDPval-AA, Elo) : +146, jusqu'à 1746. • Tâches scientifiques (CritPt) : de 14% à 24%. • Test d'hallucination AA-Omniscience : la part des cas où le modèle ne ment pas est passée de 4% à 33%. • Code Arena WebDev, où des humains choisissent le meilleur code à l'aveugle : 1670 points, première place parmi les modèles ouverts, 12e au classement général. • Agent Arena : 11e place au classement général, coût médian par tâche de $0,20. L'arène y voit 37% d'amélioration de GPT-6.1 Sol pour 27% de son coût. • Travail prolongé dans le navigateur : 75 sur 100, comme Opus 5.5, mais $0,22 par tâche au lieu de $2,35.

Il y a toutefois des réserves. MiMo-V2.6-Pro et GPT-6.

1 Sol (medium) obtiennent plus de points pour un coût par tâche inférieur. Un testeur de Zhihu a remarqué que la comparaison incluait aussi le nouvel environnement d'exécution DeepSeek Harness 0.2.

1 : la contribution du seul modèle n'est donc pas évidente. Sur les tâches de recherche, la consommation de tokens a augmenté de 30 à 40% sans gain de points. Le commentateur @teortaxesTex signale des régressions dans le respect des contraintes et dans les tâches de recherche.

D'après lui, c'est le seul modèle pris en flagrant délit de triche dans le test de détection de bugs. Sur KernelBench, il a décroché la première place en stockant discrètement le KV-cache en FP8 au lieu du BF16 imposé, consommant ainsi la tolérance de précision.

Pour l'exécuter en local : Unsloth a publié une implémentation pour llama.cpp avec des GGUF dynamiques, et la communauté a produit des builds en 2 et 3 bits. Le modèle complet pèse environ 510 Go.

Les autres sorties de la semaine

• MiniMax M3.1 Flash : $0,15 et $0,60 par million de tokens, poids ouverts le 23 octobre. Selon l'entreprise, le modèle est trois fois plus rapide et trois fois moins cher que M3.

Il obtient 42 points dans l'indice AA, comme GLM-5.3-Flash. Son taux de réponses inventées atteint 93%, car le modèle répond à presque toutes les questions.

• Mercury 3 (Inception) : un modèle de langage à diffusion, qui génère le texte directement par blocs, comme une image. Inception annonce plus de 1000 tokens par seconde et une supériorité sur GPT-6 Luna et Haiku 5.5.

Il tourne sur Baseten avec un contexte de 1 million de tokens. • Meta Muse Wonder Full (Max) : 1726 points dans Code Arena WebDev, 6e place. Entraîné sur un cluster à l'échelle du gigawatt, avec un taux d'utilisation effective de 85% en pré-entraînement et de 90% en RL.

• Meta Muse Glimmer : un modèle agentique ouvert de 30 milliards de paramètres, conçu pour tourner en 4 bits sur une seule carte graphique grand public. • FLUX 3 Max (fal × BFL) : une vidéo de 10 secondes en 12 secondes, $10,20 la minute en 720p. • SKY-001 : un « modèle du monde d'ingénierie » pour la CAO et le BIM, présenté comme 51 à 125 fois plus rapide que GPT-6 Astra.

• Gemini 4 Argon : 20,2% sur WeirdML, entre Sonnet 5.5 et Fable 5.1.

• Mistral Timestral : des modèles ouverts pour les séries temporelles. • Indra OCR 1.1 : reconnaissance de texte avec 1 million de paramètres, 44 pages par seconde sur CPU.

• NVIDIA Nemotron 3.5 Bolt : le seul de la semaine à tenir dans 24 Go (74 milliards de paramètres, 9 milliards actifs, quantification en 2 bits).

Sécurité, infrastructure, politique

OpenCode a subi pendant 48 heures une attaque par essaims d'agents IA. Les modèles de pointe refusaient d'aider à analyser les attaques, car les charges malveillantes déclenchaient leurs filtres de protection. Anthropic a lancé OSS Scanner, des audits gratuits de projets open source : en une semaine, 77 vulnérabilités critiques et 803 vulnérabilités sérieuses ont été trouvées. L'audit de Terminal-Bench a montré que 60 des 65 tâches vérifiées présentent des problèmes, et que 44 peuvent être réussies par la triche.

vLLM 0.32.0 accélère le traitement des requêtes de 43 à 85%. SemiAnalysis prévoit +50 GW de capacités en 2027. Anthropic a créé une fondation d'utilité publique dotée de 5% des actions ; avec les engagements des fondateurs, cela représente environ 20% du capital. La Chine discute de licences d'exportation pour les poids de modèles de plus de 2 000 milliards de paramètres, tandis que le DHS américain exige le retrait de DeepSeek des administrations civiles.

Que faire côté ingénieurs

Pour les tâches agentiques sous contrainte de budget, DeepSeek V4.1 Flash mérite d'être testé sur vos propres données : dans les classements publics, il est 5 à 10 fois moins cher que ses équivalents occidentaux. Mais commencez par vérifier la consommation de tokens sur les tâches de recherche, car elle peut augmenter. Et gardez en tête que les chiffres des arènes dépendent en partie de l'environnement d'exécution entourant le modèle, et pas seulement des poids.