Qwen3-14B affinée par Exowatt devance Claude Opus 4.7 : 97,5 % contre 62,5 %, pour un coût 49 fois moindre
Exowatt, qui construit des centrales solaires pour les data centers, a affiné le petit modèle Qwen3-14B sur ses propres données, plutôt que d'appeler une API coûteuse. Pour la classification des événements du marché de l'énergie (un pic de prix, par exemple), mesurée par le macro-F1 qui moyenne la qualité sur tous les types d'événements, le modèle obtient 97,5 %, contre 62,5 % pour Claude Opus 4.7. Mille réponses coûtent 0,60 $ contre 29,26 $, soit 49 fois moins cher. Pour une tâche étroite et répétitive, le petit modèle est plus rentable qu'un modèle phare.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Exowatt construit des centrales solaires modulaires dotées d'un stockage thermique et les relie directement aux data centers, en contournant les files d'attente de raccordement au réseau qui durent des années. Sur chaque site, des alarmes se déclenchent en permanence, et il faut décider de la quantité d'énergie stockée à conserver et du moment de la restituer. On ne peut pas affecter un opérateur à chaque installation, et envoyer chaque décision à l'API d'un modèle phare comme Claude Opus 4.
7 coûte trop cher. L'entreprise a donc affiné, c'est-à-dire entraîné à nouveau des modèles ouverts existants sur ses propres exemples, deux petites versions de Qwen3. La version de 14 milliards de paramètres détermine les événements du marché de l'énergie avec un macro-F1 de 97,5 %, contre 62,5 % pour Opus 4.
7. Cette métrique moyenne la qualité sur tous les types d'événements, de sorte que les cas rares pèsent autant que les cas fréquents. Mille réponses coûtent 0,60 $ au lieu de 29,26 $, soit environ 49 fois moins cher.
Les détails ont été publiés sur le blog AWS Machine Learning.
Deux tâches, deux modèles
La première tâche consiste à analyser les alarmes sur site. Le modèle reçoit une alerte accompagnée de sa télémétrie et renvoie l'un d'un petit ensemble de diagnostics (système hors ligne, nœud fonctionnant à puissance réduite, divergence des capteurs), avec des références aux données. Si les preuves sont insuffisantes, il refuse honnêtement de répondre. Ce traitement doit s'exécuter sur place, souvent sans GPU et sans Internet, d'où le choix de Qwen3-1.7B. Après quantification en 8 bits (compression des poids), le modèle occupe environ 1,71 GiB et tourne via llama.cpp dans un pod Kubernetes, sur un serveur CPU ordinaire du site.
La seconde tâche concerne l'analyse du marché de l'énergie. Le modèle Qwen3-14B lit un lot de données de six heures (environ 90 lignes de prix en temps réel, de prévisions à 24 heures et de notifications du réseau) et identifie en quatre secondes l'un de cinq événements, par exemple un pic de prix. Chaque affirmation est rattachée à une ligne de données précise. Le modèle est déployé sur Amazon Bedrock via Custom Model Import : il n'y a aucun temps d'inactivité, et les 6,86 $ de l'heure ne sont facturés que lorsque le modèle est actif.
Chiffres : précision et coût
Sur l'analyse des alarmes, le Qwen3-1.7B affiné atteint 91,1 % de macro-F1. Claude Sonnet 4.6 obtient 69,8 %, Opus 4.7 68 %, Haiku 4.5 51,9 %. Le 1,7B de base ne produisait même pas de réponse valide. Les modèles externes coûtent entre 4,70 $ et 22 $ pour 1 000 décisions, alors que le CPU d'Exowatt n'entraîne aucun coût par requête.
Sur le marché de l'énergie, Qwen3-14B atteint 97,5 % contre 62,5 % pour Opus 4.7 et 53,8 % pour Sonnet 4.6, tandis que le Qwen3-14B de base, sans affinage, plafonne à 41,5 %. Il produisait du JSON correct, mais ne connaissait pas le marché. Mille réponses coûtent 0,60 $ avec le modèle affiné, contre 29,26 $ avec Opus. Sur un second jeu de test, plus récent, le modèle maintient 96,8 %.
Ce qui a fonctionné en pratique
Le point le plus instructif concerne les données. Pour les alarmes, l'équipe n'a réuni que 684 décisions vérifiées, sur des scénarios générés, puis un grand modèle a reformulé le texte sans modifier la décision, les étiquettes ni les chiffres. Sur 2 218 variantes, 1 838 ont passé la vérification, ce qui a produit 2 522 exemples. Les reformulations ont coûté environ 3,72 $. Résultat : le macro-F1 est passé de 58,4 % sur les 684 lignes d'origine à 91,1 %. Un entraînement de contrôle sur ces mêmes 684 lignes, mené sur 11 époques, n'a donné que 87,9 %. La diversité des formulations a donc davantage aidé que la répétition des mêmes exemples.
Pour le marché, l'équipe a utilisé cinq années de données publiques de l'ERCOT (l'opérateur du réseau texan), soit environ 163 millions de lignes. Des règles ont permis d'étiqueter 25 000 exemples, et la partie d'entraînement a été étendue à 86 281 lignes grâce à des reformulations produites par Claude Sonnet 4.6.
Trois reformulations par réponse ont fait passer le macro-F1 de 95,0 % à 97,5 %. L'entraînement a duré une époque de LoRA (rang 16, alpha 32), soit environ 8,5 heures. En six jours, l'équipe a lancé 23 tâches (environ 155 heures de calcul), jusqu'à quatre en parallèle.
Le mode serverless de SageMaker alloue lui-même les ressources, si bien qu'il n'a pas fallu choisir un type de GPU ni attendre qu'il se libère.
La seconde découverte concerne la protection contre les réponses inventées. Les modèles renvoient un JSON strict, et toute affirmation dont la référence à la source, le champ ou la valeur ne correspond pas aux données d'entrée est écartée avant d'atteindre l'opérateur. Le modèle embarqué s'abstient de répondre lorsque les données manquent. Le système a été testé en mode fantôme sur une copie cloud du site.
Limites et conclusion
Il s'agit d'un blog AWS consacré à un service AWS : il faut donc lire ces résultats avec prudence. La comparaison repose sur les jeux de test propres à Exowatt, dont une partie a été construite à partir de scénarios générés. Les modèles phares ont été évalués avec des prompts, sans affinage spécifique à la tâche. Les tarifs Bedrock proviennent de la grille publique, et le fonctionnement sur CPU est compté comme gratuit, sans tenir compte du matériel ni du support. La victoire d'un modèle spécialisé ne signifie pas qu'il est plus performant dans l'absolu : hors de sa tâche, il sera battu.
Pour les praticiens, la conclusion est la suivante. Si la tâche se répète en permanence, si le format de réponse est fixe et si l'on dispose d'au moins quelques centaines d'exemples vérifiés, il faut d'abord tester un petit modèle affiné. Le plus précieux dans cette histoire est le pipeline : données brutes, jeu vérifié, entraînement, évaluation et packaging du modèle. Exowatt parcourt désormais ce chemin en quelques jours au lieu de plusieurs mois, et compte le reproduire pour de nouveaux types d'équipements.
- 21 nov. 2026Les offres FDE ont été multipliées par 4,6 en un an : ce que fait un ingénieur chez le client
- 21 nov. 2026Anthropic baisse de 20 % le prix de Claude Fable 5.2 : sur le code, elle fait presque jeu égal avec Opus 5.5
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
- 21 nov. 2026Claude Opus 5.5 complète le jeu d'horreur Dimension 9 à partir des 15 salles de son auteur
Questions clés sur cet article
Que sait-on sur Deux tâches, deux modèles ?
La première tâche consiste à analyser les alarmes sur site. Le modèle reçoit une alerte accompagnée de sa télémétrie et renvoie l'un d'un petit ensemble de diagnostics (système hors ligne, nœud fonctionnant à puissance réduite, divergence des capteurs), avec des références aux données. Si les preuves sont insuffisantes, il refuse honnêtement de répondre. Ce traitement doit s'exécuter sur place, souvent sans GPU et sans Internet, d'où le choix de Qwen3-1.7B.
Que sait-on sur Chiffres : précision et coût ?
Sur l'analyse des alarmes, le Qwen3-1.7B affiné atteint 91,1 % de macro-F1. Claude Sonnet 4.6 obtient 69,8 %, Opus 4.7 68 %, Haiku 4.5 51,9 %. Le 1,7B de base ne produisait même pas de réponse valide. Les modèles externes coûtent entre 4,70 $ et 22 $ pour 1 000 décisions, alors que le CPU d'Exowatt n'entraîne aucun coût par requête. Sur le marché de l'énergie, Qwen3-14B atteint 97,5 % contre 62,5 % pour Opus 4.7 et 53,8 % pour Sonnet 4.6, tandis que le Qwen3-14B de base, sans affinage, plafonne à 41,5 %.
Que sait-on sur Ce qui a fonctionné en pratique ?
Le point le plus instructif concerne les données. Pour les alarmes, l'équipe n'a réuni que 684 décisions vérifiées, sur des scénarios générés, puis un grand modèle a reformulé le texte sans modifier la décision, les étiquettes ni les chiffres. Sur 2 218 variantes, 1 838 ont passé la vérification, ce qui a produit 2 522 exemples. Les reformulations ont coûté environ 3,72 $. Résultat : le macro-F1 est passé de 58,4 % sur les 684 lignes d'origine à 91,1 %.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.