NaiveAI ramène le temps de réponse médian à 3,1 secondes dans le test de Latent Space

Attendre que l'IA termine une nouvelle version de l'application est un poste de dépense à part dans la journée de travail. NaiveAI propose de réduire ces pauses : son modèle Naive-N0.5-Flash génère du texte avec un pic annoncé d'environ 2100 tokens par seconde. Dans le test de Latent Space, le temps de réponse médian avec le raisonnement activé a été de 3,1 secondes, contre 10,1 secondes pour DeepSeek V4.1 Flash 1017 avec un niveau de raisonnement élevé.

Pour un développeur, c'est séduisant : il obtient plus vite une version, la lance, repère l'erreur et envoie la correction suivante. Mais dans le même test, le temps de réponse moyen de NaiveAI et de DeepSeek s'est révélé presque identique. L'écart entre ces deux observations explique pourquoi choisir un modèle uniquement sur sa vitesse de génération est risqué pour le budget et les délais.

D'où vient la vitesse

Naive-N0.5-Flash est un modèle à poids ouverts créé à partir de Xiaomi MiMo-V2.5. L'équipe l'a entraîné davantage, a adapté le mécanisme d'attention et utilise son propre moteur, NaiveRT. L'architecture de base compte 310 milliards de paramètres, dont 15 milliards sont actifs lors du traitement d'un token.

La part essentielle de l'accélération repose sur le décodage spéculatif. Pour simplifier, un petit modèle propose à l'avance la suite, et le modèle principal vérifie d'un coup plusieurs tokens suggérés. Lorsque les prédictions sont bonnes, le système avance plus vite qu'avec la génération séquentielle de chaque token par le grand modèle.

Il y a une réserve importante : les vitesses annoncées ont été mesurées sur un nœud équipé de huit GPU Blackwell. La configuration vise la latence minimale d'un seul flux de génération. On ne peut pas déduire de ces résultats combien d'utilisateurs simultanés un tel système servirait ni combien coûterait un déploiement en propre.

Par ailleurs, 2100 tokens par seconde est un pic sur une seconde. Dans les mesures publiées, la vitesse était d'environ 984 tokens par seconde pendant l'étape de raisonnement et de 1816 lors de la production de la réponse. Avec le raisonnement activé, le modèle principal acceptait 43,4 % des propositions du modèle auxiliaire ; avec le raisonnement désactivé, 70,6 %.

Ce que cela donne avec le code

Latent Space a soumis aux modèles les mêmes tâches : un système solaire interactif, un arbre 3D procédural et une implémentation du lancer de rayons dans le navigateur d'après le livre Ray Tracing in One Weekend.

Pour le système solaire, l'auteur de l'analyse a préféré le résultat de NaiveAI avec raisonnement : le modèle a ajouté des taches solaires et les lumières nocturnes des villes sur la Terre. Sur la tâche de l'arbre, NaiveAI et DeepSeek ont obtenu de bons résultats, même si l'animation du vent a conservé de petits défauts. En revanche, NaiveAI sans raisonnement n'a pas créé d'application exploitable pour cette tâche.

Le moteur de lancer de rayons a fonctionné avec les trois modèles avec raisonnement activé. Ici, DeepSeek l'a emporté : son implémentation exécutait le code plus efficacement. Chez NaiveAI, l'application fonctionnait correctement, mais le JavaScript était plus lent.

C'est une distinction utile pour une équipe qui construit un prototype. Une génération rapide permet d'ouvrir plus tôt le résultat dans le navigateur, mais ne dit rien, en soi, des performances de l'application obtenue. Trois tâches de démonstration ne remplacent pas non plus la vérification de correctifs dans un dépôt existant, les tests et la maintenance du code.

Où le gain disparaît

La vitesse des réponses a été testée sur 30 questions par configuration : dix simples, dix moyennes et dix difficiles. L'exactitude des réponses n'a pas été évaluée dans cette expérience. Le résultat décrit donc la latence, mais ne prouve pas une supériorité dans la résolution de tâches.

Sur les questions difficiles, NaiveAI avec raisonnement a généré en moyenne environ 108 500 tokens, soit environ 11 fois plus que DeepSeek. Le temps de réponse moyen a été de 89,8 secondes, contre 79,7 secondes pour DeepSeek. Sur l'ensemble de l'échantillon, les moyennes ont pratiquement coïncidé : 45,3 et 45 secondes respectivement.

Le prix cible annoncé de NaiveAI est de 0,40 $ par million de tokens de sortie. Mais un token bon marché ne signifie pas une tâche bon marché : un long raisonnement augmente la consommation totale. De plus, les indicateurs de vitesse ont été collectés de différentes manières, on ne peut donc pas en déduire un facteur d'accélération précis.

L'étape pratique consiste à lancer votre propre jeu de tâches et à mesurer le temps jusqu'à un résultat fonctionnel vérifié, la consommation totale de tokens et le nombre de nouvelles tentatives. Cette analyse donne une raison d'essayer NaiveAI pour des itérations rapides. La décision de migrer exigera une vérification sur votre propre code.