Apple et CMU multiplient par 10 la vitesse des agents IA en remplaçant le raisonnement par un choix

Des chercheurs d'Apple et de Carnegie Mellon University proposent un moyen d'accélérer les agents LLM d'environ 10 fois. Au lieu de rédiger un raisonnement détaillé avant chaque action, le modèle choisit l'étape suivante dans un ensemble d'options, comme dans un QCM. L'information vient du média chinois Jiqizhixin. Le chiffre « 10 fois » est tiré du titre de la publication : le fragment de texte accessible ne contient ni le nom de la méthode ni tableaux de benchmarks, il est donc impossible de le vérifier pour l'instant.

Où l'agent perd du temps

Un agent typique suit le schéma ReAct : observation, pensée, action. Avant chaque tour, le modèle génère du texte libre. Il analyse la situation courante, pèse les éléments rassemblés, puis décide seulement ensuite de la suite à donner. C'est le cœur du paradigme, et c'est ce qui donne aux agents leur souplesse. Mais cette souplesse a un prix.

Les tokens sont générés séquentiellement, l'un après l'autre. Si le raisonnement occupe des centaines de tokens alors que l'action elle-même tient en une dizaine, l'essentiel du temps et de l'argent part dans la « réflexion ». Sur une tâche de vingt à trente étapes, ces pertes s'accumulent, et la latence de réponse croît presque linéairement avec le nombre d'étapes.

Ce que proposent Apple et CMU

L'idée, telle qu'elle ressort du titre : transformer la génération en tâche de sélection. Le modèle ne compose pas un raisonnement de zéro ; il reçoit des options et indique la bonne. La sortie passe de centaines de tokens à quelques-uns. Cela explique d'où pourrait venir un tel ordre de grandeur d'accélération. Mais il s'agit de mon interprétation du mécanisme : le texte accessible n'en détaille pas le fonctionnement.

Voici ce que l'on sait d'après le fragment publié :

• auteurs : des chercheurs d'Apple et de Carnegie Mellon University ;
• problème : le raisonnement libre avant chaque action dans ReAct crée un surcoût d'inférence sensible ;
• solution : remplacer la génération libre de la « réflexion » par un format de choix parmi des options ;
• résultat annoncé : accélération de l'inférence de l'agent d'environ 10 fois ;
• non divulgué : le nom de la méthode, l'ensemble des tâches, les modèles, l'effet sur le taux de réussite des tâches.

Le dernier point est le plus important. Toute compression du raisonnement risque de dégrader la qualité, surtout sur les tâches longues, où une erreur précoce entraîne toute la chaîne avec elle.

Ce qu'il faut vérifier en priorité

En lisant l'article complet, il faudra chercher des réponses à plusieurs questions. D'où viennent les options ? Si les candidats sont eux aussi générés par un grand modèle, une partie du gain se contente de se déplacer vers une autre étape. Comment la méthode se comporte-t-elle dans des environnements ouverts, où l'espace d'actions ne se réduit pas à une courte liste ? Quelles références servent de point de comparaison : le ReAct complet, un chain-of-thought court, ou d'autres accélérateurs comme le décodage spéculatif et la mise en cache ?

Pour les équipes qui construisent des agents, il est utile de calculer dès maintenant la part des tokens de sortie que représente le raisonnement dans leurs traces. Si elle dépasse la moitié, un format de choix, ou toute autre compression de la « pensée », peut offrir un gain notable en latence et en coût d'appel. Si le raisonnement occupe peu de place dans les traces, il ne faut pas s'attendre à un effet d'un facteur dix.

Pour Apple, l'intérêt est évident : des étapes d'agent peu coûteuses comptent là où la puissance de calcul est limitée. C'est une supposition de ma part, le texte ne la confirme pas. Pour l'instant, nous avons affaire à l'annonce d'un résultat fort sans preuves visibles. On pourra juger de son sérieux après lecture de l'étude elle-même, et d'abord de ses tableaux de précision sur les benchmarks d'agents.