Google propose de penser plus profondément, pas plus longtemps, et divise par deux le coût d'inférence

Ces dernières années, l'industrie des grands modèles de langage a suivi une règle tacite : pour obtenir une réponse plus précise à une question difficile, il suffit de faire réfléchir le modèle plus longtemps. La technique Chain-of-Thought, où le modèle construit pas à pas une chaîne de raisonnement avant sa réponse finale, est devenue l'étalon-or. Les développeurs ont allongé ces chaînes, agrandi les fenêtres de contexte et consacré toujours plus de calcul à chaque requête. Mais une nouvelle étude menée conjointement par l'Université de Virginie et Google affirme que nous avons, tout ce temps, confondu verbosité et intelligence.

L'idée à la base du travail est faussement simple. Les chercheurs se sont demandé si chaque token supplémentaire dans la chaîne de raisonnement rapproche réellement le modèle de la bonne réponse. Ou si une part importante de ces tokens n'est que du bruit informationnel, des répétitions et du surplace. Pour trancher, l'équipe a introduit une nouvelle métrique : le Deep-Thinking Ratio, ou coefficient de pensée profonde. Au lieu de mesurer la longueur du raisonnement en tokens, cette métrique évalue quelle proportion du raisonnement contient des étapes logiques productives, c'est-à-dire celles qui mènent à la solution au lieu de simplement remplir l'espace.

Les résultats sont éloquents. L'analyse montre que, dans les longues chaînes de raisonnement typiques des LLM actuels, une énorme partie des étapes intermédiaires n'apporte aucune charge sémantique réelle. Le modèle peut reformuler des dizaines de fois la même idée, revenir sur des étapes déjà franchies et générer des explications redondantes, et tout cela coûte de l'argent réel. Chaque token superflu lors de l'inférence, c'est du temps de GPU, de l'électricité et de la latence pour l'utilisateur final. Pour de grands services traitant des milliards de requêtes, les sommes sont colossales.

L'apport central de l'étude est d'avoir obtenu simultanément, en optimisant le raisonnement à l'aune du Deep-Thinking Ratio, deux choses généralement jugées incompatibles. La précision du modèle a augmenté, car l'élagage des étapes improductives réduit de fait le risque que le modèle se perde dans son propre raisonnement et aboutisse à une conclusion erronée. Et les coûts totaux d'inférence ont baissé d'environ moitié, parce que le modèle génère nettement moins de tokens par requête. Ce n'est pas un compromis entre qualité et coût, mais un cas rare où l'optimisation d'un paramètre améliore les deux.

Pour mesurer l'ampleur de la découverte, il faut rappeler le contexte. Le coût de l'inférence est l'un des principaux casse-têtes du secteur. OpenAI, Google, Anthropic et d'autres dépensent des milliards de dollars en infrastructure de calcul, et une part importante de ces dépenses sert précisément à générer des réponses pour les utilisateurs. Des modèles comme o1 et o3 d'OpenAI, ou Gemini avec réflexion étendue chez Google, ont été conçus spécialement pour de longues chaînes de raisonnement. S'il s'avère que la moitié de ce raisonnement peut être supprimée sans dommage, ou plus exactement qu'on peut apprendre au modèle à ne pas la générer d'emblée, l'effet économique se chiffrera en centaines de millions de dollars par an.

Il existe aussi un aspect théorique plus profond. L'étude remet en question le paradigme même de la mise à l'échelle de l'inférence, qui a dominé en 2024-2025. Si « réfléchir plus longtemps » n'équivaut pas à « mieux réfléchir », la course à l'agrandissement des fenêtres de contexte et à l'augmentation du budget de calcul consacré au raisonnement est une impasse. L'industrie devrait plutôt se concentrer sur la qualité de chaque étape du raisonnement que sur leur nombre. Cela rejoint le fonctionnement de la pensée humaine : un expert résout un problème non parce qu'il réfléchit plus longtemps qu'un novice, mais parce que chacune de ses étapes mentales est plus ciblée.

Les conséquences pratiques pour les développeurs et les utilisateurs pourraient apparaître assez vite. Le Deep-Thinking Ratio est une métrique relativement simple à intégrer aux pipelines existants d'entraînement et d'évaluation des modèles. On peut s'attendre à ce que les grands laboratoires adoptent des approches similaires pour le fine-tuning, et les fournisseurs de cloud pour optimiser le coût des appels d'API. Pour les utilisateurs finaux, cela signifie des réponses plus rapides et plus précises, au même prix ou moins cher.

L'étude de Google et de l'Université de Virginie rappelle au secteur une vérité facile à oublier dans la course à l'échelle : l'efficacité ne tient pas au « plus », mais au « plus juste ». Les modèles de demain ne seront probablement pas ceux qui réfléchissent le plus longtemps, mais ceux qui savent aller à l'essentiel.