Un thermomécanicien assemble un essaim de six petits LLM : le découpage en sections multiplie par 4 les résultats du modèle faible

Chef de département dans un organisme de conception, thermomécanicien avec quatorze ans de métier, il s'est lancé ce printemps dans la construction, à partir de modèles locaux faibles, d'un essaim censé être plus intelligent que le plus fort d'entre eux. Il n'a jamais été programmeur et travaille avec les réseaux de neurones depuis moins d'un an. L'essaim n'est pas devenu plus intelligent.

En revanche, la mesure montre que, dans tout l'organigramme de l'institut de conception, un seul élément porte la charge : le découpage de la tâche en sections. Pour le modèle faible, il a apporté un gain d'environ un facteur quatre, tandis que l'essaim dans son ensemble, à en croire le titre de l'auteur, a gagné environ cinq points.

Une précision : la source ne donne accès qu'à l'annonce de la publication sur Habr, sans tableaux ni méthodologie. Ce qui suit reprend ce que l'annonce affirme ; les chiffres et leurs unités sont à vérifier dans le texte complet.

Un institut plutôt qu'une meute

L'idée parlera à quiconque a travaillé dans un organisme de conception. Une tâche n'est pas résolue par une seule personne. Il y a un chef de projet, des départements par section, des vérificateurs, des validations. L'auteur a réparti six petits modèles selon ce schéma et observé quels éléments produisent un résultat, et lesquels n'ajoutent que des échanges entre agents.

L'hypothèse était classique pour les expériences multi-agents : en réunissant de nombreux exécutants faibles sous un circuit de pilotage, la qualité cumulée dépasserait celle du meilleur participant. Cette hypothèse ne s'est pas confirmée. L'essaim n'a pas surpassé le modèle le plus fort de sa propre composition.

Ce que la mesure a montré

Ici, un résultat négatif est plus utile qu'un résultat positif. L'auteur ne s'est pas contenté d'annoncer que l'essaim n'a pas décollé : il a isolé un mécanisme qui fonctionne. Les principaux points de l'annonce :

• Composition : six petits modèles locaux de puissance variable.
• Objectif : obtenir un essaim qui surpasse le modèle le plus fort de l'ensemble. Non atteint.
• Découpage de la tâche en sections : environ ×4 pour le modèle faible.
• Essaim dans son ensemble : environ cinq points, d'après le titre. L'annonce ne précise pas l'unité de mesure.
• Asymétrie : le modèle faible profite davantage du découpage que le modèle fort.

Une explication plausible, qui relève de notre interprétation et non d'une citation de l'auteur : un petit modèle retient mal, dans son travail, une longue consigne comportant plusieurs exigences à la fois. Lorsqu'on lui confie une seule section étroite, avec une entrée et une sortie claires, il réussit une tâche sur laquelle il s'effondrait auparavant. Le modèle fort dispose d'une plus grande réserve de contexte et de raisonnement ; le découpage lui apporte donc moins. Le rôle de « vérificateur » de l'institut et les autres couches de validation n'ont, selon toute apparence, produit aucun gain, ou un gain nettement plus faible.

Que faire de tout cela en pratique

Pour ceux qui construisent des pipelines locaux avec de petits modèles, la conclusion est terre à terre. Avant d'empiler une hiérarchie de chef, d'exécutants et de relecteurs, une seule chose mérite d'être testée : ce que donne un simple découpage de la tâche en parties indépendantes, avec des modèles d'entrée et de sortie rigides. C'est moins coûteux en tokens et en latence qu'une orchestration à plusieurs couches et, d'après les mesures de l'auteur, c'est ce découpage qui produit l'essentiel de l'effet.

Deuxième point. La référence de comparaison ne doit pas être le modèle moyen de l'essaim, mais le plus fort des modèles disponibles. Un essaim qui ne dépasse pas son meilleur participant paie, en pratique, des appels superflus sans contrepartie.

Troisième point : le format même de l'expérience. Il est rare qu'elle soit menée par quelqu'un venu d'un secteur voisin, avec son regard d'ingénieur sur l'organisation du travail. Les instituts de conception cherchent depuis des siècles comment répartir les responsabilités sans perdre en qualité. Ce qui, dans cette expérience, se transpose aux LLM et ce qui ne s'y transpose pas se lira mieux dans le texte complet de l'auteur : il devrait y présenter la méthodologie, le jeu de tâches et le détail par modèle.