Une équipe de chercheurs en IA trouve une attention linéaire qui surpasse GDN2 à 1.3B

Les agents autonomes savent déjà proposer des idées, corriger du code et lancer des expériences. Les auteurs d'un nouveau travail sont allés plus loin : ils ont assemblé non pas un seul « IA-scientifique », mais une équipe de chercheurs persistants, chacun s'appuyant sur sa propre discipline scientifique. Cette équipe a cherché des architectures d'attention linéaire. À l'échelle de 1.3B de paramètres, le résultat a dépassé GDN2 en modélisation du langage, en raisonnement de bon sens, ainsi que sur des tâches de retrieval synthétiques et réelles.

L'attention linéaire reste l'un des principaux candidats pour remplacer l'attention quadratique du transformeur classique sur les contextes longs. L'espace des architectures possibles est immense, et chaque vérification coûte des heures de GPU. La recherche se retrouve donc facilement piégée dans des minima locaux : les agents tournent autour des mêmes astuces et passent en revue de petites variations de schémas connus.

Des chercheurs d'écoles différentes, dotés d'une mémoire personnelle

L'idée centrale des auteurs est que la diversité doit être organisationnelle. Si tous les agents raisonnent de la même façon, ils proposeront des expériences similaires. Chacun a donc reçu un profil dans une discipline précise, et l'équipe explore l'espace dans plusieurs directions à la fois.

Les profils disciplinaires ne suffisent toutefois pas. Les agents de ce système sont persistants : ils conservent leur contexte d'une itération à l'autre. Chacun dispose d'un historique de recherche privé, qui contient ses hypothèses, ses échecs et ses conclusions intermédiaires. Les données expérimentales, en revanche, sont communes. Tout résultat, positif ou négatif, devient accessible à toute l'équipe et influence les propositions suivantes.

Il en résulte une division du travail proche de celle d'un vrai laboratoire. Les preuves partagées donnent une vision unique de ce qui a déjà été vérifié. Les historiques personnels permettent à chacun de développer sa propre ligne de raisonnement plutôt que de reprendre celle des autres.

Comment répartir un budget d'expériences limité

Le second problème est pratique. Les expériences coûtent cher, si bien que l'équipe ne peut tester qu'une petite part des idées. Il faut décider à quel chercheur attribuer un créneau de lancement. Si l'on choisit toujours celui dont les derniers résultats sont les meilleurs, la recherche se rétrécit. Si l'on choisit tout le monde à tour de rôle, les ressources partent dans des directions faibles.

Les auteurs utilisent une allocation adaptative des opportunités. Elle équilibre l'exploration de nouvelles pistes et le développement de celles qui ont déjà fait leurs preuves, c'est-à-dire le dilemme classique exploration/exploitation. Chaque résultat modifie les chances des chercheurs d'obtenir le lancement suivant.

Paramètres clés de l'expérience :

• échelle de validation : modèles de 1.3B de paramètres ;
• référence : GDN2 ;
• tâches : modélisation du langage, common-sense reasoning, retrieval synthétique et réel ;
• composition de l'équipe : agents persistants avec différents profils disciplinaires ;
• mémoire : historiques privés pour chacun, données expérimentales communes à tous ;
• répartition du budget : adaptative, avec une limite fixe de lancements.

Ce qui casse quand on retire un élément

La partie la plus convaincante du travail tient aux comparaisons contrôlées. Les auteurs ont désactivé tour à tour chaque composant de l'organisation et ont, à chaque fois, obtenu des résultats nettement plus faibles.

Sans profils disciplinaires, la recherche atteint rapidement un plateau. Des agents sans formations différentes aboutissent à des idées similaires, et la nouveauté s'épuise tôt. Sans historiques privés, les chercheurs progressent moins bien, bien qu'ils voient les mêmes résultats communs. Il ne s'agit donc pas seulement de l'accès aux données : la trajectoire de raisonnement personnelle accumulée influence aussi la qualité des propositions suivantes. Enfin, une sélection uniforme des chercheurs fait moins bien qu'une sélection adaptative, à budget égal.

La conclusion des auteurs concerne tout le domaine. La découverte autonome durable ne dépend pas seulement de la puissance du modèle de base. Ce qui compte, c'est qui mène la recherche, ce dont il se souvient et comment l'énergie de recherche est répartie. Pour l'industrie, c'est un déplacement de l'attention : de la course au meilleur agent vers la conception d'une structure organisationnelle composée d'agents.

Pour les équipes de R&D qui testent déjà des agents pour automatiser leurs expériences, on peut en tirer trois règles de travail. Donnez aux agents des profils d'expertise différents, au lieu de cloner un seul rôle. Donnez-leur une mémoire propre et un journal commun des résultats, échecs compris. Et ne répartissez pas le budget de calcul à parts égales : redistribuez-le en fonction des résultats des lancements déjà effectués. Si l'évaluation des auteurs est juste, c'est précisément cette organisation de la recherche qui produit le gain, et non le simple achat d'un modèle plus puissant.