HACE entraîne conjointement un modèle spécialisé et un agent LLM dans trois domaines

L'équipe à l'origine de l'article Heterogeneous Agentic CoEvolution propose un schéma dans lequel deux modèles différents s'améliorent simultanément : un modèle de fondation très spécialisé et un agent LLM. Le framework s'appelle HACE. Il a été testé dans trois domaines : les systèmes de recommandation, la prédiction des fonctions des protéines et la prédiction de la stabilité des cristaux. Sur les métriques principales des tâches, HACE a devancé toutes les méthodes d'auto-amélioration comparées. Le résumé de l'article ne chiffre pas les gains : on ne pourra donc juger de l'ampleur de l'effet qu'à la lecture des tableaux complets.

Le problème : le spécialiste progresse, pas sa méthode d'amélioration

L'idée d'agents LLM qui s'auto-améliorent n'est plus nouvelle : ces systèmes réécrivent leurs propres prompts, leur code et leurs stratégies, et obtiennent un gain vérifiable. Mais dans les domaines appliqués, ce ne sont souvent pas des LLM généralistes qui travaillent, mais des modèles spécialisés dotés d'une expertise métier approfondie. Un modèle pour les protéines ou les structures cristallines connaît son domaine mieux que n'importe quel généraliste. Ce sont pourtant toujours des humains qui l'améliorent : ils choisissent les données, l'architecture et le régime d'entraînement.

Les auteurs pointent la difficulté centrale. Quand le spécialiste devient plus fort, les stratégies qui le faisaient progresser perdent en efficacité. Ce qui apportait un gain sur un modèle faible peut buter sur un plafond avec un modèle plus fort. L'« améliorateur » doit donc évoluer en même temps que l'objet qu'il améliore.

Comment fonctionne la boucle

HACE construit une boucle fermée à deux participants, avec une couche d'orchestration entre eux.

• Le spécialiste s'entraîne en mode supervisé (supervised learning) sur des données sélectionnées au fil du cycle.
• L'agent suit un on-policy reinforced self-training. Sa récompense dépend du gain de qualité vérifié, mesuré précisément sur la version courante du spécialiste.
• L'exploration de l'agent, c'est-à-dire ce qu'il essaie et ce qu'il découvre, devient la matière du tour d'entraînement suivant pour le spécialiste.
• Une recherche évolutionnaire optimise l'interaction harness : la façon dont les modèles échangent des informations et les exemples d'entraînement retenus.

Ce dernier point est sans doute le plus intéressant. La couche d'orchestration n'est pas figée à l'avance. Elle évolue à mesure que les capacités des deux modèles augmentent. C'est la réponse au problème de départ : les règles du jeu entre l'agent et le spécialiste sont revues à chaque étape.

Le signal de récompense comporte un détail important. L'agent est récompensé non pour des solutions d'apparence plausible, mais pour une amélioration confirmée. Cela réduit le risque qu'il apprenne à produire des données convaincantes mais inutiles pour le spécialiste.

Ce qui a été testé, et ce qui reste invisible pour l'instant

Le choix des domaines est révélateur. Les systèmes de recommandation, la prédiction de la fonction des protéines et celle de la stabilité des cristaux diffèrent par la nature des données, les métriques et l'architecture des modèles. Les auteurs formulent leur conclusion avec prudence : la coévolution hétérogène pourrait être une approche universelle pour améliorer les modèles de fondation spécialisés par l'interaction avec un agent en apprentissage. Trois domaines sont convaincants pour démontrer l'étendue de l'approche, mais son « universalité » reste pour l'instant une hypothèse.

Ce que le texte du résumé ne permet pas d'établir :

• l'ampleur du gain sur chaque métrique et sa robustesse statistique ;
• le coût de calcul de l'ensemble du cycle par rapport à un fine-tuning classique ;
• les méthodes d'auto-amélioration retenues comme références, et leur niveau réel ;
• le comportement du système sur la durée, lorsque le spécialiste approche de son plafond.

Ce qu'il faut en retenir en pratique

Pour les équipes qui entretiennent leurs propres modèles de domaine, l'idée centrale du travail est la suivante : il vaut mieux employer l'agent non comme un outil ponctuel de recherche d'hyperparamètres, mais comme un partenaire d'entraînement permanent, récompensé pour un progrès mesurable. Ce schéma s'applique d'autant mieux que vous disposez d'une vérification automatique fiable de la qualité, par exemple un benchmark à métrique univoque ou une validation en laboratoire. Sans signal vérifiable, la boucle perd son sens.

Les ingénieurs devraient budgéter le coût de l'expérience dès le départ. Chaque tour exige à la fois le fine-tuning du spécialiste, l'entraînement de l'agent et une recherche parmi les configurations de la couche d'orchestration. Tant que les auteurs n'auront pas publié le détail des coûts, mieux vaut considérer HACE comme un schéma de recherche prometteur, et non comme une recette de production prête à l'emploi. Mais la direction est claire : l'auto-amélioration passe des LLM généralistes aux modèles étroits, dont dépendent les résultats en science et en recommandation.