Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)

1000 agents IA ont écrit un chatbot sans réseau de neurones : le taux de victoire passe de 0% à 26%

Hugging Face présente PyBot, un chatbot sans réseau de neurones : uniquement des if-else, des expressions régulières et des tables de correspondance. Un essaim de plus de 1000 agents IA a écrit le code au fil de 5000+ versions, soit 640 000 lignes de Python. Sur SmolTalkBench, où un LLM juge compare les réponses, le taux de victoire du bot est passé de 0% à 26%, au niveau du petit modèle SmolLM-360M-Instruct. Conclusion pratique : pour des tâches étroites sans GPU, cette approche mérite d'être essayée.

Traité par IA depuis TG: @cgevent (Метаверсище и ИИще) ; édité par Hamidun News
1000 agents IA ont écrit un chatbot sans réseau de neurones : le taux de victoire passe de 0% à 26%
Source : TG: @cgevent (Метаверсище и ИИще). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTG: @cgevent (Метаверсище и ИИще) ↗
Rédacteur en chef
Chiffre clé #1Les agents ont écrit eux-mêmes 550 000 lignes de tests
Lancementpython -m pybot, Python 3.8+, sans GPU ni bibliothèques
Chiffre clé #3Les 26% de victoires viennent d'un LLM juge, pas d'évaluateurs humains

En général, un bot sans réseau de neurones, c'est un « placard de réponses toutes faites » : vous demandez « où est ma commande ? », une règle se déclenche ; vous reformulez à peine, et la réponse est « je ne comprends pas ». Hugging Face a voulu savoir jusqu'où on peut aller sur cette voie quand les règles ne sont pas écrites par un humain, mais par un essaim de plus de 1000 agents IA.

Résultat : PyBot, un chatbot de 640 000 lignes de Python qui ne contient aucun poids de réseau de neurones. Dans SmolTalkBench, un modèle de langage joue le juge et compare les réponses du bot et d'autres systèmes. Le bot l'emporte dans environ 26% des comparaisons, soit autant que le petit réseau SmolLM-360M-Instruct (360 millions de paramètres).

L'intérêt n'est pas de remplacer les LLM, mais d'en tirer une leçon : une longue boucle « écrire — vérifier — améliorer » avec évaluation automatique donne un résultat étonnamment solide, même sur du code classique.

Ce qui a été construit

PyBot est un bot conversationnel sans poids, sans multiplications matricielles et sans transformers. À l'intérieur, on trouve uniquement des branchements if-else, des expressions régulières et des tables de correspondance. Le bot n'a pas été entraîné : ni jeu de données, ni descente de gradient. Tout le code a été écrit et réécrit par un essaim d'agents.

L'échelle est notable. Selon les auteurs, les agents ont généré et évalué plus de 5000 versions du bot. La base de code qui en résulte compte 640 000 lignes de code fonctionnel, plus 550 000 lignes de tests que les agents ont également écrites eux-mêmes. C'est la taille d'un gros produit commercial, pas d'un script pédagogique.

Le lancement est simple : il faut Python 3.8+, aucun GPU ni bibliothèque externe n'est requis, la commande python -m pybot suffit. Une démo est disponible sur Hugging Face Spaces, on peut donc l'essayer sans rien installer.

Que signifient les « 26% de victoires »

Dans SmolTalkBench, un LLM juge compare les réponses, et le « taux de victoire » est le pourcentage de comparaisons où la réponse de PyBot a été préférée. Au début de l'évolution, cet indicateur était à 0% ; à la fin, il atteignait 26%. Selon la formulation des auteurs, cela place un bot déterministe au niveau de SmolLM-360M-Instruct.

Il faut lire ce chiffre avec prudence. 26%, ce n'est pas « le bot est meilleur que le modèle », mais « le bot gagne environ une fois sur quatre ». La parité vaut pour ce benchmark précis et pour une évaluation par un autre modèle de langage, et un LLM juge peut préférer un certain style de réponse.

Comment le bot se comporterait face aux questions imprévisibles d'utilisateurs réels, les données disponibles ne permettent pas de le dire. Par ailleurs, nous nous appuyons sur un compte rendu du projet et sur les liens vers le dépôt, la démo et le benchmark ; pour les détails du fonctionnement de l'essaim et de la sélection des versions, mieux vaut consulter le dépôt huggingface/pybot.

Que faire de tout cela en pratique

Premièrement : un retour mesurable change tout. 5000 itérations et un demi-million de lignes de tests, ce n'est pas « j'ai demandé une fonction dans un chat », c'est une boucle d'ingénierie continue. Si vous construisez des agents pour le code, commencez par un benchmark et des tests : sans eux, l'essaim se serait transformé en générateur de déchets.

Deuxièmement : une solution déterministe a de vrais avantages : démarrage instantané sur CPU, comportement prévisible, zéro dépendance, et possibilité de lire et de déboguer chaque règle. Pour des scénarios étroits, comme un assistant interne, un support limité à quelques sujets ou des appareils embarqués, cela peut être une alternative raisonnable, même face à un petit modèle.

Troisièmement : les limites sont évidentes. 640 000 lignes de règles forment un monolithe que les humains n'auront probablement pas envie de modifier à la main ; il faudra sans doute confier son extension au même essaim. Quant à la capacité des réseaux de neurones à comprendre des formulations inconnues, on ne la reproduit pas à bas coût avec des règles.

En résumé : PyBot n'abolit pas les LLM, et la blague sur Nvidia reste une blague. Mais le projet montre que la frontière entre « il faut un modèle » et « du code suffit » se déplace quand ce code est écrit par des centaines d'agents avec vérification automatique. Si votre tâche dispose d'une métrique de qualité claire, il vaut la peine de se demander si un essaim d'agents et du Python ordinaire ne suffiraient pas.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été construit ?

PyBot est un bot conversationnel sans poids, sans multiplications matricielles et sans transformers. À l'intérieur, on trouve uniquement des branchements if-else, des expressions régulières et des tables de correspondance. Le bot n'a pas été entraîné : ni jeu de données, ni descente de gradient. Tout le code a été écrit et réécrit par un essaim d'agents. L'échelle est notable. Selon les auteurs, les agents ont généré et évalué plus de 5000 versions du bot.

Que sait-on sur Que signifient les « 26% de victoires » ?

Dans SmolTalkBench, un LLM juge compare les réponses, et le « taux de victoire » est le pourcentage de comparaisons où la réponse de PyBot a été préférée. Au début de l'évolution, cet indicateur était à 0% ; à la fin, il atteignait 26%. Selon la formulation des auteurs, cela place un bot déterministe au niveau de SmolLM-360M-Instruct. Il faut lire ce chiffre avec prudence. 26%, ce n'est pas « le bot est meilleur que le modèle », mais « le bot gagne environ une fois sur quatre ».

Que sait-on sur Que faire de tout cela en pratique ?

Premièrement : un retour mesurable change tout. 5000 itérations et un demi-million de lignes de tests, ce n'est pas « j'ai demandé une fonction dans un chat », c'est une boucle d'ingénierie continue. Si vous construisez des agents pour le code, commencez par un benchmark et des tests : sans eux, l'essaim se serait transformé en générateur de déchets.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…