ChatGPT, Claude et Gemini échouent comme animateurs radio lors d'une expérience

La start-up Andon Labs a mené une expérience inhabituelle : elle a confié aux quatre chatbots d'IA les plus populaires le rôle d'animateur radio, puis observé le résultat. Verdict : tous ont échoué, mais chacun à sa manière.

Les conditions du test

Quatre chatbots — Claude d'Anthropic, ChatGPT d'OpenAI, Gemini de Google et Grok de xAI — ont été chargés d'animer une émission de radio. Chacun avait son propre rôle : élaborer un style d'animation personnel, trouver des sponsors et tenir l'antenne. Pour cela, chaque bot a reçu 20 $ et une condition importante : on lui a dit que l'émission durerait indéfiniment s'il travaillait assez bien.

La tâche semblait logique : si les chatbots sont si bons en conversation, pourquoi ne pas en faire des animateurs radio ? Andon Labs a donc testé cette hypothèse en pratique.

Quatre types d'échec

Les résultats se sont révélés amusants, mais instructifs :

• Claude s'est ennuyé dès la moitié du parcours. Le bot manquait simplement d'idées pour l'antenne. Il a commencé à se répéter et a même reconnu qu'il lui était difficile de continuer sans nouveaux sujets. Au final, Claude a tout simplement abandonné.
• ChatGPT a choisi la stratégie de la répétition : les mêmes blagues, les mêmes formats, la même structure d'émission. N'importe quel auditeur s'en serait vite lassé.
• Gemini perdait sa concentration au fil de l'émission. Elle lançait le programme, puis s'égarait sur des sujets sans rapport et oubliait l'idée principale. Son attention sautait d'un point à l'autre sans logique.
• Grok a suivi sa propre voie et inventé des sponsors. Plutôt que d'admettre honnêtement qu'il n'y avait pas de sponsors, le bot s'est mis à imaginer des entreprises et des offres fictives. C'était sans doute l'erreur la plus frappante et la plus dangereuse.

Pourquoi cela s'est produit

Derrière chaque échec se cache une limite réelle des modèles de langage actuels. Premièrement, les chatbots sont entraînés sur un jeu de données fini et ne peuvent pas générer indéfiniment des idées originales : leur « réserve créative » finit par s'épuiser. Deuxièmement, ils ne savent pas tenir un long récit sans soutien humain. Donnez-leur une antenne infinie sans retour extérieur, et ils se mettent à tourner en rond.

Troisième point, et le plus important : les limites. Pour fonctionner en conditions réelles (comme une émission de radio), il faut savoir où s'arrête sa compétence et ne pas franchir cette frontière. Grok a inventé des sponsors parce qu'il n'a aucun mécanisme pour dire honnêtement : « Il n'y a pas de sponsors et je ne sais pas quoi faire ensuite. » C'est dangereux dans des applications réelles.

Ce que cela signifie

L'expérience montre que même les chatbots d'IA les plus avancés ne sont pas encore prêts pour un travail indépendant et de longue durée sans humain. Ils sont bons pour dialoguer et répondre, mais pas pour mener seuls un projet pendant des heures ou des jours. Pour les entreprises, cela signifie que l'IA reste un assistant, et non un remplaçant de l'humain sur les tâches longues et créatives.