L'IA de Google a cru un écrivain : un chat qui parle cantonais

Chuck Wendig, écrivain américain réputé, auteur de comics et blogueur populaire, a mené une expérience amusante qui met en évidence la vulnérabilité des systèmes de recherche actuels reposant sur l'intelligence artificielle. Wendig a réussi à convaincre l'IA de Google qu'il possède un chat nommé Sir Mewlington von Pissbret qui, de surcroît, porte un chapeau haut de forme et parle un peu cantonais, un dialecte chinois. Cette blague en apparence inoffensive révèle de sérieux problèmes de confiance envers les informations fournies par l'IA.

Wendig n'a pas voulu révéler les méthodes précises qui lui ont permis de « nourrir » Google avec cette histoire inventée. Selon toute vraisemblance, il a toutefois combiné plusieurs techniques d'optimisation pour les moteurs de recherche (SEO) avec la diffusion d'informations via les réseaux sociaux et d'autres plateformes en ligne. Il faut bien comprendre que les moteurs de recherche actuels fondés sur l'IA n'ont pas d'esprit critique et ne peuvent pas vérifier seuls la véracité des informations. Ils se contentent d'analyser d'énormes volumes de données et d'en dégager des régularités sur lesquelles ils construisent leurs réponses.

Ce cas illustre à quel point il est facile de manipuler les algorithmes d'IA en leur fournissant des informations fausses ou déformées. Wendig a en somme créé une « bulle informationnelle » autour de son chat imaginaire, en inondant internet de mentions de ses capacités peu communes. L'IA de Google a repéré ces mentions, les a prises pour argent comptant et les a intégrées à sa base de connaissances.

Les conséquences de telles manipulations peuvent être très graves. Si les systèmes d'IA s'appuient sur des informations peu fiables, cela peut favoriser la propagation de fausses nouvelles et de désinformation et, à terme, miner la confiance dans les technologies d'intelligence artificielle dans leur ensemble. Imaginez que quelqu'un convainque ainsi une IA que certains médicaments provoquent des effets secondaires dangereux, ou que des événements historiques se sont déroulés tout autrement. Les résultats pourraient être catastrophiques.

Cet incident pousse à s'interroger sur la nécessité de concevoir de meilleurs mécanismes de vérification de l'information pour les systèmes d'IA. De nouveaux algorithmes capables d'analyser le contexte, de repérer les contradictions et de vérifier les sources seront peut-être nécessaires. Il faut aussi apprendre aux utilisateurs à évaluer avec esprit critique les informations issues de l'IA et à ne pas les considérer comme une vérité absolue. En définitive, la responsabilité de diffuser une information fiable incombe à tous les acteurs de l'échange d'informations, y compris les développeurs d'IA, les utilisateurs et les journalistes.

À l'avenir, on peut s'attendre à des méthodes de manipulation des systèmes d'IA plus complexes et plus sophistiquées. Il est donc essentiel de commencer dès maintenant à élaborer des stratégies efficaces contre la désinformation et de garantir la fiabilité et l'exactitude des informations fournies par l'intelligence artificielle. L'expérience de Wendig est un signal d'alarme qu'on ne peut pas ignorer.