Sixtyfour : la start-up de Y Combinator qui note chaque réponse de son agent IA

Sixtyfour, start-up fondée par Saarth Shah et Christopher Price, présente une approche conceptuellement nouvelle du développement d'agents IA de recherche. Passée par l'accélérateur Y Combinator, l'entreprise a conçu un système qui va à l'encontre de la pratique dominante du secteur : au lieu de pointer un modèle de langage vers des données web et de se fier aveuglément au résultat, Sixtyfour a bâti un evaluation stack rigoureux. Chaque version de l'agent de recherche passe par un système de notation strict : elle est testée sur un ensemble de questions que des spécialistes ont préparées à la main, et seul le code qui améliore de façon démontrée les métriques finales de qualité arrive en production.

Pourquoi la confiance aveugle envers les LLM ne suffit pas

La plupart des outils d'IA actuels pour rechercher et analyser l'information suivent un schéma simple : pointer un modèle de langage vers des sources web, obtenir une réponse et la tenir pour exacte. Ces systèmes se mettent en place rapidement, mais leur fiabilité reste discutable. Les modèles de langage ont tendance à halluciner, c'est-à-dire à inventer des faits absents des sources. Ils peuvent mal interpréter un texte, surtout lorsque l'information est contradictoire ou nécessite un calcul. Parfois, le modèle produit des boucles logiques d'apparence convaincante, mais qui ne résistent pas à la vérification.

Saarth Shah, fondateur de Sixtyfour, a choisi la voie inverse : contrôler chaque étape de l'agent. Il tient un scoreboard précis, littéralement un tableau qui consigne la qualité de chaque version de l'agent. Si le score progresse, la version part en production. S'il baisse, l'équipe annule les changements, analyse l'origine de l'erreur et retravaille la logique ou les paramètres. C'est radicalement différent de l'approche habituelle du « on déploie et on espère le meilleur ».

Comment fonctionne le système d'évaluation

Le cœur de l'evaluation stack de Sixtyfour est un ensemble de questions de contrôle préparées à la main par des spécialistes ayant une expérience de la recherche et de l'analyse de données. Elles reflètent des scénarios de travail réels : trouver une information précise dans de gros volumes de texte, passer un article au crible pour y détecter des erreurs factuelles, synthétiser des données issues de plusieurs sources, vérifier des affirmations par recoupement.

Chaque nouveau build (version) de l'agent de recherche est exécuté sur cet ensemble de questions. Le système enregistre trois paramètres critiques : l'agent a-t-il donné la bonne réponse finale ? Dans quelle mesure la réponse est-elle complète et détaillée ? Le raisonnement de l'agent contient-il des erreurs logiques ou des hallucinations ? Ces paramètres servent à calculer le score final de qualité.

La méthodologie ressemble aux tests unitaires du développement logiciel classique, mais appliqués à la qualité du jugement d'un agent IA plutôt qu'à la justesse du code. Si un développeur améliore le prompt ou l'architecture de l'agent, cette amélioration ne doit pas faire baisser le score global sur l'ensemble de contrôle. Idéalement, elle doit le faire monter. Cela garantit qu'aucune modification livrée en production ne dégrade la fiabilité du système.

Un contrôle humain sur le jugement de la machine

Un détail essentiel de la philosophie de Sixtyfour : le système d'évaluation reste entre les mains d'humains et n'est pas entièrement confié aux modèles de langage. Les questions de l'ensemble de contrôle sont préparées par des personnes, des spécialistes qui comprennent les risques réels et les cas limites. Cela réduit le risque de cascade failures, ces situations où une erreur de la génération N de modèles engendre des erreurs cachées dans la génération N+1, parce que le modèle s'est entraîné sur des données erronées.

Ce que cela change pour l'industrie

L'approche de Sixtyfour signale un tournant dans le développement des agents IA. Le secteur passe peu à peu des affirmations marketing (« notre agent est le plus intelligent ») à des métriques de qualité objectives et reproductibles. C'est le passage de l'ère des promesses à celle des preuves.

C'est particulièrement crucial pour les usages sensibles de la recherche et de l'analyse : prévisions financières, recommandations médicales, analyse de documents juridiques, des domaines où l'erreur d'un agent coûte cher ou peut nuire à une personne.

D'autres start-ups et laboratoires de recherche s'inspireront probablement de la méthodologie de Sixtyfour. Mais, plus largement, la validation et l'évaluation des agents IA ne sont pas un problème commercial étroit propre à une seule start-up : c'est un problème systémique pour toute l'industrie qui développe de grands modèles de langage et leurs applications sous forme d'agents.