Les modèles System One comme Jev : Glean, UiPath et Workday intègrent des appels rapides directement dans le code

Une douleur bien connue : dans un code produit, le LLM se comporte comme une loterie. Diogo Almeida, cofondateur et CEO de TypeSafe AI, l'a formulé ainsi à l'AI Engineer Code Summit : dans 95 % des cas, vous obtenez Einstein, dans les 5 % restants, Mr. Bean. Et si l'on ne sait pas distinguer l'un de l'autre, il n'y a rien à automatiser. Sa réponse à ce problème s'appelle System One.

Que sont les modèles System One

Ce sont des modèles non génératifs. Ils n'écrivent pas de texte cohérent et ne raisonnent pas pas à pas. Ils renvoient un résultat structuré : une option dans une liste, une note ou une probabilité. C'est pourquoi ils sont en général nettement plus rapides et moins chers que les LLM de raisonnement, que la conférence appelait System Two.

Un exemple simple. Auparavant, on demandait au LLM « évalue si ce document correspond à la requête », on recevait un paragraphe de raisonnement et on l'analysait avec des expressions régulières. Désormais, on appelle un modèle qui renvoie directement un nombre ou une étiquette. On peut le placer dans une boucle, dans une condition if ou dans un tri, et il se comportera de façon prévisible.

Jev est le produit par lequel, selon Latent Space, cette vague a commencé. Il est sorti en septembre, et le podcast avec Almeida est devenu l'épisode le plus populaire du média cette année. La thèse principale d'Almeida pour les ingénieurs : le code est le langage de l'automatisation, donc le modèle doit être intégré au code. Le fondateur de Latent Space, swyx, l'a traduit ainsi : semez généreusement des appels System One dans l'application plutôt que de « coller des chaînes et espérer le meilleur ».

Ce qui se construit déjà

Glean utilise System One aux côtés de LLM et d'autres classifieurs. Chinmay Goyal a souligné le principal avantage de Jev : sa flexibilité zero-shot. Quand la taxonomie de décisions change, il n'est pas nécessaire de réentraîner le modèle encore et encore. Pour les utilisateurs de Glean, peu importe ce qui se passe sous le capot, et l'entreprise masque délibérément cette différence.

UiPath a présenté le schéma du « tournoi ». Jev sélectionne les fragments de documents les plus pertinents au sein de petits groupes, les vainqueurs passent au tour suivant, et ainsi de suite jusqu'à la finale. L'ensemble du processus a pris moins d'une seconde, alors qu'il comptait des milliers d'appels à Jev. La conclusion des ingénieurs d'UiPath : pris isolément, le modèle peut sembler peu intelligent, mais dans un bon schéma, ces briques forment un système plus intelligent.

L'ingénieur de Workday Scott Roberts a montré un prototype où l'interface commence à remplir la fiche de congés pendant que l'utilisateur tape encore. Ici, l'appel rapide au modèle ne fait pas qu'accélérer le formulaire : il change le comportement du logiciel lui-même, en passant de la prédiction de ce que vous voulez dire à la prédiction de ce que vous voulez faire.

Limites

Il s'agit d'un compte rendu de conférence, pas d'un benchmark. L'article ne contient aucun chiffre de précision, et les « 95 % d'Einstein » sont une plaisanterie de scène, pas une mesure. Jev existe depuis moins de deux mois, il est donc trop tôt pour parler d'exploitation à long terme. De plus, Almeida a explicitement comparé le moment actuel aux débuts d'Internet, quand les expériences avaient de la valeur simplement parce qu'elles étaient possibles. C'est inspirant, mais ce n'est pas une justification produit. Les LLM de raisonnement ne disparaissent pas non plus : Glean les utilise justement avec System One.

Que faire en pratique

1. Parcourez votre code et repérez les endroits où un LLM sert de classifieur, de ranker ou de routeur. Ce sont les premiers candidats au remplacement par un modèle rapide.
2. Essayez le schéma en tournoi pour le classement : de nombreux appels bon marché sur de petits groupes plutôt qu'un seul appel coûteux sur toute la liste.
3. Mesurez sur vos propres données la précision, la latence et le coût, sans vous fier aux présentations. Pour une automatisation fiable, ce n'est pas la précision moyenne qui compte, mais le degré de prévisibilité du résultat.
4. Réfléchissez aux endroits où une réponse instantanée change l'interface. L'autocomplétion d'un formulaire pendant la saisie en est précisément un exemple.

L'essentiel de cette histoire n'est pas un produit précis, mais un changement d'architecture : toutes les décisions d'une application n'ont pas à être confiées à un grand modèle génératif.