Cognition fait dépendre les limites de Devin de l'efficacité : un score de 0 à 100

Cognition, l'entreprise derrière l'agent Devin, propose aux clients professionnels d'abandonner les plafonds uniques de dépenses d'IA et de répartir le budget selon le rendement. Elle a pour cela sorti trois fonctions : Efficiency Score (une note de 0 à 100 pour chaque ingénieur), Devin Coach (des suggestions sur le prompt avant le lancement) et l'approbation automatique du relèvement des limites pour les utilisateurs efficaces. L'approbation automatique est déjà disponible pour tous les clients du plan Devin Enterprise. Cognition compare la limite globale à un gel des embauches : elle bride ceux qui tirent le maximum de l'agent et n'explique pas aux autres comment faire autrement.

Comment est calculé l'Efficiency Score

L'unité de base chez Cognition est l'Agent Compute Unit (ACU). Elle regroupe le coût du LLM et celui de l'infrastructure cloud. La note repose sur les sessions récentes, et non sur la moyenne depuis le début : les anciennes erreurs ne pèsent donc pas indéfiniment.

Devin détermine d'abord si la session a produit un résultat utile. S'il y a une PR, elle doit avoir été mergée. S'il n'y en a pas, un petit classifieur décide si l'agent a fait avancer la tâche : diagnostic d'un bug, réponse à une question analytique. Les enquêtes et la planification sont ainsi créditées elles aussi. Pour chaque session retenue, le système estime ensuite combien d'heures le même travail aurait demandé à un humain. Cognition a confronté ces estimations à celles des ingénieurs eux-mêmes sur leurs propres sessions.

Le résultat combine deux métriques :

• E (efficacité) : heures productives par ACU ;
• V (volume) : heures productives par jour, indépendamment du coût ;
• formule : Score = 100 × (E + λV(1 − E)), avec λ = 0,2 ;
• les deux indicateurs sont ramenés à une échelle de 0 à 1 et aplatis pour les valeurs élevées ;
• niveaux : Healthy, Satisfactory, Needs Improvement, et Unknown lorsque les données sont insuffisantes.

Des exemples portant sur les 200 derniers ACU montrent le fonctionnement. Un ingénieur « typique » (E = 0,50, V = 0,50) obtient 55. Un power user avec le même E mais V = 0,95 obtient 60. Un profil « gros consommateur mais gaspilleur » (E = 0,27, V = 0,95) tombe à 41. Un ingénieur soigneux à faible volume (E = 0,75, V = 0,17) obtient 76. Le volume ne rapporte pas plus d'un cinquième des points restant avant 100 : le volume seul ne suffit donc pas pour décrocher une note élevée.

Coach et approbation automatique

Devin Coach analyse le prompt avant le lancement. Cognition a recensé les erreurs typiques des débutants : une demande trop générale, le mode le plus coûteux utilisé par défaut, plusieurs tâches sans rapport dans une même session. Par exemple, face à « réécris la facturation pour passer à un usage-based pricing », Coach proposera de commencer par établir un plan. Pour changer le texte d'un bouton, il conseillera de prendre le mode standard plutôt qu'Ultra. Pour des demandes sans lien entre elles, il suggérera une nouvelle session ou des sessions enfants. Pour les demandes clairement personnelles, comme la planification de vacances, il rappellera qu'il ne s'agit pas d'un usage professionnel.

En coulisses, un petit classifieur LLM applique un ensemble fixe de motifs. Il a été ajusté sur quelques centaines d'exemples annotés, en insistant sur les cas où un bon prompt ne doit pas être modifié. L'administrateur choisit le niveau d'intervention : des suggestions que l'utilisateur peut ignorer (par défaut), une confirmation obligatoire pour un prompt signalé comme devant ouvrir une nouvelle session, ou la désactivation complète. Coach ne réécrit pas les prompts en silence. Les analyses côté administrateur indiquent quelles suggestions les utilisateurs voient, acceptent et rejettent.

L'approbation automatique s'active dans Usage policies avec l'option « Approve based on efficiency ». Quand un ingénieur noté Healthy ou Satisfactory approche de sa limite, Devin la relève lui-même, sans dépasser le plafond fixé par l'administrateur, et les limites globales de l'organisation restent en vigueur. Si une demande excède le plafond, Devin accorde le maximum et transmet le reste à l'administrateur. Il n'y a pas de refus automatique : les demandes des utilisateurs Needs Improvement et Unknown passent en examen manuel, où l'administrateur voit le motif, l'efficacité, le mix de modèles et la consommation.

Cognition cite deux cas réels dans des entreprises différentes. Dans la première, qui fonctionne avec des validations manuelles, un ingénieur est resté bloqué quatre jours et ses PR mergées de la semaine sont tombées au tiers de son niveau habituel. Dans la seconde, avec approbation automatique, un ingénieur a atteint sa limite 22 fois, Devin l'a relevée à chaque fois, et le nombre hebdomadaire de PR mergées est passé de 30 à près de 80. Deux observations ne remplacent pas une étude, et la métrique d'« heures productives » reste une estimation interne de Cognition elle-même.

Ce que les équipes doivent vérifier avant le déploiement

Commencez par examiner sur quoi repose votre plafond actuel. S'il s'agit d'un chiffre unique pour tout le monde, vous pénalisez très probablement vos utilisateurs les plus utiles. Mais il ne faut pas non plus croire l'évaluation de Cognition sur parole : confrontez-la à votre réalité, par exemple à la part de PR qui arrivent jusqu'au merge et au coût en ACU par PR mergée.

Il est raisonnable de démarrer avec un plafond d'approbation automatique prudent et de l'élargir selon les données. Activez Coach en mode suggestions et suivez la part de recommandations acceptées : un taux faible signale soit un classifieur bruyant, soit un problème de formation. Notez aussi que les utilisateurs Needs Improvement atterrissent dans la file manuelle : décidez à l'avance qui parlera à ces ingénieurs, et comment.

Dans les prochains mois, Cognition promet des budgets flexibles : l'administrateur répartira l'argent entre les responsables de départements, qui partageront les limites entre les équipes et valideront eux-mêmes les demandes.