Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)

Hark double la vitesse de son agent de navigation Handoff² : le taux de réussite passe de 73% à 82%

Un agent de navigation qui réfléchit longuement à chaque clic, autant le remplacer par soi-même. Hark, le laboratoire de Brett Adcock, lance Handoff², un agent qui fait seul les courses et réserve des billets. Il est deux fois plus rapide que la première version : le modèle a appris à remplir tous les champs d'un formulaire en un seul tour. Le temps par tâche baisse de 46%, et le taux de tâches réussies sur un jeu interne de 478 tâches passe de 73% à 82%. Pour l'instant, les vérifications sont uniquement internes.

Traité par IA depuis TG: @ai_machinelearning_big_data (Machinelearning) ; édité par Hamidun News
Hark double la vitesse de son agent de navigation Handoff² : le taux de réussite passe de 73% à 82%
Source : TG: @ai_machinelearning_big_data (Machinelearning). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTG: @ai_machinelearning_big_data (Machinelearning) ↗
Rédacteur en chef
Test « ne pas acheter sans accord »de 90,3% à 93,8%
Billetsjusqu'à 3,8 fois plus rapide ; tâches longues : plus de 5 fois
Première version5,6 millions de sessions, plus de 20 millions de dollars d'achats

Le principal défaut des agents de navigation n'est pas la bêtise, mais la lenteur. Un agent qui réfléchit une minute avant chaque clic ne fait gagner aucun temps : autant tout faire soi-même. Hark, le laboratoire d'IA grand public de Brett Adcock, fondateur de Figure AI, a lancé Handoff², la deuxième génération de son agent qui pilote lui-même le navigateur et exécute des tâches : acheter des produits, réserver des billets, prendre rendez-vous chez le médecin.

Selon l'entreprise, il est en moyenne deux fois plus rapide que la première version. Prenons un formulaire de dix champs : auparavant, l'agent les remplissait un par un ; désormais, il les remplit tous d'un coup. Dans le même temps, le taux de tâches menées à bien sur un jeu interne de 478 tâches réparties sur 238 sites est passé de 73% à 82%.

L'accélération ne s'est donc pas payée en qualité.

Ce qui s'améliore dans Handoff²

La première version de Handoff est sortie en octobre. D'après Hark, elle a depuis effectué plus de 5,6 millions de sessions dans le navigateur et réglé des achats pour plus de 20 millions de dollars. Pour des agents à qui l'on confie de l'argent, l'échelle est notable.

Voici ce qui a changé dans la deuxième version, selon l'entreprise :

  • une accélération moyenne d'un facteur 2, jusqu'à 3,8 fois pour la réservation de billets d'avion et plus de 5 fois pour les longues tâches de recherche ;
  • le taux de tâches réussies sur le jeu interne de 478 tâches est passé de 73% à 82% ;
  • sur le test interne de comportement, le score est passé de 90,3% à 93,8%. Ce test vérifie par exemple que l'agent ne finalise pas un achat sans l'accord de l'utilisateur ;
  • le système résout les captchas 80% mieux, assure Brett Adcock.

Tous ces chiffres sont internes, et aucune vérification indépendante n'existe pour l'instant.

Comment l'agent a appris à ne plus gaspiller de tours

Le secret tient au développement conjoint du « harnais » (harness) et de l'apprentissage par renforcement (RL). Le harnais est la couche qui entoure le modèle : il définit les actions dont celui-ci dispose, ce qu'il voit sur la page et la façon dont ses étapes se traduisent en clics et en saisie de texte. En général, le modèle effectue une seule étape par tour : il clique, attend la page, réfléchit, clique de nouveau. Chaque cycle de ce type coûte des secondes.

Dans Handoff², le modèle pouvait enchaîner plusieurs actions en un seul tour. Pour qu'il en profite, l'entraînement a introduit des pénalités sur les tours superflus, les raisonnements excessifs et la latence globale. Le modèle a ainsi appris à regrouper de lui-même les actions évidentes, par exemple remplir plusieurs champs d'un formulaire d'un coup.

Seconde astuce : les actions composites. Lorsqu'une même séquence d'étapes revient d'une tâche à l'autre, comme une connexion ou le choix d'une date dans un calendrier, le modèle la rassemble en une seule action et la réutilise. C'est comparable à une macro, à ceci près que le modèle l'invente et la réutilise lui-même.

Résultat : chaque tâche prend 46% de temps en moins. Avec les améliorations côté serveur, on arrive à l'accélération d'un facteur 2 annoncée. Elle est la plus nette sur les tâches longues, où le gain réalisé à chaque étape s'accumule.

Ce que cela implique pour les développeurs et les product managers

Premièrement, la vitesse d'un agent ne dépend pas seulement de la puissance du modèle ou du matériel. Une part importante du gain vient de la conception de l'interface d'actions et de ce que l'entraînement récompense. Si vous construisez votre propre agent, vérifiez que vous ne l'obligez pas à avancer pas à pas là où un lot d'actions suffirait.

Deuxièmement, le taux de réussite et la vitesse ont progressé ensemble. C'est important, car les pénalités sur la longueur du raisonnement dégradent souvent la qualité. Hark affirme que ce n'est pas le cas ici, mais la vérification n'est possible que sur ses propres jeux de tâches.

Troisièmement, un test dédié au « ne pas acheter sans accord » montre ce que le marché surveille. Quand un agent dépense de l'argent réel, la métrique clé n'est pas seulement le pourcentage de tâches accomplies, mais aussi la discipline : ne rien faire de trop. Avec 93,8%, le comportement échoue encore à la vérification environ une fois sur seize. Pour un service qui règle des achats, ce n'est pas négligeable.

Handoff² est en cours de déploiement sur tous les forfaits. Reste à voir si les utilisateurs ordinaires confirmeront la vitesse et la fiabilité, et non les benchmarks internes de l'entreprise.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui s'améliore dans Handoff² ?

La première version de Handoff est sortie en octobre. D'après Hark, elle a depuis effectué plus de 5,6 millions de sessions dans le navigateur et réglé des achats pour plus de 20 millions de dollars. Pour des agents à qui l'on confie de l'argent, l'échelle est notable.

Comment l'agent a appris à ne plus gaspiller de tours?

Le secret tient au développement conjoint du « harnais » (harness) et de l'apprentissage par renforcement (RL). Le harnais est la couche qui entoure le modèle : il définit les actions dont celui-ci dispose, ce qu'il voit sur la page et la façon dont ses étapes se traduisent en clics et en saisie de texte. En général, le modèle effectue une seule étape par tour : il clique, attend la page, réfléchit, clique de nouveau. Chaque cycle de ce type coûte des secondes.

Que sait-on sur Ce que cela implique pour les développeurs et les product managers ?

Premièrement, la vitesse d'un agent ne dépend pas seulement de la puissance du modèle ou du matériel. Une part importante du gain vient de la conception de l'interface d'actions et de ce que l'entraînement récompense. Si vous construisez votre propre agent, vérifiez que vous ne l'obligez pas à avancer pas à pas là où un lot d'actions suffirait. Deuxièmement, le taux de réussite et la vitesse ont progressé ensemble. C'est important, car les pénalités sur la longueur du raisonnement dégradent souvent la qualité.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
Qu'en pensez-vous ?
Chargement des commentaires…