Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизAPI / Продукт · В работуTG: @ai_machinelearning_big_data (Machinelearning)→ оригинал

Hark ускорила браузерного агента Handoff² вдвое: успех задач вырос с 73% до 82%

Браузерный агент, который долго думает над каждым кликом, проще заменить собой. Hark Бретта Адкока выпустила Handoff², который сам покупает продукты и бронирует билеты, и он вдвое быстрее первой версии: модель научили заполнять сразу все поля формы за один ход. Время на задачу упало на 46%, а доля выполненных задач на внутреннем наборе из 478 заданий выросла с 73% до 82%. Проверки пока только внутренние.

AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Hark ускорила браузерного агента Handoff² вдвое: успех задач вырос с 73% до 82%
Источник: TG: @ai_machinelearning_big_data (Machinelearning). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @ai_machinelearning_big_data (Machinelearning) ↗
Главный редактор
Тест «не покупать без согласия»с 90,3% до 93,8%
Ключевой факт #2Билеты — быстрее до 3,8 раза, длинные задачи — более чем в 5 раз
Первая версия5,6 млн сеансов, покупок больше чем на 20 млн долларов

Главная боль браузерных агентов — не глупость, а медлительность. Агент, который минуту думает над каждым кликом, не экономит время: проще сделать всё самому. Hark, лаборатория потребительского ИИ основателя Figure AI Бретта Адкока, выпустила Handoff² — второе поколение агента, который сам управляет браузером и выполняет поручения: покупает продукты, бронирует билеты, записывает к врачу. По данным компании, он в среднем вдвое быстрее первой версии. Представьте анкету на десять полей: раньше агент заполнял бы их по одному, теперь заполняет все сразу. При этом доля успешно выполненных задач на внутреннем наборе из 478 заданий на 238 сайтах выросла с 73% до 82%, то есть ускорение не обернулось потерей качества.

Что стало лучше в Handoff²

Первая версия Handoff вышла в октябре. По данным Hark, с тех пор она провела больше 5,6 млн сеансов в браузере и оплатила покупки больше чем на 20 млн долларов. Для агентов, которым доверяют деньги, это заметный масштаб.

Что изменилось во второй версии, по словам компании:

  • в среднем ускорение в 2 раза, бронирование авиабилетов — до 3,8 раза, длинные исследовательские задачи — более чем в 5 раз;
  • доля успешно выполненных задач на внутреннем наборе из 478 заданий выросла с 73% до 82%;
  • на внутреннем тесте поведения результат вырос с 90,3% до 93,8%. Там проверяют, например, что агент не оформит покупку без согласия пользователя;
  • капчу система, по заверению Адкока, решает на 80% лучше.

Все цифры внутренние, независимой проверки пока нет.

Как агента научили не тратить ходы впустую

Секрет в том, что «харнес» и обучение с подкреплением (RL) разрабатывали вместе. Харнес — это обвязка вокруг модели: какие действия ей доступны, что она видит на странице и как её шаги превращаются в клики и ввод текста. Обычно модель делает один шаг за ход: кликнула, подождала страницу, подумала, кликнула снова. Каждый такой цикл стоит секунд.

В Handoff² модель могла совершать несколько действий за один ход. А чтобы она этим пользовалась, в обучении ввели штрафы за лишние ходы, избыточные рассуждения и общую задержку. Очевидные действия модель стала объединять сама, например заполнять сразу несколько полей формы.

Второй приём — составные действия. Если в задачах повторяется одна и та же последовательность шагов, например логин или выбор даты в календаре, модель собирает её в одно действие и использует снова. Это похоже на макрос, только его придумывает и переиспользует сама модель.

Результат: на задачу уходит на 46% меньше времени. Вместе с доработками серверной части получается то самое двукратное ускорение. Сильнее всего оно заметно на длинных задачах, где экономия на каждом шаге накапливается.

Что из этого следует разработчикам и продактам

Первое: скорость агента — это не только вопрос мощности модели или железа. Значительная часть выигрыша приходит от того, как спроектирован интерфейс действий и чем модель поощряют на обучении. Если вы строите собственного агента, стоит проверить, не заставляете ли вы его делать по одному шагу там, где можно сделать пачку.

Второе: рост успешности и рост скорости пошли вместе. Это важно, потому что штрафы за длину рассуждений часто бьют по качеству. Hark утверждает, что здесь этого не случилось, но проверить это можно лишь на её собственных наборах задач.

Третье: отдельный тест на «не покупать без согласия» показывает, на что смотрит рынок. Когда агент тратит реальные деньги, главная метрика — не только процент выполненных задач, но и дисциплина: не сделать лишнего. 93,8% означает, что примерно в одном случае из шестнадцати поведение всё ещё не проходит проверку. Для сервиса, который оплачивает покупки, это немало.

Handoff² уже раскатывают на все тарифы. Теперь надо смотреть, подтвердят ли скорость и надёжность обычные пользователи, а не внутренние бенчмарки компании.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что стало лучше в Handoff²?

Первая версия Handoff вышла в октябре. По данным Hark, с тех пор она провела больше 5,6 млн сеансов в браузере и оплатила покупки больше чем на 20 млн долларов. Для агентов, которым доверяют деньги, это заметный масштаб. Что изменилось во второй версии, по словам компании: в среднем ускорение в 2 раза, бронирование авиабилетов — до 3,8 раза, длинные исследовательские задачи — более чем в 5 раз; доля успешно выполненных задач на внутреннем наборе из 478 заданий выросла с 73% до 82%; на внутреннем…

Что известно по теме: как агента научили не тратить ходы впустую?

Секрет в том, что «харнес» и обучение с подкреплением (RL) разрабатывали вместе. Харнес — это обвязка вокруг модели: какие действия ей доступны, что она видит на странице и как её шаги превращаются в клики и ввод текста. Обычно модель делает один шаг за ход: кликнула, подождала страницу, подумала, кликнула снова. Каждый такой цикл стоит секунд. В Handoff² модель могла совершать несколько действий за один ход.

Что известно по теме: что из этого следует разработчикам и продактам?

Первое: скорость агента — это не только вопрос мощности модели или железа. Значительная часть выигрыша приходит от того, как спроектирован интерфейс действий и чем модель поощряют на обучении. Если вы строите собственного агента, стоит проверить, не заставляете ли вы его делать по одному шагу там, где можно сделать пачку. Второе: рост успешности и рост скорости пошли вместе. Это важно, потому что штрафы за длину рассуждений часто бьют по качеству.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…