Kolab: 115 часов записей показали, что ИИ-агенты не понимают коллег-людей

Исследователи из Minnesota NLP опубликовали Kolab, датасет и бенчмарк для оценки того, как ИИ-агенты работают рядом с людьми, а не вместо них. В основе 115+ часов записей экрана: 50 профессионалов из 40 специальностей решали с агентами реалистичные задачи с длинным горизонтом. Главный вывод неприятен для индустрии. Передовые модели, и агентные, и обычные, завышают оценку совместной работы и плохо отличают хорошее сотрудничество от плохого.

Что происходит с ответом агента после чата

Большинство популярных бенчмарков для агентов измеряют автоматизацию: справился ли агент с задачей за один заход. Авторы Kolab, среди которых Шерли Ануграх Хаяти, Патриция Ануграх Сетиани, Жуйцзы Ван, Чжоуи Ли, Хань Чи Ле, Ён-Джун Ли и Донъёп Кан, исходят из другого наблюдения. На длинных задачах люди ценят постоянное взаимодействие с агентом, например пересмотр плана, выше, чем способность довести дело до конца с первой попытки.

Профессиональные процессы для такой проверки удобны. Шаги в них зависят друг от друга: решение на втором этапе меняет всё, что идёт на пятом. В Kolab записано, как эксперты общаются с агентом, что берут из его ответов и что правят. Участники также сами оценили качество сотрудничества и итогового результата. Получилась редкая вещь: данные о том, что люди делают с вкладом агента, когда он уже вышел за пределы окна чата.

Анализ показал разные паттерны взаимодействия. Многое зависит от того, когда и как специалист подключает агента к работе.

Два теста, которых нет в бенчмарках автоматизации

Авторы считают, что коллаборативный агент должен уметь две вещи, и ни одну из них автоматизационные тесты не проверяют. Отсюда две задачи бенчмарка:

• Прогноз использования вклада агента. Модель должна предсказать, как эксперт поступит с предложением агента: примет, изменит или отклонит. От этого зависят следующие шаги агента.
• Проверка оценок сотрудничества. По разворачивающемуся рабочему процессу, без постоянной обратной связи от эксперта, модель должна определить, насколько участник доволен сотрудничеством и каково качество результата.

Датасет охватывает 50 участников, 40 профессий и более 115 часов записи. В него входят оценки самих специалистов, поэтому эталоном служит мнение человека, а не автоматическая метрика.

Где модели ошибаются

Результаты получились однородными. Передовые модели в обеих категориях, агентные и неагентные, систематически переоценивают качество сотрудничества с экспертами. Различать высококачественное и низкокачественное взаимодействие им тоже трудно. По сути, модель склонна считать, что всё прошло хорошо, даже когда эксперт остался недоволен или переписал половину предложенного.

Наименее интуитивный результат касается контекста. Более длинная история рабочего процесса не улучшает предсказания стабильно. Распространённое решение «дадим модели больше информации о ходе работы» здесь не срабатывает. Проблема, судя по всему, не в нехватке токенов, а в неумении читать сигналы: как человек реагирует, что молча правит, когда перестаёт доверять.

Что делать разработчикам агентов

Для команд, которые строят агентов для профессионального использования, Kolab даёт два практических ориентира. Первый: к метрикам успешности задач стоит добавить метрики принятия вклада. Агент, который за один заход решает 80% задач, но чьи результаты эксперты переписывают, на практике полезен меньше, чем кажется по таблице лидеров. Второй: самооценка агента ненадёжна. Если модель завышает качество совместной работы, нельзя опираться на её собственные сигналы «всё идёт хорошо» при автоматическом решении, когда запрашивать подтверждение у человека.

Исследователям датасет предлагает материал для обучения моделей, предсказывающих реакцию эксперта. Код и данные опубликованы в открытом доступе, на странице проекта Minnesota NLP и в репозитории на GitHub. Статья вышла на arXiv под номером 2610.21109 и попала в ежедневную подборку Hugging Face Papers.

Ключевое ограничение стоит держать в голове: 50 участников составляют небольшую выборку, хотя охват в 40 профессий широк. Но направление понятно. Пока агенты не умеют предсказывать, что эксперт сделает с их результатом, они остаются инструментом автоматизации, а не напарником.