Сильные ИИ-агенты передают ход человеку в 80% случаев, когда его путь короче

Если агент всё реже просит помощи у человека, это ещё не значит, что сотрудничество разваливается. Возможно, работа просто распределилась правильно. Новое исследование из Hugging Face Daily Papers проверяет эту гипотезу на лабиринте с двумя аватарами. Четыре языковые модели, GPT 5.6 Sol, Command A+, Qwen 3.8 27B и Command R, играли вместе с людьми. Те из них, что надёжно проходят задачу в одиночку, при коротком маршруте у человека передавали ему примерно 80% первых решений. Когда у человека не было преимущества, они почти всегда действовали сами.

Лабиринт, в котором ход можно передать

Авторы исходят из простого наблюдения: по доле человеческого участия нельзя отличить плохое сотрудничество от хорошего разделения труда. Если агент не зовёт человека, он может быть самоуверенным или просто справляться лучше. Чтобы развести эти случаи, нужен контроль над тем, кто в задаче сильнее.

Для этого придумали общий лабиринт. В нём два аватара, один управляется агентом, другой человеком. Цель общая: добраться до одной точки за минимальное число командных ходов. На каждом ходу агент выбирает, действовать самому или отдать ход партнёру.

Преимущество человека задаётся только стартовой расстановкой, то есть длиной его кратчайшего пути. Всё остальное в задаче остаётся прежним. Получается три условия: у человека явное преимущество, ни у кого нет преимущества, преимущество у агента.

Сначала одиночка, потом пара

Эксперимент шёл в два этапа. Сначала каждую модель проверяли в одиночку: один аватар, полная наблюдаемость карты. Так измерили чистую способность решать лабиринт без партнёра. Затем модели играли в паре с людьми во всех трёх условиях.

Главный результат такой: чем лучше модель справляется в одиночку, тем избирательнее она привлекает человека, причём в зависимости от маршрута. Основные цифры:

• Модели, которые надёжно решают лабиринт сами, при отсутствии у человека преимущества действуют самостоятельно почти без исключений.
• Когда маршрут человека короче, эти же модели передают ему около 80% начальных решений.
• Command R, заметно более слабая в одиночном режиме, такой избирательности не показала.
• Вмешательство человека меняется вместе с условием задачи, а не остаётся фиксированной привычкой модели.

Вывод про Command R важен отдельно. Её поведение не выглядит осознанным распределением ролей. Судя по результату, способность понять, у кого путь короче, и способность решить задачу связаны. Модель, которая плохо строит маршрут сама, плохо оценивает и маршрут партнёра.

Почему метрика «сколько раз позвал человека» вводит в заблуждение

Для индустрии агентов это неприятная новость про привычные метрики. Многие команды считают долю эскалаций к человеку и стремятся её снизить. Здесь снижение доли может означать как зрелость, так и слепоту. Агент, который не передаёт ход, когда человек быстрее, теряет эффективность. Агент, который передаёт ход без разбора, перекладывает работу, которую мог сделать сам.

Поэтому в работе важна не частота обращений, а их соответствие условиям. Хороший агент ведёт себя по-разному в разных конфигурациях: берёт задачу на себя, когда он сильнее, и отдаёт, когда партнёр ближе к цели.

Что менять в оценке агентов

Практический вывод для команд, которые строят агентов с участием человека, сводится к нескольким шагам.

• Оценивать не общий процент эскалаций, а их зависимость от того, кто объективно сильнее в конкретной подзадаче.
• Строить тесты с контролируемым преимуществом человека, агента и с нулевым преимуществом, как в этом лабиринте.
• Сначала измерять одиночную способность модели и только потом интерпретировать её поведение в паре. Без этой базы нельзя понять, делегирует агент осознанно или вслепую.
• Не считать слабую модель более «кооперативной» лишь потому, что она чаще просит помощи. У Command R избирательности нет, и частота обращений сама по себе ничего не говорит.

Лабиринт остаётся лабораторной задачей, и переносить результат на реальные рабочие процессы нужно осторожно. Но методика полезна: она отделяет вопрос «умеет ли агент работать с человеком» от вопроса «умеет ли он решать задачу сам».