Tencent Hunyuan и Фудань запустили ExplorationBench для оценки исследования у LLM

Tencent Hunyuan и исследователи Фуданьского университета представили ExplorationBench, оценочный набор для способности ИИ-систем «исследовать». Анонс вышел на официальном аккаунте @TencentHunyuan в X, затем его продублировал и разобрал @TencentAI_News. Авторы тянутся к одной из самых плохо измеримых характеристик агентов: умению действовать, когда правильный путь заранее неизвестен. Числовых результатов моделей в первичном материале, который лежит на нашем столе, нет, и мы не будем их выдумывать.

Что известно на сегодня

Фактов немного, но они ясные. Бенчмарк называется ExplorationBench. Его цель сформулирована как измерение того, как ИИ-система «исследует». Работу делает команда из Фудани, которая раньше уже выпускала CL-bench, при участии Tencent Hunyuan. Для Tencent это второй совместный оценочный проект с университетским партнёром, то есть сложившаяся схема, а не разовая акция.

Ключевые параметры анонса:

• Название: ExplorationBench.
• Объект измерения: исследовательское поведение ИИ-систем, не точность ответа на фиксированный вопрос.
• Авторы: команда Фуданьского университета и Tencent Hunyuan.
• Предшественник: CL-bench от той же группы из Фудани.
• Каналы публикации: X-аккаунты Tencent Hunyuan и Tencent AI.
• Не раскрыто в доступном тексте: число задач, формат сред, метрики, список протестированных моделей, лицензия и ссылка на код.

Почему исследование стало узким местом

Большинство популярных тестов проверяют итог: верный ответ, пройденные юнит-тесты, решённая задача. Агентные сценарии устроены иначе. Агент попадает в среду с неполной информацией, должен решить, что проверить, куда сходить и когда остановиться. Классическая дилемма exploration и exploitation давно знакома из обучения с подкреплением, но у LLM-агентов она проявляется по-новому. Модель может уверенно эксплуатировать первую удачную гипотезу и не заметить лучшую. Или бесконечно собирать информацию и не дойти до действия.

Итоговая метрика успеха плохо различает эти провалы. Два агента получают одинаковую оценку, хотя один нашёл решение систематически, а второй наугад. Отдельный бенчмарк на исследование нужен, чтобы увидеть сам процесс: полноту обхода, повторные действия, реакцию на новую информацию.

Чего не хватает в анонсе

Главный вопрос к ExplorationBench в том, как именно он определяет исследование. От этого зависит всё. Если среды детерминированы и конечны, бенчмарк рискует превратиться в тест на перебор. Если они открыты, встаёт проблема воспроизводимости и подсчёта. Нужно также понять, отделяет ли набор способность к исследованию от общего интеллекта модели. Сильные модели, как правило, выигрывают везде, и без контрольных условий вклад именно исследовательского поведения не докажешь.

Второй вопрос касается открытости. Если код и данные выйдут публично, бенчмарк сможет стать общим инструментом, если нет, он останется витриной для внутренних моделей Hunyuan. Опыт с CL-bench показывает, что группа готова выпускать оценочные работы в публичное поле, но сроки и условия для нового набора мы пока подтвердить не можем.

Как использовать это сейчас

Команде, которая строит агентов, полезно уже сегодня добавить в собственную оценку процессные метрики: число повторных действий, долю уникальных состояний, момент первого обращения к нужному источнику. Когда ExplorationBench выйдет с кодом, эти данные удобно будет сопоставить с его результатами. При выборе модели под агентный продукт стоит дождаться опубликованных таблиц и смотреть не на единый средний балл, а на разбивку по типам сред. Читая будущий отчёт, проверяйте три вещи: есть ли в нём независимые прогоны моделей конкурентов, указан ли разброс между запусками и опубликованы ли траектории агентов. Без этого любой рейтинг останется рекламой, а не измерением.