OpenVLHarness добавил мультимодальным моделям память и инструменты: +9,7–12,6 балла

Авторы OpenVLHarness предлагают оставить мультимодальной модели её рассуждения и дать ей внешние инструменты вместе с памятью, в которой лежат результаты их работы. На 22 бенчмарках с восемью открытыми и закрытыми моделями такая обвязка подняла средний балл на 9,7–12,6 пункта по сравнению с идентичными baseline без инструментов. Самый заметный результат касается стоимости: GPT-6 Luna со средним reasoning effort обошла базовую модель, Codex и Visual Sketchpad, работавшие на максимальном усилии, на 7,7–8,5 пункта. Токенов она потратила не более 37% от их расхода.

Почему одних рассуждений мало

Отправная точка работы — контролируемый эксперимент на тех же 22 бенчмарках. Если просто увеличивать inference-бюджет базовой модели, то есть давать ей больше токенов на размышления, выигрыш получается скромным. Причина в природе задач. Им нужны привязанное к изображению восприятие, внешние знания и числовые измерения, а всё это получают от разных инструментов, и модель не может вывести их из собственных весов, сколько бы она ни думала.

Есть и вторая проблема. Выход инструмента надо превратить в то, что модель способна прочитать, и затем не потерять его на следующем шаге рассуждения. Здесь большинство агентных схем ломается: картинка или таблица появляется один раз, а через три шага о ней остаётся пересказ в тексте.

Как устроена обвязка

OpenVLHarness строится вокруг двух слоёв и одного интерфейса.

• Capability layer объединяет интерфейсы инструментов уровня задачи с рендерингом свидетельств. Он даёт единый доступ к разнородным бэкендам и преобразует их выводы в наблюдения, понятные модели.
• Постоянная мультимодальная память хранит изображения, структурированные данные и веб-ссылки как адресуемые артефакты на протяжении всего запроса.
• Coding interface исполняет сгенерированные программы над сохранёнными данными, так что можно считать, комбинируя результаты нескольких инструментов.

Вместе это превращает ответ в итеративный цикл: получить свидетельство, рассмотреть его, скомпоновать с другими. Адресуемость артефактов здесь ключевая деталь. Модель ссылается на конкретную картинку или набор данных из памяти по адресу, а не таскает их в контексте целиком.

Цифры

• Охват: 22 бенчмарка, восемь открытых и закрытых бэкбонов.
• Средний прирост к matched no-tool baseline: 9,7–12,6 пункта.
• Qwen3-VL-8B: +11,2.
• Kimi K3: +9,7.
• GPT-6 Astra: +9,9.
• GPT-6 Luna на medium effort против базовой модели, Codex и Visual Sketchpad на максимальном effort: преимущество 7,7–8,5 пункта.
• Расход токенов модели: не более 37% от этих конкурентов.

Стоит обратить внимание на разброс. Компактная 8-миллиардная Qwen3-VL получает +11,2, то есть больше, чем флагманские закрытые модели вроде GPT-6 Astra (+9,9). Для небольших моделей инструменты и память частично компенсируют нехватку собственных возможностей.

Что с этим делать разработчикам

Практический вывод для тех, кто строит визуальных агентов: при нехватке качества сначала стоит пересмотреть архитектуру вокруг модели, а не поднимать reasoning effort. Сравнение с Codex и Visual Sketchpad показывает, что среднее усилие плюс хорошо организованные инструменты могут обгонять максимальное усилие без них, причём втрое дешевле по токенам.

Три вещи стоит перенять уже сейчас. Приводить выводы инструментов к формату, который модель читает без потерь. Хранить промежуточные картинки и данные как адресуемые объекты, а не как текстовые пересказы. Давать модели возможность посчитать результат кодом поверх сохранённых данных. Оговорка одна: цифры взяты из описания самих авторов, независимых проверок в материале нет, поэтому перед внедрением их стоит перепроверить на собственных задачах.