Tencent научила Hy4 управлять компьютером через два интерфейса: GUI и CLI

Исправить код, открыть страницу и проверить, что кнопка действительно работает, — обычная задача разработчика. Для ИИ такая цепочка требует нескольких способностей сразу: понимать код, видеть интерфейс и пользоваться инструментами. Tencent представила Hy4, которая, по заявлению компании, умеет понимать изображения и взаимодействовать с компьютером через графический интерфейс и командную строку. Практический интерес здесь — проверить, сколько шагов рабочего процесса получится поручить одному агенту.

Релиз состоялся 4 ноября. Tencent также сообщила о доступности модели через облачный TokenHub. Возможности управления компьютером, обучение для профессиональных приложений и планы публикации весов описаны в официальном анонсе Tencent. Это заявления разработчика: они дают основание для испытаний, но сами по себе не показывают надёжность на ваших задачах.

Что дают два способа управления

Графический интерфейс — это окна, кнопки, меню и поля ввода. Командная строка позволяет запускать программы, обрабатывать файлы и получать результаты выполнения команд. В реальной работе нужны оба способа: часть действий удобно выполнить скриптом, а результат приходится проверять глазами в приложении.

Возьмём условный сценарий: после исправления формы регистрации нужно убедиться, что ошибка исчезла. Агент мог бы запустить проект через терминал, открыть страницу, заполнить поля и проверить сообщение на экране. Если форма снова сломалась, ему понадобятся логи и повторное изменение кода. Это пример задачи для проверки Hy4, а не подтверждённая демонстрация её работы.

При этом одной модели недостаточно. Нужна программа, которая передаёт ей изображения экрана, исполняет выбранные действия и возвращает результат. От этой программы зависят доступные инструменты, разрешения и обработка ошибок. Поэтому наличие API ещё не означает, что после первого запроса у вас появится готовый исполнитель задач на компьютере.

Что известно и чего пока не хватает

Tencent заявляет, что Hy4 специально обучали работе с Blender и CAD. Для команд, которые автоматизируют профессиональное ПО, это повод включить модель в сравнение кандидатов. Но упоминание приложения в обучении не отвечает на вопросы о конкретной версии, сложных проектах и восстановлении после неудачного действия.

В анонсе от 4 ноября компания обещала выпустить веса и карточки модели в ближайшие дни. Из этой формулировки нельзя заключить, что файлы уже опубликованы к моменту чтения новости. Перед самостоятельным развёртыванием нужно отдельно проверить доступность весов, условия лицензии и требования к оборудованию. Облачный доступ и возможность запустить модель у себя — разные решения для продукта.

Ещё один пробел — сопоставимая оценка именно вашего процесса. Заявленная способность нажимать кнопки ничего не говорит о том, сколько попыток потребуется для завершения задачи. Для бизнеса важны успешный результат, потраченное время, стоимость повторов и количество вмешательств человека. Без этих данных экономию пока рано закладывать в расчёты.

Как проверить пользу для команды

Я бы начал с одной повторяемой задачи с проверяемым результатом. Например, агент получает тестовый проект, исправляет заранее известную ошибку и показывает работающую форму. Условия должны быть одинаковыми для Hy4 и модели, которую команда уже использует: те же файлы, инструменты, лимит времени и критерии завершения.

Записывать стоит всю попытку, включая лишние действия и подсказки человека. Удачный финальный скриншот может скрывать несколько перезапусков и ручных исправлений. Для продукта такая разница существенна: пользователю нужен предсказуемый результат, а команде — понятная стоимость его получения.

Первый прогон разумно проводить в отдельной тестовой среде с ограниченными правами. Так можно спокойно проверить, как агент реагирует на неожиданное окно, неверную команду или недоступный файл. Если Hy4 стабильно завершает выбранную цепочку и требует меньше вмешательств, появляется основание расширять пилот. Именно это стоит выяснить после релиза: какую конкретную работу модель действительно снимает с команды.