Почему мультимодальные модели не видят веб-интерфейсы

Две неудачные стратегии

Сегодня мультимодальные модели взаимодействуют с веб-сайтами двумя способами. Первый — читать исходный код: HTML, CSS, JavaScript, бэкенд. Второй — смотреть на скриншоты. На практике оба подхода неэффективны.

Код не показывает реальность. По исходной разметке модель не узнает, где находятся элементы после рендера, перекрыты ли они друг другом, уехала ли кнопка за экран. По коду не видно, что элемент существует в разметке, но недоступен пользователю. Контекст можно расширить до миллиона токенов, но код не даёт интерфейса в его реальном состоянии.

Скриншоты решают часть проблем, но ценой полного перерасхода. Один кадр недостаточен. Нужны разные размеры окна просмотра (viewport), разные состояния элементов, наведение курсора (hover), фокус (focus), модальные окна, процессы загрузки, динамические изменения. Для полного понимания могут потребоваться видео. Задача, которую браузер уже понимает как структуру элементов, их геометрию и состояния, превращается в тяжелый анализ пикселей — дорого и неэффективно.

Как видит человек

Мы смотрим на сайт иначе. Почти мгновенно различаем текст, фон, кнопки, границы, поля ввода, меню, модальные окна. При наведении видим интерактивные изменения: меняется цвет кнопки, появляется обратная связь. Нам не нужно восстанавливать интерфейс ни из кода, ни из пикселей.

Мы видим структуру. Видим овал с текстом «войти» — и сразу понимаем, что это кнопка. Видим границы блоков и иерархию элементов. Для всего этого не требуется анализировать каждый пиксель или изучать все стили и разметку.

Третий слой восприятия

Мультимодальные модели должны видеть так же. Интерфейсы должны быть для них не просто кодом или картинкой, а структурированным представлением, пригодным для понимания страницы, проверки верстки и взаимодействия с UI.

Не требуется отказываться от трансформеров. Модели нуждаются в новом встроенном модуле восприятия — способе видеть интерфейс как структуру элементов, их состояния, видимость и геометрию. Не в виде временной «руки», которую агент каждый раз переписывает как скрипт, а в виде фундаментального способа восприятия.

Такой модуль позволит решать широкий спектр задач — от анализа интерфейсов до разработки, от проверки верстки до автоматизации — оставаясь при этом универсальной. Это не попытка продать готовое решение, а попытка зафиксировать проблему: мультимодальные модели имеют грубый инструмент для работы с интерфейсами и нуждаются в более специализированном способе восприятия.