Por que os modelos multimodais não conseguem ver interfaces web

Duas estratégias malsucedidas

Hoje os modelos multimodais interagem com sites de duas formas. A primeira é ler o código-fonte: HTML, CSS, JavaScript, backend. A segunda é olhar capturas de tela. Na prática, as duas abordagens são ineficientes.

O código não mostra a realidade. A partir da marcação de origem, o modelo não sabe onde os elementos ficam depois da renderização, se eles se sobrepõem, ou se um botão saiu da tela. O código não revela que um elemento existe na marcação mas está inacessível ao usuário. É possível expandir o contexto para um milhão de tokens, mas o código ainda não entrega a interface em seu estado real.

As capturas de tela resolvem parte do problema, mas a um custo excessivo. Um único quadro não basta. São necessários diferentes tamanhos de viewport, diferentes estados dos elementos, passagem do cursor (hover), foco (focus), janelas modais, processos de carregamento, mudanças dinâmicas. Para um entendimento completo, podem ser necessários até vídeos. Uma tarefa que o navegador já compreende como estrutura de elementos, geometria e estados se transforma em uma pesada análise de pixels — cara e ineficiente.

Como o ser humano vê

Nós olhamos para um site de outra maneira. Quase instantaneamente diferenciamos texto, fundo, botões, bordas, campos de entrada, menus, janelas modais. Ao passar o cursor, vemos mudanças interativas: a cor de um botão muda, aparece um retorno visual. Não precisamos reconstruir a interface nem a partir do código, nem dos pixels.

Nós vemos estrutura. Vemos um oval com o texto "entrar" e já entendemos que é um botão. Vemos os limites dos blocos e a hierarquia dos elementos. Para tudo isso, não é necessário analisar cada pixel ou estudar todos os estilos e a marcação.

Uma terceira camada de percepção

Os modelos multimodais precisam ver da mesma forma. As interfaces não deveriam ser para eles apenas código ou uma imagem, mas uma representação estruturada apta para entender a página, verificar o layout e interagir com a interface de usuário.

Não é preciso abandonar os transformers. Os modelos precisam de um novo módulo de percepção embutido — uma forma de ver a interface como uma estrutura de elementos, seus estados, visibilidade e geometria. Não como uma "mão" temporária que o agente reescreve a cada vez como um script, mas como um modo fundamental de percepção.

Um módulo assim permitiria resolver uma ampla gama de tarefas — da análise de interfaces ao desenvolvimento, da verificação de layout à automação — mantendo-se, ao mesmo tempo, universal. Não se trata de uma tentativa de vender uma solução pronta, mas de nomear o problema: os modelos multimodais têm uma ferramenta rudimentar para trabalhar com interfaces e precisam de uma forma de percepção mais especializada.