WeChat abre o WeVisOne-VL: detecção, máscaras e matting em uma única VLM

A equipe do WeChat lançou o WeVisOne-VL (WeChat Vision All-in-One), um modelo vision-language aberto. Ele cobre todo o espectro de tarefas de visão de precisão: detecção de objetos, localização a partir de descrição textual, contagem, OCR, segmentação e matting. Segundo os autores, o modelo apresenta resultados líderes em mais de 30 benchmarks, tanto no nível de objetos quanto no nível de pixels individuais. Eles também destacam que o modelo se recusa de forma confiável a responder quando o objeto pedido não aparece na imagem.

Onde as VLMs comuns perdem precisão

Os grandes modelos multimodais descrevem bem o que aparece em uma foto. Quando é preciso apontar onde exatamente está um objeto, contar itens idênticos ou traçar um contorno, a qualidade cai de forma perceptível. Os autores do WeVisOne-VL apontam isso diretamente como o principal problema: as VLMs existentes continuam pouco confiáveis na percepção visual detalhada.

Na prática, a indústria resolve isso com uma colagem de componentes. O modelo de linguagem cuida da compreensão, um detector separado gera as caixas, uma rede de segmentação à parte produz as máscaras e um motor de OCR lê o texto. Cada elo exige suas próprias interfaces, e os erros se acumulam ao longo da cadeia. O WeVisOne-VL tenta condensar esse pipeline em um único modelo, com formato de saída unificado.

O token <OBJ> como ponte para os pixels

A ideia central é reduzir tudo à predição estruturada do próximo token. O modelo gera pontos e caixas como uma sequência comum de caracteres com coordenadas. Para as saídas em pixels, a arquitetura ganhou um decodificador de pixels leve, conectado por meio de um token especial, o <OBJ>. A lógica é a seguinte: quando o modelo decide que precisa destacar uma instância específica, ele emite esse token, e o decodificador transforma a representação associada a ele em uma máscara ou alpha matte.

A solução economiza processamento: a VLM faz a parte pesada do trabalho, e o decodificador continua pequeno. Ele opera no nível de instâncias, ou seja, cada objeto encontrado tem sua própria saída em pixels. O alpha matte é necessário quando uma máscara binária não basta: cabelo, pelo, vidro, bordas semitransparentes. Ele é usado para recortar objetos em montagens e peças gráficas.

Principais características:

• Tarefas: detecção, referring localization, contagem, OCR, segmentação, matting
• Granularidade da saída: pontos, caixas, máscaras, alpha mattes
• Adição à arquitetura: decodificador de pixels leve e token especial <OBJ>
• Treinamento: curriculum de SFT em três etapas, seguido de RL em uma mistura de tarefas
• Avaliação: mais de 30 benchmarks de tarefas de objetos e de pixels
• Comportamento quando o alvo não existe: recusa consistente em consultas sobre objetos inexistentes
• Disponibilidade: lançamento aberto para a comunidade

Como o modelo foi treinado para não inventar

O treinamento tem duas fases. Primeiro vem um curriculum de SFT em três estágios, em que a dificuldade das tarefas cresce gradualmente. Depois, o modelo passa por um ajuste adicional com RL em uma mistura de tarefas, para que a política única não perca desempenho em detecção, segmentação nem OCR.

Há ênfase especial nas consultas em que o objeto procurado não existe. Para detectores e modelos de grounding, esse é um ponto problemático clássico: peça para encontrar um "carro vermelho" em um quadro sem carros, e muitos sistemas ainda assim desenham uma caixa. Em produção, esses falsos positivos custam mais caro do que as omissões. Por isso, os autores consideram a capacidade de dizer com honestidade "aqui não tem isso" uma condição para passar de VLMs de demonstração a sistemas de uso real.

Onde isso pode ser útil na prática

Os primeiros candidatos à adoção são editores de imagem e vídeo, que precisam de uma máscara de seleção rápida e de um matte de qualidade, além de aplicativos de busca por imagem e contagem de objetos. Entram também o fluxo de documentos com OCR e localização de campos e a robótica, em que não basta reconhecer o objeto: é preciso indicar sua posição.

Para os desenvolvedores, a principal vantagem está na abertura. Em vez de uma combinação de três ou quatro modelos, dá para testar um só e compará-lo com o pipeline atual usando dados próprios. É assim que vale verificar os resultados declarados em mais de 30 benchmarks: em imagens próprias, com consultas reais sobre objetos ausentes e levando a latência em conta. Para o WeChat, é também um sinal de que o ecossistema da Tencent está levando a sério os modelos multimodais abertos de percepção, e não apenas as interfaces de chat.