WeChat libera WeVisOne-VL: detección, máscaras y matting en una sola VLM

El equipo de WeChat ha lanzado WeVisOne-VL (WeChat Vision All-in-One), un modelo de visión y lenguaje abierto. Cubre de una vez todo el espectro de tareas de visión de precisión: detección de objetos, localización a partir de una descripción textual, conteo, OCR, segmentación y matting. Según los autores, el modelo obtiene resultados líderes en más de 30 benchmarks, tanto a nivel de objeto como a nivel de píxel. Subrayan además que se niega de forma fiable a responder cuando el objeto solicitado no aparece en la imagen.

Dónde pierden precisión las VLM habituales

Los grandes modelos multimodales describen bien lo que aparece en una foto. Cuando hay que señalar dónde está exactamente un objeto, contar elementos idénticos o trazar un contorno, la calidad cae de forma notable. Los autores de WeVisOne-VL lo señalan como el problema principal: las VLM actuales siguen siendo poco fiables en la percepción visual fina.

En la práctica, la industria lo resuelve con un ensamblaje de piezas. El modelo de lenguaje se encarga de la comprensión, un detector aparte genera los cuadros, una red de segmentación independiente produce las máscaras y un motor de OCR lee el texto. Cada eslabón exige sus propias interfaces y los errores se acumulan a lo largo de la cadena. WeVisOne-VL intenta condensar ese pipeline en un único modelo con un formato de salida unificado.

El token <OBJ> como puente hacia los píxeles

La idea de base es reducirlo todo a una predicción estructurada del siguiente token. El modelo emite puntos y cuadros como una secuencia normal de caracteres con coordenadas. Para los resultados a nivel de píxel, la arquitectura incorpora un decodificador de píxeles ligero que se conecta mediante un token especial, <OBJ>. La lógica es la siguiente: cuando el modelo decide que debe resaltar una instancia concreta, emite ese token, y el decodificador convierte la representación asociada en una máscara o un alfa matte.

Esta solución ahorra cómputo: la parte pesada del trabajo la hace la propia VLM y el decodificador se mantiene pequeño. Funciona a nivel de instancia, es decir, cada objeto detectado tiene su propia salida de píxeles. El alfa matte se necesita donde una máscara binaria se queda corta: pelo, pelaje, cristal, bordes semitransparentes. Se usa para recortar objetos en montaje y diseño gráfico.

Características principales:

• Tareas: detección, referring localization, conteo, OCR, segmentación, matting
• Granularidad de salida: puntos, cuadros, máscaras, alfa mattes
• Añadido arquitectónico: decodificador de píxeles ligero y token especial <OBJ>
• Entrenamiento: curriculum de SFT en tres etapas y después RL sobre una mezcla de tareas
• Evaluación: más de 30 benchmarks de tareas a nivel de objeto y de píxel
• Comportamiento cuando falta el objetivo: rechazo estable ante consultas sobre objetos inexistentes
• Disponibilidad: lanzamiento abierto para la comunidad

Cómo se entrenó al modelo para que no se invente nada

El entrenamiento se divide en dos fases. Primero llega un curriculum de SFT en tres etapas, en el que la dificultad de las tareas aumenta de forma gradual. Después, el modelo se afina con RL sobre una mezcla de tareas, para que una política única no pierda rendimiento ni en detección, ni en segmentación, ni en OCR.

Los autores ponen un énfasis especial en las consultas en las que el objeto buscado no existe. Para los detectores y los modelos de grounding es un punto débil clásico: si se pide encontrar un «coche rojo» en un fotograma sin coches, muchos sistemas dibujan igualmente un cuadro. En producción, esos falsos positivos cuestan más que las omisiones. Por eso los autores consideran que la capacidad de decir con honestidad «aquí no hay nada de eso» es una condición para pasar de las VLM de demostración a los sistemas de uso real.

Dónde puede resultar útil en la práctica

Los primeros candidatos para adoptarlo son los editores de imagen y vídeo, donde hacen falta una máscara de selección rápida y un matte de calidad, así como las aplicaciones de búsqueda por imagen y conteo de objetos. También entran la gestión documental con OCR y localización de campos, y la robótica, donde no basta con reconocer un objeto, sino que hay que indicar su posición.

Para los desarrolladores, la principal ventaja es que el modelo sea abierto. En lugar de combinar tres o cuatro modelos, se puede probar uno solo y compararlo con el pipeline actual sobre datos propios. Los resultados declarados en más de 30 benchmarks conviene verificarlos justo así: con las imágenes propias, con consultas reales sobre objetos ausentes y teniendo en cuenta la latencia. Para WeChat es también una señal de que el ecosistema de Tencent apuesta en serio por los modelos abiertos de percepción multimodal, y no solo por las interfaces de chat.