Meta presentó SAM 3.1: seguimiento de 16 objetos en video en tiempo real

Meta presentó SAM 3.1 — una actualización de su modelo Segment Anything Model 3 para análisis de video. La principal mejora se encuentra en la nueva arquitectura: el sistema ahora rastrea hasta 16 objetos en un único paso computacional y funciona dos veces más rápido, logrando 32 fotogramas por segundo en la GPU H100.

Cómo funciona el multiplexing

Anteriormente el enfoque era simple pero ineficiente: SAM 3 procesaba cada objeto en el video por separado. Para rastrear 16 objetos se requerían 16 pasos computacionales. Era lento, requería una enorme cantidad de memoria de video GPU y creaba cuellos de botella en el procesamiento.

SAM 3.1 resolvió este problema a través del multiplexing: un único paso procesa todos los objetos a la vez. El modelo no solo ve el objeto individual, sino toda la escena en su conjunto.

Esto le permite usar el razonamiento global (global reasoning) para un rastreo más preciso, especialmente cuando los objetos se superponen o se mueven en condiciones complejas. El resultado es evidente en la práctica: en la GPU H100 el sistema logra 32 fps en lugar de los anteriores 16 fps. Pero lo más importante es que esto significa que el análisis de video de alto rendimiento ahora requiere menos recursos.

SAM 3.1 funciona en equipos menos potentes, lo que hace que la visión por IA sea más accesible para startups, agencias y empresas pequeñas que antes no podían permitirse sus propios clusters de GPU.

Sistema universal para diferentes tareas

SAM 3 no es una herramienta de propósito único. Es una plataforma universal que funciona igualmente bien tanto en imágenes estáticas como en videos, y acepta varios tipos de datos de entrada. El sistema entiende consultas de texto: en lugar de pedir "encuentra un paraguas" (el modelo encontrará cualquier paraguas), puedes dar un concepto visual preciso: "encuentra un paraguas rojo con rayas" y SAM 3 encontrará exactamente ese objeto.

Además del texto, el modelo funciona con sugerencias visuales: máscaras, cuadros delimitadores, puntos en el objeto, así como prompts de ejemplares (muestras de objetos). Esto resolvió un problema de larga data con modelos anteriores de visión por computadora. Los sistemas antiguos solo funcionaban con un conjunto fijo de categorías: person, car, dog, bicycle.

SAM 3 puede segmentar y rastrear cualquier concepto visual que describas o muestres, sin requerir reentrenamiento en nuevos datos.

Dónde se está aplicando SAM 3.1

Meta ya está integrando SAM 3 en productos comerciales:

• Instagram Edits — nuevos efectos visuales dinámicos que funcionan solo con objetos seleccionados
• Vibes en Meta AI — se ampliaron las capacidades para crear y editar contenido con ayuda de IA
• Facebook Marketplace — la función "View in Room" permite a los compradores visualizar virtualmente muebles y decoraciones en su interior antes de comprar
• Segment Anything Playground — una plataforma abierta para todos donde puedes cargar video o fotos y ver la segmentación en tiempo real

Playground requiere solo un navegador: sin código, sin configuración de GPU. Esto democratiza el acceso a la visión por computadora de última generación.

Qué significa esto

El análisis de video basado en IA se está trasladando de laboratorios especializados y megacorporaciones a aplicaciones masivas. SAM 3.1 no es solo una aceleración y reducción de costos, es un punto de inflexión. La visión por IA ahora es accesible para desarrolladores y empresas de tamaño mediano que antes no podían permitirse mantener sus propios clusters de GPU o contratar especialistas en visión por computadora. Esté atento a la aparición de nuevas aplicaciones: en seguridad (videovigilancia inteligente), en e-commerce (prueba virtual y visualización), en logística y manufactura (control de calidad), en medios (edición automática y efectos). SAM 3.1 será la base para una ola de nuevos servicios en los próximos meses.

*Meta es clasificada como organización extremista y está prohibida en RF.