Meta apresentou SAM 3.1: rastreamento de 16 objetos em vídeo em tempo real

A Meta apresentou o SAM 3.1 — uma atualização de seu modelo Segment Anything Model 3 para análise de vídeo. A principal melhoria está escondida na nova arquitetura: o sistema agora rastreia até 16 objetos em uma única passagem de computação e funciona duas vezes mais rápido, atingindo 32 quadros por segundo em GPU H100.

Como funciona o multiplexing

A abordagem anterior era simples, mas ineficiente: o SAM 3 processava cada objeto no vídeo separadamente. Para rastrear 16 objetos, eram necessárias 16 passagens de computação. Isso era lento, exigia uma enorme quantidade de memória de vídeo da GPU e criava gargalos no processamento.

O SAM 3.1 resolveu esse problema através do multiplexing — uma única passagem processa todos os objetos de uma vez. O modelo não vê apenas um objeto individual, mas toda a cena como um todo. Isso permite usar raciocínio global (global reasoning) para rastreamento mais preciso, especialmente quando os objetos se sobrepõem ou se movem em condições complexas.

O resultado é evidente na prática: em GPU H100, o sistema atinge 32 fps em vez dos antigos 16 fps. Mas ainda mais importante — significa que a análise de vídeo de alto desempenho agora requer menos recursos. O SAM 3.1 funciona em equipamento menos poderoso, tornando a visão de IA mais acessível para startups, agências e pequenas empresas que antes não podiam ter seus próprios clusters de GPU.

Sistema universal para diferentes tarefas

O SAM 3 não é uma ferramenta altamente especializada. É uma plataforma universal que funciona igualmente bem em imagens estáticas e em vídeo, e aceita vários tipos de dados de entrada.

O sistema compreende solicitações de texto: em vez de pedir "encontre um guarda-chuva" (o modelo encontrará qualquer guarda-chuva), você pode fornecer um conceito visual preciso — "encontre um guarda-chuva vermelho com listras" — e o SAM 3 encontrará exatamente esse objeto.

Além de texto, o modelo funciona com indicações visuais: máscaras, caixas delimitadoras, pontos em objetos, bem como com prompts de exemplares (exemplares de objetos).

Isso resolveu um problema de longa data com modelos anteriores de visão computacional. Os sistemas antigos funcionavam apenas com um conjunto fixo de categorias: person, car, dog, bicycle. O SAM 3 pode segmentar e rastrear qualquer conceito visual que você descrever ou mostrar, sem exigir retreinamento em novos dados.

Onde o SAM 3.1 já é aplicado

A Meta já está integrando SAM 3 em produtos comerciais:

• Instagram Edits — novos efeitos visuais dinâmicos que funcionam apenas com objetos selecionados
• Vibes no Meta AI — expandidas capacidades para criação e edição de conteúdo com IA
• Facebook Marketplace — o recurso "View in Room" permite que os compradores visualizem virtualmente móveis e decorações em seu interior antes de comprar
• Segment Anything Playground — plataforma aberta para todos, onde você pode fazer upload de vídeo ou foto e ver a segmentação em tempo real

O Playground requer apenas um navegador — nenhum código, nenhuma configuração de GPU. Isso democratiza o acesso à visão computacional de ponta.

O que isso significa

A análise de vídeo baseada em IA está em transição de laboratórios altamente especializados e mega-corporações para aplicações em massa. O SAM 3.1 não é apenas uma aceleração e redução de custos, é um momento de virada. A visão de IA agora está disponível para desenvolvedores e empresas de médio porte que antes não podiam pagar por seus próprios clusters de GPU ou contratar especialistas em visão computacional.

Fique atento ao surgimento de novos aplicativos: em segurança (videovigilância inteligente), em e-commerce (prova e visualização), em logística e manufatura (controle de qualidade), em mídia (edição e efeitos automáticos). O SAM 3.1 será a base para uma onda de novos serviços nos próximos meses.

*Meta é considerada uma organização extremista e é proibida na RF.