TII lança o Falcon Perception, modelo de 0,6B para segmentar e localizar objetos a partir de texto

Em 1º de abril de 2026, a TII apresentou o Falcon Perception, um modelo multimodal compacto de 0,6 bilhão de parâmetros que consegue encontrar e segmentar objetos em uma imagem a partir de uma consulta de texto simples, sem uma lista fixa de classes. Para o mercado, é um sinal importante: tarefas de compreensão visual, que por muito tempo foram resolvidas com pipelines complexos de blocos separados, agora podem ser atendidas por uma única arquitetura comum, com licença aberta e sem um modelo gigante.

A maioria dos sistemas modernos de visão computacional ainda é construída de forma modular: um codificador extrai características visuais, outro bloco as combina com o texto e, depois, um decodificador separado prevê caixas, máscaras ou respostas. Essa abordagem funciona, mas escala mal: cada novo tipo de erro costuma ser corrigido com um novo módulo, e a interação entre linguagem e imagem continua limitada. No Falcon Perception, a equipe do Technology Innovation Institute, de Abu Dhabi, aposta na fusão precoce: imagem e texto entram em uma sequência comum de tokens já na primeira camada do transformer.

Em termos de arquitetura, o modelo é um único Transformer com esquema de atenção híbrido. Os tokens de imagem enxergam uns aos outros de forma bidirecional e formam um contexto visual global, enquanto os tokens de texto e os especiais são decodificados de forma causal, apoiando-se na imagem já processada. Para cada objeto encontrado, o modelo percorre uma cadeia curta de etapas: primeiro determina as coordenadas do centro, depois o tamanho e, por fim, constrói a máscara de segmentação. Essa interface permite trabalhar com um número variável de objetos, de zero a centenas em uma única imagem, e evita que a geração de máscaras se torne cara demais em computação.

Por baixo dos panos, há um preparo de dados bastante robusto. A inicialização foi feita por destilação do DINOv3 e do SigLIP2, para combinar características visuais locais fortes com melhor vínculo com a linguagem. Em seguida, o modelo foi treinado em um conjunto de 54 milhões de imagens, 195 milhões de expressões de texto positivas e 488 milhões de exemplos hard negative.

Para a anotação automática e a seleção, usou-se um conjunto de SAM 3, Qwen3-VL-30B e Moondream3, e os casos duvidosos foram enviados para revisão manual. Separadamente, a TII apresentou o PBench, um novo benchmark de diagnóstico que separa os resultados por nível de dificuldade: de objetos simples a dicas com OCR, relações espaciais e cenas densas com centenas de instâncias.

As métricas são convincentes. No SA-Co, um dos benchmarks de segmentação aberta, o Falcon Perception obteve 68,0 de Macro-F1, contra 62,3 do SAM 3. O ganho é especialmente claro onde só "reconhecer o objeto" não basta: atributos e subtipos, consultas com texto dentro da imagem e formulações espaciais como "o carro à esquerda" ou "a terceira janela da esquerda".

No PBench, a diferença em objetos simples é pequena, mas chega a 21,9 pontos em tarefas espaciais, 13,4 em consultas guiadas por OCR e 15,8 em tarefas relacionais. O ponto fraco, por ora, é a calibração de presença: no MCC, o modelo fica atrás do SAM 3, com 0,64 contra 0,82, ou seja, em cenários negativos difíceis ele ainda erra com mais frequência ao responder "o objeto está ausente".

O modelo também tem um lado prático. O Falcon Perception foi publicado sob Apache 2.0, está disponível no Hugging Face e no GitHub e foi pensado não só para experimentos de laboratório, mas também para uso em aplicações. A inferência usa uma pilha baseada em PyTorch FlexAttention e paged KV cache; segundo a equipe, em uma H100 as latências típicas são de cerca de 100 ms no prefill, cerca de 200 ms no upsampling de características e aproximadamente 50 ms para decodificar várias instâncias. A TII também mostrou que a mesma receita de fusão precoce se aplica ao OCR: o modelo complementar Falcon OCR, de 0,3 bilhão de parâmetros, marcou 80,3 no olmOCR e 88,64 no OmniDocBench.

A principal conclusão não é que a TII lançou mais um modelo visão-linguagem compacto. O mais importante é que o Falcon Perception mostra a viabilidade de uma abordagem mais simples e integrada para a compreensão visual: uma arquitetura, uma pilha comum e menos gambiarras entre linguagem e visão. Se a equipe melhorar a calibração de presença e reduzir os falsos positivos em cenários hard negative, o Falcon tem chance de se tornar uma base sólida para assistentes, robótica, busca visual e interfaces em que a imagem precisa ser entendida a partir de texto humano, e não de uma lista de classes predefinida.