Zyphra lança Zamba2-VL: modelos visuais com resposta 10 vezes mais rápida

A Zyphra lançou o Zamba2-VL, uma família aberta de modelos de visão e linguagem com 1.2B, 2.7B e 7B parâmetros. Eles usam uma arquitetura híbrida que combina blocos Mamba2 e Transformer. O resultado principal: o tempo até o primeiro token cai cerca de 10 vezes em relação a VLMs Transformer puros de tamanho semelhante.

Três tamanhos, uma licença

A família inclui três variantes: 1.2B, 2.7B e 7B parâmetros. Todas foram lançadas sob a licença Apache 2.0, o que significa uso comercial livre, sem restrições para incorporar, adaptar e redistribuir os modelos. É liberdade total para projetos comerciais e de pesquisa.

Os Zamba2-VL são modelos completos de visão e linguagem. Eles processam imagens e texto em conjunto, o que abre espaço para uma ampla gama de tarefas: descrever imagens e fotos, responder perguntas visuais, analisar documentos com ilustrações, interpretar capturas de tela de interfaces de usuário e trabalhar com imagens médicas. Ao contrário dos LLMs somente de texto, os VLMs podem responder a perguntas sobre o que aparece em uma imagem e combinar contexto visual e textual em uma única requisição.

Em benchmarks padrão, o Zamba2-VL fica no mesmo nível dos VLMs Transformer puros de tamanho equivalente. A mudança para uma arquitetura híbrida não exige sacrificar precisão em nome da velocidade: ambas permanecem em nível competitivo.

Como funciona o backbone híbrido

A maioria dos modelos de linguagem e multimodais atuais é construída sobre uma arquitetura Transformer pura. Nela, cada novo token gerado "examina" toda a sequência anterior por meio do mecanismo de atenção (attention). É uma abordagem poderosa, mas cara em computação: em contextos longos, a carga de trabalho cresce de forma quadrática. É aí que surge o gargalo de velocidade, incluindo um tempo até o primeiro token elevado.

O Mamba2 é uma arquitetura baseada em espaço de estados (state space model, SSM). Em vez de varrer todo o histórico, ele comprime o contexto anterior em um "estado" compacto, atualizado de forma linear conforme novos tokens são processados. O Zamba2-VL alterna blocos Mamba2 com camadas Transformer convencionais: os blocos SSM trazem velocidade e eficiência, e as camadas Transformer acrescentam flexibilidade para lidar com dependências complexas.

O resultado:

• O tempo até o primeiro token cai cerca de 10 vezes
• A qualidade continua competitiva com a dos VLMs Transformer puros
• Menor custo computacional na inferência
• Melhor escalabilidade em contextos longos
• Possibilidade de implantação em hardware menos potente sem perder responsividade

Por que o TTFT importa

O tempo até o primeiro token (time-to-first-token, TTFT) é o intervalo entre o envio da requisição e o surgimento do primeiro caractere da resposta. Ele define a sensação de "agilidade" em sistemas interativos: chatbots, assistentes de voz, serviços de API em que a rapidez de reação importa. Enquanto o modelo pensa, o usuário espera. Um TTFT alto parece uma "travada", mesmo que a resposta final seja boa.

Reduzir o TTFT em 10 vezes é um ganho prático multiplicativo. Com os mesmos recursos de hardware, isso significa um serviço muito mais responsivo ou a capacidade de atender bem mais requisições ao mesmo tempo. Para empresas que pagam por tempo de GPU, ambas as opções afetam diretamente a economia unitária do produto.

Modelos abertos com essa velocidade de resposta permitem criar

produtos em áreas nas quais a latência tornava inviável toda uma classe de soluções.

O que isso significa

As arquiteturas híbridas SSM + Transformer continuam migrando de artigos acadêmicos para produtos práticos. O lançamento do Zamba2-VL como uma família de três modelos, do compacto 1.2B ao 7B em tamanho completo, cobre diferentes cenários de implantação: de dispositivos com recursos limitados a fazendas de servidores.

A abertura sob Apache 2.0 reduz a barreira de entrada: as equipes podem adotar um modelo multimodal rápido e pronto, sem depender de APIs comerciais, com todos os seus preços, limites e o risco de mudanças repentinas nas condições.