Zyphra lance Zamba2-VL : des modèles visuels avec une réponse 10 fois plus rapide

Zyphra a lancé Zamba2-VL, une famille ouverte de modèles vision-langage de 1.2B, 2.7B et 7B paramètres. Ils reposent sur une architecture hybride associant des blocs Mamba2 et Transformer. Résultat clé : le temps jusqu'au premier token est réduit d'environ 10 fois par rapport à des VLM Transformer purs de taille comparable.

Trois tailles, une licence

La famille comprend trois variantes : 1.2B, 2.7B et 7B paramètres. Toutes sont publiées sous licence Apache 2.0, ce qui signifie un usage commercial libre, sans restriction pour l'intégration, la modification et la redistribution. C'est une liberté totale pour les projets commerciaux et de recherche.

Les Zamba2-VL sont de véritables modèles vision-langage. Ils traitent conjointement images et texte, ce qui ouvre la voie à un large éventail de tâches : description d'images et de photos, questions-réponses visuelles, analyse de documents illustrés, décryptage de captures d'écran d'interfaces utilisateur, travail sur des images médicales. Contrairement aux LLM purement textuels, les VLM peuvent répondre à des questions sur le contenu d'une image et combiner contexte visuel et textuel dans une seule requête.

Sur les benchmarks standard, Zamba2-VL tient la comparaison avec les VLM Transformer purs de taille similaire. Passer à une architecture hybride n'oblige pas à sacrifier la précision pour la vitesse : les deux restent à un niveau compétitif.

Comment fonctionne le backbone hybride

La plupart des modèles de langage et multimodaux actuels reposent sur une architecture Transformer pure. Chaque nouveau token généré y « parcourt » toute la séquence précédente grâce au mécanisme d'attention (attention). L'approche est puissante, mais coûteuse en calcul : avec des contextes longs, la charge de travail croît de façon quadratique. C'est là que se situe le goulot d'étranglement de vitesse, y compris un temps jusqu'au premier token élevé.

Mamba2 est une architecture fondée sur les espaces d'états (state space model, SSM). Au lieu de parcourir tout l'historique, elle compresse le contexte précédent dans un « état » compact, mis à jour de façon linéaire au fil du traitement des nouveaux tokens. Zamba2-VL alterne des blocs Mamba2 avec des couches Transformer classiques : les blocs SSM apportent vitesse et efficacité, les couches Transformer ajoutent de la souplesse pour gérer les dépendances complexes.

Le résultat :

• Le temps jusqu'au premier token est réduit d'environ 10 fois
• La qualité reste compétitive face aux VLM Transformer purs
• Une empreinte de calcul plus faible à l'inférence
• Une meilleure montée en charge sur les contextes longs
• Un déploiement possible sur du matériel moins puissant sans perte de réactivité

Pourquoi le TTFT est décisif

Le temps jusqu'au premier token (time-to-first-token, TTFT) est l'intervalle entre l'envoi de la requête et l'apparition du premier caractère de la réponse. C'est lui qui détermine la sensation de « vivacité » des systèmes interactifs : chatbots, assistants vocaux, services d'API où la rapidité de réaction compte. Tant que le modèle réfléchit, l'utilisateur attend. Un TTFT élevé donne l'impression d'un « gel », même si la réponse finale est de qualité.

Diviser le TTFT par 10 est un gain pratique multiplicatif. À ressources matérielles égales, cela se traduit soit par un service nettement plus réactif, soit par la capacité de traiter beaucoup plus de requêtes simultanément. Pour les entreprises qui paient le temps GPU, les deux options pèsent directement sur l'économie unitaire du produit.

Des modèles ouverts offrant une telle vitesse de réponse permettent de

bâtir des produits là où la latence rendait auparavant toute une catégorie de solutions inexploitable.

Ce que cela signifie

Les architectures hybrides SSM + Transformer continuent de passer des articles académiques aux produits concrets. Avec Zamba2-VL, une famille de trois modèles allant du compact 1.2B au 7B pleine taille, Zyphra couvre différents scénarios de déploiement, des appareils aux ressources limitées aux fermes de serveurs.

L'ouverture sous Apache 2.0 abaisse le seuil d'entrée : les équipes peuvent adopter un modèle multimodal rapide et prêt à l'emploi sans dépendre d'API commerciales, avec leurs tarifs, leurs limites et le risque de changement soudain des conditions.