Voyage AI apprend à la recherche à comprendre la vidéo : 4,65 % plus précise que Google et 6 fois moins chère
Voyage AI a publié voyage-multimodal-3.5, un modèle qui transforme en vecteurs numériques le texte, les captures d'écran, les PDF et désormais la vidéo, afin qu'une seule requête textuelle retrouve le fragment voulu, par exemple le moment d'un appel où l'on parle du report d'une échéance. Sur trois jeux de données vidéo, il retrouve la bonne vidéo 4,65 % plus précisément que Google Multimodal Embedding 001, et une vidéo de 512×512 pixels coûte environ 6 fois moins cher. Pour la recherche dans des cours et des enregistrements, cela remplace l'enchaînement reconnaissance vocale et index d'images par un seul modèle.
Traité par IA depuis Voyage AI ; édité par Hamidun News
Imaginez une centaine d'enregistrements d'appels avec des diapositives, et vous voulez retrouver le moment où l'on a discuté du report d'une échéance. La recherche textuelle classique ne suffit pas ici : la moitié de l'information se trouve dans les images, et non dans les mots. Voyage AI a publié voyage-multimodal-3.
5, un modèle qui transforme en vecteurs (ensembles de nombres permettant de repérer ce qui est proche en sens) le texte, les images et la vidéo. Sur trois jeux de tests vidéo, il retrouve le bon contenu 4,65 % plus précisément que le modèle d'embedding Google Multimodal Embedding 001, selon la métrique NDCG@10, et une vidéo de 512×512 pixels coûte environ 6 fois moins cher. NDCG@10 mesure à quel point les résultats réellement pertinents figurent en haut des dix premiers résultats.
Ce que sait faire le modèle
La version précédente comprenait déjà mélangés texte et images : captures d'écran, PDF, tableaux, graphiques, diapositives. La nouvelle ajoute les images vidéo. La vidéo est traitée comme une séquence ordonnée d'images, chaque tranche de 1120 pixels comptant pour un token, et le contexte maximal atteint 32 000 tokens. Voyage présente ce modèle comme la première modèle d'embedding vidéo industriel prenant en charge Matryoshka : le vecteur peut être raccourci de 2048 à 1024, 512 ou 256 dimensions, ce qui réduit l'espace occupé dans l'index.
Il y a aussi un détail d'architecture. Les modèles de type CLIP, dont relèvent les anciens modèles multimodaux de Cohere, font passer le texte et les images par deux « tours » indépendantes. Il en résulte un biais connu : une requête textuelle trouve plus volontiers un autre texte qu'une image pertinente, car les vecteurs de texte sont plus proches entre eux. Voyage fait passer tous les types de données dans un seul transformeur commun. Selon l'entreprise, la similarité dans cet espace commun reflète alors le sens et non le format du fichier.
Les chiffres des tests
Voyage a évalué le modèle sur 18 jeux de données multimodaux : 15 de recherche dans des documents sous forme d'images et 3 de recherche vidéo. La requête était toujours textuelle, et il fallait retrouver une figure, une photo, un texte, une capture d'écran de document ou une combinaison de ces éléments. Pour chaque tâche, Voyage a comparé ses résultats aux meilleurs modèles disponibles à l'époque. Pour chaque requête, on retenait les 10 résultats les plus proches par similarité cosinus.
- Sur la vidéo : 4,65 % plus précis que Google Multimodal Embedding 001, et environ 6 fois moins cher par vidéo de 512×512.
- Sur les documents : 4,56 % plus précis que Cohere Embed v4, sur l'ensemble de 15 jeux de données.
- Sur le texte seul (38 jeux de données couvrant six domaines : droit, finance, correspondance, code, web, documentation technique), il est en retrait de seulement 0,29 % par rapport à voyage-3-large, son modèle textuel phare, mais coûte 0,06 $ de moins par million de tokens.
Une nuance mérite d'être relevée. Dans le résumé de l'annonce, l'avance sur Cohere est indiquée à 4,56 %, alors que la section consacrée aux documents mentionne 2,26 %. Il s'agit probablement de modes d'agrégation différents, mais la conclusion reste la même : l'avance sur Cohere existe, mais elle est modérée. Face à Google sur les documents, l'écart est bien plus large, 30,57 %. Voyage précise toutefois que Google obtient en moyenne 51,78 % dans ce domaine, et que le graphique a été arrondi à 65 % pour la lisibilité. Pour la vidéo, la comparaison n'est faite qu'avec Google. Toutes les mesures ont été réalisées par Voyage elle-même.
Mise en pratique
Pour la vidéo, l'entreprise donne trois conseils. Premièrement, découpez les longs enregistrements en scènes, afin que chaque vecteur décrive un épisode cohérent. Deuxièmement, alignez les limites des segments sur les pauses de la transcription de la parole, pour que chaque fragment contienne une idée complète. Troisièmement, si une scène ne tient pas dans 32 000 tokens, réduisez la résolution ou la fréquence d'images. Le paquet voyageai propose pour cela un utilitaire, Video.from_path, pour préparer la vidéo.
La quantification offre un autre levier d'économie : sont disponibles des nombres en 32 bits, des entiers signés et non signés sur 8 bits, ainsi qu'un format binaire, avec une perte de qualité minime. Pour un index de millions de scènes vidéo, cela représente une économie directe de mémoire.
Ce modèle sera utile aux équipes qui recherchent dans des cours de formation, des vidéos de démonstration, des appels avec diapositives ou des scans de contrats. Auparavant, il fallait transcrire la parole, indexer séparément les images et fusionner les résultats. Il est désormais possible de tester un index unique. Les 200 premiers millions de tokens et les 150 milliards de pixels sont gratuits, de sorte qu'un prototype sur vos propres données peut être construit sans frais. Avant de migrer, testez le modèle sur votre propre jeu de requêtes : les tests du fournisseur ne remplacent pas une vérification sur des données réelles.
- 21 nov. 2026La capitaine d'une équipe de nageurs a confié trois tâches planifiées à ChatGPT et divisé sa charge de travail par plusieurs
- 21 nov. 2026Le réseau de neurones MIRA génère Rocket League à 20 images par seconde, mais le ping grimpe jusqu'à 460 ms
- 21 nov. 2026Google a construit une copie fermée d'internet avec de fausses banques pour entraîner les agents IA de Chrome
- 21 nov. 2026MLPerf Training v6.1 : Nvidia Rubin et TPU Ironwood font leurs débuts, 153 systèmes au test
Questions clés sur cet article
Que sait-on sur Ce que sait faire le modèle ?
La version précédente comprenait déjà mélangés texte et images : captures d'écran, PDF, tableaux, graphiques, diapositives. La nouvelle ajoute les images vidéo. La vidéo est traitée comme une séquence ordonnée d'images, chaque tranche de 1120 pixels comptant pour un token, et le contexte maximal atteint 32 000 tokens.
Que sait-on sur Les chiffres des tests ?
Voyage a évalué le modèle sur 18 jeux de données multimodaux : 15 de recherche dans des documents sous forme d'images et 3 de recherche vidéo. La requête était toujours textuelle, et il fallait retrouver une figure, une photo, un texte, une capture d'écran de document ou une combinaison de ces éléments. Pour chaque tâche, Voyage a comparé ses résultats aux meilleurs modèles disponibles à l'époque. Pour chaque requête, on retenait les 10 résultats les plus proches par similarité cosinus.
Que sait-on sur Mise en pratique ?
Pour la vidéo, l'entreprise donne trois conseils. Premièrement, découpez les longs enregistrements en scènes, afin que chaque vecteur décrive un épisode cohérent. Deuxièmement, alignez les limites des segments sur les pauses de la transcription de la parole, pour que chaque fragment contienne une idée complète. Troisièmement, si une scène ne tient pas dans 32 000 tokens, réduisez la résolution ou la fréquence d'images. Le paquet voyageai propose pour cela un utilitaire, Video.from_path, pour préparer la vidéo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.