Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarVoyage AI→ original

Voyage AI apprend à la recherche à comprendre la vidéo : 4,65 % plus précise que Google et 6 fois moins chère

Voyage AI a publié voyage-multimodal-3.5, un modèle qui transforme en vecteurs numériques le texte, les captures d'écran, les PDF et désormais la vidéo, afin qu'une seule requête textuelle retrouve le fragment voulu, par exemple le moment d'un appel où l'on parle du report d'une échéance. Sur trois jeux de données vidéo, il retrouve la bonne vidéo 4,65 % plus précisément que Google Multimodal Embedding 001, et une vidéo de 512×512 pixels coûte environ 6 fois moins cher. Pour la recherche dans des cours et des enregistrements, cela remplace l'enchaînement reconnaissance vocale et index d'images par un seul modèle.

Traité par IA depuis Voyage AI ; édité par Hamidun News
Voyage AI apprend à la recherche à comprendre la vidéo : 4,65 % plus précise que Google et 6 fois moins chère
Source : Voyage AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireVoyage AI ↗
Rédacteur en chef
Chiffre clé #1Le vecteur peut être compressé à 1024, 512 ou 256 nombres au lieu de 2048 (Matryoshka)
Chiffre clé #2Sur les documents, il devance Cohere Embed v4 de 4,56 % sur 15 jeux de données
Chiffre clé #3Les 200 premiers millions de tokens et les 150 milliards de pixels sont gratuits

Imaginez une centaine d'enregistrements d'appels avec des diapositives, et vous voulez retrouver le moment où l'on a discuté du report d'une échéance. La recherche textuelle classique ne suffit pas ici : la moitié de l'information se trouve dans les images, et non dans les mots. Voyage AI a publié voyage-multimodal-3.

5, un modèle qui transforme en vecteurs (ensembles de nombres permettant de repérer ce qui est proche en sens) le texte, les images et la vidéo. Sur trois jeux de tests vidéo, il retrouve le bon contenu 4,65 % plus précisément que le modèle d'embedding Google Multimodal Embedding 001, selon la métrique NDCG@10, et une vidéo de 512×512 pixels coûte environ 6 fois moins cher. NDCG@10 mesure à quel point les résultats réellement pertinents figurent en haut des dix premiers résultats.

Ce que sait faire le modèle

La version précédente comprenait déjà mélangés texte et images : captures d'écran, PDF, tableaux, graphiques, diapositives. La nouvelle ajoute les images vidéo. La vidéo est traitée comme une séquence ordonnée d'images, chaque tranche de 1120 pixels comptant pour un token, et le contexte maximal atteint 32 000 tokens. Voyage présente ce modèle comme la première modèle d'embedding vidéo industriel prenant en charge Matryoshka : le vecteur peut être raccourci de 2048 à 1024, 512 ou 256 dimensions, ce qui réduit l'espace occupé dans l'index.

Il y a aussi un détail d'architecture. Les modèles de type CLIP, dont relèvent les anciens modèles multimodaux de Cohere, font passer le texte et les images par deux « tours » indépendantes. Il en résulte un biais connu : une requête textuelle trouve plus volontiers un autre texte qu'une image pertinente, car les vecteurs de texte sont plus proches entre eux. Voyage fait passer tous les types de données dans un seul transformeur commun. Selon l'entreprise, la similarité dans cet espace commun reflète alors le sens et non le format du fichier.

Les chiffres des tests

Voyage a évalué le modèle sur 18 jeux de données multimodaux : 15 de recherche dans des documents sous forme d'images et 3 de recherche vidéo. La requête était toujours textuelle, et il fallait retrouver une figure, une photo, un texte, une capture d'écran de document ou une combinaison de ces éléments. Pour chaque tâche, Voyage a comparé ses résultats aux meilleurs modèles disponibles à l'époque. Pour chaque requête, on retenait les 10 résultats les plus proches par similarité cosinus.

  • Sur la vidéo : 4,65 % plus précis que Google Multimodal Embedding 001, et environ 6 fois moins cher par vidéo de 512×512.
  • Sur les documents : 4,56 % plus précis que Cohere Embed v4, sur l'ensemble de 15 jeux de données.
  • Sur le texte seul (38 jeux de données couvrant six domaines : droit, finance, correspondance, code, web, documentation technique), il est en retrait de seulement 0,29 % par rapport à voyage-3-large, son modèle textuel phare, mais coûte 0,06 $ de moins par million de tokens.

Une nuance mérite d'être relevée. Dans le résumé de l'annonce, l'avance sur Cohere est indiquée à 4,56 %, alors que la section consacrée aux documents mentionne 2,26 %. Il s'agit probablement de modes d'agrégation différents, mais la conclusion reste la même : l'avance sur Cohere existe, mais elle est modérée. Face à Google sur les documents, l'écart est bien plus large, 30,57 %. Voyage précise toutefois que Google obtient en moyenne 51,78 % dans ce domaine, et que le graphique a été arrondi à 65 % pour la lisibilité. Pour la vidéo, la comparaison n'est faite qu'avec Google. Toutes les mesures ont été réalisées par Voyage elle-même.

Mise en pratique

Pour la vidéo, l'entreprise donne trois conseils. Premièrement, découpez les longs enregistrements en scènes, afin que chaque vecteur décrive un épisode cohérent. Deuxièmement, alignez les limites des segments sur les pauses de la transcription de la parole, pour que chaque fragment contienne une idée complète. Troisièmement, si une scène ne tient pas dans 32 000 tokens, réduisez la résolution ou la fréquence d'images. Le paquet voyageai propose pour cela un utilitaire, Video.from_path, pour préparer la vidéo.

La quantification offre un autre levier d'économie : sont disponibles des nombres en 32 bits, des entiers signés et non signés sur 8 bits, ainsi qu'un format binaire, avec une perte de qualité minime. Pour un index de millions de scènes vidéo, cela représente une économie directe de mémoire.

Ce modèle sera utile aux équipes qui recherchent dans des cours de formation, des vidéos de démonstration, des appels avec diapositives ou des scans de contrats. Auparavant, il fallait transcrire la parole, indexer séparément les images et fusionner les résultats. Il est désormais possible de tester un index unique. Les 200 premiers millions de tokens et les 150 milliards de pixels sont gratuits, de sorte qu'un prototype sur vos propres données peut être construit sans frais. Avant de migrer, testez le modèle sur votre propre jeu de requêtes : les tests du fournisseur ne remplacent pas une vérification sur des données réelles.

Dossier

Questions clés sur cet article

Que sait-on sur Ce que sait faire le modèle ?

La version précédente comprenait déjà mélangés texte et images : captures d'écran, PDF, tableaux, graphiques, diapositives. La nouvelle ajoute les images vidéo. La vidéo est traitée comme une séquence ordonnée d'images, chaque tranche de 1120 pixels comptant pour un token, et le contexte maximal atteint 32 000 tokens.

Que sait-on sur Les chiffres des tests ?

Voyage a évalué le modèle sur 18 jeux de données multimodaux : 15 de recherche dans des documents sous forme d'images et 3 de recherche vidéo. La requête était toujours textuelle, et il fallait retrouver une figure, une photo, un texte, une capture d'écran de document ou une combinaison de ces éléments. Pour chaque tâche, Voyage a comparé ses résultats aux meilleurs modèles disponibles à l'époque. Pour chaque requête, on retenait les 10 résultats les plus proches par similarité cosinus.

Que sait-on sur Mise en pratique ?

Pour la vidéo, l'entreprise donne trois conseils. Premièrement, découpez les longs enregistrements en scènes, afin que chaque vecteur décrive un épisode cohérent. Deuxièmement, alignez les limites des segments sur les pauses de la transcription de la parole, pour que chaque fragment contienne une idée complète. Troisièmement, si une scène ne tient pas dans 32 000 tokens, réduisez la résolution ou la fréquence d'images. Le paquet voyageai propose pour cela un utilitaire, Video.from_path, pour préparer la vidéo.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…