Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarVoyage AI→ original

Voyage AI enseñó al buscador a entender vídeo: un 4,65 % más preciso que Google y 6 veces más barato

Voyage AI ha lanzado voyage-multimodal-3.5, un modelo que convierte en vectores numéricos el texto, las capturas, los PDF y ahora también el vídeo, de modo que una sola consulta de texto puede localizar el fragmento exacto, por ejemplo el momento de una videollamada en el que se habló de un cambio de fecha límite. En tres conjuntos de pruebas de vídeo, encuentra el clip correcto un 4,65 % mejor que Google Multimodal Embedding 001, y un clip de 512×512 cuesta unas 6 veces menos. Para buscar en grabaciones y clases, esto supone usar un único modelo en lugar de combinar reconocimiento de voz e índices de fotogramas.

Procesado por IA desde Voyage AI; editado por Hamidun News
Voyage AI enseñó al buscador a entender vídeo: un 4,65 % más preciso que Google y 6 veces más barato
Fuente: Voyage AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalVoyage AI ↗
Editor jefe
Dato clave #1El vector se puede comprimir a 1024, 512 o 256 números en lugar de 2048 (Matryoshka).
Dato clave #2En documentos, supera a Cohere Embed v4 en un 4,56 % en 15 conjuntos de datos.
Dato clave #3Los primeros 200 millones de tokens y 150 000 millones de píxeles son gratuitos.

Imagine que tiene cien grabaciones de videollamadas con diapositivas y quiere encontrar el momento en que se habló de cambiar la fecha límite. La búsqueda de texto convencional no le sirve de nada: la mitad de la información está en los fotogramas, no en las palabras. Voyage AI ha lanzado voyage-multimodal-3.

5, un modelo que convierte en vectores (conjuntos de números con los que se localiza lo similar en significado) tanto texto como imágenes y vídeo. En tres conjuntos de pruebas de vídeo, encuentra lo buscado un 4,65 % mejor que el modelo de embeddings Google Multimodal Embedding 001 según la métrica NDCG@10, y un clip de 512×512 píxeles cuesta unas 6 veces menos. NDCG@10 indica cuántos de los resultados realmente relevantes aparecen en los diez primeros puestos y con qué posición.

Qué sabe hacer el modelo

La versión anterior ya entendía texto e imágenes combinados: capturas de pantalla, PDF, tablas, gráficos y diapositivas. La nueva añade fotogramas de vídeo. El vídeo se introduce como una secuencia ordenada de fotogramas; cada 1120 píxeles cuentan como un token y el contexto máximo es de 32 000 tokens. Voyage afirma que es el primer modelo de embeddings de vídeo para uso industrial con soporte Matryoshka: el vector puede acortarse de 2048 a 1024, 512 o 256 dimensiones para ahorrar espacio en el índice.

Hay además un detalle de arquitectura. Los modelos de tipo CLIP, como los multimodales anteriores de Cohere, procesan texto e imágenes en dos «torres» independientes. Eso provoca un sesgo conocido: una consulta de texto encuentra antes otro texto que una imagen relevante, porque los vectores de texto están más cerca entre sí. Voyage hace pasar todos los tipos de datos por un mismo transformador. Según la compañía, la similitud en ese espacio común refleja el significado y no el formato del archivo.

Las cifras de las pruebas

Voyage evaluó el modelo en 18 conjuntos multimodales: 15 de búsqueda en documentos en forma de imagen y 3 de búsqueda en vídeo. La consulta era siempre de texto, y lo que había que encontrar podía ser una figura, una foto, un texto, una captura de un documento o una combinación de estos. Para cada tarea se compararon los mejores modelos disponibles en ese momento. De cada consulta se seleccionaron 10 resultados por similitud coseno.

  • En vídeo: un 4,65 % más preciso que Google Multimodal Embedding 001 y unas 6 veces más barato por clip de 512×512.
  • En documentos: un 4,56 % más preciso que Cohere Embed v4 en el conjunto de 15 pruebas.
  • En texto puro (38 conjuntos de seis ámbitos: derecho, finanzas, correspondencia, código, web y documentación técnica), queda solo un 0,29 % por detrás de su modelo de texto insignia, voyage-3-large, pero cuesta 0,06 dólares menos por millón de tokens.

Hay un matiz. En el resumen del anuncio, la ventaja sobre Cohere aparece como 4,56 %, mientras que en la sección de documentos figura 2,26 %. Probablemente se deba a métodos de agregación distintos, pero la conclusión es la misma: hay ventaja, aunque moderada. Frente a Google en documentos la diferencia es mucho mayor, un 30,57 %. Eso sí, Voyage señala que el resultado medio de Google en esa prueba es del 51,78 %, y en el gráfico lo redondearon al 65 % para que se viera mejor. En vídeo, la comparación solo se hace con Google. Todas las mediciones las realizó la propia Voyage.

Cómo usarlo en la práctica

Para el vídeo, la compañía da tres recomendaciones. Primero, trocear las grabaciones largas en escenas, para que cada vector describa un episodio coherente. Segundo, alinear los cortes con las pausas de la transcripción, de forma que cada fragmento contenga una idea completa. Tercero, si una escena no cabe en 32 000 tokens, reducir la resolución o la frecuencia de fotogramas. En el paquete voyageai hay una utilidad, Video.from_path, para preparar el vídeo.

La cuantización ofrece otra palanca de ahorro: están disponibles números de 32 bits, enteros de 8 bits con y sin signo, y un formato binario, con una pérdida de calidad mínima. Para un índice de millones de escenas de vídeo, eso se traduce directamente en menos memoria.

Lo pueden aprovechar los equipos que buscan en cursos de formación, vídeos de demostración, videollamadas con diapositivas o escaneos de contratos. Hasta ahora había que transcribir el audio, indexar los fotogramas por separado y unir los resultados; ahora es posible probar un índice único. Los primeros 200 millones de tokens y 150 000 millones de píxeles son gratuitos, así que un prototipo con datos propios puede construirse sin coste. Antes de migrar, conviene evaluar el modelo con un conjunto de consultas propio: las pruebas del fabricante no sustituyen a la validación con datos reales.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué sabe hacer el modelo?

La versión anterior ya entendía texto e imágenes combinados: capturas de pantalla, PDF, tablas, gráficos y diapositivas. La nueva añade fotogramas de vídeo. El vídeo se introduce como una secuencia ordenada de fotogramas; cada 1120 píxeles cuentan como un token y el contexto máximo es de 32 000 tokens. Voyage afirma que es el primer modelo de embeddings de vídeo para uso industrial con soporte Matryoshka: el vector puede acortarse de 2048 a 1024, 512 o 256 dimensiones para ahorrar espacio en el índice.

¿Qué se sabe sobre Las cifras de las pruebas?

Voyage evaluó el modelo en 18 conjuntos multimodales: 15 de búsqueda en documentos en forma de imagen y 3 de búsqueda en vídeo. La consulta era siempre de texto, y lo que había que encontrar podía ser una figura, una foto, un texto, una captura de un documento o una combinación de estos. Para cada tarea se compararon los mejores modelos disponibles en ese momento. De cada consulta se seleccionaron 10 resultados por similitud coseno.

Cómo usarlo en la práctica?

Para el vídeo, la compañía da tres recomendaciones. Primero, trocear las grabaciones largas en escenas, para que cada vector describa un episodio coherente. Segundo, alinear los cortes con las pausas de la transcripción, de forma que cada fragmento contenga una idea completa. Tercero, si una escena no cabe en 32 000 tokens, reducir la resolución o la frecuencia de fotogramas. En el paquete voyageai hay una utilidad, Video.from_path, para preparar el vídeo.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…