Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarX: @OpenAI→ original

OpenAI abarata cinco veces los embeddings para RAG: $0,02 frente a $0,10 por millón de tokens

Los embeddings convierten el texto en una serie de números que permite a RAG y a los buscadores encontrar documentos similares. OpenAI ha lanzado el modelo text-embedding-3-small: un millón de tokens cuesta $0,02 frente a los $0,10 del anterior ada-002, es decir, cinco veces menos. En la prueba de búsqueda multilingüe MIRACL, encuentra el documento correcto en el 44% de los casos, frente al 31,4%. Si su RAG usa ada-002, la migración se amortiza rápido, pero habrá que recalcular el archivo desde cero.

Procesado por IA desde X: @OpenAI; editado por Hamidun News
OpenAI abarata cinco veces los embeddings para RAG: $0,02 frente a $0,10 por millón de tokens
Fuente: X: @OpenAI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @OpenAI ↗
Editor jefe
Dato clave #1El modelo grande large genera vectores de 3072 números, obtiene un 54,9% en MIRACL y cuesta $0,13 por millón de tokens.
El parámetro dimensions acorta el vectorlarge con 256 números supera a ada-002.
Dato clave #3Los vectores del modelo antiguo y del nuevo son incompatibles: hay que reconstruir el índice por completo.

Si construye un buscador de documentos, un chat con base de conocimiento o un sistema RAG, los embeddings son el gasto más discreto y, a la vez, el más masivo. Cada fragmento de texto primero se convierte en una serie de números, y después el sistema compara esas series y encuentra lo más cercano en significado.

25 de enero de 2024: OpenAI anuncia una actualización de su plataforma para desarrolladores y lanza el nuevo modelo text-embedding-3-small. Procesar un millón de tokens (unas 750 000 palabras en inglés) cuesta con él $0,02, frente a los $0,10 de text-embedding-ada-002, el modelo anterior. Es cinco veces más barato, y la calidad no solo no baja, sino que sube.

En el mismo anuncio se actualizó GPT-4 Turbo y bajó el precio de GPT-3.5 Turbo, pero son los embeddings los que más cambian la economía de la búsqueda, así que de ellos hablaremos.

Qué salió exactamente

Ahora OpenAI tiene dos modelos nuevos: text-embedding-3-small y text-embedding-3-large. El anterior, ada-002, apareció en diciembre de 2022 y durante más de un año fue la opción por defecto.

El más pequeño, small, cuesta $0,02 por millón de tokens. Como ejemplo: si su base tiene 100 000 documentos de 1000 tokens cada uno, es decir, 100 millones de tokens, la indexación inicial costará $2 en lugar de $10.

La calidad mejora. En el benchmark en inglés MTEB, small obtiene un 62,3% frente al 61,0% de ada-002. La diferencia es más notable en la búsqueda multilingüe MIRACL: 44,0% frente a 31,4%. En pocas palabras, con consultas que no están en inglés, el sistema encuentra el documento correcto con bastante más frecuencia.

El modelo grande, large, genera vectores de 3072 números. Obtiene un 64,6% en MTEB y un 54,9% en MIRACL. Cuesta $0,13 por millón de tokens, algo más que ada-002, pero es la variante más precisa de la gama.

Cómo funciona la compresión de vectores

La novedad más práctica es el parámetro dimensions. Cuanto más largo es el vector, más memoria ocupa en la base de datos vectorial y más lenta es la búsqueda. Antes no se podía elegir la longitud: ada-002 siempre devolvía 1536 números.

Ahora el vector se puede acortar directamente en la llamada a la API. Según OpenAI, large reducida a 256 números supera en MTEB a la ada-002 completa, con sus 1536 números. Piense en un fichero: en lugar de un armario con fichas detalladas, guarda fichas cortas, y aun así encuentra lo que busca tan bien como antes. Para una base de millones de documentos, esto supone una factura de almacenamiento menor y una búsqueda más rápida.

Qué hacer en la práctica

Primero: si tiene en producción ada-002 y muchas consultas, small es el candidato evidente para sustituirlo. La factura de embeddings bajará aproximadamente cinco veces.

Segundo: la migración no se reduce a cambiar el nombre del modelo en el código. Los vectores de modelos distintos son incompatibles, así que no se puede buscar con vectores nuevos sobre un índice antiguo. Habrá que recalcular los embeddings de todos los documentos. Es una operación única y, con el precio de small, resulta barata, pero conviene planificarla y probarla antes sobre una copia de la base.

Tercero: si le importa la búsqueda en ruso u otros idiomas distintos del inglés, mire MIRACL y no solo MTEB. Las cifras de OpenAI proceden de pruebas públicas, y en sus datos el resultado puede ser otro. Por eso, antes de migrar, reúna un conjunto propio de consultas habituales y compare con qué frecuencia el modelo antiguo y el nuevo encuentran el documento correcto.

Cuarto: si necesita la máxima calidad y el precio es secundario, elija large y experimente de inmediato con dimensions. Busque la longitud de vector con la que la calidad aún se mantiene en sus datos y la base sigue siendo compacta.

También hay limitaciones. La ventaja de small en MTEB es de 1,3 puntos, poca cosa, así que los motivos principales para migrar son el precio y el soporte multilingüe. Del anuncio no se desprende cómo se comportan los modelos con textos muy especializados, como los médicos o los jurídicos. La actualización de GPT-4 Turbo y la bajada de precio de GPT-3.5 Turbo también conviene tenerlas en cuenta al planificar el presupuesto, pero la decisión sobre la búsqueda es mejor tomarla por separado y a partir de mediciones propias.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué salió exactamente?

Ahora OpenAI tiene dos modelos nuevos: text-embedding-3-small y text-embedding-3-large. El anterior, ada-002, apareció en diciembre de 2022 y durante más de un año fue la opción por defecto. El más pequeño, small, cuesta $0,02 por millón de tokens. Como ejemplo: si su base tiene 100 000 documentos de 1000 tokens cada uno, es decir, 100 millones de tokens, la indexación inicial costará $2 en lugar de $10. La calidad mejora. En el benchmark en inglés MTEB, small obtiene un 62,3% frente al 61,0% de ada-002.

Cómo funciona la compresión de vectores?

La novedad más práctica es el parámetro dimensions. Cuanto más largo es el vector, más memoria ocupa en la base de datos vectorial y más lenta es la búsqueda. Antes no se podía elegir la longitud: ada-002 siempre devolvía 1536 números. Ahora el vector se puede acortar directamente en la llamada a la API. Según OpenAI, large reducida a 256 números supera en MTEB a la ada-002 completa, con sus 1536 números.

¿Qué se sabe sobre Qué hacer en la práctica?

Primero: si tiene en producción ada-002 y muchas consultas, small es el candidato evidente para sustituirlo. La factura de embeddings bajará aproximadamente cinco veces. Segundo: la migración no se reduce a cambiar el nombre del modelo en el código. Los vectores de modelos distintos son incompatibles, así que no se puede buscar con vectores nuevos sobre un índice antiguo. Habrá que recalcular los embeddings de todos los documentos.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…