Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoAnálisis · En radarAWS Machine Learning Blog→ original

Exa mejora un 47% la velocidad y el coste de los embeddings en chips AWS Inferentia2

El buscador Exa convierte páginas web en vectores (embeddings), y con decenas de miles de millones de documentos cada céntimo por página cuenta. Tras reescribir los kernels del modelo para los chips AWS Inferentia2, el equipo mejoró un 47% la velocidad y el coste por millón de documentos. El código lo escribieron agentes de IA, y una prueba automática de precisión les impedía degradar la calidad. Para flujos grandes de embeddings, conviene calcular el precio por millón de documentos.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Exa mejora un 47% la velocidad y el coste de los embeddings en chips AWS Inferentia2
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Versión baseFP16 en inf2.xlarge; el resultado final es aproximadamente 1,5 veces más documentos por segundo
Prueba automáticasimilitud del coseno con la referencia no inferior a 0,999 tras cada cambio
Dato clave #3La reindexación de 30 000 millones de documentos duplicó la carga y motivó una revisión del hardware

La empresa de búsqueda Exa ha explicado cómo abarató el procesamiento de documentos: tras optimizar para los chips AWS Inferentia2, el rendimiento y el coste por millón de documentos mejoraron un 47% respecto a la primera versión. Se trata de embeddings: para que una página pueda aparecer en los resultados de una búsqueda semántica, hay que convertirla en un vector de números. Imagine que cambia el modelo de un sistema RAG y tiene que recalcular toda la base de conocimiento.

Si hay decenas de miles de millones de páginas, incluso medio centavo de más por cada mil documentos se convierte en una factura enorme. La conclusión práctica: con flujos grandes de embeddings, compensa optimizar el código para un hardware concreto y calcular el precio por millón de documentos, no por hora de alquiler del servidor.

Por qué hacía falta optimizar

Exa construye su propio índice web, en el que tanto las páginas como las consultas de los usuarios caen en el mismo espacio vectorial. Por eso el coste de un embedding determina la economía de todo el producto. El detonante fue una migración. El equipo pasaba a un modelo de documentos más potente y recalculaba los embeddings de 30 000 millones de páginas prioritarias. Mientras duró la reindexación, la carga se duplicó temporalmente: el modelo antiguo atendía el índice en producción y el nuevo rellenaba el índice nuevo. Para los ingenieros fue un buen momento para revisar el hardware y echar un vistazo a los chips AWS Neuron: Inferentia2 y Trainium2.

El punto de partida era sencillo: un modelo en formato FP16 ejecutado en paralelo en varios núcleos. Todas las cifras del artículo corresponden a la instancia más pequeña, inf2.xlarge, con un chip y dos núcleos NeuronCore. Cada proceso ocupa un núcleo, así que los pods de Kubernetes encajan de forma compacta en instancias de cualquier tamaño y la flota sigue siendo homogénea.

Cómo se llegó al 47%

La optimización avanzó por pasos, y casi cada uno aportó su parte.

  • Disposición de los pesos. Se alineó con el planificador y con la arquitectura del resto del modelo. Esto eliminó transposiciones de matrices innecesarias.
  • Autocast. El compilador reduce la precisión en las multiplicaciones de matrices. El resultado se verificó con datos de referencia: la similitud del coseno con el modelo original debía ser no inferior a 0,999.
  • Kernels NKI listos para usar. La biblioteca Neuron Kernel Interface ofrece plantillas para las capas habituales. El kernel de atención «de serie» aportó la siguiente mejora.
  • SwiGLU MLP propio. El profiler Neuron Explorer mostró que los datos se volcaban constantemente a la memoria HBM y se leían de nuevo. Por eso el motor tensorial pasaba tiempo inactivo. Los ingenieros escribieron su propio kernel fusionado con pesos estacionarios, y las pausas desaparecieron. Lo escribieron en NKI de alto nivel y recurrieron al ISA de bajo nivel solo para operaciones concretas. Así el código es más fácil de leer y depurar.
  • Kernel de atención a medida del modelo. Los kernels universales están pensados para cualquier forma de datos y gastan cómputo en el relleno (padding). Exa reescribió la atención para la arquitectura real de las cabezas del modelo y combinó varios pasos en una sola multiplicación de matrices. Esto redujo los accesos a HBM y dio la última aceleración apreciable.

En total se obtuvo aproximadamente 1,5 veces más documentos por segundo. Según el cálculo de Exa, esto equivale a una mejora del 47% en rendimiento y en coste por millón de documentos respecto a la versión base. El titular del original redondea el resultado a «50%», pero es más preciso atenerse al 47%.

Agentes como ingenieros de kernels

Todas las optimizaciones las escribieron agentes de IA dentro de una infraestructura sencilla sobre la plataforma Flyte. Cada agente lanza su propio flujo de trabajo:

  1. Compila el ejecutable NEFF.
  2. Compara el paso hacia delante con un conjunto de datos de referencia (umbral de 0,999).
  3. Perfila una pasada.
  4. Ejecuta una prueba de carga de 30 minutos en hardware real.

Los agentes se seleccionaban según la tarea y el presupuesto. Los modelos ligeros recorren los parámetros del compilador. Los modelos de razonamiento comprueban hipótesis y buscan cuellos de botella. Los generadores de código más potentes escriben los kernels personalizados. La verificación automática impide que los agentes rompan la precisión a cambio de velocidad. Además resultaron útiles las habilidades (skills) para desarrollar en Neuron, porque muchos modelos no conocen la sintaxis reciente de NKI.

Flexibilidad en lugar de depender de un solo hardware

Por ahora Exa ha optimizado Inferentia2 en la región us-west-2. La disponibilidad de instancias spot y on-demand varía según la región, y quien depende de un solo tipo de hardware se topa fácilmente con falta de capacidad. Por eso Exa planifica los pods en varias regiones desde un único clúster de Kubernetes de control. El planificador compara el precio por unidad de rendimiento y coloca la carga en los nodos más baratos. El trabajo hecho para Inferentia2 se trasladó a Trainium2 casi sin cambios.

Qué conclusiones sacar

Si tiene un flujo constante de embeddings, fíjese en el precio por millón de documentos. Los kernels universales dejan margen de mejora si se conocen las formas exactas de su modelo. Se pueden usar agentes para la optimización de bajo nivel, pero solo con una prueba automática de precisión estricta y un benchmark en hardware real.

Hay también limitaciones. El artículo lo escribió la propia Exa en la plataforma de AWS, así que es más un caso práctico que un benchmark independiente. No hay precios absolutos en dólares, el nombre del modelo no se ha revelado y el traslado a Trainium2 se describe sin cifras.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué hacía falta optimizar?

Exa construye su propio índice web, en el que tanto las páginas como las consultas de los usuarios caen en el mismo espacio vectorial. Por eso el coste de un embedding determina la economía de todo el producto. El detonante fue una migración. El equipo pasaba a un modelo de documentos más potente y recalculaba los embeddings de 30 000 millones de páginas prioritarias.

Cómo se llegó al 47%?

La optimización avanzó por pasos, y casi cada uno aportó su parte. Disposición de los pesos. Se alineó con el planificador y con la arquitectura del resto del modelo. Esto eliminó transposiciones de matrices innecesarias. Autocast. El compilador reduce la precisión en las multiplicaciones de matrices. El resultado se verificó con datos de referencia: la similitud del coseno con el modelo original debía ser no inferior a 0,999. Kernels NKI listos para usar.

¿Qué se sabe sobre Agentes como ingenieros de kernels?

Todas las optimizaciones las escribieron agentes de IA dentro de una infraestructura sencilla sobre la plataforma Flyte. Cada agente lanza su propio flujo de trabajo: Compila el ejecutable NEFF. Compara el paso hacia delante con un conjunto de datos de referencia (umbral de 0,999). Perfila una pasada. Ejecuta una prueba de carga de 30 minutos en hardware real. Los agentes se seleccionaban según la tarea y el presupuesto. Los modelos ligeros recorren los parámetros del compilador.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…