Exa mejora un 47% la velocidad y el coste de los embeddings en chips AWS Inferentia2
El buscador Exa convierte páginas web en vectores (embeddings), y con decenas de miles de millones de documentos cada céntimo por página cuenta. Tras reescribir los kernels del modelo para los chips AWS Inferentia2, el equipo mejoró un 47% la velocidad y el coste por millón de documentos. El código lo escribieron agentes de IA, y una prueba automática de precisión les impedía degradar la calidad. Para flujos grandes de embeddings, conviene calcular el precio por millón de documentos.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
La empresa de búsqueda Exa ha explicado cómo abarató el procesamiento de documentos: tras optimizar para los chips AWS Inferentia2, el rendimiento y el coste por millón de documentos mejoraron un 47% respecto a la primera versión. Se trata de embeddings: para que una página pueda aparecer en los resultados de una búsqueda semántica, hay que convertirla en un vector de números. Imagine que cambia el modelo de un sistema RAG y tiene que recalcular toda la base de conocimiento.
Si hay decenas de miles de millones de páginas, incluso medio centavo de más por cada mil documentos se convierte en una factura enorme. La conclusión práctica: con flujos grandes de embeddings, compensa optimizar el código para un hardware concreto y calcular el precio por millón de documentos, no por hora de alquiler del servidor.
Por qué hacía falta optimizar
Exa construye su propio índice web, en el que tanto las páginas como las consultas de los usuarios caen en el mismo espacio vectorial. Por eso el coste de un embedding determina la economía de todo el producto. El detonante fue una migración. El equipo pasaba a un modelo de documentos más potente y recalculaba los embeddings de 30 000 millones de páginas prioritarias. Mientras duró la reindexación, la carga se duplicó temporalmente: el modelo antiguo atendía el índice en producción y el nuevo rellenaba el índice nuevo. Para los ingenieros fue un buen momento para revisar el hardware y echar un vistazo a los chips AWS Neuron: Inferentia2 y Trainium2.
El punto de partida era sencillo: un modelo en formato FP16 ejecutado en paralelo en varios núcleos. Todas las cifras del artículo corresponden a la instancia más pequeña, inf2.xlarge, con un chip y dos núcleos NeuronCore. Cada proceso ocupa un núcleo, así que los pods de Kubernetes encajan de forma compacta en instancias de cualquier tamaño y la flota sigue siendo homogénea.
Cómo se llegó al 47%
La optimización avanzó por pasos, y casi cada uno aportó su parte.
- Disposición de los pesos. Se alineó con el planificador y con la arquitectura del resto del modelo. Esto eliminó transposiciones de matrices innecesarias.
- Autocast. El compilador reduce la precisión en las multiplicaciones de matrices. El resultado se verificó con datos de referencia: la similitud del coseno con el modelo original debía ser no inferior a 0,999.
- Kernels NKI listos para usar. La biblioteca Neuron Kernel Interface ofrece plantillas para las capas habituales. El kernel de atención «de serie» aportó la siguiente mejora.
- SwiGLU MLP propio. El profiler Neuron Explorer mostró que los datos se volcaban constantemente a la memoria HBM y se leían de nuevo. Por eso el motor tensorial pasaba tiempo inactivo. Los ingenieros escribieron su propio kernel fusionado con pesos estacionarios, y las pausas desaparecieron. Lo escribieron en NKI de alto nivel y recurrieron al ISA de bajo nivel solo para operaciones concretas. Así el código es más fácil de leer y depurar.
- Kernel de atención a medida del modelo. Los kernels universales están pensados para cualquier forma de datos y gastan cómputo en el relleno (padding). Exa reescribió la atención para la arquitectura real de las cabezas del modelo y combinó varios pasos en una sola multiplicación de matrices. Esto redujo los accesos a HBM y dio la última aceleración apreciable.
En total se obtuvo aproximadamente 1,5 veces más documentos por segundo. Según el cálculo de Exa, esto equivale a una mejora del 47% en rendimiento y en coste por millón de documentos respecto a la versión base. El titular del original redondea el resultado a «50%», pero es más preciso atenerse al 47%.
Agentes como ingenieros de kernels
Todas las optimizaciones las escribieron agentes de IA dentro de una infraestructura sencilla sobre la plataforma Flyte. Cada agente lanza su propio flujo de trabajo:
- Compila el ejecutable NEFF.
- Compara el paso hacia delante con un conjunto de datos de referencia (umbral de 0,999).
- Perfila una pasada.
- Ejecuta una prueba de carga de 30 minutos en hardware real.
Los agentes se seleccionaban según la tarea y el presupuesto. Los modelos ligeros recorren los parámetros del compilador. Los modelos de razonamiento comprueban hipótesis y buscan cuellos de botella. Los generadores de código más potentes escriben los kernels personalizados. La verificación automática impide que los agentes rompan la precisión a cambio de velocidad. Además resultaron útiles las habilidades (skills) para desarrollar en Neuron, porque muchos modelos no conocen la sintaxis reciente de NKI.
Flexibilidad en lugar de depender de un solo hardware
Por ahora Exa ha optimizado Inferentia2 en la región us-west-2. La disponibilidad de instancias spot y on-demand varía según la región, y quien depende de un solo tipo de hardware se topa fácilmente con falta de capacidad. Por eso Exa planifica los pods en varias regiones desde un único clúster de Kubernetes de control. El planificador compara el precio por unidad de rendimiento y coloca la carga en los nodos más baratos. El trabajo hecho para Inferentia2 se trasladó a Trainium2 casi sin cambios.
Qué conclusiones sacar
Si tiene un flujo constante de embeddings, fíjese en el precio por millón de documentos. Los kernels universales dejan margen de mejora si se conocen las formas exactas de su modelo. Se pueden usar agentes para la optimización de bajo nivel, pero solo con una prueba automática de precisión estricta y un benchmark en hardware real.
Hay también limitaciones. El artículo lo escribió la propia Exa en la plataforma de AWS, así que es más un caso práctico que un benchmark independiente. No hay precios absolutos en dólares, el nombre del modelo no se ha revelado y el traslado a Trainium2 se describe sin cifras.
- 19 nov 2026AWS añade a SageMaker un ranking de más de 70 modelos: calidad, velocidad y precio en una sola tabla
- 18 nov 2026AWS integra Dynamo en HyperPod: Qwen3-235B pasa de 101 a 207 tokens/s por GPU
- 18 nov 2026El nuevo modelo Jev responde en 150 ms frente a los 1,89 s de GPT-6 Astra
- 18 nov 2026AWS muestra cómo dar a los agentes de Bedrock acceso a API privadas a través de un firewall central
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué hacía falta optimizar?
Exa construye su propio índice web, en el que tanto las páginas como las consultas de los usuarios caen en el mismo espacio vectorial. Por eso el coste de un embedding determina la economía de todo el producto. El detonante fue una migración. El equipo pasaba a un modelo de documentos más potente y recalculaba los embeddings de 30 000 millones de páginas prioritarias.
Cómo se llegó al 47%?
La optimización avanzó por pasos, y casi cada uno aportó su parte. Disposición de los pesos. Se alineó con el planificador y con la arquitectura del resto del modelo. Esto eliminó transposiciones de matrices innecesarias. Autocast. El compilador reduce la precisión en las multiplicaciones de matrices. El resultado se verificó con datos de referencia: la similitud del coseno con el modelo original debía ser no inferior a 0,999. Kernels NKI listos para usar.
¿Qué se sabe sobre Agentes como ingenieros de kernels?
Todas las optimizaciones las escribieron agentes de IA dentro de una infraestructura sencilla sobre la plataforma Flyte. Cada agente lanza su propio flujo de trabajo: Compila el ejecutable NEFF. Compara el paso hacia delante con un conjunto de datos de referencia (umbral de 0,999). Perfila una pasada. Ejecuta una prueba de carga de 30 minutos en hardware real. Los agentes se seleccionaban según la tarea y el presupuesto. Los modelos ligeros recorren los parámetros del compilador.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.