Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
SortieAnalyse · Sur le radarAWS Machine Learning Blog→ original

Exa améliore de 47% la vitesse et le coût de ses embeddings sur les puces AWS Inferentia2

Le moteur de recherche Exa transforme des pages web en vecteurs d'embeddings. Avec des dizaines de milliards de documents, chaque centime par page compte. En réécrivant les noyaux de son modèle pour les puces AWS Inferentia2, l'équipe a amélioré de 47% la vitesse et le coût par million de documents. Le code a été écrit par des agents IA, tandis qu'un test automatique de précision les empêchait de dégrader la qualité. Pour de gros volumes d'embeddings, raisonnez en prix par million de documents.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Exa améliore de 47% la vitesse et le coût de ses embeddings sur les puces AWS Inferentia2
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Version de baseFP16 sur inf2.xlarge ; résultat : environ 1,5 fois plus de documents/s
Test automatiquesimilarité cosinus avec la référence d'au moins 0,999 après chaque modification
Chiffre clé #3La réindexation de 30 milliards de documents a doublé la charge et déclenché une révision du matériel

L'entreprise de recherche Exa a détaillé comment elle a réduit le coût du traitement de ses documents : après optimisation pour les puces AWS Inferentia2, la performance et le coût par million de documents se sont améliorés de 47% par rapport à la première version. Il s'agit d'embeddings : pour qu'une page puisse apparaître dans les résultats d'une recherche sémantique, il faut la convertir en vecteur de nombres. Imaginez que vous changiez de modèle dans un système RAG et deviez recalculer toute la base de connaissances.

Avec des dizaines de milliards de pages, même un demi-cent de trop par millier de documents se transforme en facture colossale. Enseignement pratique : pour de gros volumes d'embeddings, mieux vaut optimiser le code pour un matériel précis et raisonner en prix par million de documents, plutôt qu'en coût horaire de location d'un serveur.

Pourquoi l'optimisation est devenue nécessaire

Exa construit son propre index web, dans lequel les pages comme les requêtes des utilisateurs sont projetées dans le même espace vectoriel. Le coût d'un embedding conditionne donc l'économie de tout le produit. Le déclencheur a été une migration. L'équipe passait à un modèle de documents plus performant et recalculait les embeddings de 30 milliards de pages prioritaires. Pendant la réindexation, la charge a temporairement doublé : l'ancien modèle servait l'index en production, tandis que le nouveau alimentait l'index suivant. Pour les ingénieurs, c'était le moment idéal de revoir le matériel et d'examiner les puces AWS Neuron : Inferentia2 et Trainium2.

Le point de départ était simple : un modèle au format FP16, exécuté en parallèle sur plusieurs cœurs. Tous les chiffres de l'article concernent la plus petite instance, inf2.xlarge, dotée d'une seule puce et de deux cœurs NeuronCore. Un processus occupe un cœur, de sorte que les pods Kubernetes se répartissent de façon dense sur des instances de n'importe quelle taille et que le parc reste homogène.

Comment les 47% ont été obtenus

L'optimisation s'est faite par étapes, et presque chacune a apporté sa contribution.

  • Disposition des poids. Elle a été alignée sur l'ordonnanceur et sur la structure du reste du modèle. Cela a supprimé des transpositions de matrices superflues.
  • Autocast. Le compilateur abaisse la précision dans les multiplications matricielles. Le résultat a été vérifié sur des données de référence : la similarité cosinus avec le modèle d'origine devait rester d'au moins 0,999.
  • Noyaux NKI prêts à l'emploi. La bibliothèque Neuron Kernel Interface fournit des modèles pour les couches classiques. Le noyau d'attention prêt à l'emploi a apporté le gain suivant.
  • SwiGLU MLP maison. Le profileur Neuron Explorer a montré que les données étaient sans cesse déchargées vers la mémoire HBM puis relues. Le moteur tensoriel restait donc inactif. Les ingénieurs ont écrit leur propre noyau fusionné à poids stationnaires, et les temps morts ont disparu. Ils l'ont écrit en NKI de haut niveau, en ne recourant à l'ISA de bas niveau que pour certaines opérations. Le code est ainsi plus simple à lire et à déboguer.
  • Noyau d'attention adapté à leur modèle. Les noyaux génériques sont conçus pour toutes les formes de données et gaspillent du calcul sur le remplissage (padding). Exa a réécrit l'attention pour l'architecture réelle des têtes de son modèle et fusionné plusieurs étapes en une seule multiplication matricielle. Cela a réduit les accès à la HBM et procuré la dernière accélération notable.

Au total, le système traite environ 1,5 fois plus de documents par seconde. D'après les calculs d'Exa, cela représente une amélioration de 47% de la performance et du coût par million de documents par rapport à la version de base. Le titre de l'original arrondit le résultat à « 50% », mais mieux vaut retenir 47%.

Des agents en ingénieurs noyaux

Toutes les optimisations ont été écrites par des agents IA, au sein d'un harnais simple sur la plateforme Flyte. Chaque agent lance son propre workflow :

  1. Compiler l'exécutable NEFF.
  2. Comparer la passe avant à un jeu de données de référence (seuil de 0,999).
  3. Profiler une passe.
  4. Lancer un test de charge de 30 minutes sur du matériel réel.

Les agents ont été choisis selon la tâche et le budget. Les modèles légers font varier les paramètres du compilateur. Les modèles de raisonnement testent des hypothèses et cherchent les goulets d'étranglement. Les meilleurs générateurs de code écrivent les noyaux personnalisés. La vérification automatique empêche les agents de sacrifier la précision à la vitesse. Des compétences (skills) dédiées au développement pour Neuron se sont aussi révélées utiles, car de nombreux modèles ne connaissent pas la syntaxe récente de NKI.

La flexibilité plutôt que la dépendance à un seul matériel

Pour l'instant, Exa a optimisé Inferentia2 dans la région us-west-2. La disponibilité des instances spot et on-demand varie selon les régions, et une dépendance à un seul type de matériel expose facilement à une pénurie de capacité. Exa planifie donc ses pods dans plusieurs régions depuis un seul cluster Kubernetes de contrôle. L'ordonnanceur compare le prix par unité de performance et place la charge sur les nœuds les moins chers. Le travail réalisé sur Inferentia2 a été transposé à Trainium2 presque sans modification.

Ce qu'il faut en retenir

Si vous avez un flux constant d'embeddings, regardez le prix par million de documents. Les noyaux génériques laissent de la marge de progression lorsque les formes exactes de votre modèle sont connues. Les agents peuvent servir à l'optimisation bas niveau, mais uniquement avec un test automatique de précision strict et un benchmark sur du matériel réel.

Il y a aussi des limites. L'article a été rédigé par Exa elle-même sur une plateforme d'AWS : c'est donc plutôt un retour d'expérience qu'un benchmark indépendant. Aucun prix absolu en dollars n'est donné, le nom du modèle n'est pas révélé, et le portage vers Trainium2 est décrit sans chiffres.

Dossier

Questions clés sur cet article

Pourquoi l'optimisation est devenue nécessaire?

Exa construit son propre index web, dans lequel les pages comme les requêtes des utilisateurs sont projetées dans le même espace vectoriel. Le coût d'un embedding conditionne donc l'économie de tout le produit. Le déclencheur a été une migration. L'équipe passait à un modèle de documents plus performant et recalculait les embeddings de 30 milliards de pages prioritaires.

Comment les 47% ont été obtenus?

L'optimisation s'est faite par étapes, et presque chacune a apporté sa contribution. Disposition des poids. Elle a été alignée sur l'ordonnanceur et sur la structure du reste du modèle. Cela a supprimé des transpositions de matrices superflues. Autocast. Le compilateur abaisse la précision dans les multiplications matricielles. Le résultat a été vérifié sur des données de référence : la similarité cosinus avec le modèle d'origine devait rester d'au moins 0,999. Noyaux NKI prêts à l'emploi.

Que sait-on sur Des agents en ingénieurs noyaux ?

Toutes les optimisations ont été écrites par des agents IA, au sein d'un harnais simple sur la plateforme Flyte. Chaque agent lance son propre workflow : Compiler l'exécutable NEFF. Comparer la passe avant à un jeu de données de référence (seuil de 0,999). Profiler une passe. Lancer un test de charge de 30 minutes sur du matériel réel. Les agents ont été choisis selon la tâche et le budget. Les modèles légers font varier les paramètres du compilateur.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…