Exa melhora em 47% a velocidade e o custo de embeddings em chips AWS Inferentia2
O buscador Exa transforma páginas da web em vetores de embedding e, com dezenas de bilhões de documentos, cada centavo por página faz diferença. Ao reescrever os kernels do modelo para chips AWS Inferentia2, a equipe melhorou em 47% a velocidade e o custo por milhão de documentos. Os agentes de IA escreveram o código, e um teste automático de precisão os impedia de degradar a qualidade. Para grandes fluxos de embeddings, calcule o custo por milhão de documentos.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
A empresa de busca Exa contou como tornou o processamento de documentos mais barato: após a otimização para chips AWS Inferentia2, o desempenho e o custo por milhão de documentos melhoraram em 47% em relação à primeira versão. A questão são os embeddings: para que uma página possa aparecer nos resultados de uma busca semântica, ela precisa ser convertida em um vetor de números. Imagine que você troca o modelo em um sistema RAG e precisa recalcular toda a base de conhecimento.
Com dezenas de bilhões de páginas, até meio centavo a mais por mil documentos vira uma conta enorme. A conclusão prática: com grandes fluxos de embeddings, compensa mais otimizar o código para um hardware específico e calcular o preço por milhão de documentos, e não por hora de aluguel do servidor.
Por que a otimização foi necessária
A Exa mantém um índice próprio da web, no qual as páginas e as consultas dos usuários ficam no mesmo espaço vetorial. Por isso, o custo do embedding define a economia de todo o produto. O gatilho do trabalho foi uma migração. A equipe estava passando para um modelo de documentos mais forte e recalculando os embeddings de 30 bilhões de páginas prioritárias. Durante a reindexação, a carga dobrou temporariamente: o modelo antigo atendia o índice em produção, enquanto o novo preenchia o índice novo. Para os engenheiros, era um bom momento para rever o hardware e olhar para os chips AWS Neuron: Inferentia2 e Trainium2.
O ponto de partida era simples: o modelo em formato FP16, executado em paralelo em vários núcleos. Todos os números do artigo se referem à menor instância, a inf2.xlarge, com um chip e dois núcleos NeuronCore. Cada processo ocupa um núcleo, então os pods de Kubernetes se encaixam de forma compacta em instâncias de qualquer tamanho, e a frota continua homogênea.
Como chegaram aos 47%
A otimização avançou por etapas, e quase todas contribuíram com um ganho.
- Layout dos pesos. Foi alinhado ao scheduler e à estrutura do restante do modelo. Isso eliminou transposições de matrizes desnecessárias.
- Autocast. O compilador reduz a precisão nas multiplicações de matrizes. O resultado foi verificado em dados de referência: a similaridade de cosseno com o modelo original precisa ser de no mínimo 0,999.
- Kernels NKI prontos. A biblioteca Neuron Kernel Interface oferece modelos prontos para camadas típicas. O kernel de atenção pronto de fábrica trouxe o ganho seguinte.
- SwiGLU MLP próprio. O profiler Neuron Explorer mostrou que os dados eram constantemente descarregados para a memória HBM e lidos de volta. Por causa disso, o tensor engine ficava ocioso. Os engenheiros escreveram um kernel fundido próprio, com pesos estacionários, e a ociosidade desapareceu. Eles o escreveram em NKI de alto nível e recorreram ao ISA de baixo nível apenas para algumas operações. Assim, o código fica mais fácil de ler e depurar.
- Kernel de atenção sob medida para o modelo. Os kernels genéricos são projetados para qualquer formato de dados e gastam computação com preenchimento (padding). A Exa reescreveu a atenção para a arquitetura real das cabeças do modelo e juntou vários passos em uma única multiplicação de matrizes. Isso reduziu os acessos à HBM e rendeu a última aceleração relevante.
No total, o resultado foi cerca de 1,5 vez mais documentos por segundo. Pelos cálculos da Exa, isso equivale a uma melhoria de 47% em desempenho e em custo por milhão de documentos em relação à versão de base. O título do original arredonda o resultado para «50%», mas é mais preciso considerar 47%.
Agentes como engenheiros de kernels
Todas as otimizações foram escritas por agentes de IA, dentro de uma estrutura simples na plataforma Flyte. Cada agente executa seu próprio workflow:
- Compila o arquivo executável NEFF.
- Compara o forward pass com um conjunto de dados de referência (limite de 0,999).
- Faz o profiling de uma passagem.
- Roda um teste de carga de 30 minutos em hardware real.
Os agentes foram escolhidos de acordo com a tarefa e o orçamento. Modelos leves testam parâmetros do compilador. Modelos de raciocínio verificam hipóteses e procuram gargalos. Os geradores de código mais fortes escrevem os kernels customizados. A verificação automática impede que os agentes sacrifiquem a precisão em nome da velocidade. Também foram úteis skills para desenvolvimento em Neuron, porque muitos modelos não conhecem a sintaxe recente do NKI.
Flexibilidade em vez de dependência de um único hardware
Por enquanto, a Exa otimizou o Inferentia2 na região us-west-2. A disponibilidade de instâncias spot e on-demand varia entre regiões, e, ao ficar preso a um único tipo de hardware, é fácil esbarrar na falta de capacidade. Por isso, a Exa agenda pods em várias regiões a partir de um único cluster Kubernetes de controle. O scheduler compara o preço por unidade de desempenho e coloca a carga nos nós mais baratos. O trabalho feito no Inferentia2 foi transferido para o Trainium2 quase sem alterações.
O que levar daqui
Se você tem um fluxo constante de embeddings, olhe para o preço por milhão de documentos. Kernels genéricos deixam margem na mesa quando se conhecem os formatos exatos do seu modelo. Dá para usar agentes na otimização de baixo nível, mas só com um teste automático rigoroso de precisão e um benchmark em hardware real.
Há também limitações. O artigo foi escrito pela própria Exa na plataforma da AWS, então é mais um estudo de caso do que um benchmark independente. Não há preços absolutos em dólares, o nome do modelo não foi divulgado e a migração para o Trainium2 é descrita sem números.
- 19 de nov. de 2026AWS adiciona ao SageMaker um ranking com 70+ modelos: qualidade, velocidade e preço na mesma tabela
- 18 de nov. de 2026AWS integra o Dynamo ao HyperPod: Qwen3-235B entrega 207 tokens/s por GPU, em vez de 101
- 18 de nov. de 2026Novo modelo Jev responde em 150 ms, contra 1,89 s do GPT-6 Astra
- 18 de nov. de 2026AWS mostra como liberar agentes do Bedrock para APIs privadas por meio de um firewall central
Perguntas frequentes sobre a notícia
Por que a otimização foi necessária?
A Exa mantém um índice próprio da web, no qual as páginas e as consultas dos usuários ficam no mesmo espaço vetorial. Por isso, o custo do embedding define a economia de todo o produto. O gatilho do trabalho foi uma migração. A equipe estava passando para um modelo de documentos mais forte e recalculando os embeddings de 30 bilhões de páginas prioritárias. Durante a reindexação, a carga dobrou temporariamente: o modelo antigo atendia o índice em produção, enquanto o novo preenchia o índice novo.
Como chegaram aos 47%?
A otimização avançou por etapas, e quase todas contribuíram com um ganho. Layout dos pesos. Foi alinhado ao scheduler e à estrutura do restante do modelo. Isso eliminou transposições de matrizes desnecessárias. Autocast. O compilador reduz a precisão nas multiplicações de matrizes. O resultado foi verificado em dados de referência: a similaridade de cosseno com o modelo original precisa ser de no mínimo 0,999. Kernels NKI prontos. A biblioteca Neuron Kernel Interface oferece modelos prontos para camadas típicas.
O que se sabe sobre Agentes como engenheiros de kernels?
Todas as otimizações foram escritas por agentes de IA, dentro de uma estrutura simples na plataforma Flyte. Cada agente executa seu próprio workflow: Compila o arquivo executável NEFF. Compara o forward pass com um conjunto de dados de referência (limite de 0,999). Faz o profiling de uma passagem. Roda um teste de carga de 30 minutos em hardware real. Os agentes foram escolhidos de acordo com a tarefa e o orçamento. Modelos leves testam parâmetros do compilador.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.