Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarAWS Machine Learning Blog→ original

Exa melhora em 47% a velocidade e o custo de embeddings em chips AWS Inferentia2

O buscador Exa transforma páginas da web em vetores de embedding e, com dezenas de bilhões de documentos, cada centavo por página faz diferença. Ao reescrever os kernels do modelo para chips AWS Inferentia2, a equipe melhorou em 47% a velocidade e o custo por milhão de documentos. Os agentes de IA escreveram o código, e um teste automático de precisão os impedia de degradar a qualidade. Para grandes fluxos de embeddings, calcule o custo por milhão de documentos.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Exa melhora em 47% a velocidade e o custo de embeddings em chips AWS Inferentia2
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Versão de baseFP16 em inf2.xlarge; o resultado final foi cerca de 1,5 vez mais documentos por segundo
Teste automáticosimilaridade de cosseno com a referência não inferior a 0,999 após cada alteração
Dado-chave #3A reindexação de 30 bilhões de documentos dobrou a carga e levou a uma revisão do hardware

A empresa de busca Exa contou como tornou o processamento de documentos mais barato: após a otimização para chips AWS Inferentia2, o desempenho e o custo por milhão de documentos melhoraram em 47% em relação à primeira versão. A questão são os embeddings: para que uma página possa aparecer nos resultados de uma busca semântica, ela precisa ser convertida em um vetor de números. Imagine que você troca o modelo em um sistema RAG e precisa recalcular toda a base de conhecimento.

Com dezenas de bilhões de páginas, até meio centavo a mais por mil documentos vira uma conta enorme. A conclusão prática: com grandes fluxos de embeddings, compensa mais otimizar o código para um hardware específico e calcular o preço por milhão de documentos, e não por hora de aluguel do servidor.

Por que a otimização foi necessária

A Exa mantém um índice próprio da web, no qual as páginas e as consultas dos usuários ficam no mesmo espaço vetorial. Por isso, o custo do embedding define a economia de todo o produto. O gatilho do trabalho foi uma migração. A equipe estava passando para um modelo de documentos mais forte e recalculando os embeddings de 30 bilhões de páginas prioritárias. Durante a reindexação, a carga dobrou temporariamente: o modelo antigo atendia o índice em produção, enquanto o novo preenchia o índice novo. Para os engenheiros, era um bom momento para rever o hardware e olhar para os chips AWS Neuron: Inferentia2 e Trainium2.

O ponto de partida era simples: o modelo em formato FP16, executado em paralelo em vários núcleos. Todos os números do artigo se referem à menor instância, a inf2.xlarge, com um chip e dois núcleos NeuronCore. Cada processo ocupa um núcleo, então os pods de Kubernetes se encaixam de forma compacta em instâncias de qualquer tamanho, e a frota continua homogênea.

Como chegaram aos 47%

A otimização avançou por etapas, e quase todas contribuíram com um ganho.

  • Layout dos pesos. Foi alinhado ao scheduler e à estrutura do restante do modelo. Isso eliminou transposições de matrizes desnecessárias.
  • Autocast. O compilador reduz a precisão nas multiplicações de matrizes. O resultado foi verificado em dados de referência: a similaridade de cosseno com o modelo original precisa ser de no mínimo 0,999.
  • Kernels NKI prontos. A biblioteca Neuron Kernel Interface oferece modelos prontos para camadas típicas. O kernel de atenção pronto de fábrica trouxe o ganho seguinte.
  • SwiGLU MLP próprio. O profiler Neuron Explorer mostrou que os dados eram constantemente descarregados para a memória HBM e lidos de volta. Por causa disso, o tensor engine ficava ocioso. Os engenheiros escreveram um kernel fundido próprio, com pesos estacionários, e a ociosidade desapareceu. Eles o escreveram em NKI de alto nível e recorreram ao ISA de baixo nível apenas para algumas operações. Assim, o código fica mais fácil de ler e depurar.
  • Kernel de atenção sob medida para o modelo. Os kernels genéricos são projetados para qualquer formato de dados e gastam computação com preenchimento (padding). A Exa reescreveu a atenção para a arquitetura real das cabeças do modelo e juntou vários passos em uma única multiplicação de matrizes. Isso reduziu os acessos à HBM e rendeu a última aceleração relevante.

No total, o resultado foi cerca de 1,5 vez mais documentos por segundo. Pelos cálculos da Exa, isso equivale a uma melhoria de 47% em desempenho e em custo por milhão de documentos em relação à versão de base. O título do original arredonda o resultado para «50%», mas é mais preciso considerar 47%.

Agentes como engenheiros de kernels

Todas as otimizações foram escritas por agentes de IA, dentro de uma estrutura simples na plataforma Flyte. Cada agente executa seu próprio workflow:

  1. Compila o arquivo executável NEFF.
  2. Compara o forward pass com um conjunto de dados de referência (limite de 0,999).
  3. Faz o profiling de uma passagem.
  4. Roda um teste de carga de 30 minutos em hardware real.

Os agentes foram escolhidos de acordo com a tarefa e o orçamento. Modelos leves testam parâmetros do compilador. Modelos de raciocínio verificam hipóteses e procuram gargalos. Os geradores de código mais fortes escrevem os kernels customizados. A verificação automática impede que os agentes sacrifiquem a precisão em nome da velocidade. Também foram úteis skills para desenvolvimento em Neuron, porque muitos modelos não conhecem a sintaxe recente do NKI.

Flexibilidade em vez de dependência de um único hardware

Por enquanto, a Exa otimizou o Inferentia2 na região us-west-2. A disponibilidade de instâncias spot e on-demand varia entre regiões, e, ao ficar preso a um único tipo de hardware, é fácil esbarrar na falta de capacidade. Por isso, a Exa agenda pods em várias regiões a partir de um único cluster Kubernetes de controle. O scheduler compara o preço por unidade de desempenho e coloca a carga nos nós mais baratos. O trabalho feito no Inferentia2 foi transferido para o Trainium2 quase sem alterações.

O que levar daqui

Se você tem um fluxo constante de embeddings, olhe para o preço por milhão de documentos. Kernels genéricos deixam margem na mesa quando se conhecem os formatos exatos do seu modelo. Dá para usar agentes na otimização de baixo nível, mas só com um teste automático rigoroso de precisão e um benchmark em hardware real.

Há também limitações. O artigo foi escrito pela própria Exa na plataforma da AWS, então é mais um estudo de caso do que um benchmark independente. Não há preços absolutos em dólares, o nome do modelo não foi divulgado e a migração para o Trainium2 é descrita sem números.

História

Perguntas frequentes sobre a notícia

Por que a otimização foi necessária?

A Exa mantém um índice próprio da web, no qual as páginas e as consultas dos usuários ficam no mesmo espaço vetorial. Por isso, o custo do embedding define a economia de todo o produto. O gatilho do trabalho foi uma migração. A equipe estava passando para um modelo de documentos mais forte e recalculando os embeddings de 30 bilhões de páginas prioritárias. Durante a reindexação, a carga dobrou temporariamente: o modelo antigo atendia o índice em produção, enquanto o novo preenchia o índice novo.

Como chegaram aos 47%?

A otimização avançou por etapas, e quase todas contribuíram com um ganho. Layout dos pesos. Foi alinhado ao scheduler e à estrutura do restante do modelo. Isso eliminou transposições de matrizes desnecessárias. Autocast. O compilador reduz a precisão nas multiplicações de matrizes. O resultado foi verificado em dados de referência: a similaridade de cosseno com o modelo original precisa ser de no mínimo 0,999. Kernels NKI prontos. A biblioteca Neuron Kernel Interface oferece modelos prontos para camadas típicas.

O que se sabe sobre Agentes como engenheiros de kernels?

Todas as otimizações foram escritas por agentes de IA, dentro de uma estrutura simples na plataforma Flyte. Cada agente executa seu próprio workflow: Compila o arquivo executável NEFF. Compara o forward pass com um conjunto de dados de referência (limite de 0,999). Faz o profiling de uma passagem. Roda um teste de carga de 30 minutos em hardware real. Os agentes foram escolhidos de acordo com a tarefa e o orçamento. Modelos leves testam parâmetros do compilador.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…