Amazon SageMaker AI passa a suportar P-EAGLE para acelerar a inferência de LLMs em paralelo

O Amazon SageMaker AI passou a suportar o P-EAGLE, um método de decodificação especulativa paralela que acelera a inferência em tempo real de grandes modelos de linguagem de 2 a 3 vezes sem reduzir a qualidade das respostas. A AWS integrou a tecnologia diretamente ao SageMaker JumpStart: com poucas linhas de configuração, o endpoint otimizado fica pronto para produção.

Por que a inferência é um gargalo

Grandes modelos de linguagem geram texto de forma estritamente sequencial. Cada novo token exige uma passagem completa por todas as camadas do transformer. Mesmo em GPUs de ponta, como a A100 ou a H100, isso cria um gargalo sério: entre a emissão de um token e outro, os núcleos de processamento ficam ociosos, à espera da próxima iteração. A latência cresce de forma linear com o tamanho da saída.

Em sistemas de produção que exigem respostas em tempo real, como chatbots, code completion e agentes de IA, isso afeta diretamente a experiência do usuário e o custo de infraestrutura. Em 2026, otimizar a inferência passou a ter a mesma importância que escolher o próprio modelo, já que o custo computacional por requisição define a rentabilidade de produtos de IA.

A decodificação especulativa oferece um atalho. Um pequeno modelo de "rascunho" prevê vários tokens seguintes em uma única passagem rápida, e o modelo principal, maior, verifica o lote inteiro em paralelo. Se o rascunho acertar, vários tokens são aceitos de uma vez. Se errar, o processo volta a avançar um token por vez. Quanto maior a taxa de acertos, mais rápida fica a geração final.

O EAGLE aprimorou esse esquema: o componente de rascunho é treinado diretamente sobre os estados ocultos do modelo principal, o que aumenta bastante a precisão das previsões sem elevar a latência.

O que o P-EAGLE faz de diferente

O P-EAGLE (Parallel EAGLE) leva a ideia adiante. Em vez de um único rascunho, ele executa várias ramificações de previsão em paralelo, formando uma árvore de candidatos. O modelo principal verifica todas as ramificações em uma única passagem. Mais do que um ganho de velocidade, o que muda é a geometria do cálculo.

• Acceptance rate maior: a probabilidade de acertar a sequência correta é bem mais alta com várias ramificações paralelas do que com uma só
• Melhor aproveitamento da GPU: os núcleos livres são ocupados pelas ramificações de rascunho em vez de ficarem ociosos
• Time-to-first-token menor: a primeira resposta chega mais rápido, algo crítico para interfaces de chat e agentes
• Compatibilidade com quantização: INT4/INT8 funciona sem modificações adicionais no rascunho
• Throughput previsível: o escalonamento com o batch size fica mais linear sob carga alta

Segundo a AWS, em tarefas de sumarização, geração de código e question-answering, o método entrega aceleração de 2–3× com a mesma qualidade. O maior efeito aparece em tarefas com saídas longas: sumarização de documentos, geração estruturada de JSON e diálogos com vários turnos.

Deploy no SageMaker AI

A AWS projetou a integração para ter a menor barreira de entrada possível. Primeiro, você escolhe um modelo no catálogo do SageMaker JumpStart, que já traz LLMs pré-treinados com suporte a configurações do P-EAGLE. Não é preciso encontrar por conta própria um modelo de rascunho compatível.

Em seguida, adiciona-se à configuração do endpoint o bloco `parallel_drafting_spec`, um JSON que define o número de árvores paralelas e a profundidade da previsão. A AWS recomenda começar com os valores padrão e ajustá-los ao padrão específico de requisições.

Na última etapa, você faz o deploy de um endpoint padrão de tempo real do SageMaker com a flag de ativação do P-EAGLE. Balanceamento de carga, monitoramento e autoescalonamento ficam a cargo da infraestrutura.

"O P-EAGLE permite acelerar o time-to-first-token e o throughput sem qualquer mudança na lógica da aplicação", diz a documentação do AWS

Machine Learning Blog.

O que isso significa

Para equipes de ML na AWS, o P-EAGLE é uma ferramenta concreta para reduzir o custo de inferência sem trocar de modelo ou de instância. O mesmo modelo e a mesma instância passam a atender de 2 a 3 vezes mais requisições por segundo. Ou, então, o mesmo volume de requisições com menos instâncias.

Na nuvem, onde as contas de inferência crescem mais rápido que o desempenho dos próprios modelos, esse ganho afeta diretamente a unit economics do produto e a competitividade do serviço de IA.