Apple acelera a busca vetorial para RAG em até 8 vezes com 99% de revocação

O usuário pergunta como receber um reembolso, mas a busca na base de suporte retorna artigos sobre pagamentos. O modelo de linguagem recebe um contexto inadequado, e uma resposta bem escrita pouco ajuda. Pesquisadores da Apple propõem treinar redes separadas para aprender onde procurar correspondências em uma base específica. Para equipes com grandes acervos, é uma oportunidade de verificar quantos recursos a própria busca consome e se é possível reduzir a quantidade de documentos examinados.

A rede aprende onde buscar

No RAG, os documentos são primeiro convertidos em vetores numéricos que representam seu conteúdo. A pergunta do usuário passa por um processamento semelhante. Em seguida, o sistema procura os documentos cujos vetores melhor correspondem ao vetor da pergunta e envia os trechos encontrados ao modelo de linguagem.

Comparar a consulta com cada documento custa caro. Por isso, a base pode ser dividida em grupos: primeiro, selecionam-se alguns grupos promissores; depois, a busca ocorre dentro deles. Esse atalho tem um custo: um erro na escolha do grupo pode deixar o melhor resultado fora da busca.

O trabalho da Apple descreve duas maneiras de treinar essa etapa. A SupportNet estima a qualidade da correspondência que pode ser encontrada dentro de cada grupo. A KeyNet prevê o vetor da melhor correspondência e o entrega a um índice de busca convencional no lugar do vetor original da pergunta. Esses modelos podem ser usados separadamente.

Imagine a base de conhecimento de uma loja virtual. Um comprador escreve: “Cancelei o pedido. Quando vou receber o dinheiro?”. A orientação necessária pode ter o título “Prazos de crédito após o cancelamento”. Nesse exemplo hipotético, a KeyNet deve direcionar a busca para o vetor dessa orientação. Ela trabalha com números: não é necessário gerar o texto de uma possível resposta.

Os exemplos de treinamento são preparados com antecedência. Para cada pergunta, calcula-se a melhor correspondência por meio de uma busca exaustiva e, depois, a rede é treinada para reproduzir esse mapeamento. Os custos são transferidos para a preparação do sistema; a abordagem faz sentido quando a rede treinada atende a muitas consultas posteriores.

O que significa uma aceleração de até oito vezes

Na análise do experimento, a Apple usou cerca de 2,6 milhões de trechos do Natural Questions. Com a maior KeyNet testada, atingir 99% de revocação na busca levou 0,23 ms, contra 1,8 ms com a consulta original. A medição inclui a transformação da consulta e a busca no índice. Para atingir a mesma revocação, foi necessário examinar aproximadamente 11 vezes menos vetores.

É fácil interpretar esse resultado de forma equivocada. Uma revocação de 99% significa recuperar a melhor correspondência segundo a métrica vetorial escolhida. Isso não é uma promessa de resposta correta ao usuário em 99% dos casos: as próprias representações originais dos documentos podem não refletir bem o sentido da pergunta.

A SupportNet apresentou outro resultado: com 95% de revocação no roteamento, a latência foi de 1,74 ms, em vez de 3,36 ms. Essas acelerações não podem ser somadas: são medições separadas de diferentes variantes de busca.

Para um produto, a economia absoluta também importa. A redução de 1,8 para 0,23 ms economiza cerca de um milissegundo e meio nessa etapa. Se a maior parte da espera estiver na geração da resposta, o usuário pode quase não perceber a diferença. Com um grande volume de consultas, ainda assim vale a pena a equipe avaliar o impacto nos custos computacionais.

Como testar os benefícios na sua própria base

O ponto de partida pode ser o repositório oficial do AMIPS. A afirmação da publicação original de que a Apple não disponibilizou o código está incorreta: estão disponíveis scripts para preparar vetores, calcular os alvos de treinamento e treinar os modelos, além de um exemplo de execução em um pequeno conjunto de dados FIQA.

O experimento prático deve se concentrar na sua própria carga de trabalho. Separe uma amostra de perguntas reais, registre a revocação e a latência atuais da busca e compare esses valores com os da versão treinada. Calcule separadamente o tempo de preparação, a memória necessária e o custo das atualizações. Caso contrário, a economia nas consultas pode se perder facilmente na manutenção do sistema.

O método foi concebido para uma base fixa e tipos de consulta conhecidos. Por isso, faz sentido escolher uma base de referência relativamente estável para o projeto piloto. Quando os documentos forem atualizados ou as perguntas mudarem, será necessário reavaliar a qualidade e decidir se é preciso treinar a rede novamente. O principal critério de adoção é simples: as buscas nessa base se repetem com frequência suficiente para compensar o treinamento e a manutenção adicionais?