Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

RAG sobre especificações de fábrica: 84% de precisão, mas 161 suportes em vez de dois

A equipe da PSM carregou em um sistema RAG 44 documentos sobre a usina a gás com motores a pistão AGBa1000 e a testou com 188 perguntas: a precisão subiu de 77,7% para 84%. Mas a média esconde o essencial. O parser fundiu as colunas de uma tabela escaneada e, em vez de dois suportes do gerador, o assistente enxergou 161. O modelo cometeu outro erro ao tomar um tanque de combustível inexistente por um real.

Processado por IA de Habr AI; editado por Hamidun News
RAG sobre especificações de fábrica: 84% de precisão, mas 161 suportes em vez de dois
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Indexe tabelas escaneadas linha a linha, junto com o cabeçalho das colunas
Dado-chave #2Vincule explicitamente a usina, o motor e as versões dos documentos
Verifique os gabaritosem 19 casos quem errou foi o teste, não a IA

Uma história típica de RAG corporativo: a demonstração impressiona, dez respostas bonitas seguidas, e parece que já dá para lançar. A equipe da PSM, que desenvolve um assistente para engenheiros que trabalham com documentação de equipamentos de energia, decidiu não confiar na impressão e contar os erros. Descobriu-se que «encontrou o documento certo» e «respondeu corretamente» são coisas completamente diferentes.

O que foi testado e como

Para o piloto, foi escolhida a usina a gás com motores a pistão AGBa1000, com potência de 1 MW. A base de conhecimento incluiu 44 documentos: 29 PDFs, 12 arquivos Word e 3 Excel. Metade dos documentos está em russo e metade em inglês, mas, pelo volume do índice, 94% dos fragmentos são em inglês: os manuais principais são escritos pelos fabricantes dos componentes. No total, resultaram 27.007 fragmentos de busca.

O conjunto de controle tinha 188 perguntas com respostas de referência: parâmetros do equipamento, modos de operação, configuração e regulamentos de manutenção. A verificação foi automática: comparação dos números com o gabarito e avaliação do sentido por um modelo independente. É um teste de convergência, não uma aceitação por especialistas, e a equipe diz isso abertamente.

Duas alterações elevaram a precisão de 77,7% para 84%. As linhas das tabelas passaram a ser indexadas como fatos independentes, e os modelos passaram a receber 10 fragmentos de contexto em vez de 5. O documento certo agora aparece entre os dez primeiros resultados em 96,3% dos casos (antes, 94,1%) e em primeiro lugar em 71,3% (antes, 62,8%). As falsas recusas do tipo «sem dados» caíram de 11,7% para 6,9%.

Mas dentro da média há um detalhe: em 26 perguntas o sistema passou a responder corretamente, e em 14, pior. Além disso, quando os especialistas da fábrica confrontaram parte dos gabaritos com as fontes primárias, em 19 casos o próprio gabarito estava errado. Antes de cobrar do modelo, verifique os dados de teste.

Três erros que o percentual não mostra

161 suportes. Na base havia uma carta técnica do fabricante do gerador com uma tabela: para 800–1120 kW, gás e modo COP, são necessários 2 suportes. O assistente primeiro respondeu que não havia dados. Em outra execução, o parser do escaneamento fundiu colunas vizinhas: a faixa de potência virou 16.000–16.100 kW, e o número de suportes, 161. O LLM não alucinou aqui; ele recontou fielmente o que o índice lhe forneceu. O erro nasceu na etapa de parsing.

Dois documentos sem ligação. Na pergunta sobre os degraus de carga, o manual de operação diz apenas «em degraus». Os números concretos (no máximo 10% até a metade da potência e no máximo 5% acima) estavam na carta do fabricante do motor, onde a usina AGBa1000 não era mencionada. O assistente não fez a ligação. Além disso, a equipe debateu se é possível transferir os parâmetros de um motor «nu» para o conjunto completo: na prática, a velocidade de aceitação de carga depende da qualidade do gás, da temperatura e do modo de operação. A resposta correta deve citar as recomendações do fabricante do motor com referência e indicar explicitamente o limite de aplicabilidade.

O tanque inexistente. Pediu-se ao assistente que calculasse a autonomia da usina com o tanque de combustível cheio. O assistente encontrou o consumo de gás (161, 229 e 294 m³/h), escreveu a fórmula e pediu o volume do tanque. Mas a usina é alimentada por uma rede de gás e não tem tanque. O sistema aceitou uma premissa falsa e começou a calcular. Para um assistente que será usado por gerentes e especialistas de serviço, é um defeito sério.

Quando os documentos se contradizem

Uma descoberta à parte: os documentos oficiais se contradizem. No passaporte da usina, a potência em regime contínuo é de 1150 kW; no documento do fabricante do motor, 1280 kW. O manual prescreve trocar as velas a cada 1500 horas de operação, e a instrução de serviço do motor, a cada 5000.

Não se pode escolher o arquivo mais recente, pegar o valor mais frequente nem calcular a média. A única opção sensata é mostrar o conflito indicando seções e páginas e pedir a confirmação de um engenheiro. Assim, o RAG se torna uma ferramenta de auditoria primária da documentação, embora a resolução das divergências ainda caiba às pessoas.

O que levar disso

Primeiro: tabelas escaneadas não devem ser entregues a um parser de texto genérico. Indexe-as linha a linha, preservando os cabeçalhos das colunas, ou valide-as com modelos especializados. A indexação linha a linha elevou a parcela de respostas com números corretos de 70,8% para 78,3%, mas escaneamentos complexos com desenhos e anotações manuscritas continuam falhando.

Segundo: uma pasta de arquivos não é uma base de conhecimento. São necessários vínculos explícitos entre o produto, os componentes, as configurações e as versões dos documentos; caso contrário, o fato encontrado continuará inútil.

Terceiro: ensine o assistente a perceber premissas erradas e conflitos entre fontes. Às vezes a melhor resposta é explicar por que não se pode calcular assim.

E a principal limitação: os 84% foram obtidos em uma verificação automática de uma única usina, e parte dos gabaritos se mostrou incorreta. É uma boa referência de trabalho, mas não uma prova de prontidão para produção. Para documentação de engenharia, meça não a precisão média, mas os tipos de erro: eles mostram onde está o problema, seja no parsing, nos vínculos entre documentos ou na lógica da resposta.

História

Perguntas frequentes sobre a notícia

O que foi testado e como?

Para o piloto, foi escolhida a usina a gás com motores a pistão AGBa1000, com potência de 1 MW. A base de conhecimento incluiu 44 documentos: 29 PDFs, 12 arquivos Word e 3 Excel. Metade dos documentos está em russo e metade em inglês, mas, pelo volume do índice, 94% dos fragmentos são em inglês: os manuais principais são escritos pelos fabricantes dos componentes. No total, resultaram 27.007 fragmentos de busca.

O que se sabe sobre Três erros que o percentual não mostra?

161 suportes. Na base havia uma carta técnica do fabricante do gerador com uma tabela: para 800–1120 kW, gás e modo COP, são necessários 2 suportes. O assistente primeiro respondeu que não havia dados. Em outra execução, o parser do escaneamento fundiu colunas vizinhas: a faixa de potência virou 16.000–16.100 kW, e o número de suportes, 161. O LLM não alucinou aqui; ele recontou fielmente o que o índice lhe forneceu. O erro nasceu na etapa de parsing. Dois documentos sem ligação.

Quando os documentos se contradizem?

Uma descoberta à parte: os documentos oficiais se contradizem. No passaporte da usina, a potência em regime contínuo é de 1150 kW; no documento do fabricante do motor, 1280 kW. O manual prescreve trocar as velas a cada 1500 horas de operação, e a instrução de serviço do motor, a cada 5000. Não se pode escolher o arquivo mais recente, pegar o valor mais frequente nem calcular a média. A única opção sensata é mostrar o conflito indicando seções e páginas e pedir a confirmação de um engenheiro.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…