RAG sobre especificações de fábrica: 84% de precisão, mas 161 suportes em vez de dois
A equipe da PSM carregou em um sistema RAG 44 documentos sobre a usina a gás com motores a pistão AGBa1000 e a testou com 188 perguntas: a precisão subiu de 77,7% para 84%. Mas a média esconde o essencial. O parser fundiu as colunas de uma tabela escaneada e, em vez de dois suportes do gerador, o assistente enxergou 161. O modelo cometeu outro erro ao tomar um tanque de combustível inexistente por um real.
Processado por IA de Habr AI; editado por Hamidun News
Uma história típica de RAG corporativo: a demonstração impressiona, dez respostas bonitas seguidas, e parece que já dá para lançar. A equipe da PSM, que desenvolve um assistente para engenheiros que trabalham com documentação de equipamentos de energia, decidiu não confiar na impressão e contar os erros. Descobriu-se que «encontrou o documento certo» e «respondeu corretamente» são coisas completamente diferentes.
O que foi testado e como
Para o piloto, foi escolhida a usina a gás com motores a pistão AGBa1000, com potência de 1 MW. A base de conhecimento incluiu 44 documentos: 29 PDFs, 12 arquivos Word e 3 Excel. Metade dos documentos está em russo e metade em inglês, mas, pelo volume do índice, 94% dos fragmentos são em inglês: os manuais principais são escritos pelos fabricantes dos componentes. No total, resultaram 27.007 fragmentos de busca.
O conjunto de controle tinha 188 perguntas com respostas de referência: parâmetros do equipamento, modos de operação, configuração e regulamentos de manutenção. A verificação foi automática: comparação dos números com o gabarito e avaliação do sentido por um modelo independente. É um teste de convergência, não uma aceitação por especialistas, e a equipe diz isso abertamente.
Duas alterações elevaram a precisão de 77,7% para 84%. As linhas das tabelas passaram a ser indexadas como fatos independentes, e os modelos passaram a receber 10 fragmentos de contexto em vez de 5. O documento certo agora aparece entre os dez primeiros resultados em 96,3% dos casos (antes, 94,1%) e em primeiro lugar em 71,3% (antes, 62,8%). As falsas recusas do tipo «sem dados» caíram de 11,7% para 6,9%.
Mas dentro da média há um detalhe: em 26 perguntas o sistema passou a responder corretamente, e em 14, pior. Além disso, quando os especialistas da fábrica confrontaram parte dos gabaritos com as fontes primárias, em 19 casos o próprio gabarito estava errado. Antes de cobrar do modelo, verifique os dados de teste.
Três erros que o percentual não mostra
161 suportes. Na base havia uma carta técnica do fabricante do gerador com uma tabela: para 800–1120 kW, gás e modo COP, são necessários 2 suportes. O assistente primeiro respondeu que não havia dados. Em outra execução, o parser do escaneamento fundiu colunas vizinhas: a faixa de potência virou 16.000–16.100 kW, e o número de suportes, 161. O LLM não alucinou aqui; ele recontou fielmente o que o índice lhe forneceu. O erro nasceu na etapa de parsing.
Dois documentos sem ligação. Na pergunta sobre os degraus de carga, o manual de operação diz apenas «em degraus». Os números concretos (no máximo 10% até a metade da potência e no máximo 5% acima) estavam na carta do fabricante do motor, onde a usina AGBa1000 não era mencionada. O assistente não fez a ligação. Além disso, a equipe debateu se é possível transferir os parâmetros de um motor «nu» para o conjunto completo: na prática, a velocidade de aceitação de carga depende da qualidade do gás, da temperatura e do modo de operação. A resposta correta deve citar as recomendações do fabricante do motor com referência e indicar explicitamente o limite de aplicabilidade.
O tanque inexistente. Pediu-se ao assistente que calculasse a autonomia da usina com o tanque de combustível cheio. O assistente encontrou o consumo de gás (161, 229 e 294 m³/h), escreveu a fórmula e pediu o volume do tanque. Mas a usina é alimentada por uma rede de gás e não tem tanque. O sistema aceitou uma premissa falsa e começou a calcular. Para um assistente que será usado por gerentes e especialistas de serviço, é um defeito sério.
Quando os documentos se contradizem
Uma descoberta à parte: os documentos oficiais se contradizem. No passaporte da usina, a potência em regime contínuo é de 1150 kW; no documento do fabricante do motor, 1280 kW. O manual prescreve trocar as velas a cada 1500 horas de operação, e a instrução de serviço do motor, a cada 5000.
Não se pode escolher o arquivo mais recente, pegar o valor mais frequente nem calcular a média. A única opção sensata é mostrar o conflito indicando seções e páginas e pedir a confirmação de um engenheiro. Assim, o RAG se torna uma ferramenta de auditoria primária da documentação, embora a resolução das divergências ainda caiba às pessoas.
O que levar disso
Primeiro: tabelas escaneadas não devem ser entregues a um parser de texto genérico. Indexe-as linha a linha, preservando os cabeçalhos das colunas, ou valide-as com modelos especializados. A indexação linha a linha elevou a parcela de respostas com números corretos de 70,8% para 78,3%, mas escaneamentos complexos com desenhos e anotações manuscritas continuam falhando.
Segundo: uma pasta de arquivos não é uma base de conhecimento. São necessários vínculos explícitos entre o produto, os componentes, as configurações e as versões dos documentos; caso contrário, o fato encontrado continuará inútil.
Terceiro: ensine o assistente a perceber premissas erradas e conflitos entre fontes. Às vezes a melhor resposta é explicar por que não se pode calcular assim.
E a principal limitação: os 84% foram obtidos em uma verificação automática de uma única usina, e parte dos gabaritos se mostrou incorreta. É uma boa referência de trabalho, mas não uma prova de prontidão para produção. Para documentação de engenharia, meça não a precisão média, mas os tipos de erro: eles mostram onde está o problema, seja no parsing, nos vínculos entre documentos ou na lógica da resposta.
- 10 de out. de 2026Standard Bots ensina robôs industriais com demonstrações e correções vindas das fábricas
- 9 de out. de 2026Yandex informa falhas na Alice após danos em dois data centers
- 19 de jul. de 2026Ações de operadoras de call center despencam com temor sobre ameaça da IA
- 12 de nov. de 2026Kuken Industries encontra desenhos de peças de reposição em 4,5 minutos em vez de uma hora com a API da OpenAI
Perguntas frequentes sobre a notícia
O que foi testado e como?
Para o piloto, foi escolhida a usina a gás com motores a pistão AGBa1000, com potência de 1 MW. A base de conhecimento incluiu 44 documentos: 29 PDFs, 12 arquivos Word e 3 Excel. Metade dos documentos está em russo e metade em inglês, mas, pelo volume do índice, 94% dos fragmentos são em inglês: os manuais principais são escritos pelos fabricantes dos componentes. No total, resultaram 27.007 fragmentos de busca.
O que se sabe sobre Três erros que o percentual não mostra?
161 suportes. Na base havia uma carta técnica do fabricante do gerador com uma tabela: para 800–1120 kW, gás e modo COP, são necessários 2 suportes. O assistente primeiro respondeu que não havia dados. Em outra execução, o parser do escaneamento fundiu colunas vizinhas: a faixa de potência virou 16.000–16.100 kW, e o número de suportes, 161. O LLM não alucinou aqui; ele recontou fielmente o que o índice lhe forneceu. O erro nasceu na etapa de parsing. Dois documentos sem ligação.
Quando os documentos se contradizem?
Uma descoberta à parte: os documentos oficiais se contradizem. No passaporte da usina, a potência em regime contínuo é de 1150 kW; no documento do fabricante do motor, 1280 kW. O manual prescreve trocar as velas a cada 1500 horas de operação, e a instrução de serviço do motor, a cada 5000. Não se pode escolher o arquivo mais recente, pegar o valor mais frequente nem calcular a média. A única opção sensata é mostrar o conflito indicando seções e páginas e pedir a confirmação de um engenheiro.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.