RAG sobre especificaciones de fábrica: 84 % de precisión, pero 161 soportes en lugar de dos
El equipo de PSM cargó en un sistema RAG 44 documentos sobre la central eléctrica de gas con motores de pistón AGBa1000 y la evaluó con 188 preguntas: la precisión subió del 77,7 % al 84 %. Pero el promedio oculta lo principal. El parser fusionó las columnas de una tabla escaneada y, en lugar de dos soportes del generador, el asistente vio 161. El modelo cometió otro error al confundir un depósito de combustible inexistente con uno real.
Procesado por IA desde Habr AI; editado por Hamidun News
Una historia típica de RAG corporativo: la demo impresiona, diez respuestas excelentes seguidas, y parece que ya se puede lanzar. El equipo de PSM, que desarrolla un asistente para ingenieros que trabajan con documentación de equipos energéticos, decidió no fiarse de la impresión y contar los errores. Resultó que «encontró el documento correcto» y «respondió correctamente» son cosas completamente distintas.
Qué se probó y cómo
Para el piloto se tomó la central de gas con motores de pistón AGBa1000, de 1 MW de potencia. La base de conocimiento incluyó 44 documentos: 29 PDF, 12 Word y 3 Excel. La mitad de los documentos está en ruso y la otra mitad en inglés, pero por volumen del índice el 94 % de los fragmentos está en inglés: los manuales principales los escriben los fabricantes de los componentes. En total resultaron 27 007 fragmentos de búsqueda.
El conjunto de control constaba de 188 preguntas con respuestas de referencia: parámetros del equipo, modos de operación, configuración y reglamentos de mantenimiento. La verificación fue automática: comparación de cifras con la referencia y evaluación del sentido por un modelo independiente. Es una prueba de convergencia, no una aceptación por expertos, y el equipo lo dice abiertamente.
Dos cambios elevaron la precisión del 77,7 % al 84 %. Las filas de las tablas empezaron a indexarse como hechos independientes, y los modelos pasaron a recibir 10 fragmentos de contexto en lugar de 5. El documento correcto aparece ahora entre los diez primeros resultados en el 96,3 % de los casos (antes 94,1 %), y en primer lugar en el 71,3 % (antes 62,8 %). Los falsos rechazos del tipo «no hay datos» bajaron del 11,7 % al 6,9 %.
Pero dentro del promedio hay un matiz: en 26 preguntas el sistema empezó a responder correctamente, y en 14, peor. Además, cuando los especialistas de la planta contrastaron parte de las referencias con las fuentes originales, en 19 casos la propia referencia era errónea. Antes de exigirle al modelo, revise los datos de prueba.
Tres errores que el porcentaje no muestra
161 soportes. En la base había una carta técnica del fabricante del generador con una tabla: para 800–1120 kW, gas y modo COP se necesitan 2 soportes. El asistente respondió primero que no había datos. En otra ejecución, el parser del escaneo fusionó columnas contiguas: el rango de potencia se convirtió en 16 000–16 100 kW, y el número de soportes en 161. El LLM no alucinó aquí; relató con diligencia lo que le entregó el índice. El error nació en la etapa de parsing.
Dos documentos sin conexión. Ante la pregunta sobre los escalones de carga, el manual de operación dice solo «escalonadamente». Las cifras concretas (no más del 10 % hasta la mitad de la potencia y no más del 5 % por encima) estaban en la carta del fabricante del motor, donde no se mencionaba la central AGBa1000.
El asistente no estableció la relación. Además, el equipo debatió si es posible trasladar los parámetros de un motor «desnudo» a un grupo completo: en la práctica, la velocidad de toma de carga depende de la calidad del gas, la temperatura y el modo de operación. La respuesta correcta debe citar las recomendaciones del fabricante del motor con referencia y señalar explícitamente el límite de aplicabilidad.
El depósito inexistente. Se pidió al asistente calcular la autonomía de la central con el depósito de combustible lleno. El asistente encontró el consumo de gas (161, 229 y 294 m³/h), escribió la fórmula y pidió el volumen del depósito. Pero la central se alimenta de una red de gas y no tiene depósito. El sistema aceptó una premisa falsa y se puso a calcular. Para un asistente que usarán gerentes y especialistas de servicio, es un defecto grave.
Cuando los documentos se contradicen
Un hallazgo aparte: los documentos oficiales se contradicen entre sí. En el pasaporte de la central, la potencia en régimen continuo es de 1150 kW; en el documento del fabricante del motor, 1280 kW. El manual prescribe cambiar las bujías cada 1500 horas de funcionamiento, y la instrucción de servicio del motor, cada 5000.
No se puede elegir el archivo más reciente, tomar el valor más frecuente ni promediar. La única opción razonable es mostrar el conflicto indicando secciones y páginas y pedir confirmación a un ingeniero. Así el RAG se convierte en una herramienta de auditoría primaria de la documentación, aunque resolver las discrepancias sigue correspondiendo a las personas.
Qué llevarse de esto
Primero: las tablas escaneadas no deben entregarse a un parser de texto genérico. Indexelas fila por fila conservando los encabezados de columnas, o valídelas con modelos especializados. La indexación por filas elevó la proporción de respuestas con cifras correctas del 70,8 % al 78,3 %, pero los escaneos complejos con planos y anotaciones manuscritas siguen fallando.
Segundo: una carpeta de archivos no es una base de conocimiento. Hacen falta vínculos explícitos entre el producto, los componentes, las versiones de configuración y las versiones de los documentos; de lo contrario, el dato encontrado seguirá siendo inútil.
Tercero: enseñe al asistente a detectar premisas erróneas y conflictos entre fuentes. A veces la mejor respuesta es explicar por qué no se puede calcular así.
Y la limitación principal: el 84 % se obtuvo con una verificación automática en una sola central, y parte de las referencias resultó incorrecta. Es una buena referencia de trabajo, pero no una prueba de preparación para producción. Para la documentación de ingeniería, mida no la precisión media sino los tipos de error: ellos muestran dónde está el problema, ya sea en el parsing, en los vínculos entre documentos o en la lógica de la respuesta.
- 10 oct 2026Standard Bots entrena robots industriales con demostraciones y correcciones desde las fábricas
- 9 oct 2026Yandex informa de fallos en Alisa tras los daños en dos centros de datos
- 19 jul 2026Las acciones de los operadores de call centers se desploman por el temor a la amenaza de la IA
- 12 nov 2026Kuken Industries encuentra planos de repuestos en 4,5 minutos en lugar de una hora con la API de OpenAI
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se probó y cómo?
Para el piloto se tomó la central de gas con motores de pistón AGBa1000, de 1 MW de potencia. La base de conocimiento incluyó 44 documentos: 29 PDF, 12 Word y 3 Excel. La mitad de los documentos está en ruso y la otra mitad en inglés, pero por volumen del índice el 94 % de los fragmentos está en inglés: los manuales principales los escriben los fabricantes de los componentes. En total resultaron 27 007 fragmentos de búsqueda.
¿Qué se sabe sobre Tres errores que el porcentaje no muestra?
161 soportes. En la base había una carta técnica del fabricante del generador con una tabla: para 800–1120 kW, gas y modo COP se necesitan 2 soportes. El asistente respondió primero que no había datos. En otra ejecución, el parser del escaneo fusionó columnas contiguas: el rango de potencia se convirtió en 16 000–16 100 kW, y el número de soportes en 161. El LLM no alucinó aquí; relató con diligencia lo que le entregó el índice. El error nació en la etapa de parsing. Dos documentos sin conexión.
¿Qué se sabe sobre Cuando los documentos se contradicen?
Un hallazgo aparte: los documentos oficiales se contradicen entre sí. En el pasaporte de la central, la potencia en régimen continuo es de 1150 kW; en el documento del fabricante del motor, 1280 kW. El manual prescribe cambiar las bujías cada 1500 horas de funcionamiento, y la instrucción de servicio del motor, cada 5000. No se puede elegir el archivo más reciente, tomar el valor más frecuente ni promediar.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.