Alucinaciones por norma GOST: por qué no se debe confiar una obra a ChatGPT

Imagine que construye una casa siguiendo los consejos de la persona más leída del mundo, que sin embargo sufre una forma leve de amnesia y tiende a fantasear. En esa situación se encontró Aleksei Krivonosov, dueño de una empresa constructora, al decidir delegar en ChatGPT las tareas rutinarias. Al principio todo fue perfecto. El modelo escribía con soltura guiones para el canal de YouTube de la empresa, elaboraba planes de contenido y pulía informes técnicos. Es una trampa clásica: cuando la IA sobresale en tareas creativas, surge la ilusión de que es igual de buena en las ciencias exactas. Pero el diablo, como siempre, estaba en las normas y reglamentos de construcción.

El problema salió a la luz cuando se le encargó a ChatGPT trabajar con documentación normativa: los SP y las normas GOST. Para quien esté lejos de la construcción: no son libros aburridos, sino un reglamento rígido donde cada cifra se paga con la seguridad de alguien. El modelo empezó a comportarse como un estudiante negligente en un examen: si no sabía la respuesta exacta, la inventaba. Y lo hacía con tanta seguridad que el engaño tardó en detectarse. El algoritmo generaba apartados inexistentes de las normas y daba cifras que nunca habían figurado en los documentos oficiales. En un sector donde un error al calcular la carga de una viga puede acabar en catástrofe, esa "creatividad" es inadmisible.

¿Por qué ocurre? ChatGPT es un modelo de lenguaje entrenado para predecir la siguiente palabra, no para contrastar hechos con una base de datos. Trabaja con probabilidades, no con la verdad. Cuando se le pide encontrar un apartado concreto de una norma GOST, no "va a la biblioteca": construye una respuesta que suene lo más verosímil posible. Ahí está la traición de las alucinaciones: parecen verdad. En marketing no es grave, pero en ingeniería es una sentencia. Aleksei entendió que usar un LLM "desnudo" en el trabajo profesional equivale a jugar a la ruleta con un revólver cargado.

En lugar de decepcionarse con la tecnología, el equipo de Aleksei optó por crear una herramienta especializada. En medio año desarrollaron "Digital Standard" ("Estándar Digital"). La principal diferencia con un chatbot corriente es el uso de RAG (Retrieval-Augmented Generation). La idea es simple: no se permite al modelo "recordar" información de su memoria. En su lugar, se obliga al sistema a buscar la respuesta en una base de datos vectorizada y estrictamente acotada de normativas reales de construcción. Si la información no está en la base, el sistema lo dice en lugar de ponerse a fantasear. Así la IA pasa de cuentacuentos a bibliotecario de alta velocidad.

El caso de Krivonosov pone de relieve un importante cambio tectónico en el sector. La era del encantamiento con los modelos universales está pasando. Las empresas empiezan a entender que las tareas reales requieren soluciones verticales. No basta con "conectar la API de OpenAI". Hay que procesar los datos a mano, limpiarlos de basura y configurar filtros estrictos a la salida. Solo así una red neuronal pasa de juguete a herramienta de trabajo. Hoy vemos aparecer sistemas similares en el ámbito jurídico, la medicina y ahora la construcción. Es una etapa natural en la madurez de la tecnología.

¿Qué significa esto para el mercado? Primero, cae la demanda de "ingenieros de prompts" y la sustituye la de arquitectos de datos capaces de conectar los LLM con el conocimiento corporativo. Segundo, la confianza en los modelos abiertos en sectores críticos solo irá a menos. Entramos en la era de la "IA de confianza", donde la precisión se valora por encima de la elocuencia. La experiencia de Aleksei muestra que, para que la IA sea útil, primero hay que privarla del derecho a la creatividad allí donde mandan los números y las leyes.

Lo esencial: las redes neuronales generales como ChatGPT han tocado techo en las tareas profesionales. El futuro es de los sistemas RAG y las bases de conocimiento muy especializadas. ¿Está dispuesto a confiar el cálculo de los cimientos de su casa a un algoritmo que no sabe distinguir la verdad de la probabilidad?