Habr AI→ original

Alucinaciones según GOST: por qué no se puede confiar en ChatGPT para construcción

Imagina construir una casa basándote en consejos de la persona más erudita del mundo, que, sin embargo, sufre de amnesia leve y es propensa a fantasías. Esta…

Procesado por IA desde Habr AI; editado por Hamidun News
Alucinaciones según GOST: por qué no se puede confiar en ChatGPT para construcción
Fuente: Habr AI. Collage: Hamidun News.
◐ Escuchar artículo

Imagina construir una casa basándote en consejos de la persona más erudita del mundo, que, sin embargo, sufre de amnesia leve y es propensa a fantasías. Esta es exactamente la situación en la que se encontró Alexei Krivonosov, propietario de una empresa de construcción, cuando decidió delegar el trabajo rutinario a ChatGPT. Al principio, todo iba perfectamente. La red neuronal escribía entusiastamente guiones para el canal de YouTube de la empresa, compilaba planes de contenido y pulía informes técnicos. Esta es una trampa clásica: cuando la IA destaca en tareas creativas, crea la ilusión de que es igualmente buena en ciencias exactas. Pero el diablo, como siempre, se escondía en las normas y reglamentos de construcción.

El problema surgió cuando se confió a ChatGPT documentación regulatoria — SNiPs y GOSTs. Para quienes no están familiarizados con la construcción: no son solo libros aburridos, sino regulaciones estrictas donde cada número se paga con la seguridad de alguien. La red neuronal comenzó a comportarse como un estudiante negligente durante un examen: cuando no sabía la respuesta exacta, la inventaba. Y lo hacía con tanta confianza que el engaño no fue notado inmediatamente. El algoritmo generó puntos regulatorios inexistentes y produjo números que nunca existieron en documentos oficiales. En una industria donde un error en el cálculo de carga de viga puede llevar a la catástrofe, tal "creatividad" es inadmisible.

¿Por qué sucede esto? ChatGPT es un modelo de lenguaje entrenado para predecir la siguiente palabra, no para verificar hechos en una base de datos. Opera en probabilidades, no en verdad. Cuando le pides que encuentre un punto específico en un GOST, no "va a la biblioteca", sino que construye una respuesta que suena lo más plausible posible. Esta es la traición de las alucinaciones: parecen verdad. Para el marketing, no es crítico, pero para la ingeniería, es una sentencia. Alexei comprendió que usar un LLM "desnudo" en trabajo profesional es como jugar a la ruleta rusa con un revólver cargado.

En lugar de desilusionarse con la tecnología, el equipo de Alexei tomó el camino de crear una herramienta especializada. Durante seis meses, desarrollaron "Digital Standard". La diferencia fundamental entre esta solución y un chatbot ordinario es el uso de la tecnología RAG (Retrieval-Augmented Generation). El concepto es simple: las redes neurales no tienen permiso para "recordar" información de su memoria. En su lugar, el sistema se ve obligado a buscar respuestas en una base de datos vectorizada estrictamente limitada de estándares de construcción reales. Si la información no está en la base de datos, el sistema lo dice en lugar de entregarse a fantasías. Esto transforma la IA de un narrador en un bibliotecario de alta velocidad.

El caso de Krivonosov destaca un cambio tectónico importante en la industria. La era de la fascinación por modelos universales está pasando. El negocio está comenzando a entender que las tareas reales requieren soluciones verticales. Simplemente "conectar una API de OpenAI" no es suficiente. Necesitas procesar datos manualmente, limpiarlos de basura y configurar filtros de salida estrictos. Solo entonces una red neuronal se transforma de un juguete en una herramienta de trabajo. Hoy vemos tales sistemas apareciendo en derecho, medicina y ahora en construcción. Esta es una etapa natural en la maduración de la tecnología.

¿Qué significa esto para el mercado? Primero, la demanda de "ingenieros de prompt" está cayendo, cediendo paso a la demanda de arquitectos de datos capaces de conectar LLMs con conocimiento corporativo. Segundo, la confianza en modelos abiertos en industrias críticas solo disminuirá. Estamos entrando en una era de "IA de confianza", donde la precisión se valora más que la elocuencia. La experiencia de Alexei muestra: para que la IA sea útil, primero debe ser privada del derecho a la creatividad donde reinan los números y las leyes.

Punto clave: Las redes neurales generales como ChatGPT han alcanzado un techo en tareas profesionales. El futuro pertenece a los sistemas RAG y bases de conocimiento altamente especializadas. ¿Estás listo para confiar el cálculo de la cimentación de tu casa a un algoritmo que no puede distinguir verdad de probabilidad?

ZK
Hamidun News
Noticias de AI sin ruido. Selección editorial diaria de más de 400 fuentes. Producto de Zhemal Khamidun, Head of AI en Alpina Digital.

¿Quieres dejar de leer sobre IA y empezar a usarla?

AI News es un feed curado de noticias de IA. Hamidun Academy te enseña a usar la IA en tu trabajo.

¿Qué te parece?
Cargando comentarios…