Habr AI explicó por qué Zero Shot es peligroso para extraer requisitos de leyes y actos normativos

En Habr AI salió un análisis sobre por qué intentar extraer requisitos del sistema de TI de una ley con un único prompt zero-shot casi siempre produce falsa confianza. El autor sostiene que el problema no está en la capacidad del modelo para leer documentos normativos, sino en que entre una norma legal y un requisito de sistema hay toda una cadena de decisiones analíticas.

Por Qué una Ley No es una Especificación

La idea parece lógica: una ley ya contiene reglas, un modelo puede leer texto y estructurarlo, así que solo queda pedir "extraer requisitos". Pero es precisamente aquí donde ocurre la sustitución. Un acto normativo no describe una interfaz, proceso o API, sino un campo legal: roles, condiciones, definiciones, prohibiciones, consecuencias y referencias a otras normas.

Traducir todo esto a requisitos de proyecto en un paso es imposible sin perder significado. Para un analista, esto es solo materia prima, no una declaración de problema final para el equipo de desarrollo. El autor muestra que Zero Shot prematuro hace parecer que el trabajo ya está completo.

El modelo recopila obligaciones de diferentes participantes en una única lista, mezcla definiciones, restricciones y acciones, luego empaqueta todo en un formato conveniente "el sistema debe". Al leer, esa respuesta parece coherente, pero encaja mal en la arquitectura, el backlog y la especificación verificable, porque no responde preguntas básicas: quién actúa, qué ocurre exactamente y en qué parte del sistema debe estar.

Dónde Ocurren las Pérdidas

La principal queja sobre el enfoque no es simplemente inexactitud, sino pérdida de manejabilidad. Cuando un equipo recibe una lista lista de "requisitos", le resulta difícil entender exactamente qué desechó el modelo por el camino, qué interpretó por sí mismo y cuáles normas realmente se relacionan no con el producto, sino con participantes externos del proceso. Así es como se pierde el límite entre un requisito obligatorio, una hipótesis de trabajo y simplemente una reformulación de una norma. Esto crea una ilusión peligrosa de completitud.

• Las excepciones y condiciones de aplicación de la norma pueden desaparecer de la respuesta
• Las restricciones se transforman fácilmente en funcionalidades
• Las definiciones se enmascaran como requisitos plenos
• Se pierde el sujeto de la acción: quién inicia, verifica y registra el resultado
• Se pierde la trazabilidad de una norma específica a una conclusión del proyecto

Por ello, una respuesta pulida resulta inverificable. Si alguien del equipo pregunta de dónde vino un punto específico, una referencia al artículo de la ley será insuficiente. Se necesita trazabilidad: qué fragmento de la norma produjo qué conclusión y por qué. Sin ella, cualquier requisito es vulnerable a la discusión con abogados, analistas y desarrolladores, especialmente si se trata de escenarios complejos, auditorías o inspecciones regulatorias. Y cuanto más estricto sea el entorno regulatorio, más costosa se vuelve esa falta de transparencia.

Dónde Zero Shot es Útil

Al mismo tiempo, el autor no propone abandonar LLMs en el trabajo con la legislación. Al contrario, Zero Shot puede ser útil como reconocimiento inicial: entrar rápidamente en el tema, obtener un mapa preliminar de entidades, plantear hipótesis sobre escenarios y entender qué partes del documento requieren análisis manual primero. El problema comienza cuando este borrador comienza a tratarse como resultado final del análisis. Como herramienta de navegación textual primaria, esto ahorra tiempo.

"Zero Shot se puede usar para comenzar el trabajo con una ley.

Pero no debe usarse para considerar ese trabajo completo."

Una alternativa funcional parece menos llamativa, pero es más confiable: primero determine para qué rol y qué objeto de automatización se recopilan los requisitos, luego desglose el texto por tipos de material, restaure la subjetividad, verifique la completitud y solo después transforme las conclusiones en artefactos de proyecto. La IA en tal esquema sigue siendo una asistente útil, pero ya no sustituye la lógica analítica en sí. Es en tal modo que un modelo acelera el trabajo sin sustituir la experiencia.

Qué Significa Esto

Para equipos que quieren acelerar el análisis legal con ayuda de LLMs, la conclusión es simple: un prompt pulido no sustituye un análisis sistemático de documentos normativos. Zero Shot es adecuado para el primer paso y borradores, pero no para requisitos defendibles de los que dependen decisiones de producto, arquitectura y cumplimiento legal. De lo contrario, la velocidad en la entrada se convierte en errores ya en la fase de diseño y coordinación reales, y no solo en teoría.