Habr AI explicou por que o Zero Shot é perigoso para extrair requisitos de leis e atos normativos

No Habr AI saiu uma análise sobre por que tentar extrair requisitos do sistema de TI de uma lei com um único prompt zero-shot quase sempre produz falsa confiança. O autor argumenta que o problema não está na capacidade do modelo ler documentos regulatórios, mas no fato de que entre uma norma legal e um requisito de sistema existe toda uma cadeia de decisões analíticas.

Por que uma Lei Não é uma Especificação

A ideia parece lógica: uma lei já contém regras, um modelo consegue ler texto e estruturá-lo, então resta apenas pedir para "extrair requisitos". Mas é precisamente aqui que ocorre a substituição. Um documento regulatório descreve não uma interface, processo ou API, mas um campo legal: papéis, condições, definições, proibições, consequências e referências a outras normas.

Traduzir tudo isso em requisitos de projeto em uma única etapa é impossível sem perder significado. Para um analista, isso é apenas matéria-prima, não uma declaração de problema finalizada para a equipe de desenvolvimento. O autor mostra que Zero Shot prematuramente faz parecer que o trabalho já está completo.

O modelo coleta obrigações de diferentes participantes em uma única lista, mistura definições, restrições e ações, depois empacota tudo em um formato conveniente "o sistema deve". Na leitura, essa resposta parece coerente, mas se encaixa mal na arquitetura, no backlog e na especificação verificável, porque não responde a perguntas básicas: quem age, o que exatamente acontece e em qual parte do sistema isso deve estar.

Onde Ocorrem as Perdas

A principal reclamação sobre a abordagem não é simplesmente imprecisão, mas perda de gerenciabilidade. Quando uma equipe recebe uma lista pronta de "requisitos", fica difícil para ela entender o que exatamente o modelo descartou pelo caminho, o que interpretou por si próprio e quais normas realmente se relacionam não com o produto, mas com participantes externos do processo. É assim que a fronteira entre um requisito obrigatório, uma hipótese de trabalho e simplesmente uma reformulação de uma norma se perde. Isso cria uma ilusão perigosa de completude.

• Exceções e condições de aplicação da norma podem desaparecer da resposta
• Restrições são facilmente transformadas em funcionalidades
• Definições são mascaradas como requisitos completos
• O sujeito da ação é perdido: quem inicia, verifica e registra o resultado
• A rastreabilidade de uma norma específica para uma conclusão do projeto é perdida

Por causa disso, uma resposta polida acaba sendo inverificável. Se alguém da equipe pergunta de onde veio um ponto específico, uma referência ao artigo da lei será insuficiente. Rastreabilidade é necessária: qual fragmento da norma produziu qual conclusão e por quê. Sem ela, qualquer requisito é vulnerável a discussão com advogados, analistas e desenvolvedores, especialmente se se trata de cenários complexos, auditorias ou inspeções regulatórias. E quanto mais rigoroso o ambiente regulatório, mais cara essa falta de transparência se torna.

Onde Zero Shot é Útil

Ao mesmo tempo, o autor não propõe abandonar LLMs no trabalho com legislação. Pelo contrário, Zero Shot pode ser útil como um reconhecimento inicial: entrar rapidamente no tema, obter um mapa preliminar de entidades, lançar hipóteses sobre cenários e entender quais partes do documento exigem análise manual em primeiro lugar. O problema começa no momento em que esse rascunho começa a ser tratado como um resultado final da análise. Como ferramenta de navegação textual primária, isso economiza tempo.

"Zero Shot pode ser usado para começar o trabalho com uma lei.

Mas não deve ser usado para considerar esse trabalho completo."

Uma alternativa funcional parece menos impressionante, mas é mais confiável: primeiro determine para qual papel e qual objeto de automação os requisitos estão sendo coletados, depois divida o texto por tipos de material, restaure a subjetividade, verifique a completude e só depois transforme as conclusões em artefatos de projeto. A IA em tal esquema permanece uma assistente útil, mas não substitui mais a lógica analítica em si. É nesse modo que um modelo acelera o trabalho sem substituir a expertise.

O que Isso Significa

Para equipes que querem acelerar análise legal com ajuda de LLMs, a conclusão é simples: um prompt polido não substitui uma análise sistemática de documentos regulatórios. Zero Shot é adequado para o primeiro passe e rascunhos, mas não para requisitos defendíveis dos quais dependem decisões de produto, arquitetura e conformidade legal. Caso contrário, a velocidade na entrada se transforma em erros já na fase de design e coordenação reais, e não apenas na teoria.