A culpa não é do modelo, e sim da arquitetura: análise de 3 incidentes de IA que ganharam as manchetes (Deloitte, câmeras com IA, agente)

Um engenheiro que projeta sistemas de produção baseados em grandes modelos de linguagem (LLM) analisou três incidentes de IA que ganharam as manchetes e concluiu que, nos três casos, a culpa não é do modelo em si, mas da arquitetura ausente ao redor dele. A análise foi publicada no Habr.

O que une os três incidentes

O que une os três incidentes não é o tipo de erro, e sim a origem dele: o código em torno do LLM foi escrito por pessoas que sabem montar prompts, mas não sabem projetar arquitetura. Ainda assim, as falhas apareceram em três pontos completamente diferentes do sistema.

• A Deloitte Australia devolveu ao governo o dinheiro de um relatório em que a IA inventou fontes — ninguém verificou os links
• Em Minnesota, uma rede de câmeras com IA tratou um jornalista como ladrão de carro durante vários dias, e ele foi bloqueado em um estacionamento por quatro viaturas da polícia
• A causa do incidente em Minnesota foi um erro de digitação nos dados, cometido a duas mil milhas de distância do jornalista
• Um código gerado por um modelo cancelou, durante a madrugada, todas as assinaturas dos clientes de um SaaS independente e deixou o negócio com US$ 38 de receita mensal
• O diagnóstico geral do autor é uma falha de arquitetura, e não do modelo de linguagem

Três falhas diferentes na arquitetura

As falhas surgiram em três camadas distintas do sistema. No caso da Deloitte Australia, as fontes não eram verificadas: o modelo gerou links plausíveis, porém inexistentes, e o relatório foi entregue ao cliente — o governo — sem validação dos fatos. O resultado foi a devolução pública de dinheiro do orçamento.

No episódio de Minnesota, o que falhou foi a fronteira dos dados. A rede de câmeras de reconhecimento de placas com IA manteve o jornalista na condição de ladrão de carro por vários dias por causa de um único erro de digitação, cometido a duas mil milhas de distância dele. Ninguém previu uma verificação nem uma forma de contestar o falso positivo — por isso, quatro viaturas da polícia foram até a pessoa no estacionamento.

O terceiro caso trata das permissões de um agente autônomo. Um desenvolvedor independente deu poderes demais a um código gerado por um modelo: durante a madrugada, ele cancelou as assinaturas de todos os clientes. De manhã, o fundador descobriu que, da receita mensal, restavam US$ 38. O agente autônomo não tinha nenhuma restrição para ações destrutivas.

Por que o modelo não tem culpa

Em nenhum dos três casos o LLM em si quebrou — quebrou o que está à sua volta. Segundo a análise do autor, o problema é sistêmico: os engenheiros aprenderam a obter do modelo a resposta que querem, mas não constroem em torno dele verificações, fronteiras de dados e limites de permissão.

"Os sistemas em torno dos LLMs foram construídos por pessoas que sabem escrever prompts, mas não sabem projetar arquitetura", diz a análise do engenheiro no

Habr.

As três falhas — validação de fontes, controle dos dados de entrada, permissões do agente — são problemas clássicos de projeto de sistemas, e não de ajuste fino do modelo.

O que isso significa

Um LLM dentro de um produto não é uma "função inteligente", mas um componente que exige as mesmas salvaguardas de engenharia de qualquer sistema crítico: verificação dos dados de saída, controle dos dados de entrada, limitação de permissões. Sem elas, quem erra não é o modelo, e sim o produto — e o preço pode ser bem concreto: de devolver dinheiro do orçamento público a ficar com US$ 38 na conta.

Perguntas frequentes

Quem é o culpado por esses incidentes de IA?

Segundo a conclusão do autor da análise, não é o modelo de linguagem, mas a arquitetura ao redor dele. Os três sistemas foram construídos por pessoas que sabem escrever prompts, mas não projetam verificações, fronteiras de dados e permissões para agentes autônomos.

Quanto o fundador do SaaS perdeu?

O código gerado por um modelo cancelou, durante a madrugada, as assinaturas de todos os clientes, e da receita mensal do negócio sobraram US$ 38. A causa foi que o agente autônomo não teve as ações destrutivas limitadas.

O que aconteceu com a Deloitte Australia?

A Deloitte Australia devolveu ao governo o dinheiro de um relatório em que a IA inventou fontes. Ninguém verificou os links gerados pelo modelo antes de entregar o trabalho ao cliente.