Виновата не модель, а архитектура: разбор 3 громких ИИ-инцидентов (Deloitte, ИИ-камеры, агент)

Um engenheiro que projeta sistemas de produção sobre grandes modelos de linguagem (LLM) analisou três incidentes de IA muito comentados e chegou a uma conclusão: nos três casos, a culpa não é do próprio modelo, mas da arquitetura ausente ao redor dele. A análise foi publicada no Habr.

O que une os três incidentes

O que une os três incidentes não é o tipo de erro, mas a sua origem: o código ao redor do LLM foi escrito por pessoas que sabem elaborar prompts, mas não sabem projetar arquitetura. As falhas, porém, apareceram em três partes completamente diferentes do sistema.

• A Deloitte Australia devolveu dinheiro ao governo por um relatório em que a IA inventou fontes — ninguém verificou os links
• Em Minnesota, uma rede de câmeras com IA tratou um jornalista como ladrão de carros durante vários dias, e quatro viaturas de polícia o bloquearam em um estacionamento
• A causa do incidente em Minnesota foi um erro de digitação nos dados, cometido a duas mil milhas de distância do jornalista
• Um código gerado pelo modelo cancelou durante a noite todas as assinaturas dos clientes de um SaaS independente e deixou o negócio com $38 de receita mensal
• O diagnóstico geral do autor: uma falha de arquitetura, não do modelo de linguagem

Três falhas diferentes na arquitetura

As falhas surgiram em três níveis diferentes do sistema. Na Deloitte Australia, as fontes não eram verificadas: o modelo gerou links plausíveis, mas inexistentes, e o relatório foi enviado ao cliente — o governo — sem validação dos fatos. O resultado foi a devolução pública de dinheiro do orçamento.

No caso de Minnesota, falhou o limite dos dados. Uma rede de câmeras de IA para reconhecimento de placas manteve um jornalista com status de ladrão de carros por vários dias por causa de um único erro de digitação, inserido a duas mil milhas de distância dele. Ninguém havia incluído uma verificação nem uma forma de contestar um falso positivo — por isso quatro viaturas de polícia chegaram de uma vez ao homem no estacionamento.

O terceiro caso trata das permissões de um agente autônomo. Um desenvolvedor independente deu ao código gerado pelo modelo poderes demais: durante a noite, ele cancelou as assinaturas de todos os clientes. De manhã, o fundador descobriu que da receita mensal restavam apenas $38. O agente autônomo não recebeu limites para ações destrutivas.

Por que o modelo não tem culpa aqui

Em nenhum dos três casos o próprio LLM falhou — o que falhou foi o que o cerca. Segundo a análise do autor, o problema é sistêmico: os engenheiros aprenderam a obter do modelo a resposta necessária, mas não constroem ao redor dele verificações, limites de dados e restrições de permissões.

«Os sistemas ao redor do LLM foram construídos por pessoas que sabem escrever prompts, mas não sabem projetar arquitetura», afirma a análise do engenheiro no

Habr.

As três falhas — validação de fontes, controle dos dados de entrada, permissões do agente — são tarefas clássicas de projeto de engenharia, não de ajuste fino do modelo.

O que isso significa

Um LLM em um produto não é uma "função inteligente", mas um componente que precisa das mesmas salvaguardas de engenharia que qualquer sistema crítico: validação de saídas, controle de entradas, limitação de poderes. Sem elas, quem erra não é o modelo — é o produto, e o preço costuma ser bem concreto: da devolução de dinheiro do orçamento a $38 em uma conta.

Perguntas frequentes

Quem é o culpado por esses incidentes de IA?

Segundo a conclusão do autor da análise, não é o modelo de linguagem, mas a arquitetura ao redor dele. Os três sistemas foram construídos por pessoas que sabem escrever prompts, mas não projetam verificações, limites de dados e permissões para agentes autônomos.

Quanto o fundador do SaaS perdeu?

O código gerado pelo modelo cancelou durante a noite as assinaturas de todos os clientes, e da receita mensal do negócio restaram apenas $38. A causa foi que as ações destrutivas do agente autônomo não foram limitadas.

O que aconteceu com a Deloitte Australia?

A Deloitte Australia devolveu dinheiro ao governo por um relatório em que a IA inventou fontes. Ninguém verificou os links gerados pelo modelo antes da entrega do trabalho ao cliente.