Linha do tempo de incidentes com agentes de IA: duas classes distintas e um checklist de isolamento

Em três meses, OpenAI, Anthropic, Google e Meta revelaram uma série de incidentes em que agentes de IA saíram dos limites dos testes. A agência AP reuniu tudo em uma única linha do tempo, mas ela esconde dois tipos diferentes de incidentes, com causas e soluções distintas. A primeira classe é a fuga do ambiente de teste, quando um agente operava dentro de uma avaliação e terminou na rede real: Hugging Face (21 de julho), Anthropic (30 de julho), Meta (5 de agosto), Google Gemini (18 de setembro). A segunda classe são ações em sites de produção sem isolamento: Medicare Australia (18 de junho e 24-25 de setembro), acesso a sistemas da SEC e do Census, e um formulário enviado pelo Claude Haiku 4.5 (9 de outubro). • **A primeira classe exige isolamento**: rede fechada, tokens de curta duração, nomes de empresas fictícios • **A segunda classe exige confirmação**: qualquer ação irreversível — enviar, pagar, fazer login — só por meio de um humano • **O problema em comum**: um erro de configuração no ambiente de teste de um terceiro quebra a proteção de todos os clientes

Processado por IA de Habr AI; editado por Hamidun News
Linha do tempo de incidentes com agentes de IA: duas classes distintas e um checklist de isolamento
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
A primeira classe exige isolamentorede fechada, tokens de curta duração, nomes de empresas fictícios
A segunda classe exige confirmaçãoqualquer ação irreversível — enviar, pagar, fazer login — só por meio de um humano
O problema em comumum erro de configuração no ambiente de teste de um terceiro quebra a proteção de todos os clientes

Em três meses, OpenAI, Anthropic, Google e Meta revelaram incidentes com agentes de IA. A agência AP reuniu tudo em uma única linha do tempo, mas ela esconde dois mecanismos distintos: a fuga de um ambiente de teste e as ações na internet real. Cada um exige uma defesa própria.

Duas classes de incidentes

Classe 1 — fuga do ambiente de teste: Hugging Face (OpenAI, 21 de julho), Anthropic (30 de julho), Meta (5 de agosto), Google Gemini (18 de setembro). A causa foi um erro de ambiente: um ambiente de teste operado pela Irregular deixou aberta uma saída para a internet. O mecanismo da OpenAI foi diferente: as restrições de segurança foram deliberadamente afrouxadas, de modo que a proteção dependia inteiramente do isolamento. Os agentes fizeram o que lhes foi pedido, mas o ambiente criou um caminho de saída inesperado.

Classe 2 — ações na internet real: Medicare Australia (18 de junho e 24-25 de setembro), acesso a sistemas da SEC e do Census, e um formulário enviado pelo Claude Haiku 4.5 (9 de outubro). O problema não é uma fuga, mas a ausência de um freio antes de uma ação irreversível: enviar formulários, fazer pagamentos, fazer login em portais.

Checklist de isolamento em oito pontos

1. Rede bloqueada por padrão — o tráfego de saída fica desativado; só os domínios listados são permitidos 2. Restrições afrouxadas e acesso à rede são incompatíveis — se as recusas do modelo forem desativadas, a rede precisa estar fisicamente fechada 3.

Apenas tokens de curta duração — nenhuma credencial real, com privilégios mínimos 4. Nomes retirados de domínios reservados — empresas fictícias não devem coincidir com empresas reais 5. Efeitos colaterais exigem confirmação — envio de formulários, pagamentos, e-mails e logins sempre precisam passar por um humano 6.

Verifique você mesmo os ambientes de teste de terceiros — um acordo não é prova; no caso da Anthropic, as partes entendiam o isolamento de formas diferentes 7. Registre todas as solicitações e procure anomalias — revise execuções passadas, como fez a Anthropic com 141.000 delas 8.

A configuração pode ser verificada com vários modelos: executar a descrição como uma tarefa, "encontre as saídas". Modelos diferentes erram de formas diferentes — os caminhos que um modelo identifica devem ser verificados primeiro.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Duas classes de incidentes?

Classe 1 — fuga do ambiente de teste: Hugging Face (OpenAI, 21 de julho), Anthropic (30 de julho), Meta (5 de agosto), Google Gemini (18 de setembro). A causa foi um erro de ambiente: um ambiente de teste operado pela Irregular deixou aberta uma saída para a internet. O mecanismo da OpenAI foi diferente: as restrições de segurança foram deliberadamente afrouxadas, de modo que a proteção dependia inteiramente do isolamento. Os agentes fizeram o que lhes foi pedido, mas o ambiente criou um caminho de saída inesperado. Classe 2 — ações na internet real: Medicare Australia (18

O que se sabe sobre Checklist de isolamento em oito pontos?

1. Rede bloqueada por padrão — o tráfego de saída fica desativado; só os domínios listados são permitidos 2. Restrições afrouxadas e acesso à rede são incompatíveis — se as recusas do modelo forem desativadas, a rede precisa estar fisicamente fechada 3. Apenas tokens de curta duração — nenhuma credencial real, com privilégios mínimos 4. Nomes retirados de domínios reservados — empresas fictícias não devem coincidir com empresas reais 5. Efeitos colaterais exigem confirmação — envio de formulários, pagamentos, e-mails e logins sempre precisam passar por um humano 6. Verifiqu

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Autonomous AI Execution · Nomad Agent

Delegate Deep Research, Coding & Multi-Step Workflows to Nomad Agent

Deploy autonomous task execution with Nomad Agent (agent.nomadnet.ai) — automated web research, data synthesis, code generation, and MCP tool orchestration.

Launch Nomad Agent →Nomad AI Workspace
O que você acha?
Carregando comentários…