Google DeepMind financia pesquisa sobre os riscos da interação entre milhões de agentes de IA

A Google DeepMind financia uma nova pesquisa sobre os riscos que surgem quando milhões de agentes de IA diferentes interagem entre si na internet. A informação é do MIT Technology Review, que cita Rohin Shah, chefe da área de segurança e alinhamento de inteligência artificial geral (AGI safety and alignment research) na empresa. Segundo ele, a chegada em massa ao mercado de agentes capazes de executar tarefas sem controle humano constante e de receber instruções de outros agentes cria uma classe de riscos radicalmente nova, que o setor ainda estudou pouco.

Quem está por trás da pesquisa

A Google DeepMind é a divisão de pesquisa do Google, responsável tanto pelo desenvolvimento dos modelos de ponta da linha Gemini quanto por pesquisas fundamentais em segurança de IA. Rohin Shah supervisiona justamente a área que trata do comportamento previsível e controlável de sistemas que se aproximam do nível de inteligência artificial geral. Sua equipe tradicionalmente olha não para um modelo isolado, mas para os efeitos sistêmicos: o que acontece quando muitos programas de IA independentes agem ao mesmo tempo em um ambiente digital compartilhado.

Principais fatos sobre a iniciativa:

• Responsável pela pesquisa: Google DeepMind, divisão de IA do Google
• Líder da área: Rohin Shah, chefe de AGI safety and alignment research
• Objeto de estudo: riscos da interação on-line entre milhões de agentes autônomos diferentes
• Principal ameaça: agentes que agem sem supervisão humana e obedecem a instruções de outros agentes
• Fonte: MIT Technology Review

Onde está o perigo da chegada em massa dos agentes

Hoje, a maior parte das discussões sobre segurança de IA se concentra no comportamento de um único modelo: quão obediente, honesto e previsível ele é em uma conversa com o usuário. Mas a economia de agentes, que as grandes empresas constroem ativamente ao longo de todo o ano de 2026, pressupõe outro cenário: milhares e milhões de programas autônomos reservando passagens, negociando, operando em bolsas ou moderando conteúdo ao mesmo tempo, entrando em contato uns com os outros sem participação direta de pessoas. Nesse ambiente, os mecanismos clássicos de proteção, pensados para a dupla "pessoa–modelo", perdem o sentido: um agente pode receber uma instrução maliciosa não de seu operador, mas de outro agente que se disfarça de participante legítimo do processo.

Isso gera riscos de natureza radicalmente nova: falhas em cascata, em que o erro de um agente se espalha como avalanche para os sistemas conectados; conluio entre agentes que atuam no interesse de partes diferentes, às vezes conflitantes; e prompt injections disfarçadas de tráfego de rede comum entre programas, e não de mensagem de uma pessoa. Preocupações semelhantes já foram levantadas antes em relação aos sistemas automatizados de negociação, em que o comportamento coordenado, ou simplesmente sincronizado, de vários algoritmos independentes já causou oscilações bruscas e de difícil explicação nos mercados. Agentes de IA que atuam na escala de toda a internet podem, em tese, reproduzir o mesmo efeito em muito mais áreas, do comércio eletrônico aos serviços de atendimento ao cliente, onde hoje, cada vez mais, tanto do lado da empresa quanto do usuário quem trabalha é um programa autônomo, e não uma pessoa.

Segundo a descrição do MIT Technology Review, são exatamente esses cenários que estão no foco do trabalho financiado pela DeepMind.

O que isso muda para os desenvolvedores de sistemas de agentes

Para as empresas que já constroem produtos com agentes autônomos, de bots financeiros a assistentes corporativos, o sinal vindo de um dos líderes do setor significa que a segurança de sistemas multiagente deixa o plano teórico e entra na pauta prática do desenvolvimento. Se a DeepMind considera necessário destinar recursos ao estudo dos riscos da interação entre agentes, e não apenas ao alinhamento de modelos individuais, isso indica, de forma indireta, onde os grandes players e os reguladores esperam a próxima onda de incidentes.

A conclusão prática para os engenheiros é incluir proteção contra entradas não confiáveis não só na fronteira "usuário–agente", mas também na fronteira "agente–agente": verificar a origem das instruções, limitar os poderes dos agentes quando interagem entre si e registrar em log as comunicações entre agentes com o mesmo cuidado dos logs de conversas com usuários. A discussão sobre padrões de identificação de agentes, protocolos de troca segura de dados entre agentes e mecanismos de rastreamento de responsabilidade vai aos poucos se tornando parte de uma pauta mais ampla do setor. E a pesquisa da DeepMind, ao que tudo indica, pretende preencher ao menos parte dessa lacuna antes que os ecossistemas de agentes escalem para milhões de participantes atuando ao mesmo tempo.