Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarMicrosoft Research→ original

Pesquisadores da Microsoft implantam backdoor em agente de IA alterando menos de 10 neurônios

Você testa um agente de IA, dá a ele acesso ao terminal e ele trabalha normalmente até uma data determinada. Então, no meio de uma tarefa rotineira, executa código de terceiros. Pesquisadores da Microsoft descreveram o Lazarus: um backdoor implantado pela alteração de menos de dez neurônios que raramente são ativados, sem retreinar o modelo. Nos experimentos, as verificações habituais não detectavam a adulteração: o comportamento perigoso só era ativado quando uma condição oculta era atendida.

Processado por IA de Microsoft Research; editado por Hamidun News
Pesquisadores da Microsoft implantam backdoor em agente de IA alterando menos de 10 neurônios
Fonte: Microsoft Research. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMicrosoft Research ↗
Editor-chefe
Dado-chave #1A implantação exige acesso ao arquivo de pesos; uma mensagem não basta.
Dado-chave #2Uma mudança de data pode ativar o backdoor no meio de uma tarefa de trabalho rotineira.
Dado-chave #3Verifique a procedência dos pesos e limite as permissões do agente no terminal.

Imagine que você peça a um agente de IA para corrigir testes em um repositório. Ele lê arquivos, executa comandos e passa pelas verificações de segurança. Mas, quando chega uma determinada data, emite, no meio do trabalho, um comando que baixa e executa código de terceiros. Se o ambiente de execução do agente permitir essa ação, o comando será executado com as permissões concedidas a ele.

Pesquisadores da Microsoft descreveram exatamente esse cenário no trabalho sobre o Lazarus. Segundo os resultados, basta alterar menos de dez neurônios que raramente são ativados em um modelo de linguagem para implantar o backdoor. Não é necessário retreinar o modelo por completo. A implicação prática é direta: um arquivo de pesos pode conter um comportamento malicioso oculto, mesmo que o agente baseado nele tenha passado pelos testes habituais.

Como esconder um comando no modelo

Dentro dos modelos de linguagem, há neurônios que raramente são ativados durante o funcionamento normal. Os autores propõem reconfigurar alguns deles para responder a uma condição específica. Por exemplo, eles podem começar a reagir quando os dados de entrada contêm uma data posterior ao início de 2027.

Isso é possível porque o modelo já sabe distinguir muitas características do texto de entrada. Segundo os pesquisadores, um classificador simples, ajustado com cerca de 50 exemplos, pode separar as entradas que atendem à condição desejada das demais. O atacante usa essa capacidade de reconhecimento já existente para construir um interruptor oculto de comportamento.

Uma vez ativado, o neurônio modificado interfere na geração da resposta e impõe um token escolhido: um fragmento de texto. Várias dessas intervenções podem ser encadeadas em uma sequência que produz um comando malicioso. A partir daí, a arquitetura da aplicação é decisiva: se o agente enviar esse comando ao terminal, as alterações internas do modelo se transformam em uma ação na máquina.

Segundo os autores, essa modificação exige apenas os recursos computacionais necessários para executar o próprio modelo. Isso reduz a barreira para o ataque: não é preciso realizar um ciclo de treinamento separado e caro. No entanto, é necessário ter acesso de escrita ao arquivo de pesos. A descrição fornecida não indica que o Lazarus possa ser implantado por meio de uma mensagem comum no chat.

Por que passar em um teste não elimina o risco

O backdoor foi projetado para passar despercebido até que a condição prevista apareça. Se o conjunto de testes não contiver essa condição, o modelo se comportará normalmente. Portanto, nesse caso, o resultado “todos os testes passaram” descreve apenas o comportamento nos cenários avaliados.

Para uma equipe que lança um agente com acesso a ferramentas, isso muda o que precisa ser verificado. É necessário avaliar tanto as respostas do modelo quanto a procedência do arquivo específico usado na implantação. A adulteração pode ocorrer por meio de uma conta comprometida, de um sistema de armazenamento ou do processo de distribuição. Desenvolver o modelo internamente também não descarta esse cenário.

A Microsoft informa que os agentes de IA atuais conseguem identificar alterações anômalas nos pesos quando recebem uma tarefa específica de análise. Mas os autores deixam claro o limite: a varredura não comprova a segurança do modelo. A detecção confiável de alterações exige uma comparação com os pesos originais, sem modificações. Assim, a cópia original e a confiança em sua procedência passam a fazer parte da proteção.

A descrição fornecida não inclui uma tabela detalhada de resultados por modelo e taxa de sucesso dos ataques. Portanto, seria prematuro estender as conclusões a qualquer modelo de linguagem ou considerar vulnerável todo produto baseado em agentes. O trabalho demonstra um mecanismo específico e um risco prático, não uma probabilidade universal de comprometimento.

O que verificar no seu ambiente

O primeiro passo é determinar de onde vieram os pesos utilizados e como sua integridade é verificada durante a distribuição. A equipe precisa de uma referência verificável: comparar com uma cópia de origem desconhecida não resolve o problema de confiança. Os testes de comportamento continuam úteis, mas não substituem as verificações de integridade dos arquivos.

O segundo passo é revisar as permissões do agente. Ele pode baixar e executar programas arbitrários? Tem acesso a segredos e à infraestrutura de produção? Quanto mais amplas forem suas permissões, maiores serão as consequências de um único comando oculto. Isolamento, restrições de acesso e monitoramento das ações são necessários mesmo para um modelo com bons resultados nos testes.

A Microsoft também descreve controles de procedência dos modelos no Foundry e o desenvolvimento de ferramentas adicionais para verificar e assinar os pesos. Essas declarações devem ser distinguidas dos resultados da pesquisa: a própria empresa reconhece o risco residual de comprometimento de um fornecedor confiável. Para os desenvolvedores, a principal conclusão é concreta: os pesos do modelo fazem parte da cadeia de fornecimento da aplicação, e as permissões do agente determinam o custo de sua adulteração.

História

Perguntas frequentes sobre a notícia

Como esconder um comando no modelo?

Dentro dos modelos de linguagem, há neurônios que raramente são ativados durante o funcionamento normal. Os autores propõem reconfigurar alguns deles para responder a uma condição específica. Por exemplo, eles podem começar a reagir quando os dados de entrada contêm uma data posterior ao início de 2027. Isso é possível porque o modelo já sabe distinguir muitas características do texto de entrada.

Por que passar em um teste não elimina o risco?

O backdoor foi projetado para passar despercebido até que a condição prevista apareça. Se o conjunto de testes não contiver essa condição, o modelo se comportará normalmente. Portanto, nesse caso, o resultado “todos os testes passaram” descreve apenas o comportamento nos cenários avaliados. Para uma equipe que lança um agente com acesso a ferramentas, isso muda o que precisa ser verificado. É necessário avaliar tanto as respostas do modelo quanto a procedência do arquivo específico usado na implantação.

O que verificar no seu ambiente?

O primeiro passo é determinar de onde vieram os pesos utilizados e como sua integridade é verificada durante a distribuição. A equipe precisa de uma referência verificável: comparar com uma cópia de origem desconhecida não resolve o problema de confiança. Os testes de comportamento continuam úteis, mas não substituem as verificações de integridade dos arquivos. O segundo passo é revisar as permissões do agente. Ele pode baixar e executar programas arbitrários? Tem acesso a segredos e à infraestrutura de produção?

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…