Raspberry Pi 5 sem rede: pacote de conhecimento envenenado e assinado passou por todas as verificações

O que acontece com um assistente de IA local que vive em um dispositivo sem rede, mas ainda precisa ser confiável? Os pesquisadores Georgios Feredzakis e Alexandros Papaspiridis testaram isso em um Raspberry Pi 5: um RAG totalmente local sob isolamento de rede, três tamanhos de Qwen2.5 (1.5B, 3B, 7B), três tamanhos de contexto e 300 perguntas do SQuAD 2.0. O resultado: parte dos mecanismos de proteção funciona quase com perfeição, mas a defesa mais óbvia, a assinatura digital, se mostra insuficiente.

Cinco modos de conectividade e pacotes de conhecimento no lugar da nuvem

A maioria das implantações de IA generativa em IoT parte do princípio de que a nuvem está ao alcance. Dispositivos reais costumam operar com falhas de conexão, em redes fechadas ou simplesmente sem conectividade. Para esse cenário, os autores propuseram uma escala de conectividade C0–C4, uma taxonomia de mecanismos de confiança na etapa de inferência e um canal de atualização para os modos desconectados: pacotes de conhecimento assinados e versionados. O dispositivo recebe o novo pacote, o verifica e só depois o conecta à base da qual o modelo extrai contexto.

Onde a confiança funciona e onde não

O primeiro mecanismo é um gate baseado na pontuação de relevância dos trechos recuperados, calibrado de forma empírica. Ele detecta quase perfeitamente as consultas que simplesmente não existem no corpus: AUROC de 0,97. Com perguntas sem resposta dentro de um tema conhecido, o desempenho é bem pior, com AUROC de 0,68. Essas perguntas se parecem com os documentos do corpus, e pela pontuação da busca não dá para distingui-las das normais.

O segundo mecanismo é um validador determinístico de saída. Ele transforma respostas «tortas» em uma recusa explícita e, ao mesmo tempo, não tirou do modelo nenhuma resposta correta. O verificador baseado em NLI, que os autores também testaram, acrescentou pouco. No 7B, 96% das respostas de conteúdo a perguntas marcadas como «sem resposta» coincidiram com trechos normalizados das passagens recuperadas. O modelo não inventa: ele copia texto do contexto, mesmo quando formalmente a resposta não está lá.

Assinatura não é sinônimo de verdade

A parte mais dura do trabalho trata das atualizações. As verificações apenas de assinatura e hash aceitaram 6 de 9 ataques: rollback de versão, replay, pacote expirado, chaves revogadas e incompatibilidade com o modelo. A verificação em múltiplas camadas rejeitou os 9 em cerca de 4,5 ms.

Mas um pacote envenenado com assinatura válida passou por todas as verificações e fez o modelo perder as respostas corretas nas 30 perguntas-alvo. Os autores resumem assim: a integridade estabelece a origem, não a veracidade. A confiança no conteúdo precisa ser garantida pelo publicador antes da assinatura, e não no dispositivo. Esse teste foi executado apenas no 3B, e o comportamento do 7B continua em aberto: no experimento principal, ele recusou com mais frequência responder a perguntas sem resposta.

Principais números do estudo

• Plataforma: Raspberry Pi 5 com 16 GB de memória, rede isolada
• Modelos: Qwen2.5 1.5B, 3B, 7B; três tamanhos de contexto
• Dados: 300 perguntas do SQuAD 2.0
• Gate por retrieval score: AUROC de 0,97 para consultas fora do corpus, 0,68 para perguntas sem resposta dentro do tema
• Validador determinístico de saída: zero respostas corretas perdidas
• Verificador NLI: contribuição pequena
• 7B: 96% das respostas de conteúdo a perguntas sem resposta coincidiram com trechos das passagens
• 3B contra 7B: mesma proporção de respostas que contêm a referência, com latência e energia estimada menos da metade; uma consulta no 3B leva cerca de 22 s
• Pico de memória residente no momento de conclusão da consulta: 6,3 / 9,4 / 13,6 GiB para 1.5B / 3B / 7B
• Ataques de atualização: assinatura e hash deixaram passar 6 de 9, a verificação em camadas rejeitou 9 de 9 em ~4,5 ms
• Pacote envenenado e assinado: quebrou as respostas corretas em 30 de 30 alvos

O que o engenheiro deve tirar disso

Para dispositivos offline, vale mais a pena escolher o 3B do que o 7B: a qualidade em containment é a mesma, e a latência e a energia caem pela metade. O validador de saída é barato e deve ser adotado de imediato. Para as atualizações, são necessários um contador monotônico de versão, prazo de validade, revogação de chaves e verificação de compatibilidade com o modelo; a assinatura sozinha não basta.

Ainda há questões em aberto: os autores reconhecem que o detentor da chave e o rollback autorizado para um pacote sabidamente funcional não estão cobertos, que não encontraram um perfil de atualização pronto especificamente para RAG e que a chave do experimento foi gerada no próprio dispositivo. Participantes da discussão sugerem rodar, além disso, um conjunto fixo de perguntas de controle antes de trocar para o novo pacote. Há tempo para isso: o embedding do pacote no Pi leva cerca de 29 minutos.

Todos os números são reproduzidos com um único comando, e o código e as saídas de cada consulta foram publicados.