Raspberry Pi 5 sin red: un paquete de conocimiento envenenado pero firmado superó todas las comprobaciones

¿Qué ocurre con un asistente local de IA que vive en un dispositivo sin red y al que, aun así, hay que poder fiarse? Los investigadores Georgios Feredzakis y Alexandros Papaspiridis lo comprobaron en una Raspberry Pi 5: un RAG totalmente local con aislamiento de red, tres tamaños de Qwen2.5 (1.5B, 3B, 7B), tres tamaños de contexto y 300 preguntas de SQuAD 2.0. El balance: parte de los mecanismos de protección funciona casi a la perfección, pero la defensa más obvia, la firma digital, resulta insuficiente.

Cinco modos de conectividad y paquetes de conocimiento en lugar de la nube

La mayoría de los despliegues de IA generativa en IoT parten de que la nube está a mano. Los dispositivos reales suelen funcionar con interrupciones, en circuitos cerrados o directamente sin conexión. Para ese escenario, los autores propusieron una escala de conectividad C0–C4, una taxonomía de mecanismos de confianza en la fase de inferencia y un canal de actualización para los modos desconectados: paquetes de conocimiento firmados y versionados. El dispositivo recibe un paquete nuevo, lo verifica y solo después lo conecta a la base de la que el modelo extrae el contexto.

Dónde funciona la confianza y dónde no

El primer mecanismo es una puerta de enlace basada en la puntuación de relevancia de los fragmentos recuperados, calibrada de forma empírica. Detecta casi a la perfección las consultas que no tienen nada que ver con el corpus: AUROC de 0,97. Con las preguntas sin respuesta dentro de un tema conocido rinde bastante peor, con un AUROC de 0,68. Esas preguntas se parecen a los documentos del corpus, y por la puntuación de búsqueda no se distinguen de las normales.

El segundo mecanismo es un validador determinista de la salida. Convierte las respuestas «torcidas» en una negativa explícita y no le quitó al modelo ni una sola respuesta correcta. El verificador basado en un modelo NLI, que los autores también probaron, aportó poco. En 7B, el 96 % de las respuestas con contenido a preguntas marcadas como «sin respuesta» coincidió con fragmentos normalizados de los pasajes recuperados. El modelo no inventa: toma el texto del contexto, incluso cuando formalmente este no contiene la respuesta.

La firma no equivale a la verdad

La parte más dura del trabajo trata de las actualizaciones. Las comprobaciones de firma y hash por sí solas aceptaron 6 de 9 ataques: retroceso de versión, repetición, paquete caducado, claves revocadas e incompatibilidad con el modelo. La verificación multicapa rechazó los 9 en aproximadamente 4,5 ms.

Pero un paquete envenenado con firma válida superó todas las comprobaciones y dejó al modelo sin respuestas correctas en las 30 preguntas objetivo. Los autores lo formulan así: la integridad establece el origen, pero no la veracidad. La confianza en el contenido hay que garantizarla en el editor, antes de la firma, y no en el dispositivo. Esta prueba se ejecutó solo en 3B; el comportamiento de 7B sigue sin conocerse: en el experimento principal, este modelo se negó a responder con más frecuencia a las preguntas sin respuesta.

Cifras clave del estudio

• Plataforma: Raspberry Pi 5 con 16 GB de memoria, red aislada
• Modelos: Qwen2.5 1.5B, 3B, 7B; tres tamaños de contexto
• Datos: 300 preguntas de SQuAD 2.0
• Puerta de enlace basada en la puntuación de recuperación: AUROC de 0,97 para consultas fuera del corpus y de 0,68 para las preguntas sin respuesta dentro del tema
• Validador determinista de la salida: cero respuestas correctas perdidas
• Verificador NLI: aportación pequeña
• 7B: el 96 % de las respuestas con contenido a preguntas sin respuesta coincidió con fragmentos de los pasajes
• 3B frente a 7B: la misma proporción de respuestas que contienen la referencia, con una latencia y una energía estimada a menos de la mitad; una consulta en 3B tarda unos 22 s
• Pico de memoria residente en el momento de terminar la consulta: 6,3 / 9,4 / 13,6 GiB para 1.5B / 3B / 7B
• Ataques a las actualizaciones: firma y hash dejaron pasar 6 de 9; la verificación por capas rechazó 9 de 9 en ~4,5 ms
• Paquete envenenado y firmado: rompió las respuestas correctas en 30 de 30 objetivos

Qué debe llevarse un ingeniero

Para dispositivos offline, resulta más sensato elegir 3B que 7B: la calidad por contención (containment) es la misma, y la latencia y la energía son la mitad. El validador de salida es barato y conviene instalarlo desde el principio. Para las actualizaciones hacen falta un contador de versiones monótono, fecha de caducidad, revocación de claves y comprobación de compatibilidad con el modelo; la firma sola no basta.

Quedan cuestiones abiertas: los autores admiten que no han resuelto el problema del titular de la clave ni el de la reversión autorizada a un paquete conocido como válido, que no encontraron un perfil de actualización ya preparado específicamente para RAG y que generaron la clave del experimento en el propio dispositivo. Los participantes en el debate proponen ejecutar además un conjunto fijo de preguntas de control antes de cambiar al paquete nuevo. Hay margen para hacerlo: el embedding de un paquete en la Pi tarda unos 29 minutos.

Todas las cifras se reproducen con un solo comando; el código y las salidas por consulta están publicados.