LLM-Attacker compara ataques a split-LLM: los gradientes elevan la fuga hasta el 37,77%

Un grupo de investigadores ha presentado LLM-Attacker, un framework de red-team unificado para evaluar la privacidad de los modelos de lenguaje split y distribuidos. La cifra principal procede de un experimento de control con GPT-2: bastó dar al atacante los gradientes que el servidor devuelve durante el entrenamiento para que la proporción de tokens recuperados pasara del 94,20% al 97,38%. La recuperación exacta de documentos completos saltó del 13,71% al 37,77%, casi el triple.

Por qué los resultados de los ataques a split-LLM no se pueden comparar

En un esquema split, el texto se queda en el cliente y al servidor solo llegan representaciones intermedias, es decir, activaciones de una de las capas. La idea resulta atractiva: el servidor calcula la parte pesada del modelo y los datos originales del usuario no salen del dispositivo. Sin embargo, es posible reconstruir el texto a partir de esas representaciones, y ya existen bastantes ataques de este tipo.

El problema es que los trabajos son difícilmente comparables entre sí. Un atacante ve unos mensajes, otro conoce los pesos del modelo y un tercero no. Los conjuntos de datos son distintos, y las métricas de recuperación también. Cuando un artículo afirma que «nuestra defensa reduce la fuga», no queda claro frente a qué atacante, con qué datos y con qué vara de medir se ha calculado.

Qué registra y qué comprueba el framework

LLM-Attacker convierte esos supuestos ocultos en registros explícitos. El framework fija el modelo de amenaza, los mensajes accesibles al atacante, los pesos conocidos, el corpus y el método de cálculo. Los ataques compatibles reutilizan los mensajes ya registrados, y sus predicciones se guardan y se evalúan de forma independiente de quién lanzara el ataque.

Hay una regla estricta para las defensas: solo se puede declarar un éxito si existe una referencia vinculada sin defensa. Sin una línea base, «ha mejorado» no significa nada. Además, el informe final enumera por separado los ataques que no se ejecutaron. Así, la ausencia de fuga en los escenarios probados deja de parecer una ausencia de fuga en general.

Los autores también distinguen dos tipos de afirmaciones: la comprobación de que la implementación es correcta y la eficacia medida del ataque. La primera indica que el código hace lo que se pretendía; la segunda muestra cuán peligroso es el ataque.

El experimento con GPT-2: qué aporta el acceso a los gradientes

El experimento de control comprobaba cómo reacciona la evaluación a un cambio en el acceso del atacante. Resultados:

• recuperación de tokens: 94,20% → 97,38% al añadir gradientes;
• recuperación exacta de documentos: 13,71% → 37,77%;
• el umbral de efecto de dos puntos porcentuales se fijó antes de empezar las pruebas;
• el intervalo de confianza del 95% del aumento en tokens queda por completo por encima de ese umbral.

Este experimento se comparte con un trabajo complementario. Dentro de LLM-Attacker sirve como prueba de sensibilidad: si se amplían los privilegios del atacante, la medición debe detectarlo, y lo detectó. Resulta llamativo que el aumento en tokens parezca modesto (unos tres puntos), mientras que en documentos completos es enorme. La métrica media oculta la cola de la distribución, y ahí es donde reside el riesgo real de exposición.

Otros estudios dentro del framework evalúan cómo influyen en la recuperación la elección del corpus y las defensas basadas en compresión. Un ataque publicado y adaptado se compara con su implementación de referencia, y el código de medición se prueba por separado.

Cómo montar la verificación en tu equipo

Para los equipos que construyen o compran inferencia split y entrenamiento distribuido, la conclusión es práctica. Toda afirmación sobre privacidad debe nombrar al atacante, el conjunto de datos y la regla de cálculo, mostrar ejecuciones de control y enumerar lo que ha quedado sin comprobar.

Al evaluar, conviene ejecutar los ataques al menos en dos modos de acceso: solo con mensajes directos y con gradientes, si estos se devuelven al servidor. Hay que mirar no solo la proporción de tokens, sino también la recuperación exacta de documentos, porque esa métrica es la que más creció. Cualquier defensa, ya sea compresión o ruido, debe compararse con la versión sin ella sobre los mismos datos. Y al elegir proveedor, es útil pedir el informe precisamente en este formato: sin una lista de ataques sin comprobar, solo muestra una parte del cuadro.