perturber: un servicio con 68 perturbaciones de texto comprueba la robustez de los LLM

Las evaluaciones de modelos de lenguaje con benchmarks limpios sobrestiman su robustez. Las consultas reales llegan distorsionadas, y hasta las variaciones que no cambian el significado desplazan con regularidad las respuestas del modelo. Los autores del preprint arXiv:2610.12667 proponen una herramienta para comprobar de forma sistemática este efecto. Perturber es un servicio sin estado y, a la vez, una biblioteca de Python. En cada llamada aplica exactamente una perturbación que preserva el significado, tomada de su propio catálogo: 68 perturbaciones en 11 familias.

El problema: las perturbaciones están atadas a un stack ajeno

Para estudiar la robustez de forma sistemática hacen falta tres cosas. Las perturbaciones se aplican de una en una, el resultado es reproducible y en cualquier máquina y entorno se obtiene el mismo texto. Según los autores, las herramientas existentes suelen estar integradas en un stack de benchmarking concreto y no están concebidas como una capa de transformaciones independiente. Para sacar de ahí una sola perturbación hay que arrastrar todo el framework. Además, resulta difícil comparar los resultados de distintos equipos: no está claro si la transformación se ejecutó igual en cada caso.

Perturber saca esa capa fuera. No sabe nada de modelos, métricas ni datasets. La entrada es un texto y el nombre de una perturbación, y la salida es el texto modificado.

Una llamada, un primitivo

La arquitectura se apoya en un único primitivo. El servicio no combina perturbaciones por sí mismo: si se necesita una cadena, la construye quien hace la llamada, invocando la herramienta de forma secuencial. Gracias a ello, el servicio HTTP y la biblioteca local dan el mismo resultado por construcción, y no por un acuerdo entre dos implementaciones. La ausencia de estado elimina otra fuente de discrepancias: las llamadas anteriores no influyen en la salida.

Parámetros principales de la herramienta:

• 68 perturbaciones de desarrollo propio (first-party), sin dependencias externas de catálogos ajenos;
• 11 familias de perturbaciones;
• exactamente una perturbación por llamada, con la composición en el lado del cliente;
• formato de entrega: servicio stateless y biblioteca de Python con salida idéntica;
• demostración: un sandbox en vivo, un catálogo con capacidad de introspección para elegir perturbaciones según el benchmark y una evaluación reproducible con un solo comando.

Los autores subrayan que lo que ponen a prueba es la propia herramienta, no el modelo de nadie. Se miden la corrección, la reproducibilidad y el coste de funcionamiento. La preservación del significado se mide por separado para cada perturbación. Los autores no dan por supuesta esta propiedad: quien haya ejecutado alguna vez una paráfrasis sabe que una edición «equivalente» a veces cambia la tarea sin que se note. De ahí se deriva una conclusión práctica: una perturbación que no supera esa comprobación distorsiona la conclusión sobre la robustez del modelo.

Cómo usarlo en la práctica

El catálogo con introspección sirve para seleccionar perturbaciones según un benchmark concreto. Un equipo que evalúa su modelo puede elegir las familias adecuadas a su dominio y ejecutar cada una con independencia de las demás. La comparación «entrada limpia frente a entrada perturbada» resulta más nítida cuando se sabe qué cambio concreto desplazó la respuesta. También es cómodo para las pruebas de regresión. Como la salida es determinista y no depende del entorno, los conjuntos perturbados pueden regenerarse en CI sin guardarlos como artefactos.

También hay limitaciones. En el resumen del preprint no hay resultados sobre la robustez de ningún modelo, y la propia herramienta no los promete. Es un bloque de construcción, no un ranking. Su valor se comprobará según la disposición de los equipos a conectarla a sus pipelines y según lo fiables que resulten las mediciones de preservación del significado con datos reales, también fuera del inglés. Para quienes montan bancos de evaluación, la perspectiva es clara: una capa de perturbaciones independiente y con el mismo comportamiento en todas partes elimina, al menos, una fuente de incertidumbre en los resultados.