perturber: serviço com 68 perturbações de texto testa a robustez de LLMs

Avaliações de modelos de linguagem em benchmarks "limpos" superestimam a robustez deles. Consultas reais chegam distorcidas, e até variações que não mudam o sentido costumam alterar as respostas do modelo. Os autores do preprint arXiv:2610.12667 propõem uma ferramenta para verificar esse efeito de forma sistemática. O perturber é, ao mesmo tempo, um serviço stateless (sem estado) e uma biblioteca Python. A cada chamada, ele aplica exatamente uma perturbação que preserva o sentido, escolhida em seu próprio catálogo: 68 perturbações em 11 famílias.

Problema: as perturbações ficam presas ao stack de terceiros

Um estudo sistemático de robustez exige três coisas. As perturbações são aplicadas uma a uma, o resultado é reproduzível e qualquer máquina, em qualquer ambiente, gera o mesmo texto. Segundo os autores, as ferramentas existentes costumam vir embutidas em um stack específico de benchmarking e não funcionam como uma camada independente de transformação. Para aproveitar uma única perturbação, é preciso arrastar o framework inteiro. Além disso, fica difícil comparar resultados de equipes diferentes: não dá para saber se a transformação se comportou da mesma forma em cada uma.

O perturber isola essa camada. Ele não sabe nada sobre modelos, métricas ou datasets. A entrada é um texto e o nome da perturbação; a saída é o texto modificado.

Uma chamada, um primitivo

A arquitetura se apoia em um único primitivo. O serviço não combina perturbações por conta própria: se for necessária uma cadeia, quem faz a chamada a monta, acionando a ferramenta em sequência. Por isso, o serviço HTTP e a biblioteca local produzem o mesmo resultado por construção, e não por um acordo entre duas implementações. A ausência de estado elimina outra fonte de divergência: chamadas anteriores não influenciam a saída.

Principais parâmetros da ferramenta:

• 68 perturbações de desenvolvimento próprio (first-party), sem dependências externas de catálogos de terceiros;
• 11 famílias de perturbações;
• exatamente uma perturbação por chamada, com composição no lado do cliente;
• formato de entrega: serviço stateless e biblioteca Python com saída idêntica;
• demonstração: sandbox ao vivo, catálogo com introspecção para seleção conforme o benchmark e avaliação reprodutível com um único comando.

Os autores ressaltam que avaliam a ferramenta em si, e não o modelo de alguém. Medem correção, reprodutibilidade e custo de operação. A preservação de sentido é medida separadamente para cada perturbação. Os autores não tomam essa propriedade como garantida: quem já rodou paráfrases sabe que uma reescrita "equivalente" às vezes muda a tarefa sem que se perceba. A consequência prática é clara: uma perturbação que não passa nessa verificação distorce a conclusão sobre a robustez do modelo.

Como usar na prática

O catálogo com introspecção serve para selecionar perturbações de acordo com um benchmark específico. Uma equipe que avalia o próprio modelo pode escolher as famílias adequadas ao seu domínio e executar cada uma de forma independente das demais. A comparação entre entrada "limpa" e entrada perturbada fica mais nítida quando se sabe exatamente qual alteração deslocou a resposta. Para testes de regressão, o recurso também é útil. Como a saída é determinística e não depende do ambiente, os conjuntos perturbados podem ser recriados no CI, sem a necessidade de armazená-los como artefatos.

Há limitações. O abstract não traz resultados de robustez de nenhum modelo, e a própria ferramenta não promete isso. Trata-se de um bloco de construção, não de um ranking. Seu valor dependerá de quanto as equipes se dispuserem a integrá-la aos próprios pipelines e de quão confiáveis se mostrarem as medições de preservação de sentido em dados reais, inclusive fora do inglês. Para quem monta bancadas de avaliação, a perspectiva é objetiva: uma camada separada de perturbações, com comportamento idêntico em qualquer lugar, elimina pelo menos uma fonte de incerteza nos resultados.