perturber: сервис с 68 возмущениями текста проверяет устойчивость LLM

Оценки языковых моделей на чистых бенчмарках завышают их устойчивость. Реальные запросы приходят в искажённом виде, и даже вариации, не меняющие смысл, регулярно сдвигают ответы модели. Авторы препринта arXiv:2610.12667 предлагают инструмент для системной проверки этого эффекта. Perturber — сервис без состояния и одновременно Python-библиотека. За один вызов он применяет ровно одно смысл-сохраняющее возмущение из собственного каталога: 68 возмущений в 11 семействах.

Проблема: возмущения привязаны к чужому стеку

Для систематического исследования устойчивости нужно три вещи. Возмущения применяются по одному, результат воспроизводится, а на любой машине и в любом окружении выходит один и тот же текст. По словам авторов, существующие инструменты обычно встроены в конкретный бенчмаркинговый стек и не оформлены как самостоятельный слой преобразований. Чтобы взять оттуда одно возмущение, приходится тащить за собой весь фреймворк. Сравнивать результаты разных команд при этом сложно: непонятно, одинаково ли у них отработала трансформация.

Perturber выносит этот слой наружу. Он ничего не знает ни о моделях, ни о метриках, ни о датасетах. На вход идёт текст и имя возмущения, на выходе возвращается изменённый текст.

Один вызов, один примитив

Архитектура держится на единственном примитиве. Сервис не комбинирует возмущения сам: если нужна цепочка, её собирает вызывающая сторона, последовательно обращаясь к инструменту. Благодаря этому HTTP-сервис и локальная библиотека дают одинаковый результат по построению, а не по договорённости между двумя реализациями. Отсутствие состояния снимает ещё один источник расхождений: на выход не влияют предыдущие вызовы.

Основные параметры инструмента:

• 68 возмущений собственной разработки (first-party), без внешних зависимостей от чужих каталогов;
• 11 семейств возмущений;
• ровно одно возмущение на вызов, композиция на стороне клиента;
• формат поставки: stateless-сервис и Python-библиотека с идентичным выводом;
• демонстрация: живая песочница, каталог с возможностью интроспекции для подбора под бенчмарк и воспроизводимая оценка одной командой.

Авторы подчёркивают, что проверяют сам инструмент, а не чью-то модель. Измеряются корректность, воспроизводимость и стоимость работы. Для каждого возмущения отдельно замеряется сохранение смысла. Этого свойства авторы не принимают на веру: любой, кто запускал перефразирование, знает, что «эквивалентная» правка иногда незаметно меняет задачу. Отсюда следует практический вывод: возмущение, не прошедшее такую проверку, портит вывод об устойчивости модели.

Как это использовать на практике

Интроспектируемый каталог нужен для подбора возмущений под конкретный бенчмарк. Команда, которая оценивает свою модель, может выбрать из него семейства, подходящие её домену, и прогнать каждое независимо от остальных. Сравнение «чистый вход против возмущённого» получается чище, когда известно, какое именно изменение сдвинуло ответ. Для регрессионных тестов это тоже удобно. Раз вывод детерминирован и не зависит от окружения, возмущённые наборы можно пересоздавать на CI и не хранить как артефакты.

Ограничения тоже есть. В аннотации нет результатов по устойчивости каких-либо моделей, и сам инструмент их не обещает. Это строительный блок, а не рейтинг. Его ценность проверится на том, насколько охотно команды подключат его к своим пайплайнам и насколько честными окажутся замеры смыслосохранения на реальных данных, в том числе вне английского языка. Для тех, кто строит оценочные стенды, перспектива понятная: отдельный слой возмущений с одинаковым поведением везде снимает как минимум один источник неопределённости в результатах.