CircuitTree собирает 39 фонемных цепей HuBERT в транскрайбер слогов с 64,8% точности

Исследователи предложили CircuitTree: структуру данных, которая собирает произвольное число малых подсетей-«цепей» из одной большой нейросети в единую рабочую модель. Проверяли метод на речевой модели HuBERT. 39 цепей, каждая из которых распознаёт одну фонему, объединили в классификатор слогов, а затем в конвейер, транскрибирующий открытые слоги с точностью 64,8%. Модель, не разделяющая компоненты между цепями, достигает 66,0%. Разрыв составляет 1,2 пункта, хотя 99,5% компонентов цепей у новой системы общие.

Зачем цепи нужны и в чём проблема их сборки

Поиск цепей (circuit discovery) пытается разобрать монолитную сеть на крошечные модульные подсети. Каждая из них должна выполнять понятную подзадачу, и благодаря этому её можно интерпретировать. Это одно из центральных направлений механистической интерпретируемости. Но разобрать модель на части — полдела. Если из деталей нельзя собрать что-то осмысленное, польза от разбора ограничена.

Ранние попытки композиции опирались на наивное объединение (union) цепей. Авторы утверждают, что у такого подхода есть ограничения, и предлагают жадный алгоритм с масштабированием по плотности (density-scaled composition). Конкретные механизмы в аннотации не раскрыты, но задача ясна: объединять цепи так, чтобы итоговая подсеть не раздувалась и сохраняла способности исходных частей.

Как устроен CircuitTree

Попарное слияние решает задачу для двух цепей. Авторы обобщили его на N цепей и построили CircuitTree, структуру данных на основе расписания древовидной композиции (tree-compose schedule) со сложностью Θ(N log N). Объединять сотни цепей по одной уже непрактично, а древовидное расписание удерживает рост затрат в разумных пределах.

Дальше CircuitTree выстраивают в цепочку и получают конвейер «иерархия цепей» (hierarchy-of-circuits). Нижний уровень отвечает за фонемы, следующий собирает из них слоги.

Что получилось на HuBERT

Из HuBERT выделили цепи для классификации отдельных фонем. Всего их 39. Ни одна из них по отдельности не умеет различать слоги, а их композиция умеет. По сути, новая способность возникает из сочетания узких.

Ключевые цифры из аннотации:

• число фонемных цепей: 39;
• точность транскрипции открытых слогов: 64,8%;
• потолок для модели без общих компонентов: 66,0%;
• разрыв с потолком: 1,2 пункта;
• доля общих компонентов цепей: 99,5%;
• сложность расписания композиции: Θ(N log N).

Последняя цифра важнее остальных. Потолок в 66,0% получен моделью, у которой цепи вообще не пересекаются. Новая система почти догоняет его, хотя почти всё «железо» в ней общее. Модульность тут почти не стоит качества.

Где это пригодится и что остаётся под вопросом

Практическая ценность работы в том, что интерпретируемые модули можно не только найти, но и собрать в рабочую систему. Для аудита моделей это даёт возможность проверять, из каких частей складывается решение. Для разработчиков речевых систем это путь к компактным специализированным подсетям, которые наследуют знания большой модели. Выигрыш по размеру или скорости в аннотации не измерялся, так что вывод об экономии пока был бы преждевременным.

Ограничений хватает. Задача сведена к открытым слогам, а не к произвольной речи. Абсолютная точность 64,8% далека от уровня промышленных систем распознавания. В аннотации нет сравнения с обычными ASR-моделями. Это исследование инструмента композиции, а не готовое решение для транскрибации. Но как доказательство того, что из десятков узких цепей можно собрать новую способность почти без потери качества, оно выглядит убедительно. Дальше стоит смотреть, масштабируется ли подход на другие модальности и на языковые модели, где цепей на порядки больше.