Автор с Habr чистит диктовку от «ну» и «вот» локальным Whisper и LLM

Писатель, который набирает за день десятки сообщений, писем и заданий для нейросетей, перешёл на диктовку: говорить быстрее, чем печатать. Но у метода есть цена. Whisper может расшифровать фразу без единой ошибки, а читаться она всё равно будет плохо, потому что живая речь, записанная слово в слово, полна «ну», «вот», повторов и обрывов. Автор публикации на Habr решает это связкой из Whisper, запущенного на собственном компьютере, и небольшого посредника, который отдаёт расшифровку языковой модели на редактуру.

Важная оговорка: в доступном фрагменте материала описана только постановка задачи. Конкретная реализация посредника, выбор модели и промпты остались за катом, и мы их не пересказываем. Ниже то, что следует из заявленной архитектуры, и общие соображения о том, как такие схемы работают на практике.

Точность распознавания и читаемость текста — разные метрики

Whisper — открытая модель распознавания речи от OpenAI, выпущенная в сентябре 2022 года под лицензией MIT. Её обучали примерно на 680 тысячах часов размеченного аудио, она поддерживает около сотни языков, включая русский. Метрика такой модели — доля ошибочно распознанных слов. Если Whisper записал всё сказанное, ошибок нет.

Проблема в том, что человек говорит не так, как пишет. В речи есть слова-паразиты, самоисправления («в среду, то есть нет, в четверг») и незаконченные конструкции. Дословная расшифровка честно всё это сохраняет. Для письма, задания нейросети или главы книги такой текст приходится править руками, и выигрыш от диктовки частично пропадает.

Зачем нужен посредник

Схема из заголовка выглядит так: речь превращается в текст локально, затем маленькая программа-посредник передаёт его LLM с инструкцией убрать лишнее и вернуть чистый вариант. Распознавание и редактура разделены, у каждого шага своя задача.

Что известно о системе из доступной части публикации:

• распознавание делает Whisper, запущенный на компьютере автора;
• между распознаванием и языковой моделью стоит небольшой посредник;
• задача LLM: убрать «ну», «вот» и прочий шум, сохранив смысл;
• сценарий использования: сообщения, письма и задания для нейросетей;
• диктовкой автор набирает большую часть дневного текста.

Где такие схемы ломаются

Главный риск при подобной постобработке состоит в том, что языковая модель начинает редактировать, а не чистить. Она может сгладить авторскую интонацию, заменить слово более «правильным» или дописать то, чего не говорили. Для писателя это критично: стиль живёт как раз в таких мелочах. Поэтому инструкция для модели должна прямо запрещать добавлять факты и перефразировать, а исходную расшифровку стоит хранить рядом с очищенной версией.

Второй вопрос касается приватности. Локальный Whisper означает, что аудио не уходит в облако. Но если посредник обращается к внешней LLM, туда уходит текст, а в нём могут быть имена, рабочие детали и черновики книг. Полностью автономной схема получается только с локальной языковой моделью.

Что попробовать самому

Если хочется повторить подход, сначала проверьте распознавание. Для запуска на обычном компьютере есть whisper.cpp, который работает и на процессоре, и faster-whisper на базе CTranslate2. Размер модели подбирают под железо: меньшие версии быстрее, но чаще ошибаются на русском.

Дальше соберите минимальный посредник: получил текст, добавил короткую инструкцию, отправил в LLM, вернул результат. Начните с одного правила: «удали слова-паразиты и повторы, ничего не добавляй и не меняй формулировки». Прогоните десяток своих реальных диктовок и сравните результат с оригиналом построчно. Только после этого расширяйте промпт: пунктуация, абзацы, форматирование под письмо или чат. Полную реализацию автора стоит смотреть в оригинальной статье на Habr.