Apple ML Research propose des modèles compacts pour corriger les erreurs de reconnaissance vocale

Dans l'article « Revisiting ASR Error Correction with Specialized Models », des chercheurs d'Apple ML Research proposent de remplacer les grands modèles de langage volumineux par des modèles seq2seq compacts pour corriger les erreurs de reconnaissance automatique de la parole (ASR).

Pourquoi les LLM ne sont pas idéaux pour corriger les erreurs d'ASR

La plupart des méthodes existantes de correction d'erreurs d'ASR s'appuient sur des modèles de texte qui ignorent tout des schémas d'erreurs propres à la reconnaissance vocale. Les grands modèles de langage ont récemment été appliqués à cette tâche, mais ils présentent deux inconvénients sérieux : ils ajoutent de la latence à la réponse et ont tendance à halluciner, c'est-à-dire qu'ils peuvent « corriger » un texte au point qu'il ne corresponde plus à ce qui a réellement été dit dans l'audio.

Comment fonctionne la solution proposée

Les auteurs sont revenus à l'idée de modèles seq2seq compacts entraînés sur des erreurs d'ASR issues d'enregistrements audio réels et synthétiques. Pour étendre le volume de données d'entraînement, ils construisent des corpus synthétiques via une cascade « synthèse vocale → reconnaissance vocale » (TTS, puis de nouveau ASR) : un synthétiseur vocal lit d'abord le texte à voix haute, puis l'audio obtenu est passé dans un système de reconnaissance, qui produit des erreurs réalistes pour entraîner le modèle correcteur.

• Méthode : des modèles seq2seq compacts plutôt que de grands LLM pour corriger les erreurs d'ASR
• Les données d'entraînement synthétiques sont générées par une cascade TTS → ASR
• Le facteur clé de qualité est l'adéquation de la diversité des erreurs avec la distribution réelle, et non le simple volume de données
• Une approche de décodage distincte est proposée : correction-first decoding

La conclusion clé de l'étude est que la quantité de données synthétiques compte moins que la fidélité avec laquelle la distribution des erreurs générées épouse les erreurs réelles de la reconnaissance vocale. Les auteurs proposent aussi une stratégie de décodage à part, le correction-first decoding, qui place l'étape de correction des erreurs au début du traitement.

Ce que cela signifie

Ce travail illustre un mouvement à contre-courant dans l'industrie des interfaces vocales : plutôt que de traiter les erreurs d'ASR en branchant des LLM toujours plus gros, Apple explore la piste de modèles compacts très spécialisés, moins coûteux en inférence et moins enclins à halluciner, ce qui est crucial pour les assistants vocaux fonctionnant en temps réel sur des appareils aux ressources limitées.